本章节主要介绍ALM38009 Broker磁盘IO繁忙的告警。 告警解释 系统每60秒周期性检测Kafka各个磁盘的IO情况，当检测到某个Broker上的Kafka数据目录磁盘IO超出阈值（默认80%）时，产生该告警。 平滑次数为3，当该磁盘IO低于阈值（默认80%）时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 38009 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 数据目录名称 Kafka磁盘IO频繁的数据目录名称 对系统的影响 Partition所在的磁盘分区IO过于繁忙，产生告警的Kafka Topic上可能无法写入数据。 可能原因 Topic副本数配置过多。 生产者消息批量写入磁盘的参数设置不合理。该Topic承担的业务流量过大，当前Partition的设置不合理。 处理步骤 检查Topic副本数配置 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，单击此告警所在行的，查看定位信息中上报告警的“主题名”。 1. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Kafka > KafkaTopic监控”，搜索发生告警的Topic，查看副本数量。 2. 如果副本数量值大于3，则考虑减少该Topic的复制因子（减少为3）。 在FusionInsight客户端执行以下命令对Kafka Topic的副本进行重新规划： kafkareassignpartitions.sh zookeeper {zkhost}:{port} /kafka reassignmentjsonfile {manual assignment json file path} execute 例如： /opt/Bigdata/client/Kafka/kafka/bin/kafkareassignpartitions.sh zookeeper 10.149.0.90:2181,10.149.0.91:2181,10.149.0.92:2181/kafka reassignmentjsonfile expandclusterreassignment.json execute 说明 在expandclusterreassignment.json文件中描述该Topic的Partition迁移到哪些Broker。其中json文件中的内容格式为：{"partitions":[{"topic": " topicName ","partition":1,"replicas": [1,2,3] }],"version":1}。 3. 观察一段时间，看告警是否消失。如果告警没有消失，执行步骤5。

处理步骤 检查堆内存使用量 1.在FusionInsight Manager界面，选择“运维 > 告警 > 告警 > Yarn ResourceManager堆内存使用率超过阈值 > 定位信息”。查看告警上报的实例的主机名。 2.在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 实例 > ResourceManager（对应上报告警实例主机名）”，单击图表区域右上角的下拉菜单，选择“定制 > 资源”，勾选“ResourceManager内存使用率”。查看堆内存使用情况。 3.查看ResourceManager使用的堆内存是否已达到ResourceManager设定的最大堆内存的95%。 是，执行步骤4。 否，执行步骤6。 4.在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置 > 全部配置 > ResourceManager > 系统”。将“GCOPTS”参数根据实际情况调大，并单击“保存”，保存完成后重启角色实例。 说明 集群中的NodeManager实例数量和ResourceManager内存大小的对应关系参考如下： 集群中的NodeManager实例数据达到100，ResourceManager实例的JVM参数建议配置为：Xms4G Xmx4GXX:NewSize512M XX:MaxNewSize1G。 集群中的NodeManager实例数据达到200，ResourceManager实例的JVM参数建议配置为：Xms6G Xmx6GXX:NewSize512M XX:MaxNewSize1G。 集群中的NodeManager实例数据达到500，ResourceManager实例的JVM参数建议配置为：Xms10G Xmx10G XX:NewSize1GXX:MaxNewSize2G。 集群中的NodeManager实例数据达到1000，ResourceManager实例的JVM参数建议配置为：Xms20G Xmx20GXX:NewSize1G XX:MaxNewSize2G。 集群中的NodeManager实例数据达到2000，ResourceManager实例的JVM参数建议配置为：Xms40G Xmx40GXX:NewSize2G XX:MaxNewSize4G。 集群中的NodeManager实例数据达到3000，ResourceManager实例的JVM参数建议配置为：Xms60G Xmx60GXX:NewSize2G XX:MaxNewSize4G。 集群中的NodeManager实例数据达到4000，ResourceManager实例的JVM参数建议配置为：Xms80G Xmx80GXX:NewSize2G XX:MaxNewSize4G。 集群中的NodeManager实例数据达到5000，ResourceManager实例的JVM参数建议配置为：Xms100G Xmx100GXX:NewSize3G XX:MaxNewSize6G。 5.观察界面告警是否清除。 是，处理完毕。 否，执行步骤6。

本章节主要介绍ALM14017 NameNode直接内存使用率超过阈值的告警。 告警解释 系统每30秒周期性检测HDFS服务直接内存使用状态，当检测到NameNode实例直接内存使用率超出阈值（最大内存的90%）时，产生该告警。 直接内存使用率小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 14017 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 NameNode可用直接内存不足，可能会造成内存溢出导致服务崩溃。 可能原因 该节点NameNode实例直接内存使用率过大，或配置的直接内存不合理，导致使用率超过阈值。 处理步骤 检查直接内存使用率 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，单击告警“ALM14017 NameNode直接内存使用率超过阈值”所在行的下拉菜单，在“定位信息”中查看告警上报的角色名并确定实例的IP地址。 2.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例 > NameNode（对应上报告警实例IP地址）”，单击图表区域右上角的下拉菜单，选择“定制 > 资源”，勾选“NameNode内存使用详情”。查看直接内存使用情况。 3.查看NameNode使用的直接内存是否已达到NameNode设定的最大直接内存的90%(默认阈值)。 是，执行步骤4。 否，执行步骤8。 4.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > NameNode > 全部配置”。查看“GCOPTS”参数中是否存在“XX:MaxDirectMemorySize”。 是，执行步骤5。 否，执行步骤6。 5.在“GCOPTS”中把参数“XX:MaxDirectMemorySize”删除。保存配置，并重启NameNode实例。 6.查看告警信息，是否存在告警“ALM14007 NameNode堆内存使用率超过阈值”。 是，查看“ALM14007 NameNode堆内存使用率超过阈值”进行处理。 否，执行步骤7。 7.观察界面告警是否清除。 是，处理完毕。 否，执行步骤8。

操作审计 基于用户身份系统唯一标识，从用户登录系统开始，全程记录用户在系统的操作行为，监控和审计用户对目标资源的所有操作，实现对安全事件的实时发现与预警。 系统行为审计 系统操作行为全纪录，针对操作失误、恶意操作、越权操作等行为告警通知。 系统登录日志 详细记录登录系统的方式、登录用户、用户来源IP、登录时间等信息。支持一键导出全部系统登录日志。 系统操作日志 系统操作行为全程记录，覆盖所有系统操作事件。支持一键导出全部系统操作日志。 系统报表 集中可视化呈现用户在系统的操作统计信息，包括用户启用状态、用户与资源创建、用户登录方式、异常登录、会话控制等信息。支持一键导出系统报表，并可定周期以邮件方式自动推送系统报表。 资源运维审计 全程记录用户的运维操作，支持多种运维审计技术和审计形式，可随时审计用户操作行为，识别运维风险，为安全事件追溯和分析提供依据。 运维审计技术 Linux命令审计 基于字符协议（SSH、TELNET）的命令操作审计，记录命令运维全程，支持解析字符操作命令，还原操作指令，根据输入、输出结果关键字搜索快速定位回放。 Windows操作审计 基于图形协议（RDP、VNC）终端和应用发布的行为操作审计，远程桌面的操作全纪录，包括键盘操作、功能键操作、鼠标操作、窗口指令、窗口切换、剪切板拷贝等。 数据库命令审计 基于数据库协议（DB2、MySQL、Oracle、SQL Server）的命令操作审计，记录从SSO单点登录数据库到数据库命令操作全程，支持解析数据库操作指令，100%还原操作指令。 文件传输审计 基于远程桌面的文件传输操作审计，以及基于文件传输协议（FTP、SFTP、SCP）的传输操作审计，对Web浏览器或客户端文件传输全程审计，记录传输的文件名称和目标路径。 运维审计形式 实时监控：实时查看正在进行的运维会话，支持监控和中断实时会话。 历史日志 运维操作全程记录，详细记录历史运维会话信息，支持一键导出历史会话日志。 会话视频 支持对Linux命令审计、Windows操作审计全程录像记录，回放录像视频。支持生成视频文件，一键下载会话视频。 运维报表 集中可视化呈现运维统计信息，包括运维时间分布、资源访问次数、会话时长、双人授权、命令拦截、字符数命令、传输文件数等信息。支持一键导出运维报表，并可定周期以邮件方式自动推送系统报表。 日志备份 通过配置日志备份，可将历史会话日志远程备份至Syslog服务器、FTP/SFTP服务器、OBS桶，实现系统日志容灾备份。

本节主要介绍创建密钥 密钥（Secret）是一种用于存储应用认证信息、应用密钥等敏感信息的资源，内容由用户决定。密钥创建完成后，可在应用中作为文件或者环境变量使用。 前提条件 已创建需要使用密钥的集群。 创建混合集群，请参考“帮助中心 > 云容器引擎 > 用户指南 > 集群管理 > 创建混合集群”。 已创建密钥所在命名空间，请参考“帮助中心 > 云容器引擎 > 用户指南 > 集群管理 > 命名空间”。 创建密钥 1、登录ServiceStage控制台，选择“应用管理 > 应用配置 > 密钥”。 2、单击“创建密钥”。 3、ServiceStage支持“可视化”和“YAML”两种方式来创建密钥。 方式一：可视化。参照下表设置基本信息，其中带“”标志的参数为必填参数。 表 基本信息说明 参数 参数说明 :: 基本信息 密钥名称 新建的密钥的名称，同一个命名空间内命名必须唯一。 所在集群 使用新建密钥的集群。 单击“创建集群”，可以新建集群。 命名空间 新建密钥所在的命名空间，默认为default。 描述 密钥的描述信息。 单击“创建命名空间”，可以新建命名空间。 密钥类型 根据业务需要选择新建的密钥类型。 Opaque：一般密钥类型。当密钥配置文件中未作显式设定时，默认的密钥类型是Opaque。 kubernetes.io/dockerconfigjson：存放拉取私有仓库镜像所需的认证信息。 IngressTLS：存放7层负载均衡服务所需的证书。 其他：若需要创建其他类型的密钥，请手动输入密钥类型。 镜像仓库地址 当“密钥类型”选择kubernetes.io/dockerconfigjson时有效。输入镜像仓库的地址。 密钥数据 应用密钥的文件data字段值。 当密钥为Opaque类型时，输入键、值。其中“值”必须使用Base64编码。单击“添加更多密钥数据”，可以增加密钥数据 。 当密钥为kubernetes.io/dockerconfigjson类型时，输入“镜像仓库地址”、“用户名”和“密码”。 当密钥为IngressTLS类型时，上传“证书文件”和“私钥文件”。 当密钥为其他类型时，输入“密钥类型”及对应的“键”、“值”。 密钥标签 标签以Key/value键值对的形式附加到各种对象上（如应用、节点、服务等）。 标签定义了这些对象的可识别属性，用来对它们进行管理和选择。 单击“添加标签” 。 输入键、值。 方式二：YAML。 若需要通过上传文件的方式创建资源，请确保资源描述文件已创建。ServiceStage支持yaml格式，详情请参考Secret资源文件配置说明。 a.在“所在集群”下拉框中，选择相应的集群。 b.（可选）单击“上传文件”，选择已创建的Secret类型资源文件后，单击“打开”。 请上传小于2MB的文件。 c.在“编排内容”中写作或者修改上传的Secret资源文件。 4、配置完成后，单击“创建”。 密钥列表中会出现新创建的密钥。

4. 单事件操作 “操作” 列支持点击「详情」查看事件更细致的上下文信息，或点击「研判」进行单事件的研判分析、处置决策等操作。 五、威胁事件详情 用于展示单条威胁事件的完整信息，助力安全人员深入分析威胁行为、溯源攻击路径并开展研判工作。 1. 威胁详情 “威胁事件详情” 页面可展示单条威胁事件的完整信息，包括事件风险等级、处置与研判状态、受影响终端、所属用户，还能呈现攻击过程中 “发起者 目标” 进程的交互细节（如进程路径、MD5、签名有效性等），并关联 ATT&CK 技战术，助力安全人员快速掌握威胁全貌、开展研判分析。 2. 威胁溯源 可视化展示当前威胁事件的风险进程链及威胁根因节点。 3. 研判日志 基于时间线倒序呈现威胁事件的研判日志。

云防火墙的应用场景及限制。 约束限制 CFW ALG标签功能受限。 CFW默认不开启网络层流量类型DDoS攻击与IP欺骗防御功能。 域名防护依赖于用户配置的域名服务器。默认域名服务器可能存在域名解析对应的IP地址不全，建议优先使用自定义域名服务器。 CFW长连接业务场景限制，配置策略的时候需要同时开启双向放通的安全策略，如果只开启单向策略，部分场景（开启和关闭防护、扩容引擎）需要客户端重新发起连接。 外部入侵防御 通过云防火墙，对已开放公网访问的服务资产进行安全盘点，可一键开启入侵检测与防御。 主动外联管控 云防火墙支持基于域名的访问控制，可对主动外联行为进行精准管控。 VPC间互访控制 云防火墙支持VPC间流量的访问控制，实现内部业务互访活动的可视化与安全防护。 等保合规 云防火墙可满足《网络安全等级保护2.0》中对区域边界防护、网络入侵防范、网络访问控制、安全日志审计等检查要求。

连接方式 IP地址 使用场景 说明 内网连接 内网IP地址 系统默认提供内网IP地址。 当应用部署在弹性云服务器上，且该弹性云服务器与RDSPostgreSQL实例处于同一区域，同一VPC时，建议单独使用内网IP连接弹性云服务器与关系型数据库实例。 安全性高，可实现RDSPostgreSQL的较好性能。 推荐使用内网连接。 公网连接 弹性公网IP 不能通过内网IP地址访问RDSPostgreSQL实例时，使用公网访问，建议单独绑定弹性公网IP连接弹性云服务器（或公网主机）与RDSPostgreSQL实例。 直接使用公网访问，灵活性好。但安全性不如内网连接。 推荐使用内网连接。 DMS连接 开箱即用，无需安装本地客户端，通过浏览器即可操作数据库，数据管理服务DMS提供的可视化管理功能，使得数据库管理变得更加简单和高效，降低用户的学习成本和操作难度。 操作便捷，无需其他服务器或软件即可随时随地连接实例。

对比维度 云硬盘EVS 弹性文件服务SFS 对象存储OBS 极速文件存储SFS Turbo 概念 云硬盘（Elastic Volume Service）可以为云主机提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务，可满足不同场景的业务需求，适用于分布式文件系统、开发测试、数据仓库以及高性能计算等场景。 SFS为用户提供一个完全托管的共享文件存储，能够弹性伸缩至PB规模，具备高可用性和持久性，为海量数据、高带宽型应用提供有力支持。适用于多种应用场景，包括HPC、媒体处理、文件共享、内容管理和Web服务等。 对象存储服务（Object Storage Service，OBS）提供海量、安全、高可靠、低成本的数据存储能力，可供用户存储任意类型和大小的数据。适合企业备份/归档、视频点播、视频监控等多种数据存储场景。 SFS Turbo为用户提供一个完全托管的共享文件存储，能够弹性伸缩至320TB规模，具备高可用性和持久性，为海量的小文件、低延迟高IOPS型应用提供有力支持。适用于多种应用场景，包括高性能网站、日志存储、压缩解压、DevOps、企业办公、容器应用等。 存储数据的逻辑 存放的是二进制数据，无法直接存放文件，如果需要存放文件，需要先格式化文件系统后使用。 存放的是文件，会以文件和文件夹的层次结构来整理和呈现数据。 存放的是对象，可以直接存放文件，文件会自动产生对应的系统元数据，用户也可以自定义文件的元数据。 存放的是文件，会以文件和文件夹的层次结构来整理和呈现数据。 访问方式 只能在ECS/BMS中挂载使用，不能被操作系统应用直接访问，需要格式化成文件系统进行访问。 在ECS/BMS中通过网络协议挂载使用。需要指定网络地址进行访问，也可以将网络地址映射为本地目录后进行访问。 可以通过互联网或专线访问。需要指定桶地址进行访问，使用的是HTTP和HTTPS等传输协议。 提供标准的文件访问协议NFS（仅支持NFSv3），用户可以将现有应用和工具与SFS Turbo无缝集成。 静态数据卷 支持 支持 支持 支持 动态数据卷 支持 支持 支持 不支持 主要特点 非共享存储，每个云盘只能在单个节点挂载。 共享存储，可提供高性能、高吞吐存储服务。 共享存储，用户态文件系统。 高性能、高带宽、共享存储。 应用场景 HPC高性能计算、企业核心集群应用、企业应用系统和开发测试等。说明高性能计算：主要是高速率、高IOPS的需求，用于作为高性能存储，比如工业设计、能源勘探等。 HPC高性能计算、媒体处理、内容管理和Web服务、大数据和分析应用程序等。说明高性能计算：主要是高带宽的需求，用于共享文件存储，比如基因测序、图片渲染等。 大数据分析、静态网站托管、在线视频点播、基因测序、智能视频监控、备份归档、企业云盘（网盘）等。 高性能网站、日志存储、DevOps、企业办公等。 容量 TB级别 PB级别 EB级别 TB级别 时延 1~2ms 3~20ms 10ms 1~2ms IOPS/TPS 单盘33K 2K 千万级 100K 带宽 MB/s级别 GB/s级别 TB/s级别 GB/s级别

本文介绍本地盘云主机的规格类型。 使用须知 本地盘云主机所在的物理机发生故障时，不支持弹性云主机的迁移恢复： 部分宿主机硬件故障或亚健康等场景，需要用户配合关闭ECS完成宿主机硬件维修动作。 本地盘云主机不支持规格变更。 本地盘云主机不支持本地盘的快照、备份和克隆。 可使用本地盘和云硬盘两类磁盘存储数据，通过挂载云硬盘，可以提供更大的存储空间。关于本地盘和云硬盘的使用，有如下约束与限制： 系统盘只能部署在云硬盘上，不可以部署在本地盘上。 数据盘可以部署在云硬盘和本地盘上。 本地盘云主机的本地磁盘数据有丢失的风险（比如宿主机宕机或本地磁盘损坏时），如果您的应用不能做到数据可靠性的架构，强烈建议您使用云盘搭建您的弹性云主机。 删除本地盘云主机后，本地盘中的数据会被自动清除，请提前做好数据备份。删除本地盘数据的时间较长，因此，资源释放的时间较之常规云主机略长。 由于本地盘数据的可靠性取决于物理服务器和硬盘的可靠性，存在单点故障风险，建议您在应用层做好数据冗余，以保证数据的可用性，需要长期保存的业务数据建议使用云硬盘存储。 对于本地盘云主机，关机后其基础资源（包括vCPU、内存、镜像）会继续收费。如需停止计费，需删除弹性云主机。 您不能单独购买本地盘，本地盘的数量和容量由您选择的弹性云主机规格决定，只能在创建本地盘云主机的同时购买本地盘。 ir3型弹性云主机的本地盘为拆分型本地盘，一块本地盘可能被多个弹性云主机使用。当本地盘损坏时，会影响多个弹性云主机。建议您在创建Ir3型弹性云主机时，将弹性云主机加入云主机组，避免出现一块本地盘损坏影响多个弹性云主机的情况。

定位业务异常问题难度大、效率低,一直是应用性能监控的性能瓶颈。应用性能监控通过结合调用链路和日志分析,可以快速、准确地定位业务异常问题,提升微服务框架下的开发诊断效率。 背景信息 在使用调用链路和日志分析定位业务异常问题前，需要先了解Metrics、Tracing和Logging三个概念。Metrics：应用的关键性能指标，如应用提供服务请求量、应用提供服务平均响应时间、应用依赖服务请求量等。 Tracing：调用链路，应用的任何接口调用、请求响应等动作都会绑定到完整的链路。 Logging：业务日志，应用的任何接口调用、请求响应等动作都会输出完整的业务日志。 当应用出现业务异常问题时，应用指标统计图会出现明显波动，您可据此粗略地分析异常问题；通过完整的调用链路和业务日志分析，可以精准定位业务异常问题。 开启日志设置 开启日志设置的操作步骤如下： 1. 登录APM控制台，在左侧导航栏选择应用监控 > 应用列表。 2. 在应用列表页面单击目标应用名称。 3. 在导航栏中单击应用设置，并在右侧页面单击日志开启设置页签。 4. 在日志开启设置区域开启关联业务日志与TraceId，并设置日志项目、日志单元、日志规则，如下图所示。 从应用指标的角度排查业务异常问题 在左侧导航栏单击应用总览，在顶部选择概览，然后在右上角选择或自定义设置目标时间段。 概览页面展示目标应用的关键指标，如应用提供服务请求量、应用提供服务平均响应时间、应用依赖服务请求量等。 1. 在调用链路列表面板选择状态异常的调用链路记录。 2. 单击该调用链路记录TraceId列下的TraceId值。 3. 单击查看日志，即可查看日志并定位业务异常原因

CPU使用率高 1. 如果是异常程序导致CPU使用率高，可以直接通过top命令终止进程。 在top命令运行同时，按下小写“k”键，输入要终止进程的PID后回车。例如，本文要终止PID为2的进程。 终止进程成功后，会显示如下类似的信息，按回车确认。 2. kswapd0是Linux内核中的后台进程，是内核内存管理子系统中的一部分，负责处理内存交换操作。它的主要目的是将不经常使用的内存页面交换到磁盘空间，以释放物理内存供其他进程使用。使用top命令查看kswapd0进程的资源使用情况。 ![751713423095758848[1].png]( 如果kswapd0处于睡眠状态，这表示系统当前的内存使用情况相对较好。 如果kswapd0处于运行状态（R状态），且运行时间较长，这可能暗示系统内存不足，初步判断正在进行持续换页操作，您可以增加内存进行系统规格的升级，或者对应用程序进行优化。 3. 使用vmstat命令进一步查看系统虚拟内存的使用情况，如果si和so的值较低，说明系统内存和交换空间的平衡状态良好；如果si和so的值较高，说明系统正在进行频繁换页操作，您可以增加内存进行系统规格的升级，或者对应用程序进行优化。 4. 当内存不足时，您可以关闭或减少大量内存的应用程序或进程，或者使用free、ps等命令进一步查询系统及系统进程的内存占用情况，再做进一步排查分析。 5. 您可通过在业务空闲期重启应用或者系统来释放内存，或者优化应用程序、配置大页内存来暂时缓解CPU使用率高的情况。如果要从根本上解决内存不足问题，建议您对服务器内存进行扩容。

本文介绍如何使用ECX部署OpenClaw飞书机器人。 注意 配置飞书机器人之前，请先确保已经购买ECX虚拟机并配置大模型服务。具体操作步骤，可参考指引：使用ECX部署OpenClaw。 创建飞书机器人并获取配置 1、登录++飞书开放平台++，创建企业自建应用。 2、添加机器人能力。 在左侧目录树选择“应用能力 > 添加应用能力”。 选择“按能力添加”页签，单击“机器人”能力卡片的“添加”按钮。 3、配置权限。 在左侧目录树选择“开发配置 > 权限管理”，单击“批量导入/导出权限”按钮。 在“导入”页签中，将如下权限替换原有示例，单击“下一步，确认新增权限”按钮。 plaintext { "scopes": { "tenant": [ "im:chat:read", "im:chat:update", "im:message.groupatmsg:readonly", "im:message.p2pmsg:readonly", "im:message.pins:read", "im:message.pins:writeonly", "im:message.reactions:read", "im:message.reactions:writeonly", "im:message:readonly", "im:message:recall", "im:message:sendasbot", "im:message:sendmultiusers", "im:message:sendsysmsg", "im:message:update", "im:resource" ], "user": [ "contact:user.employeeid:readonly" ] } } 在弹窗中确认权限无误后，单击“申请开通”按钮，完成操作。 4、获取配置信息。 在左侧目录树选择“基础信息 > 凭证与基础信息”。 在“应用凭证”模块中，获取并记录App ID与App Secret信息。 5、发布应用。 单击顶部的“创建版本”按钮。 按需配置应用版本号、默认能力及更新说明等信息。 单击页面底部的“保存”按钮，创建版本。 点击确认发布。

本小节将介绍函数实例伸缩遵循的规则与限制。用户可以根据按量模式和预留模式实例总数、实例扩容速度来配置实例弹性伸缩规则。 实例伸缩行为 当请求达到时，函数计算会优先使用已有的实例。当请求量超过可用实例的最大负载时，系统将创建额外的实例来处理更多的请求。随着请求量的增加，系统将持续扩容至满足业务需求，或达到设定的总实例数上限。 为函数配置预留实例后，总有一些实例处于就绪状态，有效避免实例冷启动带来的请求延时问题。当函数调用请求增加时，按量模式和预留模式实例的伸缩行为如下。 按量模式实例伸缩 函数计算将在以下情形下遭遇流控： 请求量突增，扩容速度跟不上时 请求量要求的实例数超过最大允许实例数时 情形①：请求量不至于过大，在达到突增实例数前，系统可以快速创建实例，此过程没有流控错误，但是存在冷启动。 情形②：请求量激增，达到突增实例数后，系统扩容速度受限，创建实例速度变慢，部分请求会收到流控错误。 情形③：实例数超过最大允许实例数限制后，部分请求收到流控错误。 预留模式实例伸缩 当大量请求突然涌入时，短时间内大量实例扩容速度受限，流控生效将导致部分请求失败，实例冷启动造成的请求延迟增加也会影响用户体验。为避免这些问题，您可以使用函数计算的预留模式，即提前准备好函数实例。 情形①：当请求量较低时，预留实例足以处理所有的请求，此阶段没有冷启动，也没有流控。 情形②：当请求量比较高时，预留实例只能处理部分请求，按量实例会由系统自动扩容出来，处理剩余的请求。此阶段按量实例存在冷启动。 预留实例定时伸缩

本文介绍了：云容器引擎发布Kubernetes 1.27版本说明。 社区 Kubernetes 版本主要变更 Kubernetes 1.27 Changelog 1. Pod 拓扑分布中的最小域数，计算 podTopologySpread 偏差时考虑污点/容忍度、滚动升级后关注 Pod 拓扑分布等特性升级至 Beta。 2. ReadWriteOncePod 功能升级为 Beta版。 3. 支持使用 Kubelet API 查询节点日志，可以查看节点上运行的服务的日志。 4. 服务器端字段校验和 OpenAPI V3 升级到 GA版，服务器端提供了 kubectl 校验的所有功能，OpenAPI v3提供了插件类型和 CRD 等方面的增强。 5. StatefulSet PVC 自动删除升级到 Beta版，该保留策略允许用户指定删除 StatefulSet 或缩减 StatefulSet的副本时，自动删除或保留从 StatefulSet规约模板生成的 PVC。 6. 加速 Pod启动，该版本通过并行拉取镜像、提高 Kubelet默认API每秒查询限值的方式提高 Pod的启动速度。 更多信息请参考：Kubernetes 1.27 Changelog Kubernetes 1.26 Changelog 1. iptables模式的kubeproxy后端可在大集群中更有效地处理 Service和 Endpoint的变更。 2. CSIMigrationvSphere 提到到 GA并锁定为开启，如果您需要 Windows、XFS或原始块支持，请不要升级到 Kubernetes 1.26版本，直到vSphere CSI 驱动支持当前版本。 3. CPU Manager 正式 GA，该特性支持容器独占 CPU。 4. Device Manager 正式 GA，设备插件框架允许在不修改 Kubernetes的情况下，实现对外部设备的发现、公布和分配。 5. 流量优化，优化内部节点本地流程和EndpointSlice 正式 GA，ProxyTerminateEndpoints 升级到 Beta。 6. Pod 引入 schedulingGates 特性优化 Pod 调度，通过该特性让调度器感知何时可以进行 Pod调度。 7. 支持挂载时将 Pod fsGroup 传递给 CSI驱动程序正式 GA。 8. 节点非体面关闭进入 Beta 阶段，该特性允许 kubelet 检测节点关闭事件，并在关闭之前终止该节点上的 Pod并释放资源。 更多信息请参考：Kubernetes 1.26 Changelog

本文将向您介绍如何使用边缘安全加速平台安全与加速服务提供的IP情报库功能。 功能介绍 支持针对已维护的IP信誉库，从威胁类型维度（IDC服务器、傀儡机、漏洞利用等十几类）进行IP封禁，目前IP信誉库已维护接近120万条数据。 注意 注意：目前控制台尚未开放IP情报规则功能，如有防护需求请通过 前提条件 已经订购边缘安全加速平台安全与加速服务，若未订购，请参见服务开通。 在控制台新增域名，请参见添加服务域名。 购买Bot防护扩展服务，支持IP情报库相关功能。 背景信息 目前天翼云边缘安全加速平台安全团队通过大数据分析技术，并基于内置的评分机制对历史攻击数据进行威胁评定，生成IP信誉库，其中恶意IP包含了漏洞利用、扫描机、傀儡机、垃圾邮件、可疑、失陷主机、暴力破解、代理、远控、僵尸网络、劫持、钓鱼、恶意软件13种威胁类型，统计IP数量接近120万。 设置IP情报规则 支持通过威胁类型维度针对恶意IP进行监控或拦截的操作，支持配置多条防护规则。 配置项 说明 开关 控制规则为开启/关闭状态 处理动作 支持配置拦截或监控 拦截：对IP访问请求进行拦截处理 监控：不对请求拦截，但是会生成攻击日志 规则名称 支持设置规则名称 防护范围 将通过选择IP可信度、严重级别、威胁类型来配置IP情报防护规则，对同时满足三个配置的IP处理 可信度：即情报的可信度，针对已收录的IP情报，边缘云WAF安全团队将基于内置评分机制进一步验证，根据验证结果评定可信程度为高、中、低 严重级别：恶意IP的严重级别，有严重、高、中、低 威胁类型：漏洞利用、扫描机、傀儡机、垃圾邮件、可疑、失陷主机、暴力破解、代理、远控、僵尸网络、劫持、钓鱼、恶意软件，支持多选

本文介绍DRDS怎么进行分片。 DRDS通过数据分片的方式，将业务数据拆分到多个MySQL实例上进行分片存储。 逻辑库 用户创建逻辑库时，可以自行选择哪些MySQL存储该库及每个MySQL上存储几个分片。 逻辑表 DRDS支持全局表、分片表、单片表、库内分表、库内分桶等表类型，DRDS支持简单Hash、字符串哈希、范围哈希、枚举哈希等多种分片算法。用户创建逻辑表时，根据实际情况需求进行创建，创建时需要指定表类型、哪个字段作为分片键、分片算法。 全局表，表存储在所有MySQL上，每个MySQL都包含该表的全量数据。 分片表，表按分片的方式存储在MySQL上，每个MySQL存储该表的一部分数据。 单片表，表只存储在其中一个MySQL的一个分片上。 库内分表，表经过分片后，仍然很大，则可以对表再次进行拆分，选定另一个字段作为库内分表的分片键进行拆分存储。库内分表也属于分片表。 库内分桶，表经过分片后，仍然很大，对表进行再次拆分，不过拆分方式是按分桶的方式进行拆分，区别于库内分表需要选定另一个字段作为分片键，库内分桶不需要指定另一个字段，只要指定分桶数量。 分片建议 用户在进行数据分片之前，建议考虑事务、分布式JOIN等场景，尽量将事务边界范围缩小到单个MySQL分片上，尽量避免分布式JOIN、跨库JOIN。 建议同一个业务中心的表，按照同一个维度进行数据拆分，比如用户中心，都按照用户ID进行分片，这样使用的时候可以最大程度减少分布式事务、分布式JOIN的情况，降低系统负载。 全局表适合存储配置类数据（比如菜单、区域）类型的表，数据量不大，表变更极少。 分片表适合于超大表，建议千万级以上大表才使用分片表。 数据量小（少于千万级）的表，建议使用单片表即可。 使用DRDS时，建议所有SQL语句的查询条件都能携带分片键，这样可以达到最高的执行效率，避免SQL广播。

选择合理的分片键 分片键的选取需要保障数据分布足够离散，每个分片的存储容量均衡，并能够将数据操作均匀分发到集群中的所有分片中。 如果分片键选取不佳，可能会导致各个分片负载不均，出现 jumbo chunk 导致无法分裂等问题。而且分片键一旦确定之后，不能在运行过程中进行变更，需要按新分片键创建新表后重新导入数据。 一般选取分片键时，会考虑以下因素： 分片键的区分度 分片键的取值基数决定了最多能包含多少个 chunk，如果取值基数太小，则会导致 chunk 数量很低，可能会有负载不均的问题。比如按照“性别”来设置分片键就不是合理的选择，因为 “性别” 只有 “男”、“女” 2 种取值，这样最多 2 个 chunk。 分片键的取值分布是否均匀 如果分片键的取值存在热点，也可能导致分片负载不均。比如以 “国家” 作为片建，会由于各个国家之间人口的差异出现负载不均，人口多的国家存储量大请求多，而人口少的国家存储量小请求少。对于这种场景，可以考虑使用复合键来作为分片键，降低出现热点的概率。 是否会按照分片键单调写入 如果业务按照分片键递增或者递减的趋势进行读写，则可能在某一时刻请求集中在某个 chunk 上，无法发挥集群多个分片的优势。比如对于存储日志的场景，如果按照日志创建时间进行范围分片，则在某一时间内一直对同一个 chunk 进行写入。对于这种场景，可以考虑复合分片键或者哈希分片来避免这种情况。 查询模型是否包含分片键 在确定分片键后，需要考虑业务的查询请求中是否包含有分片键。mongos 节点会根据查询请求中的分片键将请求转发到对应的 shard server 中。如果查询请求中不包含分片键，则 mongos 节点会将请求广播到后端的所有 shard server，进行 scatter/gather 模式的查询，此时查询性能会有所下降。

本小节主要介绍RDSPostgreSQL的pgrepack插件使用方法。 操作场景 RDSPostgreSQL支持通过 pgrepack 插件在线清理表空间，有效解决因对全表大量更新等操作引起的表膨胀问题。pgrepack无需获取排它锁，相比CLUSTER或VACUUM FULL更加轻量化。 前提条件 请确保您的实例内核大版本满足，本插件所支持的内核版本，请参考支持的版本插件列表。 注意事项 pgrepack需要额外的存储空间。全表repack时，剩余存储空间大小需要至少是待repack表大小的2倍。 pgrepack无法操作临时表。 pgrepack无法操作GiST索引。 重建表和索引时会占用较多的磁盘IO，使用时请提前评估是否影响业务。 在pgrepack运行期间，目标表上不能执行除vacuum和analyze之外的任何DDL指令。 插件使用 安装插件 CREATE EXTENSION IF NOT EXISTS pgrepack; 卸载插件 DROP EXTENSION IF EXISTSpgrepack; 使用示例 使用 pgrepack插件清理表。 1. 创建测试表 sql create table pgrepacktest(id bigint primary key, name varchar); insert into pgrepacktest select i , tochar(random()100000, 'FM000000') from generateseries(1, 1000000) i; delete from pgrepacktest where id in (select i from generateseries(1, 600000, 2) i); select pgsizepretty(pgrelationsize('pgrepacktest')); 2. 清理测试表 shell cd . setenv.sh cd bin ./pgrepack host port dbname usernameroot nosuperusercheck nokillbackend t pgrepacktest ：RDSPostgreSQL实例的安装目录 ：RDSPostgreSQL实例的IP地址。 ：RDSPostgreSQL实例的端口。 ：表pgrepacktest所在的数据库。 3. 查看清理后的表大小 sql select pgsizepretty(pgrelationsize('pgrepacktest'));

本文主要介绍数据库代理基本概念。 什么是数据库代理 RDS PostgreSQL数据库代理是为数据库提供读写分离功能的组件，可以使用一个连接地址实现读写请求的自动转发。 适用场景 请求量非常大，导致数据库实例负载过高的场景。 连接数非常多，导致数据库实例负载过高的场景。 只读场景或其他隔离需求。 读写分离优势 自动读写分离 提供数据库代理地址，通过该地址即可自动实现读写请求的转发，无需手动配置和维护多个地址，同时，数据库原生的访问方式不受影响。 RDS读写分离功能提供一个数据库代理地址，您连接该地址后即可对主实例和只读实例进行读写操作，读写请求被自动转发到对应实例，可降低维护成本。 自动配置 在添加和删除只读实例的场景，数据库代理应用程序无需做任何修改，即可自动更新配置。 自动检测 数据库代理会实时对主实例以及只读实际进行检查，当发现某个实例或节点出现异常或者节点延迟超过阈值时，将不再分配读请求给该实例，读写请求在剩余的健康实例间进行分配，保障故障情况下的可靠性。 注意 只支持为高可用实例开通代理，不支持单节点实例、只读实例开通代理。 数据库代理、只读实例和主实例均独立收费，三者互不干扰。相关计费详情，请参考： 当主实例变更配置或增删只读实例时可能会出现连接闪断。 开启数据库代理后，新增只读实例或只读实例重启，只有新的连接的请求才会转发到新的只读实例或重启的只读实例，旧的连接请求不会变化。 退订代理不会对数据库实例产生影响，数据库实例原有的访问方式不受影响。 退订主实例将会同时退订实例的数据库代理。 数据库代理功能当前仅在部分资源池开放，开放资源池可见

进度监控接口 通过实现上传过程监控接口，从而可以在上传过程中掌握您的大文件上传进度。常用的监听事件有： REQUESTCONTENTLENGTHEVENT（要在请求中发送的对象内容长度的事件） TRANSFERSTARTEDEVENT（上传开始事件） TRANSFERPARTSTARTEDEVENT（开始上传分片事件） TRANSFERPARTCOMPLETEDEVENT（分片上传完毕事件） TRANSFERCOMPLETEDEVENT（上传完毕事件） TRANSFERFAILEDEVENT（上传失败事件） TRANSFERPARTFAILEDEVENT（上传分片失败事件） 当有相应场景发生时progressChanged，则会产生相应的事件回调，即可调用您的监控代码从而掌握对象的上传进度。 以下为进度监控代码。 java ProgressListener progressListener new ProgressListener() { private long totalBytes 1; private long transferredBytes 0; private long startTime System.currentTimeMillis(); private final Object lock new Object(); // 用于线程安全更新进度 @Override public void progressChanged(ProgressEvent event) { switch (event.getEventType()) { case REQUESTCONTENTLENGTHEVENT: totalBytes event.getBytes(); System.out.printf("总大小: %,d bytes%n", totalBytes); break; case TRANSFERSTARTEDEVENT: System.out.println("[开始] 文件传输启动"); startTime System.currentTimeMillis(); break; case CLIENTREQUESTSUCCESSEVENT: System.out.printf("[秒传] 文件已存在服务端 (大小: %.2fMB)%n", event.getBytes() / 1024.0 / 1024); break; case TRANSFERPARTSTARTEDEVENT: long encodedStart event.getBytes(); int partNumber (int) (encodedStart >> 32); long partSize encodedStart & 0xFFFFFFFFL; System.out.printf("[分片] %d 开始上传 (大小: %.2fMB)%n", partNumber, partSize / 1024.0 / 1024); break; case TRANSFERPARTCOMPLETEDEVENT: long encodedComplete event.getBytes(); long actualBytes encodedComplete & 0xFFFFFFFFL; synchronized (lock) { transferredBytes + actualBytes; } printProgress(); break; case TRANSFERCOMPLETEDEVENT: System.out.println("n[完成] 所有分片上传成功"); printFinalStats(); break; case TRANSFERFAILEDEVENT: System.err.println("n[失败] 文件传输异常终止"); printFinalStats(); break; case TRANSFERPARTFAILEDEVENT: long encodedFail event.getBytes(); int failedPart (int) (encodedFail >> 32); System.err.printf("[异常] 分片

普通上传 媒体存储支持普通上传的方式。可以上传小于5GB的文件，推荐上传小于2GB的文件。 使用方式 操作途径 使用方式 SDK 媒体存储支持多种语言SDK，请从SDK概览页面选择进入对应的开发指南查阅。 原生接口 可参考：上传对象。 分片上传 通过分片上传，用户可以最大程度提高上传效率同时避免任务失败。分片上传允许将单个对象按照一定的大小分割成多个数据分片，作为一组分片分别上传。 用户可以独立上传或者按任意顺序上传对象的分片。如果其中某个分片传输失败，可以重新传输该分片且不会影响其他分片。 当对象的所有分片都上传后，媒体存储会将这些分片合并起来，然后创建该对象。 适用场景 大文件加速上传，对于大小超过5GB的对象推荐使用分片上传以加快上传速度 网络不稳定或较差时，推荐使用分片上传，当出现上传失败的时候，用户仅需重传失败的分片。 分片上传流程 1. 初始化分片上传任务：开始分片上传时，媒体存储将首先初始化分片上传任务并返回分片上传的唯一标识符uploadId。无论您何时上传分片、合并分片或取消分片上传任务，都必须包括此上传uploadId。 2. 上传每个分片：上传分片时，每一个分片的顺序是通过上传过程中指定的partNumber来确定，所以除了指定uploadId，还必须指定分片编号partNumber，partNumber的数量在初始化时自动决定。用户可以并发上传这些碎片，可结合本地网络状况和设备能力综合考虑并发个数。 3. 合并分片：合并分片时，媒体存储通过按升序的分片编号规范化分片来创建对象。成功完成请求后，分片将不再存在。用户可以选择取消分片上传任务，之后无法再次使用该上传ID上传任何分片，同时已上传的部分将形成文件碎片并占用存储空间。如果任何分片上传已在进行中，即使用户已执行中止操作，它们仍可以上传成功或失败。

本页简要介绍了分布式融合数据库HTAP的产品定义。 分布式融合数据库HTAP是既支持在线事务处理 (OLTP) 又支持在线分析处理 (OLAP) 的融合型云原生分布式数据库，具有兼容MySQL协议、高性能、实时分析的特点，适用于数据规模大、高可用、高吞吐等业务场景。 分布式融合数据库HTAP主要由管理节点、计算节点和存储节点组成，整体技术架构如下： 管理节点：整个集群的元信息管理模块，负责存储集群元信息（包括整体拓扑结构和节点实时的数据分布情况），为分布式事务分配事务 ID，同时还会根据存储节点实时上报的数据分布状态，下发数据调度命令给具体的存储节点。管理节点集群由 3 个管理节点构成，具备高可用能力。 计算节点：SQL 层，支持 MySQL 协议，负责接收客户端的连接，执行 SQL 解析和优化，最终生成分布式执行计划，将实际的数据读取请求转发给底层的存储节点。计算节点本身是无状态的，多个计算节点构成计算节点集群，通过负载均衡组件（如 LVS、HAProxy 或 F5）对外提供统一的接入地址。 存储节点 行存节点：一个支持事务的分布式KeyValue存储引擎，负责存储数据。数据按范围分片存储，每个数据分片负责存储一段 Key 范围（从 StartKey 到 EndKey 的左闭右开区间）的数据，每个行存节点会负责多个数据分片。行存节点 API 原生支持分布式事务，默认提供了 SI (Snapshot Isolation) 的隔离级别，是SQL 层支持分布式事务的核心基础。SQL 层做完 SQL 解析后，会将 SQL 的执行计划转换为对行存节点 API 的实际调用。另外，行存节点中的数据都会自动维护多副本（默认为三副本），天然支持高可用和自动故障转移。 列存节点：一类可选的存储节点，其内部以列式的形式存储数据，主要的功能是为分析型的场景加速。

问题现象 已知存在某DLI表，但在DLI页面查询不到该表。 问题根因 已有表但是查询不到时，大概率是因为当前登录的用户没有对该表的查询和操作权限。 解决措施 联系创建该表的用户，让该用户给需要操作该表的其他用户赋予查询和操作的权限。赋权操作如下： 1.使用创建表的用户账号登录到DLI管理控制台，选择“数据管理 > 库表管理”。 2.单击对应的数据库名称，进入到表管理界面。在对应表的“操作”列，单击“权限管理”，进入到表权限管理界面。 3.单击“授权”，授权对象选择“用户授权”，用户名选择需要授权的用户名，勾选对应需要操作的权限。如“查询表”、“插入”等根据需要勾选。 4.单击“确定”完成权限授权。 5.授权完成后，再使用已授权的用户登录DLI控制台，查看是否能正常查询到对应表。 OBS表压缩率较高 当Parquet/Orc格式的OBS表对应的文件压缩率较高时（跟文本相比，超过5倍压缩率），建议在提交导入数据到DLI表作业时，在submitjob请求体conf字段中配置“dli.sql.files.maxPartitionBytes33554432”，该配置项默认值为128MB，将其配置成32MB，可以减少单个任务读取的数据量，避免因过高的压缩比，导致解压后单个任务处理的数据量过大。 如何避免字符码不一致导致的乱码 DLI只支持UTF8文本格式。 执行创建表和导入操作时，用户的数据需要是以UTF8编码。 删除表后再重新创建同名的表，需要对操作该表的用户和项目重新赋权 问题场景 A用户通过SQL作业在某数据库下创建了表testTable，并且授权testTable给B用户插入和删除表数据的权限。后续A用户删除了表testTable，并重新创建了同名的表testTable，如果希望B用户继续保留插入和删除表testTable数据的权限，则需要重新对该表进行权限赋予。

FusionInsight HD和Apache Hadoop数据源约束 FusionInsight HD和Apache Hadoop数据源在用户本地数据中心部署时，由于读写Hadoop文件需要访问集群的所有节点，需要为每个节点都放通网络访问。 数据仓库服务(DWS) 和FusionInsight LibrA数据源约束 DWS主键或表只有一个字段时，要求字段类型必须是如下常用的字符串、数值、日期类型。从其他数据库迁移到DWS时，如果选择自动建表，主键必须为以下类型，未设置主键的情况下至少要有一个字段是以下类型，否则会无法创建表导致CDM作业失败。 1. INTEGER TYPES：TINYINT，SMALLINT，INT，BIGINT，NUMERIC/DECIMAL 2. CHARACTER TYPES：CHAR，BPCHAR，VARCHAR，VARCHAR2，NVARCHAR2，TEXT 3. DATA/TIME TYPES：DATE，TIME，TIMETZ，TIMESTAMP，TIMESTAMPTZ，INTERVAL，SMALLDATETIME DWS字符类型字段认为空字符串（''）是空值，有非空约束的字段无法插入空字符串（''），这点与MySQL行为不一致，MySQL不认为空字符串（''）是空值。从MySQL迁移到DWS时，可能会因为上述原因导致迁移失败。 使用GDS模式快速导入数据到DWS时，需要配置相关安全组或防火墙策略，允许DWS/LibrA的数据节点访问CDM IP地址的25000端口。 使用GDS模式导入数据到DWS时，CDM会自动创建外表（foreign table）用于数据导入，表名以UUID结尾（例如：cdmtestaecf3f8n0z73dsl72d0d1dk4lcir8cd），作业失败正常会自动删除，极端情况下可能需要用户手工清理。 对象存储服务（OBS ）数据源约束 1. 迁移文件时系统会自动并发，任务配置中的“抽取并发数”无效。 2. 不支持断点续传。CDM传文件失败会产生OBS碎片，需要用户到OBS控制台清理碎片文件避免空间占用。 3. 不支持对象多版本的迁移。 4. 增量迁移时，单个作业的源端目录下的文件数量或对象数量，根据CDM集群规格分别有如下限制：大规格集群30万、中规格集群20万、小规格集群10万。如果单目录下文件或对象数量超过限制，需要按照子目录来拆分成多个迁移作业。

本节主要介绍概述 库管理功能面介绍 库管理 功能面编号说明 功能名称 说明 :: 库信息 显示当前库名称、IP地址、字符集和可跳转的SQL窗口。 Schema列表 通过不同的Schema，在同一数据库下设置不同的模式管理数据。 对象列表 包括表、视图、存储过程、触发器和序列五部分。 元数据采集 允许DAS仅自动采集实例中的库名、表名、字段名等结构定义数据（不包含您的表里的实际数据）。 说明 实例表过多时，系统不会发起元数据采集，也不加载表列表，避免对数据库性能产生影响。 列表详情 各对象的实际操作区域。 说明 进入库管理页面有2种方式： 您可从顶部导航菜单栏，单击“库管理”进入管理页面。 您也可从首页数据库列表操作栏中，单击“库管理”进入管理页面。 对象列表 PostgreSQL数据库主要对表、视图、存储过程、触发器和序列等对象进行管理。本数据库不提供可视化的窗口创建对象，若您想新建对象，请直接在SQL窗口中创建。 表管理具体操作指导，请参考表管理。 视图管理具体操作指导，请参考视图管理。 存储过程管理具体操作指导，请参考存储过程管理。 触发器管理具体操作指导，请参考触发器管理。 序列管理具体操作指导，请参考序列。

数据库类型 支持的数据库名称 支持的版本 审计/会话阻断 命令阻断 可以指定特定返回行数阻断 动态脱敏 运维审批 通用数据库 Oracle 8i9i10g11g12c18c19c21c √ √ √ √ √密码代填 通用数据库 MySQL 4.04.15.05.15.55.65.78.0 √ √ √ √ √密码代填 通用数据库 MSSQL SQL Server 200020052008R220122014201620172019 √ √ √ √ √ 通用数据库 Sybase ASE 11.912.5 √ √ × × √ 通用数据库 DB2 v80v81v82v95v97v10.5v11.1v11.5 √ √ × √ √ 通用数据库 Informix IDS9 √ √ × × √ 通用数据库 Oscar 5.55.77.0 √ √ × × × 通用数据库 达梦（DM) DM7DM8 √ √ × √ √密码代填 通用数据库 Cache 20162010 √ √ × × √ 通用数据库 PostgreSQL 91011121314 √ √ √（PG14暂不支持） √ √密码代填 通用数据库 Teradata 所有版本 √ √ × × √ 通用数据库 人大金仓 （Kingbase） V6V7V8 √ √ × × √密码代填 通用数据库 GBase 8.5a8.8S √ √ × × √密码代填 通用数据库 MariaDB 5.15.25.35.510.010.110.210.3 √ √ √ √ √密码代填 通用数据库 Hana 1.02.0 √ √ × × × 通用数据库 MongoDB 2.X3.X4.X5.X √ √ × × × 通用数据库 Gaussdb 100200 √ × × × √密码代填 通用数据库 Greenplum（类pg，分布式） 56 √ × × × √密码代填 通用数据库 TIDB 4.X5.X6.X √ × × × √密码代填 通用数据库 Vertica 7891011 √ × × × √ 通用数据库 GoldenDB 所有版本 √ × × × √密码代填 通用数据库 UXDB 2.1.1.4 √ √ √ √ √密码代填 通用数据库 Doris 2.1.0 √ √ × × √密码代填 通用数据库 虚谷 11.0 √ × × × × 通用数据库 HighGo 6.0 √ √ × × √密码代填 通用数据库 OceanBase 2.x3.x4.x √ √ √ √ √密码代填 大数据 HBase （protopuf） 所有版本 √ × × × × 大数据 HBase （thrift） thrift1thrift2 √ √ × × × 大数据 Hive 1.11.2 √ √ × √ √ 大数据 Elasticsearch 所有版本 √ × × × × 大数据 Impala 3.X √ × × × × 大数据 Spark SQL （thrift） 1.x2.x √ × × × × 大数据 Spark SQL （RESTful） 1.x2.x √ × × × × 大数据 Clickhouse（jdbc） 所有版本 √ × × × × 大数据 Presto 所有版本 √ × × × × 大数据 Tdh（星环） 5.x √ √ × √ √ 大数据 ODPS/HTTP (MaxCompute) 所有版本 √ √ × × × 其他 HTTP 所有版本 √ × × × × 其他 Trino 所有版本 √ × × √（仅限密码认证的方式） × 天翼云数据库 TeledbMysql 所有版本 √ √ √ √ √密码代填 天翼云数据库 TeledbPostgreSQL 所有版本 √ √ √ √ √密码代填

本文以自建Elasticsearch 7.10.2版本迁移至天翼云Elasticsearch实例为例子,介绍如何使用天翼云Logstash实现迁移Elasticsearch实例的数据。 Logstash 是一个开源的数据处理管道工具，广泛用于数据收集、处理和传输。它通常作为“ELK Stack”（Elasticsearch、Logstash、Kibana、Beats）的一个核心组件，用于处理结构化和非结构化数据。 天翼云Logstash可以实现将源Elasticsearch实例（如天翼云、自建或第三方Elasticsearch实例）中的数据迁移至天翼云Elasticsearch实例。在升级实例版本、实例架构调整、或跨区域的实例数据迁移时，可以选择使用天翼云Logstash迁移源Elasticsearch实例数据。 Logstash的方式迁移数据支持跨大版本，且迁移方式灵活，下表是支持的集群版本： 源目标 Elasticsearch7.10.2 OpenSearch2.19.1 Elasticsearch6.x √ √ Elasticsearch7.x小于7.10.2 √ √ Elasticsearch7.x大于7.10.2 √ √ Elasticsearch8.x √ √ 本文以自建Elasticsearch 7.10.2版本迁移至天翼云Elasticsearch实例为例子。 前提条件 已经创建天翼云Elasticsearch实例。 已经在创建的Elasticsearch实例中加装了Logstash实例。 加装Logstash能够通过内网或公网访问需要迁移的源Elasticsearch实例。 Logstash工作模型 Logstash工作模型核心部分为三部分：输入（Input）、过滤器（Filter）、输出（Output），按照配置管道文件的顺序对数据进行提取、处理转换、输出。 1.输入（Input）：Logstash支持多种数据输入源，如文件、数据库、消息队列以及Elasticsearch等。在我们的场景中，源Elasticsearch实例就是输入数据源。Logstash会批量提取源Elasticsearch实例中的数据。 2.过滤器（Filter）：过滤器是可选的，用于对输入数据进行实时处理和转换。它提供了一些强大的插件，可以对数据进行解析、变换、裁剪或其他操作。在我们的场景中，可以选择是否使用过滤器来处理迁移中的数据，例如删除源数据中不需要迁移的字段等操作。 3.输出（Output）：Logstash的输出插件负责将处理后的数据写入到目标位置，这可以是文件、数据库、消息队列，或者像本例中的天翼云Elasticsearch实例。

功能介绍 对于某些行业客户，在大模型训练时会涉及到保密数据的处理问题，比如需要避免用户下载到本地造成数据泄漏。针对这一问题，平台推出了特色的数据保密功能，以应对用户下载或拷贝保密数据的行为。 平台主要从数据集限制+操作审计两方面进行限制： 数据集限制：保密数据相关的实现依赖平台数据集功能，将需要保密的数据集打上保密标签，对此数据集进行限制。 容器外，根据用户身份严格限制平台的数据操作权限； 容器内，创造断外网的沙箱环境防止下载到本地，并严格限制读写，任务执行者仅可写入到管理员可控的安全存储中。 云审计：将用户的所有命令操作记录到云审计，并对可能涉及拷贝的敏感操作进行标识，给到客户主管人审核确认。 前置条件 1. 存储准备：已在天翼云开通对象存储或HPFS，并在本平台完成委托授权。 2. 其他限制：您是管理员用户（包括主账号、IAM管理员、工作空间管理员）。 操作说明 1. 创建仅管理员可控的安全存储 保密数据集可工作的一个重要前提是限制写操作仅写入到保密输出路径中，这就要求输出路径是智算平台管理员完全可控的存储。 管理员（需有存储控制台相应权限）首先登录存储控制台，根据所使用的存储类型（ZOS或HPFS），创建保密数据集与保密输出路径。保密数据集是指您含有保密信息的数据集；保密输出路径是指当用户使用保密数据时，您指定的写入路径，建议您创建一个空文件夹专用于输出，并对不同的任务创建不同的输出路径。 注意：主账号天然是各产品的管理员，拥有所有权限。但对于子账号，在本平台拥有管理员权限不代表在存储控制台拥有管理员权限，子账号如需存储控制台权限，需要主账号进入IAM授予相应的权限。建议您只给信任的用户授予存储控制台的操作权限，否则可能造成数据泄漏等事故。

代理的部署环境 部署代理软件的环境、网络和机器配置如下，建议您阅读后，根据实际需要进行代理的部署。 系统与架构 Linuxamd64 CentOS7.9、CtyunOS 23.01、CtyunOS 2.0.1、CtyunOS 22.06 网络要求 部署zmsmaster服务的机器必须联通公网，以供与对象迁移服务（ZMS）服务通信，与ZMS服务通信公网带宽不低于10Mbps即可。 部署zmsworker服务的机器必须可联通源端、目的端的对象存储服务，公网、内网或专线均可。 部署zmsmaster服务的机器与zmsworker服务的机器之间必须联通。 推荐配置 无论单台部署或分布式部署，每台机器的配置，我们推荐以下两种常见的配置组合： 服务器配置 zmsworker服务并发数（processnums） 网络带宽下限 4核心8GB内存 （系统盘不低于60GB） 建议值为6 不小于30Mbps即可 8核心16GB内存 （系统盘不低于60GB） 建议值为12 不小于60Mbps即可 zmsworker服务并发数（processnums）的调优：并发数配置最多不能超过机器核心数的1.5倍。 如何针对源端数据模型调整配置： 大文件较多的场景 ：迁移速度的主要瓶颈是网络带宽，建议配置较大的网络带宽进行迁移。 存在大量小文件（<1KB）的场景 ：迁移速度的主要瓶颈为CPU核心数，建议配置教多核心数的CPU机器，通常在8核心以上。 如何推算需要多少台机器进行部署： 计算原则 ：所需机器数量预期迁移总带宽÷单台机器的网络带宽 例如：您预期本项目需要总共1000Mbps的公网带宽，你可提供机器的单台公网带宽为200Mbps，则您总共需要5台机器来部署（5台1000Mbps÷200Mbps）。 注意 建议您针对源端数据模型的特征，选择合适的机器配置，通过迁移前的测试，进一步调整并发数（processnums）的配置，以此实现更好的迁移效果。 如何部署代理

本节主要介绍如何进行容量调整。 当用户认为文件系统的总容量不足或太大时，用户可以通过执行扩容或缩容操作来增加或者缩减文件系统的容量。容量调整规则如下： 增加容量规则：扩容后的文件系统的总容量 该文件系统已使用的容量。例如，云帐号B已创建文件系统SFS1，该文件系统的总容量为50TB，当前使用容量为10TB。当用户执行缩容操作时，设置的新容量数值不能小于10TB。 操作步骤 1、登录天翼云控制中心； 2、在产品列表中选择“弹性文件服务”； 3、在文件系统列表中，单击指定文件系统所在行的“容量调整”，弹出“容量调整”对话框； 4、根据业务需要，在“新容量”文本框中重新设置文件系统的容量，单击“确定”。具体设置要求如下表所示： 参数 说明 :: 当前容量(GB) 当前文件系统的容量。 新容量(GB) 扩容或缩容后文件系统的容量。取值范围： 输入值不能等于当前容量。 输入值是1~512000之间的整数。 5、在弹出对话框中确认容量调整信息后，单击“确定”； 6、在文件系统列表中查看文件系统调整后的容量信息。

循环控制器 1、登录性能测试控制台，在左侧导航栏中选择“测试工程”。 2、在待编辑性能测试测试工程所在行，单击工程名称进入测试工程详情页面。 3、选择“测试用例”页签，在左侧“用例列表”下选择待添加循环控制器的用例。 4、在“用例步骤”页签下，单击添加“更多 > 循环控制器”。 5、设置参数。 循环次数：设置循环执行次数，输入大于等于1的值。 退出条件：请求满足该条件，跳出循环。表达式和对比值均支持变量和字符串，暂不支持多个条件组合使用，如需使用集合或多对比值的匹配，可使用正则表达式。 6、单击“添加更多”，增加循环体执行内容。 条件判断 2、在待编辑性能测试测试工程所在行，单击工程名称进入测试工程详情页面。 3、选择“测试用例”页签，在左侧“用例列表”下选择待添加条件判断的用例。 5、设置参数。 判断条件：请求满足该条件，执行该条件控制器定义的请求、事务或其他逻辑控制器。表达式和对比值均支持变量和字符串，暂不支持多个条件组合使用，如需使用集合或多对比值的匹配，可使用正则表达式。 6、单击“添加更多”，增加满足条件后执行的请求、事务或其他逻辑控制器。 集合点 集合点的目的是阻塞并发，直到X个并发被阻塞或达到等待时间，然后它们都被一次释放。因此，集合点可以在测试用例的不同点创建大的即时负载。 1、登录性能测试控制台，在左侧导航栏中选择“性能测试测试工程”。 2、 在待编辑性能测试测试工程所在行，单击工程名称进入测试工程详情页面。 3、选择“测试用例”页签，在左侧“用例列表”下选择待添加集合点的用例。 4、在“用例步骤”页签下，单击添加“更多 > 集合点”。 5、设置参数。 等待时间（ms）：在集合点等待的时长。 并发数：用户数累积到并发数，释放在集合点等待的用户。 添加并发权重控制器、吞吐量控制器