参数 是否必填 参数类型 说明 示例 下级对象 regionID 是 String 资源池ID 88f8888888dd88ec888888888d888d8b groupID 是 Integer 伸缩组ID 489 name 否 String 伸缩组名称 fcggrouptest minCount 否 Integer 最小云主机数，取值范围：[0,50] 1 maxCount 否 Integer 最大云主机数，取值范围：[minCount,2147483647] 50 expectedCount 否 Integer 期望云主机数，取值范围：[minCount,maxCount]，非多可用区资源池不支持该参数 1 useLb 否 Integer 是否使用负载均衡，1：是 2：否 2 healthPeriod 否 Integer 健康检查时间间隔（周期），单位：秒，取值范围：[300,10080] 300 securityGroupIDList 否 Array of Strings 安全组ID列表，非多可用区资源池不使用该参数 ['sgnw15npxgkd'] lbList 否 Array of Objects 负载均衡列表 lbList mazInfo 否 Array of Objects 【Deprecated】多可用区资源池的实例可用区及子网信息。mazInfo和subnetIDList参数互斥，如果资源池为多可用区时使用mazInfo则不传subnetIDList参数 mazInfo subnetIDList 否 Array of Strings 子网ID列表。支持一主多辅，最大支持输入5个网卡信息，顺序第一个网卡信息默认主网卡。mazInfo和subnetIDList参数互斥。修改subnetIDList会将mazInfo信息清空。 ['a8ffac57354b41afb85353b5cded4957'] moveOutStrategy 否 Integer 实例移出策略。取值范围：1：较早创建的配置较早创建的云主机2：较晚创建的配置较晚创建的云主机3：较早创建的云主机4：较晚创建的云主机 1 recoveryMode 否 Integer 实例回收模式。取值范围：1：释放模式。 1 healthMode 否 Integer 健康检查方式。取值范围：1：云主机健康检查2：弹性负载均衡健康检查 1 configID 否 Integer 【Deprecated】伸缩配置ID 375 configList 否 Array of Integers 伸缩配置ID列表，最大支持传入10个伸缩配置。按输入伸缩配置的顺序，决定伸缩配置优先级。注意：该参数与configID不可同时传入，请尽量选择本参数。 [375] azStrategy 否 Integer 扩容策略类型，仅多可用区资源池支持。取值范围：1：均衡分布。 2：优先级分布。 1

本文主要介绍实例问题。 为什么可用区不能选择2个？ 如果您需要提高Kafka实例的可靠性，在创建实例时，建议选择3个或以上的可用区，不支持选择2个可用区。原因如下： 每个Kafka实例包含3个Zookeeper节点，Zookeeper集群用来管理Kafka实例的配置，如果Zookeeper集群出现问题，Kafka实例将无法正常运行。至少2个Zookeeper节点正常运行，才能保证Zookeeper集群正常运行。 假设选择2个可用区，可用区1有1个Zookeeper节点，可用区2有2个Zookeeper节点。如果可用区1故障，则Kafka实例能正常使用；如果可用区2故障，则不能正常使用。Kafka实例可用的场景只有50%，所以不支持选择2个可用区。 创建实例时为什么无法查看子网和安全组等信息？ 创建实例时，如果无法查看虚拟私有云、子网、安全组、弹性IP，可能原因是该用户的用户组无Server Administrator和VPC Administrator权限。增加用户组权限的详细步骤，请参考《统一身份认证服务 用户指南》的“用户指南 > 用户组及授权 > 查看或修改用户组”章节。 如何选择Kafka实例的存储空间？ 存储空间主要是指用于存储消息（包括副本中的消息）、日志和元数据所需要的空间。选择存储空间时，需要选择磁盘类型和磁盘大小。更多磁盘信息，请参考《云硬盘用户指南》的“简介 > 磁盘类型及性能介绍”章节 假设业务存储数据保留天数内磁盘大小为100GB，则磁盘容量最少为 100GB副本数 + 预留磁盘大小100GB 。Kafka集群中，每个Kafka节点会使用33GB的磁盘作为日志和Zookeeper数据的存储，因而实际可用存储会小于购买存储。 其中，副本数在创建Topic时可以选择，默认为3副本存储。如果开启了Kafka自动创建Topic功能，自动创建的Topic默认为3副本，副本数可以通过“配置参数”页签中的“default.replication.factor”修改。

配置项 说明 实例名称 集群内命名空间下唯一，名称长度大于1，小于253个字符 命名空间 集群命名空间 标签 标签遵循K/V格式，其中Key规范如下： Key 的结构： Key 可以分为两部分：可选的前缀（prefix）和标签名（name），两者之间用 / 分隔。例如：example.com/mykey。 前缀规则： 前缀是可选的，如果存在，则必须是一个 DNS 子域名格式，例如 example.com。 前缀长度不能超过 253 个字符。 标签名规则： 标签名部分是必须的。 标签名长度不能超过 63 个字符。 标签名只能包含字母（az、AZ）、数字（09）、连字符（）、下划线（）、点（.）。 标签名必须以字母或数字开头和结尾。 注解 注解遵循K/V格式，其中Key规范如下： 结构组成： 注解键由两部分组成：可选前缀（Prefix）和名称（Name），格式为 <前缀>/<名称>。 如果没有指定前缀，则键被视为用户私有的。 前缀规则： 前缀必须是 DNS 子域名格式，即由点（.）分隔的 DNS 标签组成，总长度不超过 253 个字符。 例如：example.com 或 mycompany.com/myapp。 名称规则： 名称部分是必需的，不能包含前缀。 名称长度不能超过 63 个字符。 名称只能包含字母（az、AZ）、数字（09）、连字符（）、下划线（）、点（.）。 名称必须以字母或数字开头和结尾。 键值对限制： 注解中的键和值都必须是字符串类型。 不支持数字、布尔值、列表等其他类型。 描述 网关实例的附加描述信息 配置信息 CPU 网关实例容器CPU配置，单位核数 配置信息 内存 网关实例容器内存配置，单位Gi 配置信息 副本数 网关实例部署的副本数，大于1，小于100 访问控制 类型 表示智能网关流量暴露方式，默认是LoadBalance类型的Service 访问控制 负载均衡 支持私网访问和公网访问两种模式，对应私网类型ELB和公网类型ELB 访问控制 监听器配置 网关实例至少配置一个监听器，包括接入协议（目前支持HTTP）、服务端口（与推理应用容器端口保持一致）、接入范围（同命名空间）

方案概述 Kafka将Topic划分为多个分区，消息被存储在不同的分区中。在同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积，从而会造成消息消费延迟。 导致消息堆积的常见原因如下： 生产者短时间内生产大量消息到Topic，消费者无法及时消费。 消费者的消费能力不足（消费者并发低、消息处理时间长），导致消费效率低于生产效率。 消费者异常（如消费者故障、消费者网络异常等）导致无法消费消息。 Topic分区设置不合理（leader副本都集中在部分Broker中、分区数太少），或新增分区无消费者消费。 Topic频繁重平衡导致性能下降，消费效率降低。 实施步骤 从消息堆积的原因看，消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 消费者端 根据实际业务需求，合理增加消费者个数（消费并发度），建议消费者数量和分区数保持一致。 提高消费者的消费速度，通过优化消费者处理逻辑（减少复杂计算、第三方接口调用和读库操作），减少消费时间。 增加消费者每次拉取消息的数量：拉取数据/处理时间 > 生产速度。 生产者端 生产消息时，给消息Key加随机后缀，使消息均衡分布到不同分区上。（在实际业务场景中，为消息Key加随机后缀，会导致消息全局不保序，需根据实际业务判断是否适合给消息Key加随机后缀。） 服务端 合理设置Topic的分区数，在不影响业务处理效率的情况下，调大Topic的分区数量。 当服务端出现消息堆积时，对生产者进行熔断，或将生产者的消息转发到其他Topic。

参数 参数说明 插件规格 并发域名解析能力，请根据业务需求选择插件规格。 如选择“自定义qps”，CoreDNS所能提供的域名解析QPS与CPU消耗成正相关，请根据业务需求，合理调整插件实例数和容器CPU/内存配额。 实例数 选择上方插件规格后，显示插件中的实例数。 容器 选择插件规格后，显示插件容器的CPU和内存配额。 参数配置 parameterSyncStrategy：插件升级时是否配置一致性检查。 ensureConsistent：表示启用配置一致性检查，如果集群中记录的配置和实际生效配置不一致，插件将无法升级。 force：表示升级时忽略配置一致性检查。请您自行确保当前生效配置和原配置一致。插件升级完毕后，需恢复parameterSyncStrategy值为ensureConsistent，重新启用配置一致性检查。 stubdomains：存根域，您可对自定义的域名配置域名服务器，格式为一个键值对，键为DNS后缀域名，值为一个或一组DNS IP地址。 upstreamnameservers：上游域名服务器地址。 servers: coredns 1.23.1插件版本开始开放servers配置，用户可对servers做定制化配置，参见

参数 参数类型 说明 示例 下级对象 totalPrice String 总价格 finalPrice String 最终价格 cycleCount String 周期数 serviceTag String 产品类别 orderItemPrices Array of Objects 价格子项。 orderItemPrices orderSumItemPrices Array of Objects 汇总价格子项。 orderSumItemPrices

参数 参数类型 说明 示例 下级对象 totalPrice String 总价格 finalPrice String 最终价格 cycleCount String 周期数 serviceTag String 产品类别 orderItemPrices Array of Objects 价格子项。 orderItemPrices orderSumItemPrices Array of Objects 汇总价格子项。 orderSumItemPrices

参数 参数类型 说明 示例 下级对象 totalPrice String 总价格 finalPrice String 最终价格 cycleCount String 周期数 serviceTag String 产品类别 orderItemPrices Array of Objects 价格子项。 orderItemPrices orderSumItemPrices Array of Objects 汇总价格子项。 orderSumItemPrices

参数 参数类型 说明 示例 下级对象 totalPrice String 总价格 finalPrice String 最终价格 cycleCount String 周期数 serviceTag String 产品类别 orderItemPrices Array of Objects 价格子项。 orderItemPrices orderSumItemPrices Array of Objects 汇总价格子项。 orderSumItemPrices

参数 类型 说明 multipartthreshold int 大于该值使用分片上传 multipartchunksize int 分片大小，默认5MB maxrequestconcurrency int 上传分片并发数

配置项 配置值 默认值 配置说明 多路传输开关 开/关 关 控制是否开启多路传输功能 多路径条数 1~5 3 配置多路传输的具体路径数

参数 参数类型 说明 示例 下级对象 taskID String 巡检任务ID acd8b6b4610b97d202306301808 totalCount Integer 获取对象数据条数 2 totalPage Integer 总页数 1 currentCount Integer 当前页记录数 2 inspectionResultList Array of Objects 巡检结果列表 inspectionResultObj

本章节介绍数据迁移的计费说明。 目前在线迁移服务暂不收取服务费用，但因迁移数据时会产生数据的上传下载以及API请求，所以会产生对应的下行流量费用以及API请求次数费用。 下行流量说明 数据迁移时，服务会将数据先从源端下载，再将数据上传至媒体存储，这个过程会产生源端的下行流量费用，流量由已迁移数据的实际大小决定，数据上传至媒体存储不收取费用。 1.如果源端为第三方云厂商，数据迁移时产生的下行流量费用由第三方云厂商收取。 2.如果源端为媒体存储，数据迁移时产生的下行流量费用由天翼云收取。 API请求次数说明 以下说明基于单个文件的请求次数 场景 源端 目的端 对于源地址中与目的地址不同名的文件 1. 迁移前对比数据，确认对象是否存在和对比需要一次head请求 2. 迁移数据需要一次get请求 1. 迁移前对比数据，确认对象是否存在和对比需要一次head请求 2. 迁移数据需要一次put请求 3. 迁移完成后校验数据需要一次head请求 对于源地址和目的地址的同名文件，并且文件需要迁移至目的端 1. 迁移前对比数据，确认对象是否存在和对比需要一次head请求 2. 迁移数据需要一次get请求 1. 迁移前对比数据，确认对象是否存在和对比需要一次head请求 2. 迁移数据需要一put请求 3. 迁移完成后校验数据需要一次head请求 对于源端和目的端的同名文件，并且文件不需要迁移至目的端 迁移前对比数据，确认对象是否存在和对比需要一次head请求 1. 迁移前对比数据，确认对象是否存在和对比需要一次head请求 2. 迁移完成后校验数据需要一次head请求 注意： 如果迁移文件大于或等于100MB，则迁移数据时会将文件进行分片后再上传，单个分片大小为50MB，此时迁移数据的请求数根据迁移数据大小决定。如果进行了分片处理，在分片之前会有一个post请求，分片上传完毕之后合并分片会有一个post请求。 例如：大小为150M的文件会被分成三片，迁移时源端请求数与之前一致，数据迁移过程中目的端会产生三次put请求和两次post请求，因此目的端整个流程一共有两次head请求，两次post请求和三次put请求。 采用传入文件或者文件列表形式的方式进行迁移，每个object会多产生一次head请求（为了验证传入的文件是否存在）。

本页简要介绍分布式数据库V2.0.0版本更新说明。 版本说明 V2.0.0版本说明 组件名称 版本号 发布时间 TeleDBXCore 2.0 2021年 07 月 新增和优化特性： 1. 新增软件包管理模块，包括查看软件包列表、上传软件包、删除软件包、搜索软件包和增加对软件包进行md5校验。 2. 新增主机管理模块，包括添加服务器、查看服务器列表、删除服务器列表、测试服务器连通性、检测服务器状态接口、编辑服务器信息和根据IP地址搜索服务器。 3. 新增资源模版管理，包括新建资源模版、查看模版列表、编辑资源模版、删除资源模版、检测模版是否被使用和根据模版名称搜索模版。 4. 新增服务器指标，包括服务器CPU使用率、服务器CPU负载、服务器内存占用率、服务器平均每次设备I/O操作服务时间、服务器平均设备I/O队列、服务器设备I/O操作等待时间、服务器入流量、服务器出流量、服务器TCP连接数、服务器数据库文件句柄数和服务器进程数。 5. 新增实例管理模块，包括实例操作、节点操作和健康检查。 6. 支持用户登录和退出数据库管理平台。 7. 新增参数管理和鉴权配置，包括查看数据库参数、自定义配置数据库参数、支持批量修改数据库参数、查看鉴权配置、修改鉴权配置、增加鉴权配置和删除鉴权配置。 8. 新增监控模块，包括集群预览、集群监控和节点监控。 9. 支持任务管理、用户管理和租户管理。 10. 新增备份恢复模块，包括备份策略、备份管理和恢复管理。 11. 新增分布式数据库能力，包括引入TeleDB分布式数据库内核和优化Oracle兼容性。 12. 优化Oracle兼容性。 修复漏洞 CVE20181115 漏洞名称：TeleDB：Quest DR Series Disk Backup软件操作系统命令注入漏洞。 风险等级：高危漏洞 漏洞详情： 漏洞发布时间：2021年07月 漏洞修复时间：2020年06月 解决方案：产品版本升级版本至2.1及以上。 CVE20181058 漏洞名称：TeleDB：PostgreSQL 提权漏洞。 风险等级：中危漏洞 漏洞详情： 漏洞发布时间：2021年07月 漏洞修复时间：2020年06月 解决方案：产品版本升级版本至2.1及以上。 CVE202132029 漏洞名称：TeleDB：PostgreSQL 安全漏洞。 风险等级：高危漏洞 漏洞详情： 漏洞发布时间：2021年07月 漏洞修复时间：2020年06月 解决方案：产品版本升级版本至2.1及以上。 CVE201810915 漏洞名称：TeleDB：PostgreSQL SQL注入漏洞。 风险等级：高危漏洞 漏洞详情： 漏洞发布时间：2021年07月 漏洞修复时间：2020年06月 解决方案：产品版本升级版本至2.1及以上。 CVE201910208 漏洞名称：TeleDB：Postgresql PostgreSQL SQL注入漏洞。 风险等级：高危漏洞 漏洞详情： 漏洞发布时间：2021年07月 漏洞修复时间：2020年06月 解决方案：产品版本升级版本至2.1及以上。 CVE201712172 漏洞名称：TeleDB：PostgreSQL 安全漏洞。 风险等级：中危漏洞 漏洞详情： 漏洞发布时间：2021年07月 漏洞修复时间：2020年06月 解决方案：产品版本升级版本至2.1及以上。 CVE201715098 漏洞名称：TeleDB：PostgreSQL 安全漏洞。 风险等级：高危漏洞 漏洞详情： 漏洞发布时间：2021年07月 漏洞修复时间：2020年06月 解决方案：产品版本升级版本至2.1及以上。 CVE201715099 漏洞名称：TeleDB：PostgreSQL 安全漏洞。 风险等级：中危漏洞 漏洞详情： 漏洞发布时间：2021年07月 漏洞修复时间：2020年06月 解决方案：产品版本升级版本至2.1及以上。 CVE20201720 漏洞名称：TeleDB：PostgreSQL 安全漏洞。 风险等级：中危漏洞 漏洞详情： 漏洞发布时间：2021年07月 漏洞修复时间：2020年06月 解决方案：产品版本升级版本至2.1及以上。 CVE201910130 漏洞名称：TeleDB：PostgreSQL 访问控制错误漏洞。 风险等级：中危漏洞 漏洞详情： 漏洞发布时间：2021年07月 漏洞修复时间：2020年06月 解决方案：产品版本升级版本至2.1及以上。 CVE20181052 漏洞名称：TeleDB：PostgreSQL 安全漏洞。 风险等级：中危漏洞 漏洞详情： 漏洞发布时间：2021年07月 漏洞修复时间：2020年06月 解决方案：产品版本升级版本至2.1及以上。 修复缺陷 1. 在indexonly场景下，修复删除数据脱敏列功能不生效的问题。 2. 修复在聚合操作（带有去重）下添加一个排序节点的操作。 3. 在cn上vacuum表时，有cn计算frozenxid，保证集群范围内的统一xid回卷。 4. 修复因为释放的指针未置空导致coredump；优化过程中不能正确获取表的行数导致执行计划不准确的问题。 5. squeue故障时，consuer退出，CN回滚事务时，置空连接状态，避免无限的嵌套循环。 6. 修复查询串格式化时可能导致coredump的问题。 7. 修复等待轻量级锁（lwlock）的进程不进入pgstaterror处理的问题。 8. 修复分布式事务prepare时，未持久化2pc的上下文信息，导致pgclean无法清理一些二阶段事务问题。 9. 考虑空值和已删除的列，将已删除的属性、空值（NULL）以及缺失的值设置为NULL值。 10. 修复没有删除列的之间映射的bug。 11. 在pgsubscriptiontable中同步修改的bug。 12. 逻辑复制在master上新加入的表的数据变更到消费端直接被丢弃。 13. 逻辑复制ALTER SUBSCRIPTION xxx REFRESH PUBLICATION相关BUG。 14. 去掉Pooler调试过程无必要的sleep逻辑。 15. 确保在连接到连接池之前进行事务处理，并确保当前的事务状态是正确的。 16. 删除子表回归测例缺失。 17. 使用GCC版本7.3时遇到编译器错误。 18. 数据节点上通过VACUUM分区表产生的错误的索引信息。 19. 为gtm的 synchronousstandbynames 修正警告信息的if条件。 20. 修复TOAST表相关问题。 21. 修复空指针导致的core dump。 22. 修复一条日志"skip delete portal resowner"打印的if条件。 23. 修复一个在处理Gather 节点的左子树时，未能正确将目标（target）添加到其目标列表（targetlist）中的问题。 24. 在rtables（关系表列表）中搜索之前，没有正确检查变量的层级（level）的bug。如果变量是分布式列，并且其层级正确，那么函数返回 true。 25. 在构建初始快照时，避免recovery时的重复XIDs。 26. 在子事务precommit时使用独立的memorycontext，避免类似plpsql场景下因为子事务导致OOM。 27. 在cn节点调用pgclearnodecoldaccess函数会产生coredump。 28. 在poolerasyncbuildconnection中，在建立连接前检查管道中空间的bug。 29. 增加一条LOG信息，用于记录关于逻辑复制应用在特定数据库和表上的错误或问题的详细信息。 30. 支持在聚合算子下面增加sort算子。 31. 指针和数据的使用不当。 32. 指针和数据的释放函数使用不当。 33. copy tuple时置分片id相关问题。 34. FlushXlogTrack的coredump。 35. 修复GTM备机每次收到主机的时间戳位置都进行持久化的问题。 36. 修复GUC中的coordinatorlxid参数由于超出INTMAX的范围而导致的溢出问题。 37. 修复MergeAppend/Append算子下推时，如果有一个子算子下推到所有DN(nodes为NULL)，在通过并集计算之后反而会丢失部分DN节点，从而导致查询结果不完整的问题。

迁移方案概述 迁移方案是通过源集群的zookeeper 做副本数据同步，架构如下： 前提条件： 要求源、目标集群在同一个网络，源、目标集群的分片数是相同的，另外建议源、目标集群的ck内核版本也一致，避免不同版本使用到的zstd 版本不一致导致merge出错 迁移条件 & 情况： 目标集群必须跟源集群具备相同的分片数，目标集群跟源集群网络相通； 只支持依赖zk的副本表； partitiong同步过程，源集群可正常读写，迁移过程源集群能正常读，但是不能写； 数据同步和迁移过程，不会删除源集群的数据； 数据同步过程源集群下的数据（本地数据 + cos数据）都会同步到目标集群下，因此目标集群下的容量要足够。 迁移步骤： 整体的迁移环节可概括为：创建临时表 （开始同步数据）和正式表 》修改临时表引擎为 MergeTree — 》从临时表把数据转移到正式表 》删除临时表 具体步骤如下： 1、在目标集群的各个分片选择一个节点，加入到tmpcluster里头去（metrika.xml文件中新增tmpcluster），修改目标集群的config.xml文件，把源集群的zk信息配置进来，如果有多个，那分别加入 ip1 2181 ip2 2181 ip3 2181 60000 30000 2、在目标集群上创建临时的副本表，绑定源集群的zk，以ReplicatedMergeTree为例子： CREATE TABLE tablenametmp on cluster tmpcluster ( ... ) ENGINE ReplicatedMergeTree('zookeeper2:path', '{replica}') ... 备注说明： 创建的临时副本表使用临时表名，在正式表后面加tmp。 创建的临时副本表使用的ZooKeeper路径和源端搬迁表的ZooKeeper路径需保持一致。 创建的临时副本表的表结构需和源端搬迁表保持一致。 3、创建完临时副本表之后，集群会自动通过源zk做part同步到目标集群的副本。期间不用做任何处理，可以准备下一步骤工作 （这个过程不要对临时表做任何数据分区操作，因为操作临时表分区就等于操作源集群对应正式表） 4、在目标集群创建正式名字的 副本表，采用默认zookeeper（可直接通过on cluster defaultcluster去创建） 5、同步完成之后，检查源集群和目标集群，各个表数据分布情况，数据准确性校验（查询part数，以及count总数是否匹配，校验数据准确性时最好做到源集群停写） 6、检查无误之后，在目标集群metadata 目录下，修改所有临时表的sql，把Engine均改成MergeTree （这步是为了迁移过程影响到源集群，保证源集群的数据可读），修改完后重启集群 —— 有现成脚本 7、执行DETACH 命令对临时表中的每个partition DETACH，然后登入目标集群，把临时表下detached目录的所有part mv 到对应的目标表的detached 目录下 —— 如果分区多，可用脚本完成，有现成脚本 例如：default 下lineorder表，可以执行 mv /data/clickhouse/clickhouseserver/data/default/lineordertmp/ detached/ /data/clickhouse/clickhouseserver/data/default/lineorder/detached/ 例如：default 下lineordertmp临时表，分区有'1992','1993','1994','1995','1996' 第一步：在studio上执行（也可以通过脚本去完成）: ALTER TABLE default.lineordertmp on cluster tmpcluster DETACH PARTITION '1992'; ALTER TABLE default.lineordertmp on cluster tmpcluster DETACH PARTITION '1993'; ALTER TABLE default.lineordertmp on cluster tmpcluster DETACH PARTITION '1994'; ALTER TABLE default.lineordertmp on cluster tmpcluster DETACH PARTITION '1995'; ALTER TABLE default.lineordertmp on cluster tmpcluster DETACH PARTITION '1996'; 第二步：登入到目标集群在各个节点上，执行: mv /data/clickhouse/clickhouseserver/data/default/lineordertmp/detached/ /data/clickhouse/clickhouseserver/data/default/lineorder/detached/ 8、执行attach 命令，把目标表下detached的part加载到表内 —— 如果分区多，可用脚本完成，有现成脚本（可找作者提供） 例如：default 下lineorder表，可以执行 alter table default.lineorder attach partition 'partitionname'; 依次把所有的partition 加载到正式表 9、所有的表迁移完成之后，删除临时表，再删除config.xml文件中的 auxiliaryzookeepers配置； 说明： 数据副本同步过程因为某种原因导致副本服务中断（可能是网络、bug、人为手工停止），再次重启后支持断点续传，不会影响源数据同步传输。 操作过程会涉及到多个partition的 DETACH和 attach命令，同时还需要登入到目标节点执行mv 操作，为了简化工作提高效率，减少过多人为操作而导致的失误，建议 通过批量工具（天翼云ClickHouse提供） + 脚本方式执行（找作者提供） 批量工具：批量分发文件到目标集群各个节点，批量在目标集群各个节点执行命令脚本等 参考脚本：查询一个表下的所有partition 列表，然后执行 DETACH命令， mv 命令 和最后的 attach命令 注意： 在添加临时表之后，源集群表的part就会自动通过zk做part复制，因为数据量很大，建议分批创建临时副本表，以免对源zk造成负载过高，从而影响业务 在临时表数据同步的过程中，一定不要对临时表做任何数据或是分区操作，操作临时表就等于操作源集群对应的正式表 在临时表数据同步过程，不能有ddl变化 方案优点：可支持对巨量副本表（几百个以上）的数据迁移，数据同步过程通过zk 做到后台自动同步，无需干预；同时支持对cos 数据的迁移； 不足：只能迁移ReplicatedMergeTree 引擎表，其它表不支持这种方案。

本章节主要介绍翼MapReduce的配置监控指标数据转储操作。 操作场景 监控数据上报功能可以将系统中采集到的监控数据写入到文本文件，并以FTP或SFTP的形式上传到指定的服务器中。 使用该功能前，管理员需要在FusionInsight Manager页面进行相关配置。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“系统 > 对接 > 监控数据上传”。 3. 单击“监控数据上传”右边的开关。 “监控数据上传”默认为不启用，开关显示为表示启用。 4. 根据下表所示的说明填写上传参数： 上传配置参数 参数名称 参数说明 FTP IP地址模式 必选参数，指定服务器IP地址模式，可选择“IPV4”或“IPV6”。 FTP IP地址 必选参数，指定监控指标数据对接后存放监控文件的FTP服务器。 FTP端口 必选参数，指定连接FTP服务器的端口。 FTP用户名 必选参数，指定登录FTP服务器的用户名。 FTP密码 必选参数，指定登录FTP服务器的密码。 保存路径 必选参数，指定监控文件在FTP服务器保存的路径。 转储时间间隔（秒） 必选参数，指定监控文件在FTP服务器保存的周期，单位为秒。 转储模式 必选参数，指定监控文件发送时使用的协议。可选协议为“SFTP”和“FTP”。建议使用基于SSH v2的SFTP模式，否则可能存在安全风险。 SFTP服务公钥 可选参数，指定FTP服务器的公共密钥，“转储模式”选择“SFTP”时此参数生效。 5. 单击“确定”，设置完成。 说明 选择转储模式为SFTP，当SFTP服务公钥为空时，先进行安全风险提示，确定安全风险后再保存配置。

本章节主要介绍翼MapReduce组件Spark使用的常见问题。 问题说明 使用Spark SQL 访问Hive 表的一个表分区，但是运行速度却很慢。 分析样例： select x,y from test where x1 （其中x是test表的 Partition 字段） 原因分析 按照spark 源码逻辑，在解析逻辑计划时候回去调用 getPartitionsByFilter方法 去hive中只提取 x1 分区信息。 但是由于一些原因，导致getPartitionsByFilter 的谓词下推失败，从而去全表扫描所有test的分区信息，并返回。 例如，我们x字段是String类型，但是我们的SQL中不是 where x’1’ ，而是where x1 ，这就导致了谓词下推失败。 出现hive分区表谓词下推失败的情况，我们可以做如下处理： 我们需要去检查sql中的写法是否正确。 可以关闭SQL逻辑计划解析过程中的谓词下推逻辑。 处理步骤 关闭SQL逻辑计划解析过程中的谓词下推逻辑，具体是Spark SQL默认开启基于分区统计信息的执行计划优化，相当于自动执行Analyze Table（默认开启的设置方法为spark.sql.statistics.fallBackToHdfstrue，可通过配置为false关闭）。 开启后，SQL执行过程中会扫描表的分区统计信息，并作为执行计划中的代价估算，例如对于代价评估中识别的小表，会广播小表放在内存中广播到各个节点上，进行join操作，大大节省shuffle时间。 此开关对于Join场景有较大的性能优化，但是会带来 获取分区表信息RPC请求 的增加。 在SparkSQL中设置以下参数后再运行： set spark.sql.statistics.fallBackToHdfsfalse; 或者在启动之前使用conf设置这个值为false： conf spark.sql.statistics.fallBackToHdfsfalse

本章节主要介绍翼MapReduce服务配置角色实例参数。 操作场景 用户可以根据实际业务场景，在MRS Manager中快速查看及修改角色实例默认的配置。支持导出或导入配置。 对系统的影响 配置HBase、HDFS、Hive、Spark、Yarn、Mapreduce服务属性后，需要重新下载并更新客户端配置文件。 操作步骤 修改角色实例参数 1. 单击“服务管理”。 2. 单击服务列表中指定的服务名称。 3. 单击“实例”页签。 4. 单击角色实例列表中指定的角色实例名称。 5. 单击“实例配置”页签。 6. 在“参数类别”选择“全部配置”，界面上将显示该角色实例的全部配置参数导航树。 7. 在导航树选择指定的参数，修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 修改某个参数的值后需要取消修改，可以单击恢复。 8. 单击“保存配置”，勾选“重启角色实例”并单击“确定”，重启角色实例。 界面提示“操作成功。”，单击“完成”，角色实例成功启动。 导出角色实例配置参数 1. 单击“服务管理”。 2. 选中某项服务。 3. 选中某角色或单击“实例”。 4. 选择指定主机上某角色实例。 5. 单击“实例配置”。 6. 单击“导出实例配置”，导出指定角色实例配置数据并选择一个位置保存。 导入角色实例配置参数 1. 单击“服务管理”。 2. 选中某项服务。 3. 选中某角色或单击“实例”。 4. 选择指定主机上某角色实例。 5. 单击“实例配置”。 6. 单击“导入实例配置”，导入指定角色实例配置数据。 7. 单击“保存配置”，勾选“重启角色实例。”并单击“确定”。 界面提示“操作成功。”，单击“完成”，角色实例成功启动。

本章主要介绍翼MapReduce的查看备份恢复任务功能。 操作场景 系统管理员可以通过FusionInsight Manager查看已创建的备份恢复任务，以及任务的运行情况。 前提条件 登录FusionInsight Manager，请参见登录管理系统。 操作步骤 1.在FusionInsight Manager，选择“运维 > 备份恢复”。 2.单击“备份管理”或“恢复管理”。 3.在任务列表中，查看“任务状态”与“任务进度”列获取上一次任务运行的结果。绿色表示运行成功，红色表示运行失败。 4.在任务列表指定任务的“操作”列，选择“更多 > 查询历史”或单击“查询历史”，打开备份恢复任务运行记录。 在弹出的窗口中，在指定一次执行记录前单击，打开此次任务运行的日志信息。 相关任务 启动备份恢复任务 在任务列表指定任务的“操作”列，选择“更多 > 即时备份”或单击“执行”，启动处于准备或失败状态的备份恢复任务。已成功执行过的恢复任务不能重新运行。 停止备份恢复任务 在任务列表指定任务的“操作”列，选择“更多 > 停止”或单击“停止”，停止处于运行状态的备份恢复任务。停止成功后，该任务的“任务状态”变为“已停止”。 删除备份恢复任务 在任务列表指定任务的“操作”列，选择“更多 > 删除”或单击“删除”，删除备份恢复任务。删除任务后备份的数据默认会保留。 挂起备份任务 在任务列表指定任务的“操作”列，选择“更多 > 挂起”，挂起备份任务。仅支持周期备份的任务，挂起后周期备份任务不再自动执行。挂起正在执行的备份任务时，该任务会停止运行。需要解锁时，选择“更多 > 重新执行”。

本章节主要介绍翼MapReduce的静态服务资源操作。 简介 集群分配给各个服务的资源是静态服务资源，这些服务包括Flume、HBase、HDFS和Yarn。每个服务的计算资源总量固定，不与其他服务共享，是静态的。租户通过独占或共享一个服务来获取这个服务运行时需要的资源。 静态服务池 静态服务池用来指定服务资源的配置。 在服务级别上，静态服务池对各服务可使用的资源进行统一管理： 限制服务使用的资源总量，支持配置Flume、HBase、HDFS和Yarn在部署节点可使用的CPU、I/O和内存总量。 实现服务级别的资源隔离，可将集群中的服务与其他服务隔离，使一个服务上的负载对其他服务产生的影响有限。 调度机制 静态服务资源支持基于时间的动态调度机制，可以在不同时间段为服务配置不同的资源量，优化客户业务运行环境，提高集群的效率。 在一个复杂的集群环境中，多种服务共享使用集群资源，但是各服务的资源使用周期可能会有比较大的区别。 例如以下业务场景，对于一个银行客户： 在白天HBase查询服务的业务多。 在晚上查询服务的业务少而Hive分析服务业务多。 如果只给每个服务设置固定的资源可能会导致： 白天查询服务的资源不够用，分析服务的资源空闲。 晚上分析服务的资源不够用，查询服务的资源空闲。 集群资源利用率不高，而且服务能力也打了折扣。因此： 白天多配置HBase服务资源。 晚上多配置Hive服务资源。 这种基于时间的动态调度机制可以更高效的利用资源，运行任务。

本章节主要介绍翼MapReduce的切换调度器操作。 操作场景 新安装的MRS集群默认即使用了Superior调度器，如果是历史版本升级的集群，管理员可以根据以下指导，将Yarn的调度器从Capacity调度器一键式切换到Superior调度器。 前提条件 确保集群网络通畅，网络环境安全，Yarn服务状态正常。 在切换调度器期间，不允许做添加、删除、修改租户，以及启停服务等操作。 对系统的影响 调度器切换过程中，由于要重启Resource Manager，因此切换期间向Yarn提交任务会失败。 调度器切换过程中，正在Yarn上面执行的Job的Task任务会继续执行，但不会启动新的Task。 调度器切换完成后，在Yarn上面执行的任务有可能会失败进而导致业务中断。 调度器切换完成后，在租户管理中将使用Superior的相关参数。 调度器切换完成后，Capacity调度器中“资源容量”为“0”的租户队列在Superior调度器中分配不到资源，提交到该租户队列的任务会执行失败。建议在Capacity调度器中不要将租户队列的“资源容量”配置为“0”。 调度器切换完成后，在观察期内，不允许对资源池、Yarn节点标签（Label）和租户做添加、删除的操作。若添加或者删除了资源池、Yarn节点标签（Label）或租户，将不支持回退到Capacity调度器。 说明 切换调度器观察期建议为一周，如果对资源池、Yarn节点标签（Label）或租户做了添加、删除的操作，将视为观察期结束。 回退可能会丢失部分或者所有的Yarn任务信息。

参数 参数类型 说明 示例 下级对象 list Array of Objects 标签信息列表 LabelDTO pageNum Integer 当前页码 1 pageSize Integer 页码大小 10 startRow Integer 开始行 1 endRow Integer 结束行 11 total Integer 总记录数 10 pages Integer 总页数 10

参数 是否必填 参数类型 说明 示例 下级对象 snapshotOid 是 String 快照ID ssbmda2gjsbz89lkx2a1an5 name 是 String 快照名称。只能包含汉字、数字、英文字母、中划线和下划线，长度限制116个字符。 abc description 是 String 描述。字符数限制[0,250]。 abc

参数 说明 CPU申请 容器使用的最小CPU需求，作为容器调度时资源分配的判断依赖。只有当节点上可分配CPU总量 ≥ 容器CPU申请数时，才允许将容器调度到该节点。 CPU限制 容器能使用的CPU最大值。

本页介绍天翼云TeleDB数据库主从切换。 操作场景 TeleDB支持GTM节点、数据节点和协调节点做主备切换。 约束与限制 实例节点状态异常时不能执行该操作。 主从切换过程中，以下操作不可执行： 实例重启 节点规格变更 节点扩容 备份恢复 注意 主从切换可能会造成几秒或几分钟的服务闪断，请避免在业务高峰期进行操作。 操作步骤 1. 以用户名和密码登录分布式数据库TeleDB控制台，在左侧导航单击实例列表 ，进入实例列表页面。 2. 在实例列表页面，单击目标实例所在行的详情，进入实例详情页面。 3. 进入实例详情页，单击GTM节点信息 或协调节点 或数据节点 操作列下拉框主从切换 ，弹出主从切换对话框。 4. 当为GTM节点信息主从切换时，您可进入主从切换 对话框，在切换备节点下拉框选择待切换备节点。 5. 当为协调节点或数据节点主从切换时，您可进入主从切换 对话框，在切换协调节点 下拉框选择待切换的协调节点，在切换备节点下拉框选择待切换备节点 6. 单击确定完成主从切换。 7. 您可前往任务管理查看任务执行情况。 8. GTM节点信息和数据节点信息主从切换将重复上述操作。

本页介绍天翼云TeleDB数据库工单管理相关操作。 安装实例会产生对应的订单，可在本功能模块对这些工单进行管理。 1. 以用户名和密码登录TeleDBDCP数据库管理平台。 2. 在左侧导航树选择实例管理 > 工单管理 ，进入工单管理页面。 > 您可以在工单列表中查看当前的所有工单信息，包括工单号、产品、实例名称、业务类型、施工结果等。 3. 查看施工流程 > 在工单列表中，找到目标工单，然后单击操作 列的 查看流程 。 4. 编辑工单 > 在工单列表中，找到目标工单，然后单击操作 列的编辑 。系统会重新进入实例开通流程，系统会自动填入已有的工单信息方便用户快速重新下单。 5. 作废工单 > 在工单列表中，找到目标工单，然后单击操作 列的作废 。工单作废后，将释放相关占用的资源 6. 重新施工 > 在工单列表中，找到目标工单，然后单击操作 列的重新施工 。 > >

自动导入天翼云上ECS资产 说明 目前仅“一类节点”区域的实例支持自动导入天翼云上ECS资产 。云堡垒机（原生版）支持的区域请参见支持的区域。 1. 使用“管理角色”账户登录云堡垒机（原生版）控制台。 2. 在左侧导航栏选择“资产管理 > 资产”，进入“资产”页面。 3. 选择“导入 > 天翼云ECS实例导入”，勾选需要导入的ECS资产。 4. 根据需求选择导入策略。 说明 跳过：若存在同名资产，则跳过该资产的导入。 覆盖：若存在同名资产，使用新资产覆盖旧资产。 建立副本：若存在同名资产，则为新资产增加后缀后导入（后缀新增为1;2……以此类推）。 5. 单击“导入”，完成天翼云ECS资产导入。 批量导入资产 1. 使用“管理角色”账户登录云堡垒机（原生版）控制台。 2. 在左侧导航栏选择“资产管理 > 资产”，进入“资产”页面。 3. 选择“导入 > 从本地文件导入”，在弹出的对话框中下载导入模板。 4. 在导入模板文件中填写内容，填写完成后保存。 说明 模板中红色标题为必填项。 多个资产组用英文逗号“,”隔开。 资产类型为Windows服务器或Unix/Linux服务器时只会判断录入黑色标题的端口协议。 资产类型为数据库时只会判断录入蓝色标题的端口协议且协议有填写时对应的服务名必填。 参数 参数说明 取值样例 资产名称 自定义新增的资产名称。 Test 资产类型 填写新增的资产类型：可填Windows服务器 、Unix/Linux服务器 或数据库。 Windows服务器 IP地址 填写纳管资产的IP地址，支持IPv4和IPv6。 0.0.0.0 资产组 填写新增资产所属的资产组。 资产描述 填写资产的描述。 协议 填写协议的端口： 资产类型为Windows服务器 或Unix/Linux服务器 时只会判断录入黑色标题的端口协议。 资产类型为数据库 时只会判断录入蓝色标题的端口协议且协议有填写时对应的服务名必填。 访问信息 填写资产的访问编码，仅支持填写“UTF8”或“GBK”。 GBK 5. 上传已经填写完成后的导入模板，根据需求选择导入策略。 说明 跳过：若存在同名资产，则跳过该资产的导入。 覆盖：若存在同名资产，使用新资产覆盖旧资产。 建立副本：若存在同名资产，则为新资产增加后缀后导入（后缀新增为1;2……以此类推）。 6. 单击“提交”，完成资产导入。

测试准备 步骤 1准备弹性云主机。 要求：被测机与辅助弹性云主机的类型、规格需保持一致，并在同一云主机组，遵循反亲和部署。 表 环境准备 类型 数量 镜像 规格 IP地址 ::::: 被测机 1台 CentOS 7.4 64bit（推荐） 192.168.2.10 辅助云主机 8台 CentOS 7.4 64bit（推荐） vCPU：8核及以上 192.168.2.11 ~ 192.168.2.18 步骤 2准备测试工具。 要求：需分别在被测机和辅助云主机上安装测试工具netperf、iperf3、sar。安装方法如下表所示。 表 安装测试工具 测试工具 安装方法 :: netperf 执行以下命名，安装gcc。yum y install unzip gcc gccc++ 执行以下命令，下载netperf。wget nocheckcertificate O netperf2.7.0.zip执行以下命令，解压并安装netperf。unzip netperf2.7.0.zip cd netperfnetperf2.7.0/ ./configure && make && make install iperf3 执行以下命令，下载iperf3。wget nocheckcertificate iperf3.zip执行以下命令，解压并安装iperf3。unzip iperf3.zip cd iperfmaster/ ./configure && make && make install sar 执行以下命令，安装sar。yum y install sysstat 步骤 3开启网卡多队列。 要求：需分别在被测机和辅助云主机上开启网卡多队列。 1. 执行以下命令，检查弹性云主机支持的队列个数。 ethtool l eth0 grep i Pre A 5 grep Combined 2. 执行以下命令，设置队列数，开启网卡多队列功能。 ethtool L eth0 combined X 其中，X表示步骤3.1中查询的队列数。 TCP带宽测试（使用netperf工具） 采用多流进行测试，本文以16条流为例，均分到8个ECS上，其他流数以此类推。 步骤 1测试TCP发送带宽。 1. 分别在“所有辅助云主机”中执行以下命令，启动netserver进程。 netserver p 12001 netserver p 12002 其中，p用于指定监听端口。 2. 在“被测机”中执行以下命令，启动netperf进程，分别指定到辅助云主机的不同netserver端口。其中，netperf工具的常用参数说明请参见表 netperf工具常用参数说明。

本文主要介绍搭建可自动伸缩的web服务操作步骤。 请根据您的业务架构评估业务模块，并执行以下操作实现指定业务模块的自动扩缩容： 步骤一：使用私有镜像创建ECS实例 步骤二：创建并启用伸缩组 步骤三：设置自动伸缩策略 步骤一：使用私有镜像创建ECS实例 创建指定数量的ECS实例，用于添加到伸缩组，满足业务模块的日常业务要求。 1.登录ECS管理控制台。 2.在左侧导航栏，选择 “计算” > 弹性云主机。 3.单击 “创建弹性云主机”。 4.选择“计费模式”：“包年/包月”或“按需付费”。 5.配选择区域、可用区、规格。 6.镜像选择已创建好的“私有镜像”。 7.下一步网络配置：选择规划的VPC 及子网、安全组，设置密码等。 请根据需要配置其它信息，详细信息请参见创建弹性云主机。 步骤二：创建并启用伸缩组 为需要弹性扩缩容的业务模块创建伸缩组，并为伸缩配置选择Web应用实例的自定义镜像，确保自动创建出的ECS实例符合Web应用的要求。 1.登录弹性伸缩控制台。 2.选择控制中心，选择区域。 3.创建一个弹性伸缩组。 可用区依据业务诉求选择可用区。 最小实例数设置为2。 期望实例数设置为3。 最大实例数设置为5。 网络选择规划的VPC网段。 负载均衡选择不使用。 实例移除策略设置为释放模式。 弹性IP选择释放。 请根据需要配置其它信息，详细信息请参见创建伸缩组。 4.点击下一步，创建伸缩配置。 5.创建一个伸缩配置。 名称可以自定义。 配置模板选择为使用已有主机规格为模板。 登录方式设置为密码。 密码设置为xxx。 请根据需要配置其它信息，详细信息请参见创建伸缩配置。 6.点击立即创建

参数 类型 是否必传 名称及描述 code int 是 状态码 message string 是 描述信息 result list< object> 否 统计结果 result[].rank int 否 倒叙排名 result[].ip string 否 ip result[].request long 否 请求数 result[].flow long 否 流量

接口功能介绍 根据集群id查询节点组详情信息，返回集群id、付费类型、节点组类型、镜像id、主机数量、主机规格、CPU核数、内存大小、磁盘规格等信息。 接口约束 只允许查询处于运行中状态的集群的节点组信息。 URI GET /v2/emr/openapi/cluster/clusterNodeGroup/getByClusterId 路径参数 无 Query参数 参数 是否必填 参数类型 说明 示例 下级对象 clusterId 是 String 集群id e7afb3bd9d7117d116893c03a352f4e3 请求参数 请求头header参数 无 请求体body参数 无 响应参数 参数 参数类型 说明 示例 下级对象 statusCode Integer 状态码，成功：200，失败：500 200 message String 用来简述当前接口调用状态以及必要提示信息 请求成功 error String 错误码，请求成功时，不返回该字段 EMR400000 returnObj Object 返回结果 表 returnObj 参数 参数类型 说明 示例 下级对象 id String 节点组id 175187849787779 clusterId String 集群id da595eb1d81503b323fdc01d9bf786b7 payType Integer 付费类型 1 nodeGroupType String 节点类型code码 MASTER nodeGroupName String 节点类型code值 master imageId String 镜像id f8d28855ffda426d96e20f6bf46877e0 hostNum Integer 主机数量 3 computeSpecificationId Integer 主机规格id 101 iaasVmSpecCode String IAAS虚机规格编码 s7.2xlarge.4 cpuNum Integer cpu核数 8 memory Integer 内存大小 32 diskSpecificationList String 磁盘规格列表 [{diskFunctionType:1,diskFunctionName:系统盘,diskType:cloud,diskTypeName:云硬盘,ioType:SSDgenric,ioTypeName:通用型SSD,volume:200,diskNum:1}] createTime Integer 创建时间 1706515356000 updateTime Integer 更新时间 1706515356000 mountPublicIp Boolean 是否挂载公网 false iaasVmSpecId String IAAS虚机规格id b307034dcbc327bb24f7a97565814236 highest Boolean 节点组规格是否最高 false

主机类型 版本 支持实例数 X86通用型 单机版2C4G 500 X86通用型 集群版2C4G3节点 4000 X86通用型 集群版4C8G3节点 7000 X86通用型 集群版8C16G3节点 14000 X86通用型 集群版16C32G3节点 25000