本文为您介绍创建数据订阅任务的操作场景、前提条件和操作步骤。 操作场景 场景一：数据实时分析 使用云监控数据订阅功能，将业务进行异步解耦，在不影响源库业务的情况下，实时同步监控数据（指标、事件）或告警数据到客户自有分析系统中，帮助企业用户进行实时数据分析。 场景二：数据归档存储 使用云监控数据订阅功能，您可将资源监控或告警数据的增量更新数据，实时地推送到归档数据库或数据仓库。 说明 数据订阅功能当前为受限开放，如有需求可以联系客户经理为您开放此功能。 资源池下单个用户最多可创建10个数据订阅任务。 前提条件 注册天翼云账号，并完成实名认证。具体操作，请参见天翼云账号注册流程。 注意 数据订阅功能数据类型支持指标数据、事件数据，订阅方式支持分布式消息服务及API方式。 指标数据订阅支持分布式消息服务（kafka）及remotewriteapi方式。 事件数据订阅支持分布式消息服务（kafka）及apipush方式。（事件订阅入口为：云监控服务>事件监控>事件订阅） 创建订阅任务需提前创建订阅渠道。 操作步骤 1. 登录控制中心。 2. 在控制中心页面左上角点击，选择区域，本文我们选择华东1。 3. 依次选择“管理与部署”，单击“云监控”，进入监控概览页面。 4. 单击左侧“数据订阅”菜单，进入数据订阅任务列表。 5. 单击“创建订阅任务”功能，进入数据订阅任务创建二级页面。 6. 创建订阅任务参数配置如下： 模块 参数 参数说明 配置示例 备注 选择订阅对象 服务维度 选择需要订阅数据的服务维度信息，支持多选 云主机云主机 选择订阅对象 监控对象类型 具体实例 选择订阅对象 选择对象 选择资源实例对象 具体实例 定义订阅方式 订阅通道 选择公网/内网 分布式消息服务 定义订阅方式 发送渠道 Kafka Kafka 定义订阅方式 订阅失败缓存时间 输入用户客户端地址 基础信息 订阅任务名称 填写自定义订阅任务名称 testtask 基础信息 描述 填写订阅任务描述信息 说明 关于告警数据订阅全部资源的场景，涉及两个周期： 订阅服务subscription同步订阅配置的周期，预计上线配置2分钟。 数据订阅配置全部资源，也需要周期同步全量的实例资源，预计线上配置3分钟。 因此，考虑极限情况，告警订阅服务在周期1 + 周期2之后产生的告警，订阅服务才能匹配消费到。

关闭Topic日志 1. 登录管理控制台。 2. 在管理控制台左上角单击，选择Kafka实例所在的区域。 3. 在管理控制台左上角单击，选择“应用服务 > 分布式消息服务Kafka”，进入Kafka总览页面。 4. 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。 5. 单击Kafka实例的名称，进入实例详情页面。 6. 在左侧导航栏选择“日志管理 > Topic日志”，进入“Topc日志”页面。 7. 在页面右上角单击“关闭日志”，弹出确认关闭对话框。 8. 单击“确定”，自动跳转到“后台任务管理”页面，“状态”为“成功”时，表示关闭Topic日志成功。 关闭Topic日志只是停止Topic日志上报功能，LTS控制台的日志组和日志流仍然保留，还会继续收费，如不需要保留该日志，可以在LTS控制台删除对应的日志组和日志流。

数据源简介 数据源简介 数据源类型 简介 数据仓库服务（DWS） DWS是基于Sharednothing分布式架构，具备MPP大规模并行处理引擎，兼容标准ANSI SQL 99和SQL 2003，同时兼容PostgreSQL/Oracle数据库生态，为各行业PB级海量大数据分析提供有竞争力的解决方案。 数据湖探索（DLI） DLI是完全兼容Apache Spark和Apache Flink生态，实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎，企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等，挖掘和探索数据价值。 MapReduce服务（MRS HBase） HBase是一个开源的、面向列（ColumnOriented）、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。 使用MRS HBase可实现海量数据存储，并实现毫秒级数据查询。选择MRS HBase可以实现物流数据毫秒级实时入库更新，并支持百万级时序数据查询分析。 MapReduce服务（MRS Hive） Hive是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HiveQL，它允许熟悉SQL的用户查询数据。 使用MRS Hive可实现TB/PB级的数据分析，快速将线下Hadoop大数据平台（CDH、HDP等）迁移上云，业务迁移 “0”中断，业务代码 “0”改动。 MapReduce服务（MRS Kafka） MapReduce服务可提供专属MRS Kafka集群。Kafka是一个分布式的、分区的、多副本的消息发布订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。 MapReduce服务（MRS Ranger） Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限。 MySQL MySQL是目前最受欢迎的开源数据库之一，其性能卓越，架构成熟稳定，支持流行应用程序，适用于多领域多行业，支持各种WEB应用，成本低，中小企业首选。 MapReduce服务（MRS Spark） Spark是一个开源的，并行数据处理框架，能够帮助用户简单的开发快速、统一的大数据应用，对数据进行协处理、流式处理、交互式分析等等。 Spark提供了一个快速的计算、写入以及交互式查询的框架。相比于Hadoop，Spark拥有明显的性能优势。Spark提供类似SQL的Spark SQL语言操作结构化数据。 云数据库RDS RDS是一种基于云计算平台的即开即用、稳定可靠、弹性伸缩、便捷管理的在线关系型数据库服务。 注意，DataArts Studio平台目前仅支持RDS中的MySQL和PostgreSQL数据库。 主机连接 通过主机连接，用户可以在DataArts Studio数据开发中连接到指定的主机，通过脚本开发和作业开发在主机上执行Shell或Python脚本。主机连接保存连接某个主机的连接信息，当主机的连接信息有变化时，只需在主机连接管理中编辑修改，而不需要到具体的脚本或作业中逐一修改。 MapReduce服务（MRS Presto） Presto是一个开源的用户交互式分析查询的SQL查询引擎，用于针对各种大小的数据源进行交互式分析查询。其主要应用于海量结构化数据/半结构化数据分析、海量多维数据聚合/报表、ETL、AdHoc查询等场景。 Presto允许查询的数据源包括Hadoop分布式文件系统（HDFS），Hive，HBase，Cassandra，关系数据库甚至专有数据存储。一个Presto查询可以组合不同数据源，执行跨数据源的数据分析。

创建Topic流控 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏单击“流控管理 > 流控列表”，进入流控列表页面。 步骤 6 在页面顶端单击“Topic”，进入“Topic”页签。 步骤 7 在页面左上角单击“创建流控”，弹出“创建流控”对话框。 步骤 8 设置流控参数。 表 流控参数说明 参数名称 说明 Topic名称 输入指定Topic名称，对此Topic进行流控。流控创建完后，无法修改“Topic名称”。 生产上限速率 设置生产上限速率，单位为MB/s。为空时，表示不设置速率。 消费上限速率 设置消费上限速率，单位为MB/s。为空时，表示不设置速率。 说明 “生产上限速率”和“消费上限速率”不可同时为空。 步骤 9 单击“确定”，跳转到“后台任务管理”页面，当流控任务的“状态”为“成功”时，表示流控创建成功。 进入“流控管理 > 流控列表”页面，在“Topic”页签中，在页面右上角的搜索框中输入新创建的流控名称，单击，查看新创建的流控。

本节介绍分布式消息服务Kafka客户端参数配置 根据实际业务场景，客户端参数配置适当的值，客户端参数列表及说明如下所示： 表1.生产者客户端 参数 说明 retries 消息发送失败时的重试次数。 retry.backoff.ms 消息发送失败时的重试间隔，建议设置为1000。单位：毫秒。 acks 发送消息的持久化机制。为了提升发送性能， 建议设置为acks1。acks0：无需服务端的Response，性能较高、丢数据风险较大。acks1：服务端主节点写成功即返回Response，性能中等、丢数据风险中等、主节点宕机可能导致数据丢失。acksall：服务端主节点写成功且备节点同步成功才返回Response，性能较差、数据较为安全、主节点和备节点都宕机才会导致数据丢失。 batch.size 发往每个分区的消息缓存量。达到设置的数值时，就会触发一次网络请求，然后Producer客户端把消息批量发往服务器。如果batch.size设置过小，有可能影响发送性能和稳定性。建议保持默认值16384。单位：字节。 linger.ms 每条消息在缓存中的最长时间。若超过这个时间，Producer客户端就会忽略batch.size的限制，立即把消息发往服务器。建议根据业务场景， 将linger.ms设置在100~1000之间。单位：毫秒。 partitioner.class 设置分区策略。建议采用粘性分区策略，可提升发送性能。发送客户端2.4及以上版本，默认采用粘性分区策略模式。 buffer.memory 发送的内存池大小。如果内存池设置过小，则有可能导致申请内存耗时过长，从而影响发送性能，甚至导致发送超时。建议buffer.memory ≧ batch.size 分区数 2。单位：字节。 表2.消费者客户端参数 参数 说明 fetch.min.bytes 消费者从服务端获取数据的最小字节数。设置该参数时请尽量评估消息发送端的消息量，若设置过大可能会导致消费端延迟增大，过小可能会导致消费端频繁拉取消息。单位：字节。 fetch.max.wait.ms 服务端等待的最大时间。单位：毫秒。如果使用Local存储引擎，配置了fetch.min.bytes参数，服务器会等待足够的数据才会返回。超过此时间即使没有足够数据也会返回。如果是云存储引擎，一旦有新数据发送进来， 服务器就会结束等待，不需要等待fetch.min.bytes的值。 max.partion.fetch.bytes 每个分区返回的最大字节数。单位：字节。 session.timeout.ms 消费端发送心跳的时间间隔，如果在心跳时间间隔内没有发送心跳，则服务端会认为消费者死亡，从而触发Rebalance，Rebalance期间客户端将会停止消费数据等待Rebalance完成。建议将此参数设置为3000060000。单位：毫秒。默认有效值：6000300000。 max.poll.records 每次Poll获取的最大消息数量，若此值设置过大则需要尽快处理业务逻辑，避免处理过慢影响下一次Poll数据，从而导致在session.timeout.ms时间内没有发送心跳引起Rebalance。建议该值小于 的值。重要 在Java Client 0.10.1及其以上版本有单独的线程发送心跳，小于此版本或者其他语言的客户端都需考虑处理数据时间和发送心跳的间隔，防止频繁Rebalance影响正常消费。 max.poll.interval.ms 最大的Poll间隔时间，仅在Java Client 0.10.1及其以上版本需配置该参数。如果在间隔时间内消费者没有发送Poll请求，即使在session.timeout.ms参数设置的时间内发送了心跳。服务端也会认为消费者死亡，从而触发Rebalance。因此需注意此值需要合理设置，建议该值大于 的值。通常使用默认值即可。单位：毫秒。默认值：300000。 enable.auto.commit 是否采用自动提交位点机制。true：默认采用自动提交机制。false：不采用自动提交机制。默认值：true。 auto.commit.interval.ms 自动提交位点时间间隔。默认值为1000，单位：毫秒。 auto.offset.reset 消费位点重置策略。latest：从最大位点开始消费。earliest：从最小位点开始消费。none：不做任何操作，即不重置。说明建议设置成latest，而不要设置成earliest，避免因位点非法时从头开始消费，从而造成大量重复。如果是您自己管理位点，可以设置为none。

本文主要介绍 变更实例规格。 操作场景 Kafka实例创建成功后，您可以根据业务需要，扩容或者缩容，Kafka实例支持的变更配置如下表所示。 表 变更配置列表 实例规格类型 变更配置类型 是否支持扩容 是否支持缩容 :::: 新规格实例 代理数量 √ × 新规格实例 存储空间 √ × 新规格实例 代理规格 √ √ 老规格实例 基准带宽 √ × 老规格实例 存储空间 √ × 老规格实例 代理规格 × × 怎样判断老规格实例和新规格实例？ 老规格实例：在实例列表中，“规格”显示为带宽（如100MB/s）的实例。 新规格实例：在实例列表中，“规格”显示为ECS规格和代理个数（如kafka.2u4g.cluster3 broker）的实例。 图 实例列表 变更实例规格的影响 表 变更实例规格的影响 变更配置类型 影响 基准带宽/代理数量 扩容基准带宽/代理数量不会影响原来的代理，业务也不受影响。 扩容基准带宽/代理数量时，系统会根据当前磁盘大小进行相应比例的存储空间扩容。例如扩容前实例的代理数为3，每个代理的磁盘大小为200GB，扩容后实例的代理数为10，此时代理的磁盘大小依旧为200GB，但是总磁盘大小为2000GB。 新创建的Topic才会分布在新代理上，原有Topic还分布在原有代理上，造成分区分布不均匀。 通过修改分区平衡，实现将原有Topic分区的副本迁移到新代理上。 存储空间 扩容存储空间有次数限制，只能扩容20次。 扩容存储空间不会影响业务。 代理规格 扩容/缩容代理规格的过程中，节点会重启，可能造成闪断，生产客户端需要配置重试机制。 若Topic为单副本，扩容/缩容期间无法对该Topic生产消息或消费消息。

优势 多源数据分析免搬迁：关系型数据库RDS中存放车辆和车主基本信息，表格存储中存放实时的车辆位置和健康状态信息，数据仓库DWS中存放周期性统计的指标。通过DLI无需数据搬迁，对多数据源进行联邦分析。 数据分级存储：车企需要保留全量历史数据支撑审计类等业务，低频进行访问。温冷数据存放在低成本的对象存储服务OBS上，高频访问的热数据存放在数据引擎（DWS）中，降低整体存储成本。 告警快速敏捷触发服务器弹性伸缩：对CPU、内存、硬盘空间和带宽无特殊要求。 建议搭配以下服务使用： CDM、OBS、DWS。 大数据ETL处理 运营商大数据分析 运营商数据体量在PB~EB级，其数据种类多，有结构化的基站信息数据，非结构化的消息通信数据，同时对数据的时效性有很高的要求，DLI服务提供批处理、流处理等多模引擎，打破数据孤岛进行统一的数据分析。 优势 大数据ETL：具备TB~EB级运营商数据治理能力，能快速将海量运营商数据做ETL处理，为分布式批处理计算提供分布式数据集。 高吞吐低时延：采用Apache Flink的Dataflow模型，高性能计算资源，从用户自建的Kafka、MRSKafka、DMSKafka消费数据，单CU每秒吞吐1千~2万条消息。 建议搭配以下服务使用： OBS、DataArts Studio。

本章节主要介绍节点参考的MRS Kafka。 功能 MRS Kafka主要是查询Topic未消费的消息数。 参数 用户可参考下配置MRS Kafka的参数。 属性参数 参数 是否必选 说明 数据连接 是 选择管理中心中已创建的MRS Kafka连接。 Topic名称 是 选择MRS Kafka中已创建的Topic，使用SDK或者命令行创建。 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“ ”等各类特殊字符，长度为1～128个字符。 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 − 最大重试次数 − 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。 失败策略 是 节点执行失败后的操作： 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划：暂停当前作业运行，当前作业实例状态显示为“等待运行”。 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。

介绍分布式消息服务Kafka删除消费组功能操作内容。 场景描述 Kafka删除消费组的场景包括： 消费组不再使用：当一个消费组不再需要使用时，可以选择删除该消费组。这可能是因为业务需求变化，或者消费组已经完成了其任务。删除消费组可以释放资源，并减少管理和维护的工作量。 重置消费者偏移量：在某些情况下，可能需要重置消费者组的偏移量，以重新开始消费消息。例如，当需要重新处理之前的消息，或者需要从最早的消息开始消费时，可以删除消费组并创建一个新的消费组来实现偏移量的重置。 清理过期的消费组：如果消费组长时间未被使用或者没有活跃的消费者，可以选择删除这些过期的消费组。这有助于减少资源占用和管理的复杂性，同时也可以提高整体性能和效率。 需要注意的是，在删除消费组之前，要确保没有任何正在运行的消费者实例与该消费组相关联。否则，删除消费组可能会导致数据丢失或其他问题。在删除消费组之前，建议先停止相关的消费者实例，并确保所有的消费者都已经退出消费组。 操作步骤 删除消费组 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消费组管理”后进入消费组管理页面。 （5）在目标消费组所在行，单击“更多 ”“删除”。 批量删除消费组 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消费组管理”后进入消费组管理页面。 （5）在目标消费组所在行，勾选其左侧目标框。 （6）点击左上角“删除消费组”按钮，完成批量删除。

本节介绍如何配置Kafka之间的数据复制。 本章节介绍如何创建Kafka数据复制的Smart Connect任务，通过Smart Connect任务可以在两个Kafka实例之间，实现数据的单向或双向复制。 源Kafka实例中的数据会实时同步到目标Kafka实例中。 约束与限制 一个实例最多创建18个Smart Connect任务。 使用Kafka数据复制时，两个Kafka实例间只能通过内网连接。如果两个Kafka实例处于不同的VPC中，请先打通网络。 Smart Connect任务创建成功后，不支持修改任务参数。 确保目标Kafka实例Topic的“批处理消息最大值”大于等于524288字节，否则会导致数据无法同步。如果目标Kafka实例没有创建Topic，在数据同步时会自动创建Topic，此Topic的“批处理消息最大值”和源Kafka实例Topic相同，此时需要确保源Kafka实例Topic的“批处理消息最大值”大于等于524288字节。修改“批处理消息最大值”的方法请参考修改Kafka Topic配置。 前提条件 已开启Smart Connect。 已创建Kafka实例，且实例状态为“运行中”。 配置Kafka间的数据复制 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、单击Kafka实例名称，进入实例详情页面。 5、在左侧导航栏单击“Smart Connect”，进入Smart Connect任务列表页面。 6、单击“创建Smart Connect任务”，进入“创建smart connect”页面。 7、在“connect任务名称”中，输入Smart Connect任务的名称，用于区分不同的Smart Connect任务。任务名称需要符合命名规则：长度为4~64个字符，只能由英文字母、数字、中划线、下划线组成。 8、在“预置类型”中，选择“Kafka数据复制”。 9、在“当前kafka”区域，设置实例别名。实例别名需要符合命名规则：长度为1~20个字符，只能由英文字母、数字、中划线、下划线组成。 实例别名用于以下两个场景中： 开启“重命名Topic”，且“同步方式”为“推送”/“双向”时，当前Kafka实例的别名作为前缀添加到对端Kafka实例的Topic名称前，形成Topic新的名称。例如当前Kafka实例别名为A，对端Kafka实例的Topic名称为test，重命名后的Topic为A.test。 Kafka数据复制的Smart Connect任务创建成功后，当前Kafka实例会自动创建“mm2offsetsyncs. 对端Kafka实例别名 .internal”的Topic。如果Smart Connect任务开启了“同步消费进度”功能，且“同步方式”为“拉取”/“双向”时，当前Kafka实例还会自动创建“ 对端Kafka实例别名 .checkpoints.internal”的Topic。这两个Topic用于存储内部数据，如果删除，会导致同步数据失败。 10、在“对端kafka”区域，设置以下参数。 表11 对端Kafka实例参数说明 参数 参数说明 实例别名 设置实例别名，实例别名需要符合命名规则：长度为1~20个字符，只能由英文字母、数字、中划线、下划线组成。 实例别名用于以下两个场景中： 开启“重命名Topic”，且“同步方式”为“拉取”/“双向”时，对端Kafka实例的别名作为前缀添加到当前Kafka实例的Topic名称前，形成Topic新的名称。例如对端Kafka实例别名为B，当前Kafka实例的Topic名称为test01，重命名后的Topic为B.test01。 Kafka数据复制的Smart Connect任务创建成功后，如果Smart Connect任务开启了“同步消费进度”功能，且“同步方式”为“推送”/“双向”时，对端Kafka实例会自动创建“当前Kafka实例别名 .checkpoints.internal”的Topic。此Topic用于存储内部数据，如果删除，会导致同步数据失败。 配置类型 支持以下两种配置类型： Kafka地址：输入Kafka实例的连接信息。对端Kafka实例和当前Kafka实例处于不同的VPC下时，请选择此配置类型。 实例名称：选择已创建的Kafka实例。对端Kafka实例和当前Kafka实例处于相同的VPC下时，建议选择此配置类型。 实例名称 “配置类型”为“实例名称”，且对端Kafka实例和当前Kafka实例处于相同的VPC下时，需要设置。 在下拉列表中，选择已创建的Kafka实例。 Kafka地址 “配置类型”为“Kafka地址”时，需要设置。 输入Kafka实例的连接地址和端口号。 使用Kafka数据复制时，两个Kafka实例间只能通过内网连接。如果两个Kafka实例处于不同的VPC中，请先打通网络。 认证方式 支持以下认证方式： SASLSSL：表示实例已开启SASLSSL认证，客户端连接Kafka实例时采用SASL认证，数据通过SSL证书进行加密传输。 SASLPLAINTEXT：表示实例开启SASLPLAINTEXT认证，客户端连接Kafka实例时采用SASL认证，数据通过明文传输。 PLAINTEXT：表示实例未开启认证。 认证机制 “认证方式”为“SASLSSL”/“SASLPLAINTEXT”时，需要设置。 SCRAMSHA512：采用哈希算法对用户名与密码生成凭证，进行身份校验的安全认证机制，比PLAIN机制安全性更高。 PLAIN：一种简单的用户名密码校验机制。 用户名 “认证方式”为“SASLSSL”/“SASLPLAINTEXT”时，需要设置。 首次开启密文接入时设置的用户名，或者创建用户时设置的用户名。 密码 “认证方式”为“SASLSSL”/“SASLPLAINTEXT”时，需要设置。 首次开启密文接入时设置的密码，或者创建用户时设置的密码。 Smart Connect任务创建成功后，如果您修改了对端实例的认证方式、认证机制或者密码，会导致同步任务失败。 您需要删除当前Smart Connect任务，然后重新创建新的Smart Connect任务。 11、在“规则配置”区域，设置以下参数。 表12 复制数据规则参数说明 参数 参数说明 同步方式 支持以下三种同步方式： 拉取：把对端Kafka实例数据复制到当前Kafka实例中。 推送：把当前Kafka实例数据复制到对端Kafka实例中。 双向：两端Kafka实例数据进行双向复制。 Topics 设置需要进行数据复制的Topic。 正则表达式：通过正则表达式匹配Topic。 输入/选择：输入Topic名称，如果需要输入多个Topic名称，先输入一个Topic名称，按“Enter”，然后再输入下一个，按“Enter”，依次输入。或者在下拉列表中，选择Topic。最多输入/选择20个Topic。 Topic名称以internal结尾时（例如：topic.internal），此Topic的数据不会被同步。 任务数 数据复制的任务数。默认值为2，建议保持默认值。 如果“同步方式”为“双向”，实际任务数设置的任务数2。 重命名 Topic 在目标Topic名称前添加源端Kafka实例的别名，形成目标Topic新的名称。例如源端实例别名为A，目标Topic名称为test，重命名后的目标Topic为A.test。 两端实例数据双向复制时，开启“重命名Topic”，防止循环复制。 添加来源header 目标Topic接收复制的消息，此消息header中包含消息来源。 两端实例数据双向复制时，默认开启“添加来源header”，防止循环复制。 同步消费进度 开启“同步消费进度”后，将消费者消费进度同步到目标Kafka实例。 开启“同步消费进度”后，您需要注意以下几点： 源端Kafka实例和目标端Kafka实例不能同时消费，否则会导致同步的消费进度异常。 同步消费进度的频率为每分钟一次，因此会导致目标端的消费进度可能会略小于源端，造成部分消息被重复消费，所以需要消费者客户端业务逻辑兼容重复消费的场景。 从源端同步的offset与目标端的offset并非一致关系，而是映射关系，如果消费进度由消费者客户端自行维护，消费者客户端从消费源端Kafka实例变为消费目标端Kafka实例后，不向目标端Kafka实例获取消费进度，可能会导致offset错误或消费进度重置。 副本数 在对端实例中自动创建Topic时，指定Topic的副本数，此参数值不能超过对端实例的代理数。 如果对端实例中设置了“default.replication.factor”，此参数的优先级高于“default.replication.factor”。 启动偏移量 支持两种偏移量： 最早：最小偏移量，即获取最早的数据。 最新：最大偏移量，即获取最新的数据。 压缩算法 复制消息所使用的压缩算法。 topic映射 通过Topic映射，您可以自定义目标端Topic名称。 最多新增20个Topic映射。不能同时设置“重命名Topic”和“topic映射”。 配置复制数据规则时需要注意以下几点： 创建双向数据复制任务时，为了防止循环复制，控制台限定必须开启“重命名Topic”或者“添加来源header”。如果您在两个实例间，对同一个Topic分别创建拉取和推送的任务，即形成双向数据复制，且两个任务都未开启“重命名Topic”和“添加来源header”，此时会导致数据循环复制。 如果创建两个或以上配置完全相同的任务，即重复创建任务，且任务已开启“同步消费进度”，此时会导致数据重复复制，且目标Topic消费进度异常。 12、（可选）在页面右下角单击“开始检测”，测试两端Kafka实例的连通性。 显示“连通性检测成功”时，表示两端Kafka实例可以正常连接。 13、单击“立即创建”，跳转到Smart Connect任务列表页面，页面右上角显示“创建xxx任务成功”。 Kafka数据复制的Smart Connect任务创建成功后，Kafka会自动创建以下Topic。 当前Kafka实例会自动创建“mm2offsetsyncs. 对端Kafka实例别名 .internal”的Topic。如果Smart Connect任务开启了“同步消费进度”功能，且“同步方式”为“拉取”/“双向”时，当前Kafka实例还会自动创建“ 对端Kafka实例别名 .checkpoints.internal”的Topic。这两个Topic用于存储内部数据，如果删除，会导致同步数据失败。 如果Smart Connect任务开启了“同步消费进度”功能，“同步方式”为“推送”/“双向”时，对端Kafka实例会自动创建“ 当前Kafka实例别名 .checkpoints.internal”的Topic。此Topic用于存储内部数据，如果删除，会导致同步数据失败。 结束

参数 说明 示例 接入点 Apache Kafka集群broker接入点，由IP与端口号拼接而成，以逗号分隔。 172.17.0.25:9092,192.17.0.26:9092,172.17.0.27:9092 Topic topic名称。 topic1 网络配置 根据业务场景选择对应配置。 专有网络 公网网络 专有网络 VPC 网络配置选择专有网络时必填，选择集群所在的VPC。 vpc 子网 网络配置选择专有网络时必填，选择集群所在的子网。 subnet 认证模式 选择认证模式。 PLAINTEXT SASLPLAINTEXT 用户名 ：填写SASL用户名 密码 ：填写SASL密码 SASL鉴权方式 ：可选PLAIN和SCRAMSHA512 PLAINTEXT 消息体 选择消息体（Body）的内容，更多信息请参考 完整事件 消息键值 选择消息键值（Key）的内容，更多信息请参考 空

本文主要介绍 重置消费进度。 重置消费进度即修改消费者的消费位置。 说明 重置消费进度可能会导致重复消费，请谨慎操作。 前提条件 Kafka实例不支持在线重置消费进度，请先将待重置消费进度的消费组停止消费，然后重置消费进度。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏选择“消费组管理”，进入消费组列表页面。 步骤 6 单击待重置消费进度的消费组名称，进入消费组详情页。 步骤 7 在“消费进度”页签，通过以下方法，重置消费进度。 重置单个Topic所有分区的消费进度：在待重置消费进度的Topic后，单击“重置消费进度”。 重置单个Topic中单个分区的消费进度：在待重置消费进度的Topic分区后，单击“重置消费进度”。 步骤 8 在弹出的“重置消费进度”对话框中，参考下表，设置重置消费进度参数。 表 重置消费进度参数说明 参数 说明 重置类型 选择重置类型： 时间：重置消费进度到指定的时间。 偏移量：重置消费进度到指定的偏移量。 一键重置消费进度只支持重置消费进度到指定时间。 时间 当“重置类型”为“时间”时，需要设置此参数。 选择重置消费进度的时间点，重置完成后，将从此时间点开始消费。 最早：最早偏移量 自定义：自定义时间点 最晚：最晚偏移量 偏移量 当“重置类型”为“偏移量”时，需要设置此参数。 选择重置消费进度的偏移量，此偏移量不能小于0，重置完成后，将从此偏移量开始消费。 步骤 9 单击“确定”，弹出确认对话框。 步骤 10 单击“是”，完成消费进度的重置。

本文主要介绍DMS for Kafka资源。 资源是服务中存在的对象。在DMS for Kafka中，资源包括：kafka，您可以在创建自定义策略时，通过指定资源路径来选择特定资源。 表 DMS for Kafka的指定资源与对应路径 指定资源 资源名称 资源路径 kafka 实例 【格式】DMS:::kafka:Instance ID 说明 对于实例资源，IAM自动生成资源路径前缀DMS:::kafka: 通过实例ID指定具体的资源路径，支持通配符。例如： DMS:::kafka:表示任意Kafka实例。

本文主要介绍 创建用户并授权使用DMS for Kafka。 如果您需要对您所拥有的DMS for Kafka服务进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），通过IAM，您可以： 根据企业的业务组织，在您的帐号中，给企业中不同职能部门的员工创建IAM用户，让员工拥有唯一安全凭证，并使用DMS for Kafka资源。 根据企业用户的职能，设置不同的访问权限，以达到用户之间的权限隔离。 将DMS for Kafka资源委托给更专业、高效的其他帐号或者云服务，这些帐号或者云服务可以根据权限进行代运维。 如果帐号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用DMS for Kafka服务的其它功能。 本章节为您介绍对用户授权的方法，操作流程如下图所示。 前提条件 给用户组授权之前，请您了解用户组可以添加的DMS for Kafka系统策略，并结合实际需求进行选择，DMS for Kafka支持的系统策略及策略间的对比，请参见：DMS for Kafka权限管理。 示例流程 图 给用户授权DMS for Kafka权限流程 1. 创建用户组并授权 在IAM控制台创建用户组，并授予DMS for Kafka的只读权限“DMS ReadOnlyAccess”。 2. 创建用户并加入用户组 在IAM控制台创建用户，并将其加入 1 中创建的用户组。 3. 用户登录并验证权限 新创建的用户登录控制台，切换至授权区域，验证权限： 在“服务列表”中选择分布式消息服务Kafka，进入Kafka实例主界面，单击右上角“购买Kafka实例”，尝试购买Kafka实例，如果无法购买Kafka实例（假设当前权限仅包含DMS ReadOnlyAccess），表示“DMS ReadOnlyAccess”已生效。 在“服务列表”中选择云硬盘（假设当前策略仅包含DMS ReadOnlyAccess），若提示权限不足，表示“DMS ReadOnlyAccess”已生效。

本文主要介绍DMS for Kafka请求条件。 您可以在创建自定义策略时，通过添加“请求条件”（Condition元素）来控制策略何时生效。请求条件包括条件键和运算符，条件键表示策略语句的 Condition元素，分为全局级条件键和服务级条件键。全局级条件键（前缀为g:）适用于所有操作，服务级条件键（前缀为服务缩写，如dms:）仅适用于对应服务的操作。运算符与条件键一起使用，构成完整的条件判断语句。 DMS for Kafka通过IAM预置了一组条件键，例如，您可以先使用dms:ssl条件键检查Kafka实例是否开启SASL，然后再允许执行操作。下表显示了适用于DMS for Kafka服务特定的条件键。 表DMS for Kafka请求条件 DMS for Kafka条件键 运算符 描述 dms:publicIP BoolIsNullOrEmptyBoolIfExists 是否开启公网 dms:ssl BoolIsNullOrEmptyBoolIfExists 是否开启SASL

分区平衡前的准备工作 在不影响业务的前提下，适当调小Topic老化时间并等待消息老化，减少迁移数据，加快迁移速度，分区平衡任务结束后可重新调整为初始值。 确保分区平衡的目标Broker磁盘容量充足。如果目标Broker磁盘剩余容量接近分区平衡迁移到该Broker上的数据量，为了给目标Broker上的消息生产预留存储空间，应先进行磁盘扩容，再进行分区平衡。 自动平衡 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏单击“Topic管理”，进入Topic列表页面。 步骤 6 通过以下任意一种方法，修改分区平衡。 勾选Topic名称左侧的方框，可选一个或多个，单击信息栏左上侧的“一键平衡 > 自动平衡”。 在待修改分区平衡的Topic所在行，单击“更多 > 一键平衡 > 自动平衡”。 步骤 7 设置自动平衡参数。 在“Brokers列表”区域，勾选目标Broker的名称，Topic分区的副本即将迁移至目标Broker上。 在“Topic列表”区域，输入Topic需要自动平衡的副本数，副本数须小于等于Broker的数量。 在“带宽限制”中，输入带宽大小，默认值为“1”，表示不限制带宽。如果实例负载较低，建议不设置带宽限制。如果需要设置带宽限制，建议该参数值不小于待分区平衡Topic的总生产带宽 待分区平衡Topic的最大副本数。带宽限制值的估算方法，请参考带宽限制值估算方法。 图设置自动平衡参数 步骤 7 单击“确定”，自动跳转到Topic列表页面。 在Topic列表页面左上方单击“查看变更任务”，进入“后台任务管理”页面，查看分区平衡任务的状态。当“状态”为“成功”时，表示分区平衡完成。 说明 分区平衡任务启动后，不能删除正在进行分区平衡的Topic，否则会导致分区平衡任务无法结束。 分区平衡任务启动后，无法修改Topic的分区数。 分区平衡任务启动后，无法手动停止任务，需要等到任务完成。

本节主要介绍分布式消息服务Kafka的退订说明 如果您有退订的需求，可以进行登录天翼云管理中心或产品控制台进行退订操作。天翼云目前支持7天无理由全额退订和非七天无理由退订以及其他退订，详细规则请参考文档费用中心退订。

修改配置 在 Manager 页面，集群服务>配置管理，修改 Kafkavars.yaml 和 server.properties 文件，按上述配置修改。 创建目录机器上的目录 plaintext 登录每台KafkaBrokerServer的机器 创建目录，并修改权限 sudo mkdir p /data02/kafka/data sudo chown kafka:kafka /data02/kafka/data 重启服务 在Manager页面，进入服务管理，选择Kafka集群，BrokerServer，重启BrokerServer服务。请选择合适的时间进行服务的重启。

本节介绍Kafka分区平衡功能 场景描述 分区平衡是指将分区的副本重新分配到不同的节点上，解决Kafka节点负载不均衡问题。 需要进行分区平衡的场景如下： 实例扩容节点个数后，新节点没有任何负载，需要将原有Topic分区的副本迁移到新节点上。 将高负载节点上的Leader分区切换为Follower分区。 增加/减少副本数量。 分布式消息服务Kafka版控制台提供两种分区平衡的方法：自动平衡和手动平衡，建议选择自动平衡，确保分区Leader的均匀分布。 操作影响 对数据量大的Topic进行分区平衡，会占用大量的网络和存储带宽，业务可能会出现请求超时或者时延增大，建议在业务低峰期时操作。对Topic进行分区平衡前，根据Kafka实例规格对比当前实例负载情况，评估是否可以进行分区平衡，建议预留足够的带宽进行分区平衡，CPU使用率在90%以上时，不建议进行分区平衡。 带宽限制是指设定Topic进行副本同步的带宽上限，确保不会对该实例上的其他Topic造成流量冲击。但需要注意，带宽限制不会区分是正常的生产消息造成的副本同步还是分区平衡造成的副本同步，如果带宽限制设定过小，可能会影响正常的生产消息，且可能会造成分区平衡一直无法结束。 分区平衡任务启动后，不能删除正在进行分区平衡的Topic，否则会导致分区平衡任务无法结束。 分区平衡任务启动后，无法修改Topic的分区数。 分区平衡任务启动后，无法手动停止任务，需要等到任务完成。 分区平衡后Topic的metadata会改变，如果生产者不支持重试机制，会有少量的请求失败，导致部分消息生产失败。 数据量大的Topic进行分区平衡的时间会比较长，建议根据Topic的消费情况，适当调小Topic老化时间，使得Topic的部分历史数据被及时清理，加快迁移速度。

本文主要介绍如何设置消息堆积数超过阈值时，发送告警短信/邮件。 操作场景 如果您想要在消费组的消息堆积数超过阈值时，通过短信/邮件及时收到通知信息，可以参考本章节设置告警通知。 您还可以参考分布式消息服务Kafka的支持的监控指标，设置告警通知。 前提条件 已购买Kafka实例、创建Topic，并且已成功消费消息。 操作步骤 1、 登录分布式消息服务Kafka控制台，单击待创建告警通知的实例名称，进入实例详情页。 2、 在左侧导航栏，选择“监控”，进入监控页面。 3、 在“消费组”页签，设置需要创建告警通知的消费组。 图 选择需要创建告警通知的消费组 消费组：选择需要创建告警通知的消费组。 主题：选择“全部Topic”。 4、 选中“消息堆积数（消费组可消费消息数）”图表，单击，创建告警规则。 图 消息堆积数图表 5、 在“创建告警规则”界面，设置告警名称。 图 设置告警名称 名称：您自定义的告警名称，用于识别不同的告警。 描述：告警规则描述，可以不填。 6、 在“创建告警规则”界面，设置告警策略。 图 设置告警策略 触发规则：选择“自定义创建”。 告警策略：触发告警规则的告警策略，是否触发告警取决于连续周期的数据是否达到阈值。 告警级别：根据实际情况选择告警等级。 7、 在“创建告警规则”界面，设置告警通知对象。 图 设置告警通知对象 发送通知：选择开启。 通知方式：选择“主题订阅”。 通知对象：选择云帐号联系人或已创建的告警通知主题，告警通知主题的订阅信息中包含需要接收告警信息的手机号/邮箱地址。 图 创建告警通知主题 图 添加订阅 生效时间：该告警规则仅在生效时间内发送通知消息。 触发条件：触发告警通知的条件。 8、 在“创建告警规则”界面，设置企业项目和标签。 图 设置企业项目和标签 归属企业项目：告警规则所属的企业项目。只有拥有该企业项目权限的用户才可以查看和管理该告警规则。 标签：标签用于标识云资源，当您拥有相同类型的许多云资源时，可以使用标签按各种维度（例如用途、所有者或环境）对云资源进行分类。 9、 单击“立即创建”，完成告警规则的设置。 告警规则创建完成后，在云监控服务的“告警 > 告警规则”界面，查看新创建的告警规则。 图 查看新创建的告警规则

本章节主要介绍ALM38000 Kafka服务不可用的告警。 告警解释 系统按照30秒的周期检测Kafka服务是否可用，当Kafka服务不可用，系统产生此告警。 当Kafka服务恢复正常，告警自动清除。 告警属性 告警ID 告警级别 是否自动清除 38000 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 集群无法对外提供Kafka服务，用户无法执行新的Kafka任务。 可能原因 KrbServer服务故障。（非普通模式集群） ZooKeeper服务故障或无响应。 Kafka服务中Broker实例状态异常。 处理步骤 检查KrbServer服务状态（普通模式集群跳过此步骤） 1. 在FusionInsight Manager管理界面，选择“集群 > 待操作集群的名称 > 服务 > KrbServer”。 2. 查看KrbServer服务的运行状态是否为“良好”。 是，执行步骤5。 否，执行步骤3。 3. 参考“ALM25500 KrbServer服务不可用”的处理步骤进行操作。 4. 再次执行步骤2。 检查ZooKeeper服务状态 5. 查看ZooKeeper服务的运行状态是否为“良好”。 是，执行步骤8。 否，执行步骤6。 6. 如果ZooKeeper服务已停止，则启动ZooKeeper服务，否则参考“ALM13000 ZooKeeper服务不可用”的处理步骤进行操作。 7. 再次执行步骤5。

本文主要介绍消费组问题。 Kafka实例是否需要创建消费组、生产者和消费者？ 不需要单独创建消费组、生产者和消费者，在使用时自动生成，实例创建后，直接使用即可。 连接Kafka实例后，生产消息和消费消息，请参考向Kafka实例生产消息和消费消息。 如果消息组中没有在线的消费者（如empty状态），是否14天后会自动被删除？ 消息组中没有在线的消费者（如empty状态），14天后是否会自动被删除与offsets.retention.minutes参数有关： 2020年6月16日前创建的实例，offsets.retention.minutes默认为2147483646分钟，约1491308天，消费组14天后不会被删除。 2020年6月16日以及之后创建的实例，offsets.retention.minutes默认为20160分钟，即14天，消费组14天后会自动被删除。 原因如下： Kafka通过offsets.retention.minutes参数控制消费组中offsets保留时间，在此时间内如果没有提交offset，offsets将会被删除。Kafka判定消息组中没有在线的消费者（如empty状态），且没有offsets时，将会删除此消费组。 客户端删除消费组后，在Kafka Manager中仍可以看到此消费组？ 客户端删除消费组后，此消费组已经被删除了。在Kafka Manager中仍可以看到此消费组，是因为Kafka Manager存在缓存。 通过以下任意一种方法解决此问题： 重启Kafka Manager。 Kafka Manager只显示14天内有消费记录的消费组，如果您不想重启Kafka Manager，可以等待14天后Kafka Manager自动清除此消费组。

面向长期稳定客户，我们特别推出了更加优惠的包年订阅选项，旨在通过深度折扣，帮助客户显著降低资源单位成本，优化整体支出。 自2024年11月9日起订购和续订分布式消息服务Kafka产品更长包周期即可享受2年7折，3年5折优惠。 注意 本次包年优惠适用于新资费产品范围，具体支持资源池请参阅

分布式消息服务Kafka引擎类型云原生引擎调整为白名单特性，更多了解请查看快速入门创建实例引擎类型说明。 调整时间 2024年7月5日 影响范围 所有区域 调整影响 新用户默认不开放云原生引擎订购开通，如需要该特性，请联系技术支持开通后使用。 已购买云原生引擎实例的用户，原实例仍可正常使用，续费、扩容等操作不受影响。

操作步骤 步骤 1 登录分布式消息服务Kafka控制台，选择Kafka实例所在的区域。 步骤 2 在Kafka实例名称后，单击，进入云监控该实例的监控指标页面。 步骤 3 在实例监控指标页面中，找到需要创建告警的指标项，鼠标移动到指标区域，然后单击指标右上角的，创建告警规则，跳转到创建告警规则页面。 步骤 4 在告警规则页面，设置告警信息。 创建告警规则操作，请查看《云监控服务用户指南》的“创建告警规则和告警通知”章节。 1. 设置告警名称和告警的描述。 2. 设置告警策略和告警级别。 如下图所示，在进行指标监控时，如果连续3个周期，磁盘容量使用率原始值超过85%，则产生告警，如果未及时处理，则产生告警通知。 图设置告警策略和告警级别 3. 设置“发送通知”开关。当开启时，设置告警生效时间、产生告警时通知的对象以及触发的条件。 4. 单击“立即创建”，等待创建告警规则成功。

分布式消息服务Kafka主机类型通用型规格调整为白名单特性，更多了解请查看计费项产品规格说明。 调整时间 2024年6月25日 影响范围 所有区域 调整影响 新用户默认不开放主机类型通用型规格订购开通，如需要该特性，请联系技术支持开通后使用。 已购买主机类型通用型规格实例的用户，原实例仍可正常使用，续费、扩容等操作不受影响。

尊敬的天翼云客户，分布式消息服务Kafka自2025年12月27日起，订购和续订2年、3年选项默认不开放，调整为白名单特性。 调整时间 2025年12月27日 影响范围 所有区域 调整影响 新订购和续订的实例默认不开放2年、3年选项，您可以选择1年包年选项，如仍需要23年包周期选项，请联系技术支持开通后使用。 已购买2年、3年且还在服务期间的实例仍可继续正常使用不受影响。

检查Kafka数据规划。 11. 选择上报告警实例主机名对应的角色“Broker”。单击图表区域右上角的下拉菜单，选择“定制”，来自定义监控项。 12. 在弹出的“定制”对话框中，选择“磁盘 > Broker磁盘使用率”，并单击“确定”。 关于Kafka磁盘使用情况信息会被显示。 13. 根据步骤12的显示信息，查看是否只有步骤2中上报告警的磁盘分区。 是，执行步骤14。 否，执行步骤15。 14. 重新进行磁盘规划，挂载新的磁盘，进入当前问题节点“实例配置”页面，重新配置“log.dirs”，增加其他磁盘相应路径，重启当前Kafka实例。 15. 查看Kafka配置的数据保存时间配置，根据业务需求和业务量权衡，考虑是否需要调小数据保存时间。 是，执行步骤16。 否，执行步骤17。 16. 在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 配置 > 全部配置”，在右侧搜索框中填写配置项名称“log.retention.hours”，然后会显示该配置的当前值，此处的值为Topic默认的数据保存时间，可以适当调小该值。 说明 对于单独配置数据保存时间的Topic，修改Kafka服务配置页面上配置的数据保存时间不生效。 如果需要对某个Topic单独配置的话，可以使用Kafka客户端命令行，来单独配置该Topic。 例如： kafkatopics.sh zookeeper “ ZooKeeper 地址: 2181/kafka ”alter topic “ Topic 名称 ” config retention.ms “ 保存时间 ” 17. 查看是否由于某些Topic的Partition配置不合理导致部分磁盘使用率达到上限（例如：数据量非常大的Topic的Partition数目小于配置的磁盘个数，导致各磁盘上数据分配无法均匀，进而部分磁盘达到使用率上限）。 说明 对于单独配置数据保存时间的Topic，修改Kafka服务配置页面上配置的数据保存时间不生效。 如果需要对某个Topic单独配置的话，可以使用Kafka客户端命令行，来单独配置该Topic。 例如： kafkatopics.sh zookeeper “ ZooKeeper 地址: 2181/kafka ”alter topic “ Topic 名称 ” config retention.ms “ 保存时间 ” 18. 通过Kafka客户端对Topic的Partition进行扩展，命令行操作命令如下： kafkatopics.sh zookeeper“ ZooKeeper 地址 :2181/kafka ” alter topic “ Topic 名称 ” partitions “ 新Partition 数目 ” 说明 新Partition数目建议配置为Kafka数据磁盘数量的倍数。 当前步骤修改可能不会很快解决当前告警，需要结合步骤11中的数据保存时间逐渐均衡数据。 19. 考虑是否需要扩容。 说明 建议当前Kafka磁盘使用率超过80%时，则需要扩容。 是，执行步骤20。 否，执行步骤21。 20. 扩展磁盘容量，扩展后检查告警是否消失。 是，操作结束。 否，执行步骤22。 21. 检查告警是否清除。 是，操作结束。 否，执行步骤22。

本文主要介绍 连接和查看Kafka Manager。 Kafka Manager是开源的Kafka集群管理工具，需要通过浏览器才能访问Kafka Manager的地址。在Kafka Manager页面，您可以查看Kafka集群的监控、代理等信息。 前提条件 已配置如下表所示安全组。 表安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9999 0.0.0.0/0 访问Kafka Manager。 登录Kafka Manager 步骤 1 （可选）创建一台与Kafka实例相同VPC和相同安全组的Windows服务器，详细步骤请参考《弹性云主机用户指南》的“创建弹性主机”章节。 如果是已经开启了公网访问，该步骤为可选，在本地浏览器中即可访问，不需要单独的Windows弹性云主机。 步骤 2 在实例详情信息页面，获取Kafka Manager地址。 未开启公网访问时，Kafka Manager地址为“Manager内网访问地址”。 图 Kafka Manager内网访问地址 已开启公网访问时，Kafka Manager地址为“Manager公网访问地址”。 图 Kafka Manager公网访问地址 步骤 3 在浏览器中输入Kafka Manager的地址，进入Kafka Manager登录页面。 如果是开启了公网访问，在本地浏览器输入Kafka Manager地址访问；如果没有开启公网访问，需要登录步骤1的弹性云主机，然后在浏览器输入Kafka Manager地址访问。 步骤 4 输入创建实例时设置的Kafka Manager用户名和密码，即可管理Kafka集群。

本章节主要介绍翼MapReduce服务的集群管理功能。 集群生命周期管理 翼MR支持集群的生命周期管理包括创建集群和删除集群。 创建集群：支持用户定制集群的类型，组件范围，各类型的节点数、虚拟机规格、可用区、VPC网络、认证信息，翼MR将为用户自动创建一个符合配置的集群，全程无需用户参与；同时支持用户在集群中运行自定义内容；支持快速创建多应用场景集群，比如创建Hadoop分析集群、HBase集群、Kafka集群。大数据平台同时支持部署异构集群，在集群中存在不同规格的虚机，允许在CPU类型，硬盘容量，硬盘类型，内存大小灵活组合。在集群中支持多种虚机规格混合使用。 删除集群：当按需计费的集群不再需要时（包括集群中的数据和配置），用户可以选择删除集群，翼MR会将集群相关的资源全部删除。 创建集群 通过在翼MR服务管理面，客户可以按需创建翼MR集群，通过选择集群所建的区域及使用的云资源规格，一键式创建适合企业业务的翼MR集群。翼MR服务会根据用户选择的集群类型、版本和节点规格，帮助客户自动完成企业级大数据平台的安装部署和参数调优。 翼MR服务为客户提供完全可控的大数据集群，客户在创建时可设置虚拟机的登录方式（密码或者密钥对），所创建的翼MR集群资源完全归客户所用。同时翼MR支持在最小可在两节点4U8G的ECS上部署大数据集群，为客户测试开发提供更多的灵活选择。 翼MR集群类型包括分析集群、流式集群和混合集群。 分析集群：用来做离线数据分析，提供的是Hadoop体系的组件。 流式集群：用来做流处理任务，提供的是流式处理组件。 混合集群：既可以用来做离线数据分析，又可以用来做流处理任务，提供的是Hadoop体系的组件和流式处理组件。 自定义：根据业务需求，可以灵活搭配所需组件（翼MR 3.x及后续版本）。 翼MR集群节点类型包括Master节点、Core节点和Task节点。 Master节点：集群中的管理节点，分布式系统的Master进程和Manager以及数据库均部署在该节点；该类型节点不可扩容。该类型节点的处理能力决定了整个集群的管理上限，MRS服务支持将Master节点规格提高，以支持更大集群的管理。 Core节点：支持存储和计算两种目标的节点，可扩容、缩容。因承载的数据存储，因此在缩容时，为保证数据不丢失，有较多限制，无法进行弹性伸缩。 Task节点：仅用于计算的节点，可扩容、缩容。因只承载计算任务，因此可以进行弹性伸缩。 翼MR创建集群方式支持自定义创建集群和快速创建集群两种。 自定义创建集群：自定义创建可以灵活地选择计费模式、配置项，针对不同的应用场景，可以选择不同规格的弹性云服务器，全方位贴合您的业务诉求。 快速创建集群：用户可以根据应用场景，快速创建对应配置的集群，提高了配置效率，更加方便快捷。当前支持快速创建Hadoop分析集群、HBase集群、Kafka集群。 − Hadoop分析集群：Hadoop分析集群完全使用开源Hadoop生态，采用YARN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flink流式数据计算，Presto交互式查询，Tez有向无环图的分布式计算框等Hadoop生态圈的组件，进行海量数据分析与查询。 − HBase集群：HBase集群使用Hadoop和HBase组件提供一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值。 − Kafka集群：Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量，可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景，实现高效的流式数据采集，实时数据处理存储等。

Hudi Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎，提供IUD接口，在 HDFS的数据集上提供了插入更新和增量拉取的流原语。 资源池 ModelArts提供的大规模计算集群，可应用于模型开发、训练和部署。支持公共资源池和专属资源池两种，分别为共享资源池和独享资源池。ModelArts默认提供公共资源池。专属资源池需单独购买，专属使用，不与其他用户共享。 Hue Hue是一组WEB应用，用于和MRS大数据组件进行交互，能够帮助用户浏览HDFS，进行Hive查询，启动MapReduce任务等，它承载了与所有MRS大数据组件交互的应用。 Kafka Kafka是一个分布式的、分区的、多副本的消息发布订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。 Spark Spark是一个开源的，并行数据处理框架，能够帮助用户简单的开发快速，统一的大数据应用，对数据进行离线处理，流式处理，交互式分析等等。

本文主要介绍了自动续订规则及操作流程。 为避免由于未及时对资源采取续订操作，资源被到期冻结或超期释放，客户购买包月包年产品后，可设置开通自动续订。开通自动续订后，系统将在资源到期前自动续订，无需客户再手动操作。 适用范围 自动续订仅针对采用包月、包年计费模式的资源。 已到期资源不支持设置/修改自动续订。 自动续订仅适于 付费用户 ，不适用于非付费用户。 目前支持设置自动续订的产品有：弹性云主机、GPU云主机、物理机、云桌面、云硬盘、对象存储经典版、云主机备份、专属云计算独享型、专属云存储独享型、弹性IP、共享带宽、天翼云SDWAN、云间高速、关系数据库MySQL版、关系数据库Postgre SQL版、分布式关系数据库、分布式缓存服务Redis版、分布式缓存服务Memcache、文档数据库服务、云HBASE数据库、分布式消息服务RocketMQ、分布式消息服务RabbitMQ、分布式消息服务Kafka、Web应用防火墙、服务器安全卫士、域名无忧、DDos高防IP、云解析、登录保护、网站安全监测、内容安全。 单次最多支持20个资源实例批量续订。 开通、变更、关闭自动续订 用户在续订管理页可开通自动续订功能，变更自动续约周期，或关闭自动续订。 不关闭自动续订的情况下，只要预付费账户余额充足，或为后付费客户，系统将持续按设定的周期自动续订下去。 预付费用户可在官网自主控制自动续订功能的开通、变更、关闭。后付费用户需要客户经理协助开启自动续订权限后才可以自主管理。