本章节介绍Kafka Broker CPU高负载故障演练。 背景介绍 分布式系统中作为数据交换和异步解耦核心的 Kafka 集群，其 Broker 节点 CPU 易因高消息吞吐量、过多消费者组、数据复制同步及消息压缩解压缩等因素出现持续高负载，进而引发消息延迟、吞吐量下降等问题，本演练可有效测试系统的应对与恢复能力。 基本原理 指定或随机一个Broker节点启动自定义程序，空跑for循环来消耗CPU时间片。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker CPU高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 CPU占用率：指定 CPU 负载百分比，取值在0 100之间

本章节介绍Kafka Broker CPU高负载故障演练。 背景介绍 分布式系统中作为数据交换和异步解耦核心的 Kafka 集群，其 Broker 节点 CPU 易因高消息吞吐量、过多消费者组、数据复制同步及消息压缩解压缩等因素出现持续高负载，进而引发消息延迟、吞吐量下降等问题，本演练可有效测试系统的应对与恢复能力。 基本原理 指定或随机一个Broker节点启动自定义程序，空跑for循环来消耗CPU时间片。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker CPU高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 CPU占用率：指定 CPU 负载百分比，取值在0 100之间

本文主要介绍 产品定义。 Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 分布式消息服务Kafka是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。使用分布式消息服务Kafka，资源按需申请，即买即用，您将有更多精力专注于业务快速开发，不用考虑部署和运维。 关于Kafka的帮助手册阅读指引 受限于篇幅，我们提供的Kafka帮助手册重点描述产品相关的内容，以及与开源社区版Kafka的差异部分，例如Kafka的产品规格、控制台操作、客户端对接等。 如果您需要了解Kafka入门知识或消息生产、消费等方面的技术细节，请查阅Kafka官网资料。

本文主要介绍日志收集系统Flume接入Kafka。 最佳实践概述 场景描述 使用Flume+Kafka来完成实时流式日志处理，后面再连接上Storm/Spark Streaming等流式实时处理技术，从而完成日志实时解析的目标。如果Flume直接对接实时计算框架，当数据采集速度大于数据处理速度，很容易发生数据堆积或者数据丢失，而kafka可以当做一个消息缓存队列，可以把它理解为一个数据库，可以存放一段时间的数据。 因此数据从数据源（ HTTP、Log 文件、JMS、监听端口数据等）到flume再到Kafka进行消息缓存，数据一方面可以同步到HDFS做离线计算，另一方面可以做实时计算，可实现数据多分发。 技术架构图 暂无。 方案优势 把数据存储到 HDFS 或者 HBase 等下游存储模块或者计算模块时需要考虑各种复杂的场景，例如并发写入的量以及系统承载压力、网络延迟等问题。Flume 作为灵活的分布式系统具有多种接口，同时提供可定制化的管道。在生产处理环节中，当生产与处理速度不一致时，Kafka 可以充当缓存角色。Kafka 拥有 partition 结构以及采用 append 追加数据，使 Kafka 具有优秀的吞吐能力；同时其拥有 replication 结构，使 Kafka 具有很高的容错性。所以将 Flume 和 Kafka 结合起来，可以满足生产环境中绝大多数要求。 前提条件 需已购买Kafka实例、创建Topic，并且已成功消费消息。 确认准备 Apache Flume环境（1.6.0以上版本兼容 Kafka）。 确认 Kafka 的 Source、 Sink 组件已经在 Flume 中。 资源规划 本实践方案内容仅涉及Kafka专享版实例。 分布式消息服务 Figure 1 分布式消息服务 资源类型 配置项 配置明细 说明 :::: 企业中间件 DMS Kafka专享实例 需已购买kafka专享实例，创建好Topic，并成功消费消息。 方案正文

实例的地域无法变更？ 实例购买部署之后，其地域与物理资源紧密结合，无法变更。如需变更实例的地域，请释放实例，并重新购买。 如何快速测试分布式消息服务Kafka服务端是否正常？ 前提条件 已创建并部署分布式消息服务Kafka实例，且实例处于服务中状态。 操作流程 快速测试分布式消息服务Kafka服务端的流程如下： （1）新建Topic （2）在主题管理页面，生产拨测，体验发送消息 （3）在主题管理页面，查看分区状态 （4）在消息查询页面，按时间或位点查询消息 是否支持延迟消息？ 和开源Apache Kafka一样，分布式消息服务Kafka同样不支持延迟消息。 是否支持压缩消息？ 分布式消息服务Kafka服务端支持收发压缩消息。 如需使用压缩消息，需要在分布式消息服务Kafka的客户端进行设置。在分布式消息服务Kafka客户端进行消息压缩的说明如下： 压缩格式：支持Snappy、LZ4、GZIP等压缩格式。其中，GZIP对CPU的消耗较高，因此不建议选择GZIP，建议选择Snappy或LZ4。 适用场景：一般来说，CPU的价格比流量和存储要高。对于日志类等压缩比较高的场景，可以考虑使用压缩。其余场景，不建议使用压缩。 CPU消耗：压缩会消耗额外的CPU，平均在20%以上。具体额外CPU消耗，需要根据实际场景进行测试。 如何释放实例？ 若不再需要使用实例，可以在控制台上退订实例。 为什么限制Topic总数（分区总数）？ Topic总数（分区总数）太多会使集群性能和稳定性能急剧下降。 分布式消息服务Kafka的存储和协调机制是以分区为粒度的，分区数太多，会导致存储碎片化严重，集群性能和稳定性都会急剧下降。

Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 分布式消息服务Kafka是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。使用分布式消息服务Kafka，资源按需申请，按需配置Topic的分区与副本数量，即买即用，您将有更多精力专注于业务快速开发，不用考虑部署和运维。

分布式消息服务Kafka提供全托管、免运维的迁移上云服务，用于自建实例或跨云云实例与分布式消息服务Kafka实例之间的数据同步。本文介绍迁移上云的源实例类型、使用限制、跨VPC数据同步以及使用流程。 背景信息 迁移上云可以把源云分布式消息服务Kafka集群的元数据（Topic和Group配置信息）、消息数据和点位信息同步到目标集群，迁移完成后目标集群的元数据与原集群的元数据保持一致，并且支持持续更新和完成后自动停止任务。 使用限制 1. 此功能不收费，会占用当前实例的服务器资源，请结合业务流量和服务器资源占用情况，在合理的情况下进行迁移。 2. 单机版不支持迁移。 计费说明 分布式消息服务Kafka的迁移上云组件处于公测阶段，不会在分布式消息服务Kafka侧产生费用。同时，天翼云不承诺迁移的SLA，使用迁移上云所依赖的其他产品的SLA和费用说明请以对应产品为准。 环境要求 如果您需要通过迁移上云功能将公网的自建实例的数据同步到分布式消息服务Kafka或者跨地域将某个VPC内的分布式消息服务Kafka的数据同步到另一个VPC的分布式消息服务Kafka，您需要为该实例绑定弹性IP开启公网访问，然后在公网上进行数据同步。 如果您需要将某个VPC内的数据通过迁移上云功能同步到另一个VPC的分布式消息服务Kafka，需要手动打通VPC。具体步骤，请参见：使用VPCEP实现跨VPC访问Kafka

介绍分布式消息服务Kafka与天翼云其他服务关系。 虚拟私有云(CTVPC ，Virtual Private Cloud) 虚拟私有云为分布式消息服务Kafka提供一个逻辑隔离的区域，构建一个安全可靠、 可配置和管理的虚拟网络环境。更多信息请参见虚拟私有云。 弹性云主机（CTECS，Elastic Cloud Server） 分布式消息服务Kafka订购后，默认按照用户选择的实例规格开通弹性云主机，云主机由 CPU、内存、镜像、云硬盘组成，同时结合VPC、安全组、数据多副本保存等能力，打造一个既高效又可靠安全的计算环境，确保分布式消息服务Kafka持久稳定运行。更多信息请参见弹性云主机。 云硬盘（CTEVS，Elastic Volume Service） 分布式消息服务Kafka订购后，默认按照用户选择的存储大小开通云硬盘。云硬盘是一种可弹性扩展的块存储设备，可以为分布式消息服务Kafka提供高性能、高可靠的块存储服务。更多信息请参见云硬盘。 弹性IP（Elastic IP，EIP） 弹性IP是可以独立申请的公网 IP 地址，包括公网IP地址与公网出口带宽服务。可以与分布式消息服务Kafka动态绑定和解绑，实现云资源的互联网访问。针对需要公网访问分布式消息服务Kafka实例的需求，用户可开通弹性IP后，在Kafka实例开通页面进行绑定。更多信息请参见弹性IP。

介绍分布式消息服务Kafka业务迁移内容。 应用场景 Kafka的业务迁移可以应用在多个领域和场景中，包括但不限于以下几个方面： 数据集成和数据仓库：Kafka可以用作数据集成的中间件，将分散的数据源集中到一个统一的平台上。通过使用Kafka的生产者和消费者，可以实现数据的可靠传输和消费，支持实时的数据集成和数据仓库的建设。 实时数据处理和流处理：Kafka提供了流处理功能，可以对实时数据流进行处理和分析。通过使用Kafka Streams、Apache Flink等流处理框架，可以对数据流进行实时的计算、转换、聚合等操作，实现实时数据处理和实时决策。 异步通信和消息队列：Kafka作为消息队列，可以用于异步通信和解耦系统之间的依赖关系。通过将同步的请求和响应转换为异步的消息，可以提高系统的可伸缩性和响应性能，实现松耦合的系统架构。 日志收集和分析：Kafka可以用作日志收集和分析的中间件，用于接收和传递系统和应用程序的日志数据。通过将日志数据发送到Kafka中，可以实现日志的集中存储和分发。同时，可以使用Kafka的消费者来实时消费和分析日志数据，帮助进行故障排查、性能监控和安全审计等工作。 数据同步和复制：在多个数据中心或分布式系统之间进行数据同步和复制时，可以使用Kafka作为数据的中间传输通道。通过使用Kafka的生产者和消费者，可以实现数据的可靠传输和复制，保证数据的一致性和可用性。 这些只是Kafka业务迁移的一部分应用场景，实际应用中还有很多其他的需求和场景。Kafka的高性能、可靠性和可扩展性使其成为业务迁移的理想选择。

本文介绍如何应用事件总线EventBridge的事件流功能实现分布式消息服务Kafka的消息路由。 前提条件 开通事件总线EventBridge并授权。 开通分布式消息服务Kafka并创建最少两个主题。 背景信息 事件流作为更轻量、实时端到端的流式事件通道，提供轻量级的流式数据的过滤和转换的能力，在不同的数据仓库之间、数据处理程序之间、数据分析和处理系统之间进行数据同步。源端分布式消息服务Kafka生产的消息可以通过事件流这个通道被路由到目标端的分布式消息服务Kafka。 步骤一：创建事件流 1. 登录事件总线EventBridge控制台。 2. 在左侧导航栏，单击事件流。 3. 在事件流页面，单击创建事件流。 4. 在创建事件流面板，设置任务名称和描述，配置以下参数，然后单击保存。 a.在Source（源）配置向导，选择数据提供方为分布式消息服务Kafka ，设置以下参数，然后单击下一步。 参数 说明 示例 Kafka实例 选择Kafka实例。 instancexxx Kafka Topic 选择Kafka topic。 topicxxx Group 选择消费组。 快速创建 消费位点 选择消费位点。 最新位点 b.在Filtering（过滤）配置向导，设置事件过滤规则，单击下一步。 c.在Sink（目标）配置向导，选择服务类型为分布式消息服务Kafka，配置参数，单击保存，如图1所示。 参数 说明 示例 Kafka实例 选择Kafka实例。 instancexxx Kafka Topic 选择Kafka topic。 topicxxx 消息体（value） 提取事件中的数据。 $.data.value 消息键值（key） 提前事件中的key到目标。 $.data.key 图1 创建事件流时目标类型选择分布式消息服务Kafka 5. 创建事件流后，会有30秒~60秒的延迟时间，您可以在事件流页面的状态栏查看启动进度。

本节主要介绍分布式消息服务Kafka的产品简介 分布式消息服务Kafka 是一个分布式、高吞吐量、高可用的消息队列服务，针对开源的 Kafka 提供全托管服务，解决开源产品长期以来的痛点，用户只需专注于业务开发，无需部署运维，低成本、更弹性、更可靠，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。 关于Kafka的帮助手册阅读指引 考虑到篇幅的限制，我们提供的Kafka用户手册主要描述了产品相关的信息，以及与开源社区版Kafka的差异，如天翼云Kafka的产品规格、控制台操作、API接口调用，以及客户端对接等方面。 如果您需要了解Kafka的基础入门知识或者消息的生产和消费等技术细节，请查阅Kafka官网资料。 产品架构 Broker：消息中间件处理结点，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群。 Topic：主题 一类消息的集合。 Partition：分区，topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队列。 Segment：partition物理上由多个segment组成。 offset：每个partition都由一系列有序的、不可变的消息组成，这些消息被连续的追加到partition中。partition中的每个消息都有一个连续的序列号叫做offset,用于partition唯一标识一条消息。 Producer：消息和数据生成者，一般为应用调用API进行消息生产，并向Kafka的Topic发布消息。 Consumer：消息订阅者，也成为消息消费者，负责向 Kafka Broker 读取消息并进行消费。 Consumer Group：一类Consumer的集合名称，这类Consumer通常消费一类消息，且消费逻辑一致，Consumer Group 和 Topic 的关系是 N：N，同一个 Consumer Group 可以订阅多个 Topic，同一个 Topic 也可以被多个 Consumer Group 订阅。 更多信息请参见名词解释。

介绍分布式消息服务Kafka监控安全风险 分布式消息服务Kafka提供资源和操作监控能力，可以对每个消息实例实时监控、告警和通知操作。用户可以实时掌握实例、主题、消费组的生产消费情况，包括流量、堆积量、重平衡次数等关键信息。 分布式消息服务Kafka支持的监控指标等内容，参考监控信息。

本文介绍如何在事件总线EventBridge管理控制台添加分布式消息服务Kafka作为事件流中的事件提供方。 前提条件 事件总线EventBridge 开通事件总线EventBridge并委托授权。 分布式消息服务Kafka 开通分布式消息服务Kafka。 操作步骤 1. 登录事件总线管理控制台。 2. 在左侧导航栏，单击事件流。 3. 在事件流页面，单击创建事件流。 4. 在事件源（Source） 配置面板，事件提供方 选择分布式消息服务Kafka，选择或填入主题等配置然后单击确认，如图1所示。 图1 创建事件流时选择事件提供方为分布式消息服务Kafka 参数说明 参数 说明 示例 实例名称 选择前提条件中已创建的分布式消息服务Kafka版实例。 KAFKAxxx Topic 选择当前实例中的Topic。 topic1 Group 快速创建：自动创建以GIDEVENTBRIDGExxx命名的Group ID。 使用已有：选择当前实例中已创建的Group，请不要与已有业务的Group混用，以免影响已有的消息收发。 group1 消费位点 开始消费的位置。 最新位点：从最新位点开始消费。 最早位点：从最初位点开始消费。 最新位点 事件示例 plaintext { "id": "c40c8fe289994177b5aed37466bae2e5", "source": "ctyun:kafka", "specversion": "1.0", "subject": "ctyun:kafka:b342b77ef26b11ecbxxxxxxxc110002:0b3a633836ef4xxxxxx33ab4da:topic:streamsource", "time": "20250206T03:44:55.026774053Z", "datacontenttype": "application/json", "type": "kafka:Topic:SendMessage", "ctyunregion": "b342b77ef26b11ecbxxxxxxxc110002", "ctyunaccountid": "0b3a633836ef4xxxxxx33ab4da", "data": { "offset": 1, "topic": "streamsource", "value": "Hello,Kafka!", "key": "test" } } data字段包含的参数解释如下表所示： 参数 类型 示例值 描述 topic String source1 Topic名称。 offset Integer 1 消费位点。 key String test 消息Key值。 value Object Hello,Kafka! 消息体，默认以JSON格式编码。

云服务名称 作用范围 系统策略名称 系统策略描述 分布式消息服务Kafka 全局 KAFKA viewer 只读用户 分布式消息服务Kafka 全局 KAFKA user 管理员 分布式消息服务Kafka 全局 KAFKA admin 超级管理员 分布式消息服务RabbitMQ 全局 AMQP viewer 只读用户 分布式消息服务RabbitMQ 资源池 AMQP user 管理员 分布式消息服务RabbitMQ 全局 AMQP admin 超级管理员 分布式消息服务RabbitMQ 全局 RabbitMQ4.0只读管理员 4.0只读管理员 分布式消息服务RabbitMQ 全局 RabbitMQ4.0超级管理员 4.0超级管理员 分布式消息服务RabbitMQ 全局 RabbitMQ4.0普通管理员 4.0普通管理员 分布式消息服务RocketMQ 全局 MQ2 viewer 只读用户 容器云服务引擎CCSE 全局 MQ2 user 管理员 容器云服务引擎CCSE 全局 MQ2 admin 超级管理员 容器云服务引擎CCSE 全局 RocketMQMQ2 viewer 只读访问分布式消息服务RocketMQMQ2的权限 容器云服务引擎CCSE 全局 RocketMQMQ2 admin 分布式消息服务RocketMQMQ2管理权限 容器云服务引擎CCSE 全局 CCSE admin CCSE超级管理员权限 容器云服务引擎CCSE 全局 CCSE user CCSE管理员权限 容器云服务引擎CCSE 全局 CCSE viewer CCSE只读用户权限 微服务应用平台MSAP 全局 MSAP管理员 管理员策略 微服务应用平台MSAP 全局 MSAP普通用户 MSAP普通用户策略

结果验证 1. 使用事件源触发一个事件。 2. 您可以在分布式消息服务Kafka管理控制台确认是否接收到事件，如图2所示。 1. 登录分布式消息服务Kafka管理控制台，然后在左侧导航栏选择实例列表。 2. 在实例列表页面单击目标实例名称。 3. 在消息查询页面，进行对应消息查询即可查看消息内容。 图2 在分布式消息服务Kafka管理控制台中查看消息详情

本文主要介绍产品优势。 分布式消息服务Kafka完全兼容开源社区版本，旨在为用户提供便捷高效的消息队列。业务无需改动即可快速迁移上云，为您节省维护和使用成本。 一键式部署，免去集群搭建烦恼 您只需要在实例管理界面选好规格配置，提交订单。后台将自动创建部署完成一整套Kafka实例。 兼容开源，业务零改动迁移上云 兼容社区版Kafka的API，具备原生Kafka的所有消息处理特性。 业务系统基于开源的Kafka进行开发，只需加入少量认证安全配置，即可使用分布式消息服务Kafka，做到无缝迁移。 说明 Kafka实例兼容开源社区Kafka 1.1.0、2.3.0和2.7版本。在客户端使用上，推荐使用和服务端版本一致的版本。 安全保证 独有的安全加固体系，提供业务操作云端审计，消息存储加密等有效安全措施。 在网络通信方面，除了提供SASL（Simple Authentication and Security Layer）认证，还借助虚拟私有云（VPC）和安全组等加强网络访问控制。 数据高可靠 Kafka实例支持消息持久化，多副本存储机制。副本间消息同步、异步复制，数据同步或异步落盘多种方式供您自由选择。 集群架构与跨AZ部署，服务高可用 Kafka后台为多集群部署，支持故障自动迁移和容错，保证业务的可靠运行。 Kafka实例支持跨AZ部署，代理部署在不同的AZ，进一步保障服务高可用。不同AZ之间基于Kafka ISR（insync replica）进行数据同步，Topic需要选择数据多副本并且将不同副本分布到不同的ISR上，在ISR正常同步状态下，故障RPO（Recovery Point Objective）趋近于0。 无忧运维 云服务平台提供一整套完整的监控告警等运维服务，故障自动发现和告警，避免724小时人工值守。Kafka实例自动上报相关监控指标，如分区数、主题数、堆积消息数等，并支持配置监控数据发送规则，您可以在第一时间通过短信、邮件等获得业务消息队列的运行使用和负载状态。 海量消息堆积与弹性扩容 内建的分布式集群技术，使得服务具有高度扩展性。分区数可配置多达100个，存储空间弹性扩展，保证在高并发、高性能和大规模场景下的访问能力，轻松实现百亿级消息的堆积和访问能力。 多规格灵活选择 Kafka实例的带宽与存储资源可灵活配置，并且自定义Topic的分区数、副本数。

结果验证 1. 使用事件总线事件发布功能，发送一个自定义事件。 2. 您可以在分布式消息服务Kafka管理控制台确认是否接收到事件，如图2所示。 1. 登录分布式消息服务Kafka管理控制台，然后在左侧导航栏选择实例列表。 2. 在实例列表页面单击目标实例名称。 3. 在消息查询页面，进行对应消息查询即可查看消息内容。 图2 在分布式消息服务Kafka管理控制台消息查询界面查询消息

分布式消息服务Kafka版完全兼容开源社区版本，旨在为用户提供便捷高效的消息队列。业务无需改动即可快速迁移上云，为您节省维护和使用成本。 一键式部署，免去集群搭建烦恼 专享实例只需要在实例管理界面选好规格配置，提交订单。后台将自动创建部署完成一整套Kafka实例。 兼容开源，业务零改动迁移上云 兼容社区版Kafka的API，具备原生Kafka的所有消息处理特性。 业务系统基于开源的Kafka进行开发，只需加入少量认证安全配置，即可使用分布式消息服务Kafka，做到无缝迁移。 说明：Kafka专享实例兼容开源社区Kafka 1.1.0和2.3.0版本。在客户端使用上，推荐使用和服务端版本一致的版本。 安全保证 独有的安全加固体系，提供业务操作云端审计，消息存储加密等有效安全措施。 在网络通信方面，除了提供SASL认证，还借助虚拟私有云（VPC）和安全组等加强网络访问控制。 数据高可靠 Kafka专享实例支持消息持久化，多副本存储机制。副本间消息同步、异步复制，数据同步或异步落盘多种方式供您自由选择。 集群架构与跨AZ部署，服务高可用 Kafka后台为多集群部署，支持故障自动迁移和容错，保证业务的可靠运行。 Kafka专享实例支持跨AZ部署，节点部署在不同的AZ，进一步保障服务高可用。 无忧运维 公有云提供一整套完整的监控告警等运维服务，故障自动发现和告警，避免724小时人工值守。Kafka专享实例自动上报相关监控指标，如分区数、主题数、堆积消息数等，并支持配置监控数据发送规则，您可以在第一时间通过短信、邮件等获得业务消息队列的运行使用和负载状态。 海量消息堆积与弹性扩容 内建的分布式集群技术，使得服务具有高度扩展性。分区数可配置多达100个，存储空间弹性扩展，保证在高并发、高性能和大规模场景下的访问能力，轻松实现百亿级消息的堆积和访问能力。 多规格灵活选择 Kafka专享实例的带宽与存储资源可灵活配置，并且自定义Topic的分区数。

本文主要介绍日志处理工具Logstash接入Kafka。 最佳实践概述 场景描述 Kafka与Logstash互联，可实现将Kafka作为inputs把消息传递给Logstash进行处理、或者是作为outputs将Kafka用作消息目的地。 技术架构图 暂无。 方案优势 可以异步处理数据：防止突发流量。 解耦：当发生异常的时候不会影响上游工作。 前提条件 需已购买Kafka实例、创建Topic，并且已成功消费消息。 资源规划 本实践方案内容仅涉及Kafka专享版实例和Logstash。 分布式消息服务 Figure 分布式消息服务 资源类型 配置项 配置明细 说明 :::: 企业中间件 DMS Kafka专享实例 需已购买kafka专享实例，创建好Topic，并成功消费消息。 Logstash下载与安装 下载并安装Logstash，验证运行成功。 方案正文 配置Kafka 1、登录分布式消息服务Kafka版控制台，按需要单击“实例名称”，进入实例基本信息页面。 图 Kafka控制台实例列表 2、在“连接地址”模块，获取Kafka连接IP地址。 图 连接IP地址与端口 3、创建Logstashtest的Topic。 图 创建Topic

本节介绍客户端首次接入分布式消息服务Kafka时出现异常的排查方法 客户端首次接入分布式消息服务Kafka时如果出现异常，您可以通过以下三个方面进行排查： 网络连通问题：通常有如下几种情况可能会导致网络不通，客户端无法连接分布式消息服务Kafka的服务端。 （1）ECS实例（客户端）与分布式消息服务Kafka实例不在同一个VPC内。关于如何通过VPC网络接入服务端，请参见VPC接入。 （2）本地客户端访问非公网的分布式消息服务Kafka实例。您可以通过公网接入服务端。 客户端版本问题：客户端版本太低可能会出现异常，建议升级到与服务端匹配的客户端版本。 配置问题：默认接入点配置错误等都可能导致接入失败。您可以参见快速入门进行配置检查。

本文介绍如何在事件总线EventBridge管理控制台添加分布式消息Kafka类型的自定义事件源。 前提条件 事件总线EventBridge 开通事件总线EventBridge并委托授权。 创建自定义总线。 分布式消息服务Kafka 开通分布式消息服务Kafka。 创建实例、主题与消费组。 操作步骤 1. 登录事件总线管理控制台。 2. 在左侧导航栏，单击事件总线。 3. 在事件总线页面，单击目标总线名称。 4. 在左侧导航栏，单击事件源。 5. 在事件源 页面，单击添加事件源。 6. 在添加自定义事件源 面板，输入名称 和描述 ，事件提供方 选择分布式消息服务Kafka，选择实例、主题等配置然后单击确认，详见图1。 图1 添加事件提供方为分布式消息服务Kafka的事件源 参数说明 参数 说明 示例 名称 事件源名。 source1 实例名称 选择前提条件中已创建的分布式消息服务Kafka版实例。 KAFKAxxx Topic 选择当前实例中的Topic。 topic1 Group 快速创建：自动创建以GIDEVENTBRIDGExxx命名的Group ID。 使用已有：选择当前实例中已创建的Group，请不要与已有业务的Group混用，以免影响已有的消息收发。 group1 消费位点 开始消费的位置。 最新位点：从最新位点开始消费。 最早位点：从最初位点开始消费。 最新位点

本文介绍如何在分布式消息服务Kafka控制台创建元数据导入任务，将元数据迁移至分布式消息服务Kafka现有实例。 前提条件 下载JDK8 购买并部署分布式消息服务Kafka实例 背景信息 Kafka集群元数据是指Kafka集群的Topic和Group配置信息。Kafka集群元数据存储于ZooKeeper上，Kafka集群各个节点从ZooKeeper中获取最新的元数据。因此，集群的各个节点的元数据被导出时都是最新且相同的。Kafka集群元数据可以被导出成一份JSON文件，然后被导入到另一个Kafka集群，实现自建Kafka集群元数据迁移上云。 元数据迁移是指将自建Kafka集群的元数据迁移到分布式消息服务Kafka实例。您可以将自建Kafka集群元数据导出，然后导入云分布式消息服务Kafka实例，分布式消息服务Kafka会解析成功导入的元数据，并支持在创建任务时可视化配置Topic和Group，配置完成后在目标实例中创建对应的Topic和Group，实现自建Kafka集群元数据迁移上云。 步骤一：导出元数据 使用元数据导出工具导出自建Kafka集群的元数据文件。 1.下载元数据导出工具，登陆分布式消息服务Kafka控制台>集群迁移>元数据迁移>创建任务>下载工具 下载对应jar包 2.将下载好的工具上传至能连接到Kafka集群的机器上 3.运行以下命令，导出元数据。运行命令后，您将在kafkamigration.jar 同级目录下看到 名为 metadata.json 的元数据文件。 java cp kafkamigration.jar com.ctg.migration.kafka.MigrationMetadata sourceKafkaConnect (resource topic,group username password mechanism configKey ) 参数 说明 示例 sourceKafkaConnect 自建Kafka集群的IP地址和端口号。 192.168.XX.XX:9092 resource 要导出的资源，可以是topic、 group或topic,group 默认topic,group topic,group username 连接kafka用户名，如果sourceKafkaConnect为免密接入点则无需填写 admin user password 连接kafka密码，如果sourceKafkaConnect为免密接入点则无需填写 real password mechanism 对应的协议，支持PLAIN、SCRAMSHA256、SCRAMSHA512，如果sourceKafkaConnect为免密接入点则无需填写 PLAIN configKey 源集群topic配置，支持多个key，多个用半角逗号分开，all：表示所有配置(不推荐)，具体支持哪些配置可以通过(bin/kafkaconfigs.sh help)命令查看 默认值为：retention.ms retention.ms,max.message.bytes

案例背景 某电商平台订单处理系统采用分布式微服务架构，其概要结构图如下，核心流程通过分布式消息服务Kafka集群实现异步解耦： 订单创建：用户在前端提交订单，请求经过负载均衡器转发至订单服务集群。订单服务处理业务逻辑，生成包含订单详情的消息数据，并将该消息可靠地发送至Kafka集群的特定Topic。 下游处理：库存服务（负责扣减库存）、支付服务（负责发起支付请求）和物流服务（负责生成物流配送单）是主要的下游消费者。它们各自订阅Kafka集群中的相应Topic，并行地拉取并处理消息。 Kafka集群作为异步通信的核心，其稳定性和性能对整个订单系统的可用性至关重要。在高并发的场景下，Kafka Broker可能会面临各种异常情况，其中CPU负载过高是常见的一种，可能由突发流量洪峰、JVM垃圾回收或底层基础设施瓶颈等原因引起。Kafka Broker的CPU高负载会直接影响消息的处理速度，导致生产和消费的延迟，甚至引发整个系统的不稳定。 故障演练服务提供了分布式消息服务KafkaBroker节点CPU高负载演练动作，通过模拟这种真实的故障场景，我们可以量化分析Kafka集群在Broker节点CPU受限时的表现，验证订单处理系统及其下游服务对Kafka异常的容忍度和应对能力，并提升团队在真实故障发生时的异常响应与恢复能力。

本节主要介绍分布式消息服务Kafka的产品优势 分布式消息服务Kafka的产品优势主要包括以下几个方面： 高可用性 生产消费自动负载均衡，消息节点故障时自动主备切换，保证服务的连续性。Kafka实例支持消息持久化，多副本存储机制。副本间消息同步、异步复制，数据同步或异步落盘多种方式供您自由选择。Kafka实例支持跨AZ部署，代理部署在不同的AZ，进一步保障服务高可用。 为了实现Kafka的高可用性，有以下几个关键要素： 分布式架构：Kafka采用分布式架构，消息被分散到多个Broker节点上进行存储和处理。这样即使某个Broker节点发生故障，其他节点仍然可以继续正常运行。 副本机制：Kafka使用副本机制来保证数据的可靠性和高可用性。每个主题（topic）可以有多个分区（partition），而每个分区都有若干个副本（replica）。可配置的参数决定了每个分区的副本数量。副本之间会进行数据同步，当主副本发生故障时，可以选择其中一个副本作为新的主副本，从而保证数据的可用性。 故障检测与自动恢复：Kafka集群中的Broker节点会定期进行心跳检测，以确保其他节点的健康状态。如果某个节点长时间没有响应，就会被认为是故障节点，此时会触发自动恢复机制，选择一个副本作为新的主副本，并从其他节点中复制数据。这样可以保证在节点故障的情况下，Kafka集群仍然能够正常运行。 故障转移：当一个主副本发生故障时，副本控制器（controller）会监测到这个故障，并触发故障转移操作。故障转移的过程包括选择新的主副本、数据同步和通知Producer和Consumer更新元数据信息。这样可以保证在节点故障的情况下，Kafka集群中的数据仍然能够得到完整和正确的处理。 通过以上的机制和策略，Kafka实现了高可用性，即使在节点故障的情况下，仍然能够提供可靠的消息传输和处理。这使得Kafka成为了很多场景下的首选消息队列系统。

本文主要介绍流数据实时处理框架Flink接入Kafka 。 最佳实践概述 场景描述 如果您想要在流数据实时处理场景下，使用Kafka作为流数据的源或者使用Kafka作为流数据的目的，需要将Kafka与Flink对接，可以参考本实践方案。 技术架构图 暂无。 方案优势 用户可按业务需要，参考设置Kafka与Flink框架对接，实现流数据的消息消费。 前提条件 需已购买Kafka实例、创建Topic，并且已成功消费消息。 资源规划 本实践方案内容仅涉及Kafka专享版实例和Flink的安装配置。 分布式消息服务 Figure 分布式消息服务 资源类型 配置项 配置明细 说明 :::: 企业中间件 DMS Kafka专享实例 需已购买kafka专享实例，创建好Topic，并成功消费消息。 Flink流数据处理框架 Figure Flink框架 资源类型 配置项 配置明细 说明 :::: 应用软件 Flink框架 Flink 1.14 使用开源Apache Flink 方案正文 获取Kafka访问地址 1、登录分布式消息服务Kafka版控制台，按需要单击“实例名称”，进入实例基本信息页面。 图 Kafka控制台实例列表 2、在“连接地址”模块，获取Kafka连接IP地址。 图 连接IP地址与端口

本章节介绍Kafka Broker节点主机宕机故障演练。 背景介绍 高性能高可靠的分布式消息服务 Kafka 在复杂分布式环境中仍可能因 Broker 节点宕机引发数据丢失、集群可用性下降、请求延迟升高、副本同步滞后等严重问题，本演练可测试业务系统应对此类核心组件故障的响应能力、高可用切换机制及数据一致性保障效果。 基本原理 指定或随机一个Broker节点进行关机。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker宕机动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 故障节点：可选择随机一个节点或者特定的节点。

介绍分布式消息服务Kafka退订操作内容。 场景描述 分布式消息服务kafka为用户提供全面周到的服务，支持用户退订的需求。用户如不需要继续使用该分布式消息服务Kafka实例，可进行删除实例操作，即退订操作。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“更多”，点击“退订”。 （4）点击“退订”后，会打开新页面，点击“确定” 注意 退订的实例处于冻结状态，请务必在实例退订前停止全部的应用。 在申请退订前，请做好数据备份工作，退订后数据将保留15个自然日，15天后相关数据将不予保留，且不会进行备份，务必谨慎操作。

本文主要介绍 与开源Kafka的差异。 分布式消息服务Kafka在兼容开源Kafka基础上，对版本特性做了一定程度的定制和增强，所以，除了拥有开源Kafka的优点，分布式消息服务Kafka提供了更多可靠、实用的特性。 表分布式消息服务Kafka与开源Kafka的差异说明 对比类 对比项 分布式消息服务Kafka 开源Kafka :::: 简单易用 立等可用 即开即用，可视化操作，自助创建，自动化部署，分钟级创建实例，立即使用，实时查看和管理消息实例。 自行准备服务器资源，安装配置必要的软件并进行配置，等待时间长。 易出错。 简单API 提供简单的实例管理RESTFul API，使用门槛低。 无 成本低廉 按需使用 提供多种规格，按需使用，支持一键式在线进行实例代理个数、磁盘存储空间和代理规格扩容。 搭建消息服务本身需要费用，而且即使没有使用，所占用资源本身依旧要收费。 成本低廉 完全托管 租户不需要单独采购硬件资源，直接使用就绪的服务，无需额外成本。 需要购买硬件资源，自行搭建整个消息服务，使用和维护成本高。 实践验证 成熟度高 经受电商网站大规模访问考验，并且已经在云服务平台许多产品中使用，广泛部署运行在分布于世界各地的电信级客户云业务系统里。满足严苛的电信级故障模式库标准。紧随社区主流版本，修复开源bug，持续上线新功能，进行版本升级。 使用开源软件成熟度低，无法保证关键业务，商业案例少；自研周期长，并需要长时间进行验证。 实践验证 能力强大 100%兼容开源，支持一键扩容，深度优化开源代码提升性能和可靠性，支持消息查询等高级特性。 功能不完善，需额外投入进行开发。 稳定可靠 稳定高可用 支持跨AZ部署，提升可靠性。故障自动发现并上报告警，保证用户关键业务的可靠运行。 需要自己开发或基于开源实现，开发成本高昂，无法保证业务可靠运行。 稳定可靠 无忧运维 后台运维对租户完全透明，整个服务运行具有完备的监控和告警功能。有异常可以及时通知相关人员。避免724小时人工值守。 需要自行开发完善运维功能，尤其是告警及通知功能，否则只能人工值守。 稳定可靠 安全保证 VPC隔离，支持SSL通道加密。 需要自行进行安全加固。

本章节介绍Kafka Broker节点磁盘IO高负载故障演练。 背景介绍 分布式消息服务 Kafka 集群的性能与稳定性高度依赖底层磁盘 IO 能力，高并发写入、集群数据复制、海量消息存储检索及磁盘故障恢复等场景易导致 Broker 节点磁盘 IO 触达瓶颈，引发消息持久化延迟等问题，本演练可测试业务系统的响应与恢复能力。 基本原理 指定或随机一个Broker节点先通过dd命令将数据写入文件中，然后再通过循环读写文件占用磁盘带宽。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker 磁盘IO高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 读负载：开启读压力模式，创建一个临时文件并对其进行持续的读取操作。 写负载：开启写压力模式，持续向一个临时文件写入数据。 块大小：控制单次读写操作的数据块大小，单位为MB。增大此值可以提升单次操作的 IO 压力。通常保持默认值即可。

本章节介绍Kafka Broker分区Leader不可用故障演练。 背景介绍 分布式消息服务 Kafka 集群中，分区 Leader 节点宕机、网络分区或资源过载等因素均可能造成分区 Leader 不可用，进而引发对应分区服务中断、客户端请求失败、Leader 重选举导致延迟升高及副本同步紊乱等问题，本演练可帮助验证集群高可用选举机制的有效性、监控告警的及时性，以及业务系统应对此类故障的容错能力与恢复效率。 基本原理 指定一个或多个分区Leader，通过调用Kafka模拟Leader故障OpenAPI，触发Leader重新选举。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择分区Leader不可用动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 主题分区：指定需要模拟分区Leader不可用的目标对象。

Kafka触发器 Kafka触发器可以订阅天翼云提供的分布式消息队列Kafka实例，并根据消息触发关联的工作流，借此能力，使得工作流可以消费指定topic的消息，执行特定工作流处理逻辑。 注意事项 Kafka触发器订阅的Kafka实例必须和工作流在相同地域。 前提条件 已创建工作流。 已开通分布式消息Kafka实例（KAFKA引擎版），详情请参考创建分布式消息服务Kafka实例。 已创建Topic，创建GroupID（可选） 触发消息格式 Kafka触发器有两种消息格式：RawData和CloudEvent格式，可在触发器配置里选择。 CloudEvent格式： plaintext [ { "id": "eca534636baf4d568f86cbdb748208ed", "source": "ctyun.faas.trigger.kafka", "specversion": "1.0", "type": "kafka:topic:sendmessage", "datacontenttype": "application/json", "subject": "kafkatriggermqbjvsezbpdialtest:testforfaas", "time": "20250522T02:04:16Z", "data": { "headers": {}, "timestamp": 1747879456, "topic": "testforfaas", "partition": 0, "offset": 15280, "key": "", "value": "msg[9]: 154b2a0e2c3d4b03ae9ec225b5370c3b, ts20250522 02:04:16" } } ] 参数 类型 示例值 描述 id string eca534636baf4d568f86cbdb748208ed 事件ID。标识事件的唯一值。 source string ctyun.faas.trigger.kafka 事件源。Kafka触发器固定为ctyun.faas.trigger.kafka。 specversion string 1.0 CloudEvents协议版本。 type string kafka:topic:sendmessage 事件类型。 datacontenttype string application/json 参数data的内容形式。 subject string kafkatriggermqbjvsezbpdialtest:testforfaas 事件主体。格式为[SourceName]:[消息topic]。 time string 20250522T02:04:16Z 消息被触发的时间。 data object Kafka触发器独有消息格式，详细参见下文RawData描述。 RawData格式是CloudEvent格式的子集，只包含原始kafka消息的信息，消息结构相当于CloudEvent的data字段 plaintext [ { "offset" : 15280, "partition" : 0, "headers" : {}, "topic" : "testforfaas", "key" : "testkey", "timestamp" : 1747879456, "value" : "msg[9]: 154b2a0e2c3d4b03ae9ec225b5370c3b, ts20250522 02:04:16" } ] 参数 类型 示例值 描述 offset int 15280 消息偏移量。 partition int 0 分区信息。 headers map 消息携带的header。 topic string testforfaas topic的名称。 key string testkey 消息的key。 timestamp int 1747879456 Unix时间戳（秒）。 value string hello，kafka 消息的内容。

介绍分布式消息服务Kafka续订操作内容。 场景描述 分布式消息服务Kafka为用户提供全面周到的服务，支持用户续订的需求。针对包周期消息实例服务，用户可在到期前进行服务周期延长操作，即续订操作。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“更多”，点击“续订”。 （4）点击“续订”后，会打开新页面，选择续订时长，会计算出对应价格，点击“确定”，后可到我的订单中支付。