本章节介绍Kafka Broker分区Leader不可用故障演练。 背景介绍 分布式消息服务 Kafka 集群中，分区 Leader 节点宕机、网络分区或资源过载等因素均可能造成分区 Leader 不可用，进而引发对应分区服务中断、客户端请求失败、Leader 重选举导致延迟升高及副本同步紊乱等问题，本演练可帮助验证集群高可用选举机制的有效性、监控告警的及时性，以及业务系统应对此类故障的容错能力与恢复效率。 基本原理 指定一个或多个分区Leader，通过调用Kafka模拟Leader故障OpenAPI，触发Leader重新选举。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择分区Leader不可用动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 主题分区：指定需要模拟分区Leader不可用的目标对象。

本章节介绍Kafka Broker节点主机宕机故障演练。 背景介绍 高性能高可靠的分布式消息服务 Kafka 在复杂分布式环境中仍可能因 Broker 节点宕机引发数据丢失、集群可用性下降、请求延迟升高、副本同步滞后等严重问题，本演练可测试业务系统应对此类核心组件故障的响应能力、高可用切换机制及数据一致性保障效果。 基本原理 指定或随机一个Broker节点进行关机。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker宕机动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 故障节点：可选择随机一个节点或者特定的节点。

介绍分布式消息服务Kafka 如何提高消息处理效率。 要提高Kafka的消息处理效率，可以考虑以下几个方面： 分区和副本设置：合理设置分区和副本数量，可以提高并行处理能力和容错性。较大的分区数可以增加并行处理的能力，而较多的副本数可以提高数据的冗余和可用性。 优化消息生产者：在消息生产者端，可以采取一些措施来提高效率。例如，使用批量发送来减少网络开销，使用异步发送来提高吞吐量，设置适当的缓冲区大小来避免频繁的IO操作等。 优化消息消费者：在消息消费者端，可以通过增加消费者实例来提高并行处理能力。同时，可以使用多线程或多进程方式来并行处理消息，提高处理效率。 合理设置Kafka参数：根据实际情况，可以调整Kafka的一些参数来提高性能。例如，调整消息的最大大小、网络缓冲区大小、批量发送的大小等。 使用分区和消费者组：合理使用分区和消费者组可以提高消息的负载均衡和并行处理能力。分区可以将消息分散到多个消费者实例上，而消费者组可以将消息分发给不同的消费者组成的消费者实例。 监控和调优：定期监控Kafka集群的性能指标，如吞吐量、延迟等，并进行调优。可以通过调整参数、增加资源、优化代码等方式来提高性能。 总之，提高Kafka的消息处理效率需要综合考虑多个因素，包括分区和副本设置、优化生产者和消费者、调整参数、硬件优化等。根据实际情况进行优化，可以提高Kafka的性能和吞吐量。 对使用分布式消息服务kafka的生产者和消费者有如下的使用建议：

分布式消息服务Kafka 当事件目标选择分布式消息服务Kafka时，事件目标的type值为kafka，eventTargets中的resourceKey字段中含义如下表所示。 resourceKey 是否必传 form value template instanceId 是 CONSTANT 分布式消息服务Kafka实例Id。 说明 实例Id可在分布式消息服务Kafka管理控制台实例详情页获取。 无 topic 是 CONSTANT Kafka主题。 无 value 是 CONSTANT ORIGINAL JSONPATH TEMPLATE 消息体。 如果form选择TEMPLATE，则在此处配置模板。详见事件内容转换。 key 是 CONSTANT EMPTY JSONPATH TEMPLATE 消息键值。 如果form选择TEMPLATE，则在此处配置模板。详见事件内容转换。 请求示例： plaintext { "eventBusName": "test", "eventRuleName": "test", "desc": "", "filterPattern": "{}", "eventTargets": [ { "type": "kafka", "eventTargetName": "1gQfuPljs9MJsWM1eHYch", "params": [ { "resourceKey": "instanceId", "value": "356b3496b87xxxxxxxxfe7deef7fe35", "form": "CONSTANT" }, { "resourceKey": "topic", "value": "test2", "form": "CONSTANT" }, { "resourceKey": "value", "value": "", "form": "ORIGINAL" }, { "resourceKey": "key", "value": "", "form": "EMPTY" } ] } ] } 分布式消息服务RocketMQ 当事件目标选择分布式消息服务RocketMQ时，事件目标的type值为rocketmq，eventTargets中的resourceKey字段中含义如下表所示。 resourceKey 是否必传 form value template instanceId 是 CONSTANT 分布式消息服务RocketMQ实例ID。 说明 实例Id可在分布式消息服务RocketMQ管理控制台实例详情页获取。 无 topic 是 CONSTANT RocketMQ主题。 无 body 是 CONSTANT ORIGINAL JSONPATH TEMPLATE 消息体。 如果form选择TEMPLATE，则在此处配置模板。详见事件内容转换。 keys 是 CONSTANT EMPTY JSONPATH TEMPLATE 消息索引。 如果form选择TEMPLATE，则在此处配置模板。详见事件内容转换。 properties 是 CONSTANT EMPTY JSONPATH TEMPLATE 消息自定义属性。 如果form选择TEMPLATE，则在此处配置模板。详见事件内容转换。 tags 是 CONSTANT EMPTY JSONPATH TEMPLATE 消息标签。 如果form选择TEMPLATE，则在此处配置模板。详见事件内容转换。 请求示例： plaintext { "eventBusName": "test", "eventRuleName": "test", "desc": "", "filterPattern": "{}", "eventTargets": [ { "type": "rocketmq", "eventTargetName": "lMVBoqi55L3Q6QaCKFWYA", "params": [ { "resourceKey": "instanceId", "value": "89ceb110331e4c968499744c2ccbdbcc", "form": "CONSTANT" }, { "resourceKey": "topic", "value": "TopicA", "form": "CONSTANT" }, { "resourceKey": "body", "value": "", "form": "ORIGINAL" }, { "resourceKey": "properties", "value": "", "form": "EMPTY" }, { "resourceKey": "keys", "value": "", "form": "EMPTY" }, { "resourceKey": "tags", "value": "", "form": "EMPTY" } ] } ] }

本章节介绍Kafka Broker节点磁盘IO高负载故障演练。 背景介绍 分布式消息服务 Kafka 集群的性能与稳定性高度依赖底层磁盘 IO 能力，高并发写入、集群数据复制、海量消息存储检索及磁盘故障恢复等场景易导致 Broker 节点磁盘 IO 触达瓶颈，引发消息持久化延迟等问题，本演练可测试业务系统的响应与恢复能力。 基本原理 指定或随机一个Broker节点先通过dd命令将数据写入文件中，然后再通过循环读写文件占用磁盘带宽。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker 磁盘IO高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 读负载：开启读压力模式，创建一个临时文件并对其进行持续的读取操作。 写负载：开启写压力模式，持续向一个临时文件写入数据。 块大小：控制单次读写操作的数据块大小，单位为MB。增大此值可以提升单次操作的 IO 压力。通常保持默认值即可。

本节主要介绍分布式消息服务Kafka常用术语解释。 代理（Broker） kafka集群包含一个或多个消息处理服务器，该服务器成为Broker，提供数据刷盘等核心功能。可以横向扩展、在线扩容以提高集群性能。 主题（Topic） 每条发布到Kafka 集群的消息都有一个主题，这个主题被称为 Topic。通过 Topic 可以对消息进行分类。每个 Topic 可以由一个或多个分区（Partition）组成，存储于一个或多个Broker 上。 分区（partition） 消息分区是物理上的概念，一个Topic可以分为多个partition，每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id（offset）。 生产者（Producer） 消息和数据生成者，一般为应用调用API进行消息生产，并向Kafka的一个Topic发布消息。 消费者（Consumer） 消息订阅者，也成为消息消费者，负责向 Kafka Broker 读取消息并进行消费。 消费组（Consumer Group） 一类Consumer的集合名称，这类Consumer通常消费一类消息，且消费逻辑一致，Consumer Group 和 Topic 的关系是 N：N，同一个 Consumer Group 可以订阅多个 Topic，同一个 Topic 也可以被多个 Consumer Group 订阅。

本节主要介绍分布式消息服务Kafka的创建Topic说明 背景信息 Kafka的主题（Topic）是对消息进行分类和组织的概念。主题是Kafka中最基本的逻辑单元，用于区分不同类型的消息。 每个主题可以有多个分区（Partition），每个分区都是一个有序的消息日志。分区允许消息在集群中进行并行处理，提高了吞吐量和并发性能。 主题的特点包括： 逻辑分类：主题可以根据业务需求或数据类型进行逻辑分类，例如订单主题、日志主题、用户行为主题等。 多分区：主题可以被分成多个分区，每个分区都有自己的消息顺序。分区可以在不同的节点上进行存储和处理，实现了水平扩展和负载均衡。 副本复制：每个分区可以有多个副本（Replica），副本用于提供高可用性和容错性。副本可以分布在不同的节点上，当节点故障时可以自动进行故障转移。 持久化存储：主题中的消息被持久化存储在磁盘上，确保消息的可靠性和持久性。消费者可以随时消费主题中的历史消息，而不仅仅是最新的消息。 通过使用主题，Kafka能够有效地组织和管理大规模的消息流。主题的分区和副本机制提供了高可用性和容错性，使得Kafka成为处理大规模实时数据流的理想选择。 前提条件 已购买并部署分布式消息服务Kafka 操作步骤 创建Topic （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“Topic管理”后、点击“创建Topic”。 （5）点击“创建Topic”后，输入Topic名称、分区数等参数。 （6）创建好Topic后，可以点击“更多”按钮中的“生产消息”来测试其是否正常。

关闭IPv4公网访问（不支持修改SASL开关） 1. 登录管理控制台。 2. 在管理控制台左上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 3. 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka”，进入分布式消息服务Kafka专享版页面。 4. 单击Kafka实例的名称，进入实例的“基本信息”页面。 5. 在“公网访问”后，单击，完成公网访问的关闭。 您可以在实例的“后台任务管理”页面，查看当前任务的操作进度。任务状态为“成功”，表示操作成功。 关闭公网访问后，需要设置对应的安全组规则（请见表2），才能通过内网成功连接Kafka。 表2 Kafka实例安全组规则（内网访问） 方向 协议 类型 端口 源地址 说明 入方向 TCP IPv4 9092 0.0.0.0/0 使用内网通过同一个VPC访问Kafka实例（关闭SSL加密）。 入方向 TCP IPv4 9093 0.0.0.0/0 使用内网通过同一个VPC访问Kafka实例（开启SSL加密）。 说明 创建安全组后，系统默认添加入方向“允许安全组内的弹性云主机彼此通信”规则和出方向“放通全部流量”规则，此时使用内网通过同一个VPC访问Kafka实例，无需添加表2的规则。

本章节介绍Kafka Broker分区Leader不可用故障演练。 背景介绍 分布式消息服务 Kafka 集群中，分区 Leader 节点宕机、网络分区或资源过载等因素均可能造成分区 Leader 不可用，进而引发对应分区服务中断、客户端请求失败、Leader 重选举导致延迟升高及副本同步紊乱等问题，本演练可帮助验证集群高可用选举机制的有效性、监控告警的及时性，以及业务系统应对此类故障的容错能力与恢复效率。 基本原理 指定一个或多个分区Leader，通过调用Kafka模拟Leader故障OpenAPI，触发Leader重新选举。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择分区Leader不可用动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 主题分区：指定需要模拟分区Leader不可用的目标对象。

为了让更多客户享受到分布式消息Kafka产品服务，我们致力于为客户提供更具竞争力的价格，并持续提升服务质量。 分布式消息服务KafkaⅡ类资源池从7月15日开始启用新资费计价，老资费计算增强型同规格对比新费用降幅达19%27%，更多资费信息请参见产品资费。 规格名称 计费单位 实例包月标准价格 降幅 规格名称 计费单位 20240715前价格 新价格 降幅 kafka.4u8g.cluster 元/代理 1726 1260 27% kafka.8u16g.cluster 元/代理 3122 2430 22% kafka.16u32g.cluster 元/代理 5555 4500 19% 注意 通用型规格已经调整为白名单特性，如需了解相关资费请联系技术支持。 本次降价适用于Ⅱ类资源池。

本文介绍了分布式消息服务Kafka版提供的SDK语言版本。 SDK列表 下表提供了分布式消息服务Kafka版支持的SDK列表。 编程语言 参考文档 :: Java 开发指南Java Python 开发指南Python Go 开发指南Go

本节主要介绍Kafka Connect接入Kafka。 最佳实践概述 场景描述 Kafka Connect可以将完整的数据库注入到Kafka的Topic中，或者将服务器的系统监控指标注入到Kafka，然后像正常的Kafka流处理机制一样进行数据流处理。而导出工作则是将数据从Kafka Topic中导出到其它数据存储系统、查询系统或者离线分析系统等。 如果您想要在流数据平台场景下，使用Kafka Connect快速实现数据从Kafka和其它系统之间进行导入导出，可以参考本实践方案。 技术架构图 暂无。 方案优势 用户可按业务需要，参考Kafka Connect数据导入导出，实现流数据的消息消费。 前提条件 需已购买Kafka实例、创建Topic，并且已成功消费消息。 资源规划 本实践方案内容仅涉及Kafka专享版实例和Flink的安装配置。 分布式消息服务 Figure 1 分布式消息服务 资源类型 配置项 配置明细 说明 :::: 企业中间件 DMS Kafka专享实例 需已购买kafka专享实例，创建好Topic，并成功消费消息。 Kafka Connect流数据平台 Figure 2 Kafka Connect流数据平台 资源类型 配置项 配置明细 说明 :::: 应用软件 Flink框架 Flink 1.14 使用开源Apache Flink 方案正文 Kafka Connect 目前支持两种执行模式：standalone 和 distributed。 standalone模式 通过以下命令以 standalone 模式启动 connect： 接入Kafka专享版与接入开源 Apache Kafka 没有区别，仅需要修改 bootstrap.servers 为申请实例时分配的 IP。 distributed模式 通过以下命令以 distributed 模式启动 connect： 该模式下，Kafka Connect 会将 offsets、configs 和 task status 信息存储在 Kafka Topic 中，存储的Topic 在 connectdistributed 中的以下字段配置： 这三个 Topic 需要手动创建，才能保证创建的属性符合 connect 的要求。 config.storage.topic 需要保证只有一个 partition，多副本且为 compact 模式。 offset.storage.topic 需要有多个 partition，多副本且为 compact 模式。 status.storage.topic 需要有多个 partition，多副本且为 compact 模式。 配置 bootstrap.servers 为申请实例是分配的 IP。 配置 group.id，用于标识 connect 集群，需要与消费者分组区分开来。

本文主要介绍 使用DNAT访问Kafka实例。 操作场景 使用DNAT访问Kafka实例时，通过端口映射方式，实现Kafka实例对公网提供服务。 前提条件 已购买弹性公网IP，弹性公网IP的数量与Kafka实例中代理个数相同。 步骤一：获取Kafka实例的信息 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例名称，进入实例详情页面。 步骤 5 在“基本信息”页面的“连接信息”区域，获取并记录Kafka实例的内网连接地址。在“网络”区域，获取并记录Kafka实例所在的虚拟私有云和子网。 图Kafka实例信息 步骤二：购买公网NAT网关 步骤 1 在管理控制台左上角单击，选择“网络 > NAT网关”，进入“公网NAT网关”页面。 步骤 2 单击“购买公网NAT网关”，进入“购买公网NAT网关”页面。 步骤 3 设置如下参数。 区域：与Kafka实例保持一致。 名称：您自定义的公网NAT网关名称。 虚拟私有云：选择获取Kafka实例的信息中记录的虚拟私有云。 子网：选择获取Kafka实例的信息中记录的子网。 企业项目：根据实际情况选择。 其他参数请根据实际情况填写，如果想要了解更多的参数信息，请参考《NAT网关 用户指南》的“公网NAT网关 > 管理公网NAT网关 > 购买公网NAT网关”章节。 图 购买公网NAT网关 步骤 4 单击“立即购买”，进入规格确认页面。 步骤 5 确认规格无误后，单击“提交”。

本文主要介绍删除实例。 操作场景 分布式消息服务Kafka管理控制台支持删除Kafka实例，且可实现批量删除Kafka实例、一键式删除创建失败的Kafka实例、单个删除创建失败的实例记录。 说明 Kafka实例删除后，实例中原有的数据将被删除，且没有备份，请谨慎操作。 前提条件 Kafka实例状态为运行中、故障、已冻结的按需付费实例才能执行删除操作。 包年/包月类型的Kafka实例，不支持进行删除和批量删除操作。若不再使用，可单击“操作”栏下的“更多 > 退订”进行退订。 删除Kafka实例 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法，删除Kafka实例。 勾选Kafka实例名称左侧的方框，可选一个或多个，单击信息栏左上侧的“更多 > 删除”。 在待删除Kafka实例所在行，单击“更多 > 删除”。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 删除”。 说明 Kafka实例状态为创建中、启动中、变更中、变更失败、重启中时不允许执行删除操作。 步骤 5 在“删除实例”对话框中，单击“是”，完成删除Kafka实例。 删除Kafka实例大约需要1到60秒。

参数 说明 示例 规则名称 订阅规则名称 输入：aomkafkatest。 订阅内容 支持“指标”和“告警”。 选择：指标。 订阅目标类型 选择“自定义Kafka”或“分布式消息服务DMS”。 分布式消息服务DMS 实例 选择DMS实例，如没有DMS实例，请单击“创建DMS实例”，创建DMS实例。 kafkaaom7160

专属云Kafka包括2个计费项：专属计费资源、专属存储（可选）。

本文主要介绍分布式消息服务RabbitMQ与Kafka、RocketMQ的差异。 分布式消息服务RabbitMQ与Kafka、RocketMQ的差异，如下表。 功能项 RocketMQ Kafka RabbitMQ 优先级队列 不支持 不支持 支持。建议优先级大小设置在010之间。 延迟队列 支持 不支持 不支持 死信队列 支持 不支持 支持 消息重试 支持 不支持 不支持 消费模式 支持客户端主动拉取和服务端推送两种方式 客户端主动拉取 支持客户端主动拉取以及服务端推送两种模式 广播消费 支持 支持 支持 消息回溯 支持 支持。Kafka支持按照offset和timestamp两种维度进行消息回溯。 不支持。RabbitMQ中消息一旦被确认消费就会被标记删除。 消息堆积 支持 支持。考虑吞吐因素，Kafka的堆积效率比RabbitMQ总体上要高。 支持 持久化 支持 支持 支持 消息追踪 支持 不支持 支持。RabbitMQ中可以采用Firehose或者rabbitmqtracing插件实现，但开启rabbitmqtracing插件会影响性能，建议只在定位问题过程中开启。 消息过滤 支持 支持 不支持，但可以自行封装。 多租户 支持 不支持 支持 多协议支持 兼容RocketMQ协议 只支持Kafka自定义协议。 RabbitMQ基于AMQP协议实现，同时支持MQTT、STOMP等协议。 跨语言支持 支持多语言的客户端 采用Scala和Java编写，支持多种语言的客户端。 采用Erlang编写，支持多种语言的客户端。 流量控制 待规划 支持client和user级别，通过主动设置可将流控作用于生产者或消费者。 RabbitMQ的流控基于CreditBased算法，是内部被动触发的保护机制，作用于生产者层面。 消息顺序性 单队列（queue）内有序 支持单分区（partition）级别的顺序性。 不支持。需要单线程发送、单线程消费并且不采用延迟队列、优先级队列等一些高级功能整体配合，才能实现消息有序。 安全机制 支持SSL认证 支持SSL、SASL身份认证和读写权限控制。 与Kafka相似 事务性消息 支持 支持 支持

说明 分布式消息服务Kafka如下资源池支持Kafka2.8、3.6版本引擎，提供集群和单机两种规格实例，支持X86和ARM计算CPU架构类型的计算增强型主机，可选350代理数量。 目前在 华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3 资源池开放订购。 上述资源池订购和续订可享受1年83折，2年7折，3年5折优惠。 价格计算公式 分布式消息服务Kafka费用由实例费用和存储费用两部分组成，两者单价如下表所示，计费公式为： 实例费用实例规格单价 代理数量，单机版代理数量为1。 存储费用存储类型单价 代理数量 单节点存储空间GB大小，单机版代理数量为1。 实例规格单价 Intel计算增强型 规格名称 实例单价（单个节点） 规格名称 按需标准价格(元/小时) 包月标准价格(元/月) Kafka.2u4g.cluster 0.98 441 Kafka.4u8g.cluster 2.24 1008 Kafka.8u16g.cluster 4.86 2187 Kafka.12u24g.cluster 7.38 3321 Kafka.16u32g.cluster 9 4050 Kafka.24u48g.cluster 15.12 6804 Kafka.32u64g.cluster 20.16 9072 Kafka.48u96g.cluster 30.24 13608 Kafka.64u128g.cluster 40.32 18144

本节主要介绍分布式消息服务Kafka的功能特性 消息收发 消息发送，支持指定分区发送、同步发送、异步发送、分区批量累积发送；支持身份认证，客户端连接Broker时使用SSL或SASL进行验证，数据传加密传输；支持ACL机制，提供客户端读、写权限认证。支持通过压缩算法实现消息体压缩，减少网络传输数据量，提高Kafka的消息发送吞吐量。 消息消费，支持指定Partition消费、指定分区的offset消费；采用poll方式，支持批量消费，支持广播消费。 消息有序性 针对消息有序的业务需求，分为全局有序和局部有序。 全局有序：一个Topic下的所有消息都需要按照生产顺序消费。 局部有序：一个Topic下的消息，只需要满足同一业务字段的要按照生产顺序消费。例如：Topic消息是订单的流水表，包含订单orderId，业务要求同一个orderId的消息需要按照生产顺序进行消费。 由于Kafka的一个Topic可以分为了多个Partition，Producer发送消息的时候，是分散在不同 Partition的。当Producer按顺序发消息给Broker，但进入Kafka之后，这些消息就不一定进到哪个Partition，会导致顺序是乱的。因此要满足全局有序，需要1个Topic只能对应1个Partition。 要满足局部有序，只需要在发消息的时候指定Partition Key，Kafka对其进行Hash计算，根据计算结果决定放入哪个Partition。这样Partition Key相同的消息会放在同一个Partition。此时，Partition的数量仍然可以设置多个，提升Topic的整体吞吐量。

介绍分布式消息服务Kafka消费组详情功能操作内容。 场景描述 当需要查询以下信息时，可通过消费组详情页面操作： 查看在线消费者列表及其订阅的主题、分区。 查看消费组订阅的主题的消息堆积详细情况。 Kafka消息堆积的场景包括以下几个： 消费者处理延迟：当消费者的处理能力不足或出现故障时，无法及时消费Kafka中的消息，导致消息堆积。这可能是由于消费者的处理逻辑复杂、处理速度慢，或者消费者的资源不足等原因引起的。 网络故障：当Kafka集群与消费者之间的网络出现故障或不稳定时，可能导致消息传输延迟或中断。这会导致消息在Kafka中堆积，等待网络恢复后才能被消费。 生产者速度超过消费者：当生产者产生消息的速度超过消费者的处理速度时，会导致消息在Kafka中堆积。这可能是由于生产者的速度过快、消费者处理能力不足或者消费者故障等原因引起的。 消费者组调整：当消费者组中的消费者发生变化，如新增或退出消费者，会触发Kafka的重平衡操作。在重平衡期间，消费者无法消费消息，导致消息堆积。这通常发生在消费者扩展或故障恢复时。 高峰期消息涌入：在某些特定的时间段或事件发生时，可能会引发大量的消息涌入Kafka，超过消费者的处理能力。这会导致消息在Kafka中堆积，直到消费者能够跟上消息的处理速度。

本文主要介绍 创建SASLSSL用户。 分布式消息服务Kafka支持对Topic进行ACL（Access Control List）权限管理，您可以在Topic中为不同的SASLSSL用户设置不同的权限，以达到SASLSSL用户之间的权限隔离。 本章节主要介绍Kafka实例开启SASLSSL后，如何创建SASLSSL用户。创建用户后，对Topic进行SASLSSL用户授权的操作，请参见设置Topic权限。 一个Kafka实例最多创建20个用户。 前提条件 创建Kafka实例时，已开启SASLSSL功能。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例名称，进入实例详情页面。 步骤 5 在“用户管理”页签，单击“创建用户”。 步骤 6 在弹出的“创建用户”对话框中，设置用户名和密码，单击“确定”，完成用户的创建。 SASLSSL用户创建成功后，参考设置Topic权限为SASLSSL用户授权。

本文主要介绍了自动续订规则及操作流程。 为避免由于未及时对资源采取续订操作，资源被到期冻结或超期释放，客户购买包月包年产品后，可设置开通自动续订。开通自动续订后，系统将在资源到期前自动续订，无需客户再手动操作。 适用范围 自动续订仅针对采用包月、包年计费模式的资源。 已到期资源不支持设置/修改自动续订。 自动续订仅适于 付费用户 ，不适用于非付费用户。 目前支持设置自动续订的产品有：弹性云主机、GPU云主机、物理机、云桌面、云硬盘、对象存储经典版、云主机备份、专属云计算独享型、专属云存储独享型、弹性IP、共享带宽、天翼云SDWAN、云间高速、关系数据库MySQL版、关系数据库Postgre SQL版、分布式关系数据库、分布式缓存服务Redis版、分布式缓存服务Memcache、文档数据库服务、云HBASE数据库、分布式消息服务RocketMQ、分布式消息服务RabbitMQ、分布式消息服务Kafka、Web应用防火墙、服务器安全卫士、域名无忧、DDos高防IP、云解析、登录保护、网站安全监测、内容安全。 单次最多支持20个资源实例批量续订。 开通、变更、关闭自动续订 用户在续订管理页可开通自动续订功能，变更自动续约周期，或关闭自动续订。 不关闭自动续订的情况下，只要预付费账户余额充足，或为后付费客户，系统将持续按设定的周期自动续订下去。 预付费用户可在官网自主控制自动续订功能的开通、变更、关闭。后付费用户需要客户经理协助开启自动续订权限后才可以自主管理。

本文主要介绍查看实例。 操作场景 本节介绍如何在分布式消息服务Kafka管理控制台查看Kafka实例的详细信息。例如，连接Kafka实例时，需要获取连接IP和端口。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 Kafka实例支持通过筛选来查询对应的Kafka实例。当前支持的筛选条件为标签、状态、名称、ID和连接地址。Kafka实例状态请参见下表。 表 Kafka实例状态说明 状态 说明 创建中 创建Kafka实例后，在Kafka实例状态进入运行中之前的状态。 运行中 Kafka实例正常运行状态。在这个状态的实例可以运行您的业务。 故障 Kafka实例处于故障状态。 启动中 Kafka实例从已冻结到运行中的中间状态。 重启中 Kafka实例正在进行重启操作。 变更中 Kafka实例正在进行规格变更、公网访问变更等操作。 变更失败 Kafka实例处于规格变更、公网访问变更等操作失败的状态。 已冻结 Kafka实例处于已冻结状态。 冻结中 Kafka实例从运行中到已冻结的中间状态。 升级中 Kafka实例正在进行升级操作。 回滚中 Kafka实例正在进行回滚操作。 步骤 5 单击Kafka实例的名称，进入该Kafka实例的基本信息页面，查看Kafka实例的详细信息。 下表为连接实例的相关参数，其他参数，请查看页面显示。 信息类型 参数 说明 ::: 连接信息 内网连接地址 未开启公网访问时，连接实例的地址。 显示的连接地址个数为实例代理个数。 连接信息 Manager内网访问地址 未开启公网访问时，连接Kafka Manager的地址。 连接信息 公网访问 是否开启公网访问开关。 连接信息 公网连接地址 开启公网访问后，连接实例的地址。 仅当开启了公网访问才显示该参数。 连接信息 Manager公网访问地址 开启公网访问后，连接Kafka Manager的地址。 仅当开启了公网访问才显示该参数。

本节主要介绍分布式消息服务Kafka常用的应用场景 分布式消息服务Kafka主要适用于以下几种场景： 日志收集 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦。 支持实时在线分析系统和类似于 Hadoop 的离线分析系统。 Kafka本身的性能是非常高效的，同时Kafka的特性决定它非常适合作为"日志收集中心"，这是因为Kafka在采集日志的时候业务是无感知的，其能够兼容自己的上游，能够直接地通过配置加密消息。当日志数据发送到Kafka集群里面，其实对于业务而言是完全无侵入的。同时其在下游又能够直接地对接Hadoop/ODPS等离线仓库存储和Strom/Spark等实现实时在线分析。在这样的情况之下，使用Kafka，只需要用户去关注整个流程里面的业务逻辑，而无需做更多的开发就能够实现统计、分析以及报表。 流计算处理 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦。 通过支持流计算引擎，可对接开源 Storm/Samza/Spark 流计算引擎。 Kafka能够做到流计算处理，比如股市走向分析、气象数据测控、网站用户行为分析等领域，由于在这些领域中数据产生快、实时性强、数据量大，所以很难统一采集并入库存储后再做处理，这便导致传统的数据处理架构不能满足需求。而Kafka Stream以及Storm/Samza/Spark等流计算引擎的出现，可以根据业务需求对数据进行计算分析，最终把结果保存或者分发给需要的组件。

本文主要介绍自动续订规则及操作流程。 为避免由于未及时对资源采取续订操作，资源被到期冻结或超期释放，客户购买包月包年产品后，可设置开通自动续订。开通自动续订后，系统将在资源到期前自动续订，无需客户再手动操作。 适用范围 自动续订仅针对采用包月、包年计费模式的资源。 已到期资源不支持设置/修改自动续订。 自动续订仅适于 付费用户 ，不适用于非付费用户。 目前支持设置自动续订的产品有：弹性云主机、GPU云主机、物理机、云桌面、云硬盘、对象存储经典版、云主机备份、专属云计算独享型、专属云存储独享型、弹性IP、共享带宽、天翼云SDWAN、云间高速、关系数据库MySQL版、关系数据库Postgre SQL版、分布式关系数据库、分布式缓存服务Redis版、分布式缓存服务Memcache、文档数据库服务、云HBASE数据库、分布式消息服务RocketMQ、分布式消息服务RabbitMQ、分布式消息服务Kafka、Web应用防火墙、服务器安全卫士、域名无忧、DDos高防IP、云解析、登录保护、网站安全监测、内容安全。 单次最多支持20个资源实例批量续订。 开通、变更、关闭自动续订 用户在续订管理页可开通自动续订功能，变更自动续约周期，或关闭自动续订。 不关闭自动续订的情况下，只要预付费账户余额充足，或为后付费客户，系统将持续按设定的周期自动续订下去。 预付费用户可在官网自主控制自动续订功能的开通、变更、关闭。后付费用户需要客户经理协助开启自动续订权限后才可以自主管理。

分布式消息服务Kafka服务协议，请点击这里

本节介绍Group不存在但能消费消息原因 我在分布式消息服务Kafka控制台上，未查看到对应的Group，但此Group下却有消费线程在消费消息。 可能原因 如果客户端使用assign方式消费消息，那么即使不创建Group，也可能消费消息。 如果客户端使用subscribe方式消费消息，删除Group后，消费线程未停止或者未发生Rebalance，那么消费线程还可以继续正常消费。 解决方案 如果客户端使用assign方式消费消息，请提前在分布式消息服务Kafka控制台创建Group。 请尽量复用Group，避免创建过多的Group而影响集群的稳定性。 在删除Group前，请确保已停止该Group下的所有消费线程。

本文主要介绍查询消息。 操作场景 您可以查看指定Topic不同分区的偏移量、消息大小、创建时间以及消息正文。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例名称，进入实例详情页面。 步骤 5 选择“消息查询”页签，在消息页签页面，设置查询的Topic名称、分区以及查询方式。 如果未设置具体分区，查询结果显示Topic所有分区的消息。 查询方式支持以下两种方式： 按创建时间查询：即按生产该消息的时间。 按偏移量查询：即记录消息的位置。 说明 当Topic中的数据量比较大时，单副本Topic查询消息可能会报“内部服务错误”，建议根据数据量适当减小查询时间范围。 步骤 6 单击“搜索”，查询消息。 查询结果如下： 图 查询Topic消息 消息的参数说明如下： Topic名称：消息所在的Topic名称。 分区：消息所在的分区。 偏移量：消息在分区中的位置。 消息大小：消息存入磁盘的大小，单位为B。 创建时间：消息的创建时间。创建时间由生产客户端在生产消息时通过CreateTime指定的，如果生产消息时没有设置此参数，创建时间会默认为1970。 步骤 7 单击“查看消息正文”，弹出“查看消息正文”对话框，查看消息的内容，包括Topic名称、分区、偏移量、创建时间和消息正文。 步骤 8 （可选）如果需要恢复默认设置，单击“重置”。

本文主要介绍如何在控制台删除消息。 操作场景 说明 消息删除后无法恢复，请谨慎操作。 前提条件 删除消息前，请先在客户端中设置“auto.offset.reset”参数。“auto.offset.reset”用来指定当Kafka中没有初始偏移量或者当前偏移量不存在（例如当前偏移量已被删除）时，消费者的消费策略。取值如下： latest：偏移量自动被重置到最晚偏移量。 earliest：偏移量自动被重置到最早偏移量。 none：向消费者抛出异常。 操作步骤 1. 登录管理控制台。 2. 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 3. 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 4. 单击Kafka实例名称，进入实例详情页面。 5. 在左侧导航栏选择“Topic管理”，进入Topic列表页面。 6. 在待删除消息的Topic所在行，单击“消息删除”，弹出“消息删除”对话框。 7. 设置消息删除参数，如下表所示。 图消息删除 表 消息删除参数说明 参数 说明 分区 选择消息所在的分区编号。 偏移量 输入偏移量，此偏移量之前的数据将被删除。 说明 如果“偏移量”设置为“1”，表示删除分区中所有的消息。 如果您输入的偏移量不在指定分区的最早偏移量和最晚偏移量之间，消息将不会被删除。 如果需要删除多个分区的消息，单击“添加分区”，设置需要删除消息的分区和偏移量。每次最多可选择10个分区。 8. 单击“确定”，弹出“清理结果”对话框，单击“确定”，完成消息的删除。 图 清理结果

介绍分布式消息服务Kafka扩容相关内容。 场景描述 当需要处理大量消息时，Kafka实例的扩容是一种常见的解决方案。扩容可以增加Kafka集群的吞吐量、存储能力和高可用性。分布式消息服务Kafka提供三类扩容方案，分别为节点、规格和磁盘扩容，更好满足用户不同场景下的扩容需求。 ● 代理数量扩容：指向Kafka集群中添加更多的节点以增加系统的吞吐量和可靠性。通过扩容，可以将消息的发送和消费负载分摊到更多的节点上，从而提高系统的并发处理能力。 ● 规格扩容：指通过增加Kafka的资源配置来提升系统的处理能力和性能。 ● 磁盘扩容：指增加磁盘的存储容量，以满足更多消息的存储需求。 变更实例规格的影响 变更配置类型 影响 磁盘扩容 磁盘扩容不会影响业务。 代理数量扩容 1.代理数量扩容不会影响原来的代理，业务也不受影响（如果实例已配置分区自动重平衡，会触发重平衡，客户端会触发重连）。 2.新创建的Topic才会分布在新代理上，原有Topic还分布在原有代理上。通过修改Kafka分区平衡，实现将原有Topic分区的副本迁移到新代理上。 规格扩容缩容 1.若Topic为单副本，扩容/缩容期间会出现无法对该Topic生产消息或消费消息，会造成业务中断。 2.若Topic为多副本，代理会滚动重启，代理滚动重启造成分区Leader切换，会发生秒级连接闪断，Leader切换时长一般为1分钟以内。建议您在业务低峰期扩容/缩容，并且再生产客户端配置重试机制，方法如下： (1).生产客户端为Kafka开源客户端时，检查是否配置retries和retry.backoff.ms参数。建议参数值分别配置为：retries10，retry.backoff.ms1000。 (2).生产客户端为Flink客户端时，检查是否配置重启策略，配置重启策略可以参考如下代码。 StreamExecutionEnvironment env StreamExecutionEnvironment.getExecutionEnvironment(); env.setRestartStrategy(RestartStrategies.fixedDelayRestart(10, Time.seconds(20)));

本节介绍分布式消息服务Kafka集群模式 是的，Kafka实例通常是以集群模式创建的。Kafka集群由多个Kafka节点组成，每个节点负责存储和处理消息。集群模式可以提供高可用性、容错性和扩展性。 Kafka集群中的每个节点都可以承担多个分区的领导者或副本角色，从而实现数据的冗余和故障恢复。通过复制机制，Kafka可以提供高可用性和容错性，即使在节点故障的情况下也能保证数据的可靠性和可用性。 注意 Kafka集群的规模和配置取决于应用的需求和可用的资源。可以根据实际情况来决定集群中节点的数量、分区的数量以及数据的复制策略，以满足性能、可用性和扩展性的要求。

本节主要介绍分布式消息服务Kafka产品的API中资源池ID列表。 分布式消息服务Kafka的资源池列表。 资源池 资源池ID(Region ID) 华东1 bb9fdb42056f11eda1610242ac110002 华北2 200000001852 西南1 200000002368 华南2 200000002530 上海36 200000001790 青岛20 200000001703 长沙42 200000002401 南昌5 200000002527 武汉41 200000001781 杭州7 200000003329 太原4 200000002689 郑州5 200000002586 西安7 200000001851 芜湖4 200000003327 呼和浩特3 200000003573 乌鲁木齐7 200000004098 庆阳2 200000003664 西南2贵州 200000002927