本文介绍分布式消息服务RabbitMQ的计费样例。 计费场景 某用户于2023/03/18 15:30:00在“广州4”区域购买了一个按需计费的RabbitMQ实例，规格配置如下： 实例规格：rabbitmq.2u4g.cluster3 总存储空间：高I/O，300GB 用了一段时间后，用户发现RabbitMQ实例当前规格无法满足业务需要，于2023/03/20 9:00:00升配为rabbitmq.4u8g.cluster3。因为该RabbitMQ实例打算长期使用下去，于2023/03/20 10:30:00将RabbitMQ实例转为包年/包月计费，购买时长为1个月。那么在3~4月份，该RabbitMQ实例总共产生多少费用呢？ 计费构成分析 可以将RabbitMQ实例的使用阶段按照计费模式分为两段：在2023/03/18 15:30:00 ~ 2023/03/20 10:30:00期间为按需计费，2023/03/20 10:30:00 ~ 2023/04/20 23:59:59期间为包年/包月计费。 按需计费 在2023/03/18 15:30:00 ~ 2023/03/20 9:00:00期间按照rabbitmq.2u4g.cluster3规格计费，计费时长为41.5小时，费用计算如下： 在2023/03/20 9:00:00 ~ 2023/03/20 10:30:00期间按照rabbitmq.4u8g.cluster3规格计费，计费时长为1.5小时，费用计算如下：

事件目标是事件规则的一部分，负责消费经事件规则过滤与转换后的事件。 事件目标 事件总线EventBridge支持以下事件目标： 函数计算 分布式消息服务RocketMQ 分布式消息服务RabbitMQ 分布式消息服务Kafka HTTP、HTTPS地址

本节主要介绍分布式消息服务Kafka的续费、到期与欠费说明 到期前续费 手动续订：对于包年/包月订购的分布式消息服务Kafka实例，用户在资源到期前进行续费操作，可以延长原有资源到期时间，避免资源到期后冻结或超过保留期后被系统回收。详细操作请参考费用中心续订管理手动续订。 自动续订：自动续订仅针对采用包月、包年计费模式的资源，详细操作请参考费用中心续订管理自动续订。 到期处理 到期后，分布式消息服务Kafka进入保留期，您将不能正常访问及使用天翼云分布式消息服务Kafka服务，已开通的实例资源将予以保留。 若您在到期后15天内续费，自资源续订解冻开始，计算新的服务有效期，按照新的服务有效期计算费用； 若到期15天后您仍未续费，Kafka实例资源将被释放。 欠费原因 在按需计费的模式下帐号的余额不足。 按需欠费资源冻结规则 欠费后，资源进入保留期，您将不能正常访问及使用分布式消息服务Kafka，已开通的实例资源将予以保留。 若您在保留期内充值，充值后系统会自动扣减欠费金额。 若保留期到期您仍未充值，Kafka实例资源将被释放。

本章节介绍Kafka Broker节点主机宕机故障演练。 背景介绍 高性能高可靠的分布式消息服务 Kafka 在复杂分布式环境中仍可能因 Broker 节点宕机引发数据丢失、集群可用性下降、请求延迟升高、副本同步滞后等严重问题，本演练可测试业务系统应对此类核心组件故障的响应能力、高可用切换机制及数据一致性保障效果。 基本原理 指定或随机一个Broker节点进行关机。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker宕机动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 故障节点：可选择随机一个节点或者特定的节点。

本章节介绍Kafka Broker节点主机宕机故障演练。 背景介绍 高性能高可靠的分布式消息服务 Kafka 在复杂分布式环境中仍可能因 Broker 节点宕机引发数据丢失、集群可用性下降、请求延迟升高、副本同步滞后等严重问题，本演练可测试业务系统应对此类核心组件故障的响应能力、高可用切换机制及数据一致性保障效果。 基本原理 指定或随机一个Broker节点进行关机。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker宕机动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 故障节点：可选择随机一个节点或者特定的节点。

介绍分布式消息服务Kafka续订操作内容。 场景描述 分布式消息服务Kafka为用户提供全面周到的服务，支持用户续订的需求。针对包周期消息实例服务，用户可在到期前进行服务周期延长操作，即续订操作。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“更多”，点击“续订”。 （4）点击“续订”后，会打开新页面，选择续订时长，会计算出对应价格，点击“确定”，后可到我的订单中支付。

本章节介绍Kafka Broker节点磁盘IO高负载故障演练。 背景介绍 分布式消息服务 Kafka 集群的性能与稳定性高度依赖底层磁盘 IO 能力，高并发写入、集群数据复制、海量消息存储检索及磁盘故障恢复等场景易导致 Broker 节点磁盘 IO 触达瓶颈，引发消息持久化延迟等问题，本演练可测试业务系统的响应与恢复能力。 基本原理 指定或随机一个Broker节点先通过dd命令将数据写入文件中，然后再通过循环读写文件占用磁盘带宽。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker 磁盘IO高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 读负载：开启读压力模式，创建一个临时文件并对其进行持续的读取操作。 写负载：开启写压力模式，持续向一个临时文件写入数据。 块大小：控制单次读写操作的数据块大小，单位为MB。增大此值可以提升单次操作的 IO 压力。通常保持默认值即可。

本章节介绍Kafka Broker分区Leader不可用故障演练。 背景介绍 分布式消息服务 Kafka 集群中，分区 Leader 节点宕机、网络分区或资源过载等因素均可能造成分区 Leader 不可用，进而引发对应分区服务中断、客户端请求失败、Leader 重选举导致延迟升高及副本同步紊乱等问题，本演练可帮助验证集群高可用选举机制的有效性、监控告警的及时性，以及业务系统应对此类故障的容错能力与恢复效率。 基本原理 指定一个或多个分区Leader，通过调用Kafka模拟Leader故障OpenAPI，触发Leader重新选举。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择分区Leader不可用动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 主题分区：指定需要模拟分区Leader不可用的目标对象。

本章节介绍Kafka Broker分区Leader不可用故障演练。 背景介绍 分布式消息服务 Kafka 集群中，分区 Leader 节点宕机、网络分区或资源过载等因素均可能造成分区 Leader 不可用，进而引发对应分区服务中断、客户端请求失败、Leader 重选举导致延迟升高及副本同步紊乱等问题，本演练可帮助验证集群高可用选举机制的有效性、监控告警的及时性，以及业务系统应对此类故障的容错能力与恢复效率。 基本原理 指定一个或多个分区Leader，通过调用Kafka模拟Leader故障OpenAPI，触发Leader重新选举。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择分区Leader不可用动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 主题分区：指定需要模拟分区Leader不可用的目标对象。

延时消息定义 延时消息 是指消息在发送后不会立即投递给消费者，而是在指定的延迟时间之后才可被消费。 开源 RabbitMQ 本身不直接支持原生延时消息语义 ，但可以通过现有机制组合 或官方插件实现类似能力。 应用场景 延时消息适用于需要定时触发或延迟处理的业务场景，例如： 订单超时关闭 下单成功后发送延时消息，30 分钟后检查支付状态，未支付则关闭订单。 提醒通知 预约活动开始前，通过延时消息发送提醒。 任务调度 延迟执行数据清理、报表生成、状态检查等后台任务。 实现方案对比 方案 实现原理 特点 死信队列（DLX）+ TTL 利用消息或队列 TTL 过期后转入死信交换机，再重新路由到消费队列 无需插件，兼容性好；配置复杂，延迟精度有限 延时消息插件 使用官方延时交换机，消息到期后才进入正常路由流程 使用简单、精度高；需安装插件，存在版本依赖 方案一：死信队列（DLX）+ TTL 实现原理 RabbitMQ 支持为： 消息 设置 TTL（expiration） 队列 设置 TTL（xmessagettl） 当消息到达 TTL 后不会立即删除，而是被投递到死信交换机（Dead Letter Exchange, DLX），再由 DLX 路由到目标队列，从而实现“延迟消费”。

本节介绍了分布式消息服务RabbitMQ续费、到期与欠费内容。 到期前续费 手动续订：对于包年/包月订购的分布式缓存服务，用户在资源到期前进行续费操作，可以延长原有资源到期时间，避免资源到期后冻结或超过保留期后被系统回收。详细操作请参考费用中心续订管理手动续订。 自动续订：自动续订仅针对采用包月、包年计费模式的资源，详细操作请参考费用中心续订管理自动续订。 到期处理 到期后，分布式消息服务RabbitMQ进入保留期，您将不能正常访问及使用天翼云分布式消息服务RabbitMQ服务，已开通的实例资源将予以保留。 若您在到期后15天内续费，自资源续订解冻开始，计算新的服务有效期，按照新的服务有效期计算费用； 若到期15天后您仍未续费，RabbitMQ实例资源将被释放。 欠费原因 在按需计费的模式下帐号的余额不足。 按需欠费资源冻结规则 欠费后，资源进入保留期，您将不能正常访问及使用分布式消息服务RabbitMQ，已开通的实例资源将予以保留。 若您在保留期内充值，充值后系统会自动扣减欠费金额。 若保留期到期您仍未充值，RabbitMQ实例资源将被释放。

介绍分布式消息服务Kafka退订操作内容。 场景描述 分布式消息服务kafka为用户提供全面周到的服务，支持用户退订的需求。用户如不需要继续使用该分布式消息服务Kafka实例，可进行删除实例操作，即退订操作。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“更多”，点击“退订”。 （4）点击“退订”后，会打开新页面，点击“确定” 注意 退订的实例处于冻结状态，请务必在实例退订前停止全部的应用。 在申请退订前，请做好数据备份工作，退订后数据将保留15个自然日，15天后相关数据将不予保留，且不会进行备份，务必谨慎操作。

进行分布式消息服务Kafka与开源自建对比。 分布式消息服务Kafka相对开源自建的Kafka提供更多功能服务，具备如下优势： 对比项 开源自建 分布式消息服务Kafka 低成本运维 需要专业人员资源规划、部署、运维。 一键开通，全托管。提供多种规格，按需使用，支持一键式节点数、磁盘存储空间和节点规格扩容。 分区规模 千级分区稳定性下降。 支持万级分区稳定写入。 消息查询 命令行可以消费，但无法根据位点或者时间直接定位到具体的消息。 控制台可视化按时间或者位点直接查看消息。 ACL访问控制 命令行，配置复杂。 灵活配置，一键生效。 可视化配置 命令行，配置复杂。 控制台全方位可视化配置管理。 运维监控 缺乏配套的监控运维能力。 提供全引擎指标可视化监控，告警及时发现问题。 集群巡检 命令行，配置复杂。 引擎状态、主题一键健康检测、启停。 稳定可靠 需要自己开发或基于开源实现，开发成本高昂，无法保证业务可靠运行。 支持跨AZ部署，提升可靠性。 安全保证 需要自行进行安全加固。 VPC隔离，支持SSL通道加密。 简单易用 无，需要自己开发。 提供简单的实例管理RESTful API，使用门槛低。

本文介绍分布式消息服务RocketMQ到期前续费、到期处理、欠费原因、按需欠费资源冻结规则、查看欠费账单、充值等内容。 到期前续费 手动续订：对于包年/包月订购的分布式缓存服务，用户在资源到期前进行续费操作，可以延长原有资源到期时间，避免资源到期后冻结或超过保留期后被系统回收。详细操作请参考费用中心续订管理手动续订。 自动续订：自动续订仅针对采用包月、包年计费模式的资源，详细操作请参考费用中心续订管理自动续订。 到期处理 到期后，分布式消息服务RocketMQ进入保留期，您将不能正常访问及使用天翼云分布式消息服务RocketMQ服务，已开通的实例资源将予以保留。 若您在到期后15天内续费，自资源续订解冻开始，计算新的服务有效期，按照新的服务有效期计算费用。 若到期15天后您仍未续费，RocketMQ实例资源将被释放。 欠费原因 在按需计费的模式下帐号的余额不足。 按需欠费资源冻结规则 欠费后，资源进入保留期，您将不能正常访问及使用分布式消息服务RocketMQ，已开通的实例资源将予以保留。 若您在保留期内充值，充值后系统会自动扣减欠费金额。 若保留期到期您仍未充值，RocketMQ实例资源将被释放。

分布式消息服务RocketMQ实例在被删除后，会被临时存入回收站中，此时实例中的数据尚未被彻底删除，在保留天数内支持从回收站中恢复此实例。超过保留天数的实例会被彻底删除，无法恢复。 约束与限制 回收站中的实例不会收取实例的费用，但是会收取存储空间的费用。 包年/包月的实例退订后会存入回收站中，此时不会收取实例的费用，但是收取存储空间的费用。 回收站中的按需实例，不支持实例恢复。 回收站管理 1. 登录分布式消息服务RocketMQ管理控制台。 2. 在左侧导航栏选择“回收站”，进入“回收站”页面。 恢复RocketMQ实例 1. 登录分布式消息服务RocketMQ管理控制台。 2. 在左侧导航栏选择“回收站”，进入“回收站”页面。 3. 在待恢复RocketMQ实例所在行，单击“恢复”。 删除回收站中的实例 1. 登录分布式消息服务RocketMQ管理控制台。 2. 在左侧导航栏选择“回收站”，进入“回收站”页面。 3. 在待删除RocketMQ实例所在行，单击“销毁”。 注意 回收站中的RocketMQ实例删除后，实例中原有的数据将被删除，且没有备份，请谨慎操作。

分布式消息服务RabbitMQ实例在被删除后，会被临时存入回收站中，此时实例中的数据尚未被彻底删除，在保留天数内支持从回收站中恢复此实例。超过保留天数的实例会被彻底删除，无法恢复。 约束与限制 回收站中的实例不会收取实例的费用，但是会收取存储空间的费用。 包年/包月的实例退订后会存入回收站中，此时不会收取实例的费用，但是收取存储空间的费用。 回收站中的按需实例，不支持实例恢复。 回收站管理 1. 登录分布式消息服务RabbitMQ管理控制台。 2. 在左侧导航栏选择“回收站”，进入“回收站”页面。 恢复RabbitMQ实例 1. 登录分布式消息服务RabbitMQ管理控制台。 2. 在左侧导航栏选择“回收站”，进入“回收站”页面。 3. 在待恢复RabbitMQ实例所在行，单击“恢复”。 删除回收站中的实例 1. 登录分布式消息服务RabbitMQ管理控制台。 2. 在左侧导航栏选择“回收站”，进入“回收站”页面。 3. 在待删除RabbitMQ实例所在行，单击“销毁”。 注意 回收站中的RabbitMQ实例删除后，实例中原有的数据将被删除，且没有备份，请谨慎操作。

场景描述 分布式消息服务RocketMQ为用户提供全面周到的服务，支持用户续订和退订的需求。 ● 续订：针对包周期消息实例服务，用户可在到期前进行服务周期延长操作，即续订操作。 ● 退订：用户如不需要继续使用该分布式消息服务RocketMQ实例，可进行删除实例操作，即退订操作。 续订 1、登录RocketMQ消息控制台，可以看到当前租户下面的实例列表。 2、点击需要变更实例栏 > 更多 > 续订。 3、 进入到续订页面，在弹出来的确认窗口选择续订时长，点击确认即可。 退订 1、登录RocketMQ消息控制台，可以看到当前租户下面的实例列表。 2、点击需要变更实例栏 > 更多 > 退订。 3、进入到退订页面，在弹出来的确认窗口点击确认即可。 注意： 退订的实例处于冻结状态，请务必在实例退订前停止全部的应用。 在申请退订前，请做好数据备份工作，退订后数据将保留15个自然日，15天后相关数据将不予保留，且不会进行备份，务必谨慎操作。

本文主要介绍查询消息。 操作场景 您可以查看指定Topic不同分区的偏移量、消息大小、创建时间以及消息正文。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例名称，进入实例详情页面。 步骤 5 选择“消息查询”页签，在消息页签页面，设置查询的Topic名称、分区以及查询方式。 如果未设置具体分区，查询结果显示Topic所有分区的消息。 查询方式支持以下两种方式： 按创建时间查询：即按生产该消息的时间。 按偏移量查询：即记录消息的位置。 说明 当Topic中的数据量比较大时，单副本Topic查询消息可能会报“内部服务错误”，建议根据数据量适当减小查询时间范围。 步骤 6 单击“搜索”，查询消息。 查询结果如下： 图 查询Topic消息 消息的参数说明如下： Topic名称：消息所在的Topic名称。 分区：消息所在的分区。 偏移量：消息在分区中的位置。 消息大小：消息存入磁盘的大小，单位为B。 创建时间：消息的创建时间。创建时间由生产客户端在生产消息时通过CreateTime指定的，如果生产消息时没有设置此参数，创建时间会默认为1970。 步骤 7 单击“查看消息正文”，弹出“查看消息正文”对话框，查看消息的内容，包括Topic名称、分区、偏移量、创建时间和消息正文。 步骤 8 （可选）如果需要恢复默认设置，单击“重置”。

RocketMQ实例的Topic数量是否有限制？ 在天翼云分布式消息服务RocketMQ中，不同规格RocketMQ支持的Topic个数不同，详细请参见产品规格。 RocketMQ包周期实例不支持删除吗？ 可以删除。登录RocketMQ控制台，在包周期实例所在行，单击“更多 > 退订”，即可完成实例的删除。 分布式消息服务RocketMQ资源包可以叠加购买吗？ 天翼云分布式消息服务RocketMQ支持叠加购买。 产品订购时可选资源池节点不一致？ 已上线资源池节点的剩余容量达到一定比例后，为确保老客户权益，将不再面向新客户开放，产品订购时的可选资源节点范围以实际为准。

操作步骤 1、 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台，点击右上角地域选择对应资源池。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入Topic管理菜单，点击【重置消费】按钮，弹出窗口选择消费组名称。 5、 选择重置时间点，点击确定即可重置消费位置。 注意：当将消费时间重置到历史时间T1,则T1之前生产的消息，都变成已消费，T1之后生产的消息，都变成未消费；将消费时间重置到未来时间T2，则存量的所有消息都变成已消费。 备注： 重置时间：是指消息生产的时间 不选时间：所有消息都变成未消费 未来时间：所有消息都变成已消费 某时间点：该时间之前变成已消费，改时间之后未消费 v1消费模式必须关闭消费客户端

本文主要介绍日志处理工具Logstash接入Kafka。 最佳实践概述 场景描述 Kafka与Logstash互联，可实现将Kafka作为inputs把消息传递给Logstash进行处理、或者是作为outputs将Kafka用作消息目的地。 技术架构图 暂无。 方案优势 可以异步处理数据：防止突发流量。 解耦：当发生异常的时候不会影响上游工作。 前提条件 需已购买Kafka实例、创建Topic，并且已成功消费消息。 资源规划 本实践方案内容仅涉及Kafka专享版实例和Logstash。 分布式消息服务 Figure 分布式消息服务 资源类型 配置项 配置明细 说明 :::: 企业中间件 DMS Kafka专享实例 需已购买kafka专享实例，创建好Topic，并成功消费消息。 Logstash下载与安装 下载并安装Logstash，验证运行成功。 方案正文 配置Kafka 1、登录分布式消息服务Kafka版控制台，按需要单击“实例名称”，进入实例基本信息页面。 图 Kafka控制台实例列表 2、在“连接地址”模块，获取Kafka连接IP地址。 图 连接IP地址与端口 3、创建Logstashtest的Topic。 图 创建Topic

本文介绍如何在分布式消息服务Kafka控制台创建元数据导入任务，将元数据迁移至分布式消息服务Kafka现有实例。 前提条件 下载JDK8 购买并部署分布式消息服务Kafka实例 背景信息 Kafka集群元数据是指Kafka集群的Topic和Group配置信息。Kafka集群元数据存储于ZooKeeper上，Kafka集群各个节点从ZooKeeper中获取最新的元数据。因此，集群的各个节点的元数据被导出时都是最新且相同的。Kafka集群元数据可以被导出成一份JSON文件，然后被导入到另一个Kafka集群，实现自建Kafka集群元数据迁移上云。 元数据迁移是指将自建Kafka集群的元数据迁移到分布式消息服务Kafka实例。您可以将自建Kafka集群元数据导出，然后导入云分布式消息服务Kafka实例，分布式消息服务Kafka会解析成功导入的元数据，并支持在创建任务时可视化配置Topic和Group，配置完成后在目标实例中创建对应的Topic和Group，实现自建Kafka集群元数据迁移上云。 步骤一：导出元数据 使用元数据导出工具导出自建Kafka集群的元数据文件。 1.下载元数据导出工具，登陆分布式消息服务Kafka控制台>集群迁移>元数据迁移>创建任务>下载工具 下载对应jar包 2.将下载好的工具上传至能连接到Kafka集群的机器上 3.运行以下命令，导出元数据。运行命令后，您将在kafkamigration.jar 同级目录下看到 名为 metadata.json 的元数据文件。 java cp kafkamigration.jar com.ctg.migration.kafka.MigrationMetadata sourceKafkaConnect (resource topic,group username password mechanism configKey ) 参数 说明 示例 sourceKafkaConnect 自建Kafka集群的IP地址和端口号。 192.168.XX.XX:9092 resource 要导出的资源，可以是topic、 group或topic,group 默认topic,group topic,group username 连接kafka用户名，如果sourceKafkaConnect为免密接入点则无需填写 admin user password 连接kafka密码，如果sourceKafkaConnect为免密接入点则无需填写 real password mechanism 对应的协议，支持PLAIN、SCRAMSHA256、SCRAMSHA512，如果sourceKafkaConnect为免密接入点则无需填写 PLAIN configKey 源集群topic配置，支持多个key，多个用半角逗号分开，all：表示所有配置(不推荐)，具体支持哪些配置可以通过(bin/kafkaconfigs.sh help)命令查看 默认值为：retention.ms retention.ms,max.message.bytes

分布式消息服务Kafka版完全兼容开源社区版本，旨在为用户提供便捷高效的消息队列。业务无需改动即可快速迁移上云，为您节省维护和使用成本。 一键式部署，免去集群搭建烦恼 专享实例只需要在实例管理界面选好规格配置，提交订单。后台将自动创建部署完成一整套Kafka实例。 兼容开源，业务零改动迁移上云 兼容社区版Kafka的API，具备原生Kafka的所有消息处理特性。 业务系统基于开源的Kafka进行开发，只需加入少量认证安全配置，即可使用分布式消息服务Kafka，做到无缝迁移。 说明：Kafka专享实例兼容开源社区Kafka 1.1.0和2.3.0版本。在客户端使用上，推荐使用和服务端版本一致的版本。 安全保证 独有的安全加固体系，提供业务操作云端审计，消息存储加密等有效安全措施。 在网络通信方面，除了提供SASL认证，还借助虚拟私有云（VPC）和安全组等加强网络访问控制。 数据高可靠 Kafka专享实例支持消息持久化，多副本存储机制。副本间消息同步、异步复制，数据同步或异步落盘多种方式供您自由选择。 集群架构与跨AZ部署，服务高可用 Kafka后台为多集群部署，支持故障自动迁移和容错，保证业务的可靠运行。 Kafka专享实例支持跨AZ部署，节点部署在不同的AZ，进一步保障服务高可用。 无忧运维 公有云提供一整套完整的监控告警等运维服务，故障自动发现和告警，避免724小时人工值守。Kafka专享实例自动上报相关监控指标，如分区数、主题数、堆积消息数等，并支持配置监控数据发送规则，您可以在第一时间通过短信、邮件等获得业务消息队列的运行使用和负载状态。 海量消息堆积与弹性扩容 内建的分布式集群技术，使得服务具有高度扩展性。分区数可配置多达100个，存储空间弹性扩展，保证在高并发、高性能和大规模场景下的访问能力，轻松实现百亿级消息的堆积和访问能力。 多规格灵活选择 Kafka专享实例的带宽与存储资源可灵活配置，并且自定义Topic的分区数。

本文主要介绍 与开源Kafka的差异。 分布式消息服务Kafka在兼容开源Kafka基础上，对版本特性做了一定程度的定制和增强，所以，除了拥有开源Kafka的优点，分布式消息服务Kafka提供了更多可靠、实用的特性。 表分布式消息服务Kafka与开源Kafka的差异说明 对比类 对比项 分布式消息服务Kafka 开源Kafka :::: 简单易用 立等可用 即开即用，可视化操作，自助创建，自动化部署，分钟级创建实例，立即使用，实时查看和管理消息实例。 自行准备服务器资源，安装配置必要的软件并进行配置，等待时间长。 易出错。 简单API 提供简单的实例管理RESTFul API，使用门槛低。 无 成本低廉 按需使用 提供多种规格，按需使用，支持一键式在线进行实例代理个数、磁盘存储空间和代理规格扩容。 搭建消息服务本身需要费用，而且即使没有使用，所占用资源本身依旧要收费。 成本低廉 完全托管 租户不需要单独采购硬件资源，直接使用就绪的服务，无需额外成本。 需要购买硬件资源，自行搭建整个消息服务，使用和维护成本高。 实践验证 成熟度高 经受电商网站大规模访问考验，并且已经在云服务平台许多产品中使用，广泛部署运行在分布于世界各地的电信级客户云业务系统里。满足严苛的电信级故障模式库标准。紧随社区主流版本，修复开源bug，持续上线新功能，进行版本升级。 使用开源软件成熟度低，无法保证关键业务，商业案例少；自研周期长，并需要长时间进行验证。 实践验证 能力强大 100%兼容开源，支持一键扩容，深度优化开源代码提升性能和可靠性，支持消息查询等高级特性。 功能不完善，需额外投入进行开发。 稳定可靠 稳定高可用 支持跨AZ部署，提升可靠性。故障自动发现并上报告警，保证用户关键业务的可靠运行。 需要自己开发或基于开源实现，开发成本高昂，无法保证业务可靠运行。 稳定可靠 无忧运维 后台运维对租户完全透明，整个服务运行具有完备的监控和告警功能。有异常可以及时通知相关人员。避免724小时人工值守。 需要自行开发完善运维功能，尤其是告警及通知功能，否则只能人工值守。 稳定可靠 安全保证 VPC隔离，支持SSL通道加密。 需要自行进行安全加固。

分布式消息服务Kafka提供全托管、免运维的云实例间迁移服务，用于同云实例与分布式消息服务Kafka实例之间的数据同步。本文介绍云实例间迁移的源实例类型、使用限制以及使用流程。 背景信息 云实例间迁移可以把天翼云分布式消息服务Kafka集群的元数据（Topic、Group和SASL User信息）、消息数据和点位信息同步到目标集群，迁移完成后目标集群的元数据与原集群的元数据保持一致，并且支持持续更新和完成后自动停止任务。 使用限制 1.此功能不收费，会占用当前实例的服务器资源，请结合业务流量和服务器资源占用情况，在合理的情况下进行迁移 2.单机版不支持迁移 计费说明 分布式消息服务Kafka的云实例间迁移组件处于公测阶段，不会在分布式消息服务Kafka侧产生费用。同时，天翼云不承诺迁移的SLA。 创建迁移任务 1.登录分布式消息服务Kafka控制台。 2.在左侧导航栏，单击集群迁移 ，然后单击云实例间迁移。 3.在云实例间迁移页签，单击创建任务。 4.在创建 云实例间迁移任务面板，填写任务名称，选择目标实例，然后单击下一步。 5.填写接入点，选择源实例，任务数等，具体请看参数说明。 参数说明： 参数 说明 示例 源实例 下拉框选择源实例 192.168.XX.XX:9092 任务数 选择同步数据的任务数。取值说明如下：1、6、12 1 迁移完成后自动停止任务 迁移任务会自动检测是否完成迁移 是：在检测到消息数据完成同步后停止任务 否：不停止任务，您可以手动停止任务 否 Topic 要迁移的topic信息，选填，多个用半角逗号分开，不填则迁移所有topic topic1,topic2 Groups 要迁移的group信息，选填，多个用半角逗号分开，不填则迁移所有group group1,group2 副本数是否和源集群保持一致 迁移到目标集群的topic的副本数是否和源集群保持一致，默认否 是：副本数是否和源集群保持一致，如原集群topic副本数为1，迁移后的topic副本数也为1 否：迁移后topic的副本数为3 否 6.填写完参数后，单击创建 ，完成任务的创建，在任务列表能看到一条任务，状态为等待迁移，后台调度到此任务时，会将任务状态改为迁移中。 7.其他操作 查看任务详情：单击详情。在任务详情页面，查看云实例间迁移任务的基础信息、源服务、目标服务和运行环境配置信息。 查看同步进度：单击同步进度，选择查看的Topic，可以看到对应Topic的分区id，最早点位，最新点位和当前点位信息。 启停任务：单击停止，然后在提示对话框，单击确认可停止任务。

本章节介绍了如何使用实例诊断功能快速定位问题。 操作场景 使用分布式消息服务RocketMQ消费消息时，如果遇到消息消费缓慢或者消费不到消息等消费异常的场景，借助实例诊断功能可以帮助您快速定位问题。 前提条件 已创建消费组，且消费组中已存在消费者。 已创建Topic。 实例诊断 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在左侧导航栏，选择“实例诊断”，进入实例诊断页面。 4. 选择待诊断的消费组名称，单击“开始诊断”。 诊断完成后，在“诊断记录”区域，新增一条诊断记录。 5. 单击“查看报告”，进入“实例诊断”页面，查看诊断结果。 图1 诊断结果 说明： 消费组中没有消费者时，会导致诊断失败。 消费组不在线时，可以诊断成功，但是会显示1项异常。 删除诊断记录 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在左侧导航栏，选择“实例诊断”，进入实例诊断页面。 4. 选择以下任意一种方法删除诊断记录。 在待删除的诊断记录所在行，单击“删除”。 如需批量删除诊断记录，勾选待删除的诊断记录，单击“批量删除”。 5. 弹出确认删除对话框，单击“是”，完成诊断记录的删除。

本文主要介绍产品优势。 分布式消息服务Kafka完全兼容开源社区版本，旨在为用户提供便捷高效的消息队列。业务无需改动即可快速迁移上云，为您节省维护和使用成本。 一键式部署，免去集群搭建烦恼 您只需要在实例管理界面选好规格配置，提交订单。后台将自动创建部署完成一整套Kafka实例。 兼容开源，业务零改动迁移上云 兼容社区版Kafka的API，具备原生Kafka的所有消息处理特性。 业务系统基于开源的Kafka进行开发，只需加入少量认证安全配置，即可使用分布式消息服务Kafka，做到无缝迁移。 说明 Kafka实例兼容开源社区Kafka 1.1.0、2.3.0和2.7版本。在客户端使用上，推荐使用和服务端版本一致的版本。 安全保证 独有的安全加固体系，提供业务操作云端审计，消息存储加密等有效安全措施。 在网络通信方面，除了提供SASL（Simple Authentication and Security Layer）认证，还借助虚拟私有云（VPC）和安全组等加强网络访问控制。 数据高可靠 Kafka实例支持消息持久化，多副本存储机制。副本间消息同步、异步复制，数据同步或异步落盘多种方式供您自由选择。 集群架构与跨AZ部署，服务高可用 Kafka后台为多集群部署，支持故障自动迁移和容错，保证业务的可靠运行。 Kafka实例支持跨AZ部署，代理部署在不同的AZ，进一步保障服务高可用。不同AZ之间基于Kafka ISR（insync replica）进行数据同步，Topic需要选择数据多副本并且将不同副本分布到不同的ISR上，在ISR正常同步状态下，故障RPO（Recovery Point Objective）趋近于0。 无忧运维 云服务平台提供一整套完整的监控告警等运维服务，故障自动发现和告警，避免724小时人工值守。Kafka实例自动上报相关监控指标，如分区数、主题数、堆积消息数等，并支持配置监控数据发送规则，您可以在第一时间通过短信、邮件等获得业务消息队列的运行使用和负载状态。 海量消息堆积与弹性扩容 内建的分布式集群技术，使得服务具有高度扩展性。分区数可配置多达100个，存储空间弹性扩展，保证在高并发、高性能和大规模场景下的访问能力，轻松实现百亿级消息的堆积和访问能力。 多规格灵活选择 Kafka实例的带宽与存储资源可灵活配置，并且自定义Topic的分区数、副本数。

本文主要介绍云日志服务的投递概述。 天翼云云日志服务可以将日志单元中的数据投递到天翼云对象存储ZOS与分布式消息服务kafka，以满足归档或者计算的需求。 转储至对象存储ZOS 您将云主机和云服务的日志数据上报至云日志服务后，可对日志存储时长进行设置，默认存储时间为365天，超出存储时间后，日志数据将会被自动清理。若您需要长期存储日志数据进行日志持久化，可使用日志转储功能，将日志数据转储至对象存储中进行长期保存。具体操作请查看转储至对象存储ZOS。 说明 日志转储的实时性较弱，通常为5分钟~30分钟。数据延迟依赖于存储系统。 关于对象存储更多内容，请参考对象存储产品文档。 转储至分布式消息服务kafka 云日志服务采集到数据后，支持将数据转储至对天翼云分布式消息服务kafka，用于实时流计算等场景。具体操作请查看转储至分布式消息服务kafka。

本章节介绍了如何查看分布式消息服务RocketMQ实例的消费者连接地址。 操作场景 分布式消息服务RocketMQ支持通过控制台查看消费者连接地址。 说明：消费者处于连接RocketMQ实例时，才可以查看消费者连接地址。 操作步骤 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在左侧导航栏，选择“实例诊断”，进入实例诊断页面。 4. 在“消费组”中，选择待查看消费者连接地址的消费组名称，单击“开始诊断”。 5. 在诊断记录所在行，单击“查看报告”。 6. 在“结果分析”区域，查看消费者连接地址。 图1 消费者连接地址

应用架构 支持的功能模块 应用双活 管控通道 注册配置中心RCC 应用双活 接入层 云原生网关CGW 应用双活 服务层 SpringCloud 应用双活 服务层 Dubbo 应用双活 数据层 关系型数据库MySQL版 应用双活 数据层 关系型数据库PostgreSQL版 应用双活 消息层 分布式消息服务RocketMQ 数据双活 管控通道 注册配置中心RCC 数据双活 接入层 云原生网关CGW 数据双活 服务层 SpringCloud 数据双活 服务层 Dubbo 数据双活 数据层 关系型数据库MySQL版 数据双活 数据层 关系型数据库PostgreSQL版 数据双活 消息层 分布式消息服务RocketMQ

介绍分布式消息服务Kafka认证与访问控制方式 分布式消息服务Kafka支持CTIAM身份认证和多种访问控制，多维度保障您数据的安全。 身份认证 CTIAM 统一身份认证（Identity and Access Management， 简称：CTIAM）是提供用户进行权限管理的基础服务，可以帮助您安全的控制天翼云服务和资源的访问及操作权限，包括：用户身份认证、权限分配、访问控制等功能。具体介绍请参考统一身份认证产品介绍。 您可以创建IAM用户，并为其设置关联分布式消息服务Kafka实例权限，该用户就可以通过用户名和密码访问授权的实例资源。具体请参见统一身份认证快速入门创建IAM用户。 访问控制 权限控制 购买分布式消息服务Kafka实例之后，您可以使用CTIAM为企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，通过CTIAM进行精细的权限管理。 VPC和子网 虚拟私有云（Virtual Private Cloud，VPC）为分布式消息服务Kafka构建隔离、私密的虚拟网络环境，提升数据库的安全性，并简化用户的网络部署。您可以完全掌控自己的专有网络，VPC丰富的功能帮助您灵活管理云上网络，包括创建子网、设置安全组和网络ACL、管理路由表、申请弹性公网IP和带宽等。通过子网与其他网络隔离，独享网络资源，提高网络安全性。具体内容请参见虚拟私有云用户指南创建虚拟私有云和子网 。 安全组 安全组是一个逻辑上的分组，可以为同一个虚拟私有云内具有相同安全保护需求并相互信任的Kafka实例提供相同的访问策略。您可以通过为数据库实例设置安全组，开通需访问Kafka实例的IP地址和端口，来保证保障其运行环境的安全性和稳定性。具体请参见配置安全组

场景说明 RocketMQ提供了两种连接： 生产者连接：生产者通过调用RocketMQ提供的API，与RocketMQ代理（Broker）建立连接。生产者连接主要用于发送消息到RocketMQ。 消费者连接：消费者通过调用RocketMQ提供的API，与RocketMQ代理（Broker）建立连接。消费者连接主要用于从RocketMQ订阅消息并进行消费。 RocketMQ采用基于TCP/IP的通信协议，使用长连接方式进行连接。在建立连接之前，需要配置正确的RocketMQ服务端地址和端口，并使用相应的身份验证信息（如AccessKey和SecretKey）进行认证。 建立连接后，RocketMQ客户端可以通过连接发送消息到RocketMQ集群，并从集群中接收消息进行消费。连接的建立和维护是RocketMQ消息传递的基础，确保了消息的可靠传递和高效处理。 操作步骤 首先需要在RocketMQ控制台实例详情记录下集群的接入点信息，目前默认支持Namesrv的内网访问，将该地址作为客户端程序Namesrv地址的参数，具体生产消费消息的客户端示例代码请参考快速入门生产消费验证。 1、 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台，点击右上角地域选择对应资源池。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入主题管理菜单，点击【拨测】按钮，进行生产消费的拨测验证，验证开通的消息实例和主题。 5、 用户应用按照规范接入RocketMQ，发送、消费消息。