场景描述 在进行消息发送与接收验证的过程中，我们需要确保RocketMQ的生产者能够将消息成功发送到指定的Topic，同时消费者能够接收到这些消息。通过验证，可以确认生产者发送的消息能够准确无误地到达消费者，这是消息队列最基本也是最重要的功能要求。在开发和测试阶段，通过消息发送与接收验证可以及时发现并修复可能存在的问题，避免在实际应用中出现故障。 操作步骤 1、 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台，点击右上角地域选择对应资源池。 进入实例列表，点击【管理】按钮进入管理菜单。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入Topic管理菜单，点击【拨测】按钮，进行生产消费的拨测验证，验证开通的消息实例和Topic。 1）生产测试拨测： 选择消息类型，默认普通消息。 填写需要产生的测试消息数量，以及每条消息的大小，默认每条消息1KB，建议不超过4MB(4096KB)。 选择已建的消息Topic，若无选项，请新增Topic，详见上文创建Topic和订阅组。 点击【测试】按钮，按照已填写规格及数量产生测试消息数据，展示消息数据的信息，包括消息ID(messageID)、发送状态、主题名（topic名）、Broker名、队列ID。 拨测功能涉及消息发送状态码，以下是RocketMQ消息发送状态码及其说明： ✧ SENDOK（发送成功）：表示消息成功发送到了消息服务器。 ✧ FLUSHDISKTIMEOUT（刷新磁盘超时）：表示消息已经成功发送到消息服务器，但是刷新到磁盘上超时。这可能会导致消息服务器在宕机后，尚未持久化到磁盘上的数据丢失。 ✧ FLUSHSLAVETIMEOUT（刷新从服务器超时）：表示消息已经成功发送到消息服务器，但是刷新到从服务器上超时。这可能会导致主从同步不一致。 ✧ SLAVENOTAVAILABLE（从服务器不可用）：表示消息已经成功发送到消息服务器，但是从服务器不可用。这可能是由于网络故障或从服务器宕机引起的。 ✧ UNKNOWNERROR（未知错误）：表示发送消息时遇到了未知的错误。一般情况下建议重试发送消息。 ✧ MESSAGESIZEEXCEEDED（消息大小超过限制）：表示消息的大小超过了消息服务器的限制。需要检查消息的大小是否合适。 ✧ PRODUCETHROTTLE（消息生产被限流）：表示消息生产者的频率超出了消息服务器的限制。这可能是由于消息发送频率过高引起的。 ✧ SERVICENOTAVAILABLE（服务不可用）：表示消息服务器不可用。这可能是由于网络故障或者消息服务器宕机引起的。 请注意，以上状态码仅适用于RocketMQ消息发送阶段，并且并不代表消息是否成功被消费者接收。同时，这些状态码也可能因版本变化而有所不同，建议查阅官方文档获取最新信息。 2）消费测试拨测： 选择消息顺序，下拉选择无序/有序，默认选项为无序。 RocketMQ是一种开源的分布式消息中间件，它支持有序消息和无序消息。 ✧ 有序消息是指消息的消费顺序与发送顺序完全一致。在某些业务场景下，消息的处理需要保证顺序性，例如订单的处理或者任务的执行。RocketMQ提供了有序消息的支持，通过指定消息的顺序属性或使用消息队列的分区机制，可以确保消息按照指定的顺序进行消费。 ✧ 无序消息则是指消息的消费顺序与发送顺序无关。无序消息的特点是高吞吐量和低延迟，适用于一些不要求严格顺序的业务场景，如日志收集等。 在RocketMQ中，有序消息和无序消息的实现方式略有不同。有序消息需要借助MessageQueue的分区机制和消费者端的顺序消息消费来实现。而无序消息则是通过消息的发送和接收的并发处理来实现的。 总的来说，RocketMQ既支持有序消息也支持无序消息，根据业务需求选择合适的消息类型来满足业务的要求。 选择消费方式，目前仅提供pull方式。值得注意的是，RocketMQ还提供了推送（push）方式的消费模式，其中消息队列服务器会主动将消息推送给消费者。但在当前仅限于pull方式的消费模式。 填写消费数量。 下拉选择选择已建的消息主题和订阅组，若无选项，请新增主题和订阅组，详见上文创建主题和订阅组。 点击【测试】按钮，按照已填写规格及数量产生消费数据，展示消息数据的信息，包括消息ID(messageID)、主题名称（topicName）、生成时间、存储时间、队列ID、消费状态。 拨测功能涉及消息消费状态码，RocketMQ消费状态码是指在消息消费过程中，对消费结果进行标识的状态码。以下是常见的RocketMQ消费状态码： ✧ CONSUMESUCCESS（消费成功）：表示消息成功被消费。 ✧ RECONSUMELATER（稍后重试）：表示消费失败，需要稍后再次进行消费。 ✧ CONSUMEFAILURE（消费失败）：表示消息消费出现异常或失败。 ✧ SLAVENOTAVAILABLE（从节点不可用）：表示消费者无法访问从节点来消费消息。 ✧ NOMATCHEDMESSAGE（无匹配的消息）：表示当前没有匹配的消息需要消费。 ✧ OFFSETILLEGAL（偏移量非法）：表示消费的偏移量参数不合法。 ✧ BROKERTIMEOUT（Broker超时）：表示由于Broker超时导致消费失败。

Kafka作为一款热门的消息队列中间件，具备高效可靠的消息异步传递机制，主要用于不同系统间的数据交流和传递，在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 异步通信 将业务中属于非核心或不重要的流程部分，使用消息异步通知的方式发给目标系统，这样主业务流程无需同步等待其他系统的处理结果，从而达到系统快速响应的目的。 如网站的用户注册场景，在用户注册成功后，还需要发送注册邮件与注册短信，这两个流程使用Kafka消息服务通知邮件发送系统与短信发送系统，从而提升注册流程的响应速度。 图 串行发送注册邮件与短信流程 图 借助消息队列异步发送注册邮件与短信流程 错峰流控与流量削峰 在电子商务系统或大型网站中，上下游系统处理能力存在差异，处理能力高的上游系统的突发流量可能会对处理能力低的某些下游系统造成冲击，需要提高系统的可用性的同时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时，可以通过队列服务堆积缓存订单等信息，在下游系统有能力处理消息的时候再处理，避免下游订阅系统因突发流量崩溃。消息队列提供亿级消息堆积能力，3天的默认保留时长，消息消费系统可以错峰进行消息处理。 另外，在商品秒杀、抢购等流量短时间内暴增场景中，为了防止后端应用被压垮，可在前后端系统间使用Kafka消息队列传递请求。 图 消息队列应对秒杀大流量场景 日志同步 在大型业务系统设计中，为了快速定位问题，全链路追踪日志，以及故障及时预警监控，通常需要将各系统应用的日志集中分析处理。 Kafka设计初衷就是为了应对大量日志传输场景，应用通过可靠异步方式将日志消息同步到消息服务，再通过其他组件对日志做实时或离线分析，也可用于关键日志信息收集进行应用监控。 日志同步主要有三个关键部分：日志采集客户端，Kafka消息队列以及后端的日志处理应用。 1. 日志采集客户端，负责用户各类应用服务的日志数据采集，以消息方式将日志“批量”“异步”发送Kafka客户端。 Kafka客户端批量提交和压缩消息，对应用服务的性能影响非常小。 2. Kafka将日志存储在消息文件中，提供持久化。 3. 日志处理应用，如Logstash，订阅并消费Kafka中的日志消息，最终供文件搜索服务检索日志，或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。 图 日志同步示意图 上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具，Hadoop表示大数据分析系统。

本文介绍如何在事件总线EventBridge管理控制台添加分布式消息Kafka类型的自定义事件源。 前提条件 事件总线EventBridge 开通事件总线EventBridge并委托授权。 创建自定义总线。 分布式消息服务Kafka 开通分布式消息服务Kafka。 创建实例、主题与消费组。 操作步骤 1. 登录事件总线管理控制台。 2. 在左侧导航栏，单击事件总线。 3. 在事件总线页面，单击目标总线名称。 4. 在左侧导航栏，单击事件源。 5. 在事件源 页面，单击添加事件源。 6. 在添加自定义事件源 面板，输入名称 和描述 ，事件提供方 选择分布式消息服务Kafka，选择实例、主题等配置然后单击确认，详见图1。 图1 添加事件提供方为分布式消息服务Kafka的事件源 参数说明 参数 说明 示例 名称 事件源名。 source1 实例名称 选择前提条件中已创建的分布式消息服务Kafka版实例。 KAFKAxxx Topic 选择当前实例中的Topic。 topic1 Group 快速创建：自动创建以GIDEVENTBRIDGExxx命名的Group ID。 使用已有：选择当前实例中已创建的Group，请不要与已有业务的Group混用，以免影响已有的消息收发。 group1 消费位点 开始消费的位置。 最新位点：从最新位点开始消费。 最早位点：从最初位点开始消费。 最新位点

操作步骤 1、 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台，点击右上角地域选择对应资源池。 进入实例列表，点击【管理】按钮进入管理菜单。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入Topic管理菜单，点击【重置消费】按钮，弹出窗口选择消费组名称。 5、 选择重置时间点，点击确定即可重置消费位置。 注意：当将消费时间重置到历史时间T1,则T1之前生产的消息，都变成已消费，T1之后生产的消息，都变成未消费；将消费时间重置到未来时间T2，则存量的所有消息都变成已消费。 备注： 重置时间：是指消息生产的时间 不选时间：所有消息都变成未消费 未来时间：所有消息都变成已消费 某时间点：该时间之前变成已消费，改时间之后未消费； v1消费模式必须关闭消费客户端

Messaging（消息传递）是指在分布式系统中，通过消息传递实现不同组件之间的通信。 System （消息系统）：是指消息传递所使用的消息系统，如Apache Kafka、RabbitMQ、ActiveMQ等。它是一个软件系统，用于实现异步消息传递。 Operation （操作）：是指对消息执行的操作，包括发送、接收、确认等。它是一个字符串，用于表示当前执行的操作。 DestinationKind （目标类型）：是指消息的目标类型，包括队列（Queue）和主题（Topic）两种。队列用于点对点的消息传递，主题用于发布订阅模式的消息传递。它是一个字符串，用于表示当前消息的目的地类型。 目标服务（Target Service）是指客户端需要访问的远程服务。 名称 （Name）：是指目标服务的名称，用于唯一标识服务。它是一个字符串，通常由服务提供方指定，并在服务注册中心中注册。 类型 （Type）：是指目标服务的类型，用于表示服务的功能类别。例如，Web服务、消息队列服务、数据库服务等。它是一个字符串，通常由服务提供方指定。 实例 （Instance）：是指目标服务的实例，用于标识不同的服务实例。在分布式系统中，通常会有多个服务实例提供相同的服务。它是一个字符串，通常由服务注册中心分配。

本章节主要介绍创建用户并授权使用分布式消息服务RabbitMQ。 如果您需要对您所拥有的分布式消息服务RabbitMQ服务进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），通过IAM，您可以： 根据企业的业务组织，在您的帐号中，给企业中不同职能部门的员工创建IAM用户，让员工拥有唯一安全凭证，并使用分布式消息服务RabbitMQ资源。 根据企业用户的职能，设置不同的访问权限，以达到用户之间的权限隔离。 将分布式消息服务RabbitMQ资源委托给更专业、高效的其他帐号或者云服务，这些帐号或者云服务可以根据权限进行代运维。 如果帐号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用分布式消息服务RabbitMQ服务的其它功能。 本章节为您介绍对用户授权的方法，操作流程如图1所示。 说明 分布式消息服务RabbitMQ服务的权限与策略基于分布式消息服务DMS，因此在IAM服务中为RabbitMQ分配用户与权限时，请选择并使用“DMS”的权限与策略。 前提条件 给用户组授权之前，请您了解用户组可以添加的分布式消息服务RabbitMQ系统策略，并结合实际需求进行选择，分布式消息服务RabbitMQ支持的系统策略及策略间的对比，请参见：权限管理。 示例流程 图1 给用户授权RabbitMQ权限流程 1. 创建用户组并授权 在IAM控制台创建用户组，并授予RabbitMQ的只读权限“DMS ReadOnlyAccess”。 2. 创建用户并加入用户组 在IAM控制台创建用户，并将其加入1中创建的用户组。 3. 用户登录并验证权限 新创建的用户登录控制台，切换至授权区域，验证权限： 在“服务列表”中选择分布式消息服务RabbitMQ，进入RabbitMQ实例主界面，单击右上角“购买RabbitMQ实例”，尝试购买RabbitMQ实例，如果无法购买RabbitMQ实例（假设当前权限仅包含DMS ReadOnlyAccess），表示“DMS ReadOnlyAccess”已生效。 在“服务列表”中选择云硬盘（假设当前策略仅包含DMS ReadOnlyAccess），若提示权限不足，表示“DMS ReadOnlyAccess”已生效。

本节介绍Kafka 判断和处理消息堆积 判断消息堆积是否属于正常情况 登录“分布式消息服务Kafka”控制台，在“消费组管理”页面，找到目标消费组，进入“消息堆积”页面。 （1）堆积量保持在一个稳定的数值之间波动，没有持续扩大。说明客户端一直在拉取最新消息，没有消息堆积，属于正常情况。 （2）堆积量逐步扩大，并且当前位点一直不变。客户端的消费线程因为某些原因卡住，没有继续消费，也没有继续向服务端提交位点，属于异常情况，即消息的确堆积了。 （3）堆积量逐步扩大，同时当前位点在前进。说明客户端还在消费中，但是消息的消费速度慢于消息的发送速度。消息堆积大多是消费速度过慢或者消费线程阻塞造成的，建议不要在消费逻辑中有太多耗时的操作。 消息堆积的处理方式 经过上述判断，确认消息的确存在堆积情况时，建议打印消息的消费耗时，或者根据堆栈信息查看线程执行情况，适当调整以加快消息的消费速度，避免出现消息堆积。

本节介绍客户端首次接入分布式消息服务Kafka时出现异常的排查方法 客户端首次接入分布式消息服务Kafka时如果出现异常，您可以通过以下三个方面进行排查： 网络连通问题：通常有如下几种情况可能会导致网络不通，客户端无法连接分布式消息服务Kafka的服务端。 （1）ECS实例（客户端）与分布式消息服务Kafka实例不在同一个VPC内。关于如何通过VPC网络接入服务端，请参见VPC接入。 （2）本地客户端访问非公网的分布式消息服务Kafka实例。您可以通过公网接入服务端。 客户端版本问题：客户端版本太低可能会出现异常，建议升级到与服务端匹配的客户端版本。 配置问题：默认接入点配置错误等都可能导致接入失败。您可以参见快速入门进行配置检查。

导出死信消息 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在左侧导航栏，单击“死信队列”，进入“死信队列”页面。 4. 在待导出的死信消息所在行，单击“导出消息”。 导出JSON格式的文件。 说明：如果需要批量导出死信消息，勾选待导出的多条死信消息，单击“批量导出消息”。 导出的消息字段说明如表1所示。 表1 消息字段说明 消息字段 字段说明 msgid 消息ID。 instanceid 实例ID。 topic Topic名称。 storetimestamp 存储消息的时间。 borntimestamp 产生消息的时间。 reconsumetimes 重试次数。 body 消息体。 bodycrc 消息体校验和。 storesize 存储大小。 propertylist 消息属性列表。lname：属性名称。lvalue：属性值。 bornhost 产生消息的主机IP。 storehost 存储消息的主机IP。 queueid 队列ID。 queueoffset 在队列中的偏移量。 重新投递死信消息 死信消息由于某些原因无法正常被消费者消费，请排查相关原因并解决，然后在控制台重新投递死信消息给消费者消费。 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在左侧导航栏，单击“死信队列”，进入“死信队列”页面。 4. 选择以下任意一种方法重新投递死信消息。 在待重新投递的死信消息所在行，单击“重投”。 如需批量重新投递死信消息，勾选待重新投递的死信消息，单击“批量重投”。 须知： 死信消息重新投递成功后，此死信消息依然存在死信队列中，不会被删除。避免多次重复投递，造成重复消费。

本文介绍Kafka消费端从服务端拉取不到消息或拉取消息缓慢原因及解决方案 问题现象 Topic中有消息并且Consumer未消费到最新的位置，出现消费端从服务端拉取不到消息或拉取消息缓慢的情况（特别是公网消费时）。 可能原因 消费流量达到网络带宽。 单个消息大小超过网络带宽。 Consumer每次拉取的消息量超过网络带宽。 说明 Consumer每次消息的拉取量受以下参数影响： max.poll.records：每次拉取的最多消息数。 fetch.max.bytes：每次拉取的最大总byte数。 max.partition.fetch.bytes：每个Partition每次拉取的最大总byte数。 解决方案 （1）登录分布式消息服务Kafka控制台查询消息。 如果能查询到消息，请继续尝试以下步骤。 （2）在实例详情页面，单击左侧导航栏的监控信息，查看消费流量是否已达到网络带宽。 如果消费流量已经达到网络带宽，您需要扩充网络带宽。 （3）检查Topic中是否存在单个消息的大小超过网络带宽。 如果存在单个消息的大小超过网络带宽，请提高网络带宽，或者减小单个消息的大小。 （4）检查Consumer每次拉取的消息量是否超过网络带宽。 说明 如果每次拉取的消息量超过网络带宽，您需要调整以下参数。 网络带宽>fetch.max.bytes 网络带宽>max.partition.fetch.bytes总订阅Partition数

本节介绍了分布式消息服务RabbitMQ产品相关协议。 产品服务等级协议请查看： 分布式消息服务RabbitMQ服务等级协议

本文主要介绍产品优势。 分布式消息服务Kafka完全兼容开源社区版本，旨在为用户提供便捷高效的消息队列。业务无需改动即可快速迁移上云，为您节省维护和使用成本。 一键式部署，免去集群搭建烦恼 您只需要在实例管理界面选好规格配置，提交订单。后台将自动创建部署完成一整套Kafka实例。 兼容开源，业务零改动迁移上云 兼容社区版Kafka的API，具备原生Kafka的所有消息处理特性。 业务系统基于开源的Kafka进行开发，只需加入少量认证安全配置，即可使用分布式消息服务Kafka，做到无缝迁移。 说明 Kafka实例兼容开源社区Kafka 1.1.0、2.3.0和2.7版本。在客户端使用上，推荐使用和服务端版本一致的版本。 安全保证 独有的安全加固体系，提供业务操作云端审计，消息存储加密等有效安全措施。 在网络通信方面，除了提供SASL（Simple Authentication and Security Layer）认证，还借助虚拟私有云（VPC）和安全组等加强网络访问控制。 数据高可靠 Kafka实例支持消息持久化，多副本存储机制。副本间消息同步、异步复制，数据同步或异步落盘多种方式供您自由选择。 集群架构与跨AZ部署，服务高可用 Kafka后台为多集群部署，支持故障自动迁移和容错，保证业务的可靠运行。 Kafka实例支持跨AZ部署，代理部署在不同的AZ，进一步保障服务高可用。不同AZ之间基于Kafka ISR（insync replica）进行数据同步，Topic需要选择数据多副本并且将不同副本分布到不同的ISR上，在ISR正常同步状态下，故障RPO（Recovery Point Objective）趋近于0。 无忧运维 云服务平台提供一整套完整的监控告警等运维服务，故障自动发现和告警，避免724小时人工值守。Kafka实例自动上报相关监控指标，如分区数、主题数、堆积消息数等，并支持配置监控数据发送规则，您可以在第一时间通过短信、邮件等获得业务消息队列的运行使用和负载状态。 海量消息堆积与弹性扩容 内建的分布式集群技术，使得服务具有高度扩展性。分区数可配置多达100个，存储空间弹性扩展，保证在高并发、高性能和大规模场景下的访问能力，轻松实现百亿级消息的堆积和访问能力。 多规格灵活选择 Kafka实例的带宽与存储资源可灵活配置，并且自定义Topic的分区数、副本数。

介绍分布式消息服务RabbitMQ监控指标详情。 监控项 分布式消息服务RabbitMQ 版监控指标支持以下监控项： 资源类型 监控项 单位 指标名 维度 实例 每秒消息流入数 个/秒 publishRate 实例 实例 每秒消息流出数 个/秒 deliverRate 实例 实例 消费者数量 个 consumers 实例 实例 连接数量 个 connections 实例 实例 通道数量 个 channels 实例 虚拟主机 每秒消息流入数 个/秒 publishRate 实例、虚拟主机 虚拟主机 每秒消息流出数 个/秒 deliverRate 实例、虚拟主机 虚拟主机 消费者数量 个 consumers 实例、虚拟主机 虚拟主机 连接数量 个 connections 实例、虚拟主机 虚拟主机 通道数量 个 channels 实例、虚拟主机 队列 每秒消息流入数 个/秒 publishRate 实例、虚拟主机、队列 队列 每秒消息流出数 个/秒 deliverRate 实例、虚拟主机、队列 队列 消费者数量 个 consumers 实例、虚拟主机、队列 队列 消息堆积量 个 messages 实例、虚拟主机、队列 交换器 每秒消息流入数 个/秒 publishRate 实例、虚拟主机、交换器 交换器 每秒消息流出数 个/秒 deliverRate 实例、虚拟主机、交换器

本文主要介绍了站内消息的设置方法和消息类型。 用户可以接收、查看、管理天翼云发送的各类消息通知。 操作步骤 1、登录消息中心。 2、在站内消息菜单，可以进行以下操作： 查看全部、未读、已读消息。 按消息类别/消息类型，筛选查看某类消息。 将未读消息标记为已读。 删除消息。 消息类型 消息类型 消息介绍 产品信息 产品的创建、开通及资源到期提醒等产品相关信息通知 账户资金 充值、订单支付、提现等资金相关信息通知 活动消息 各类线上活动通知 服务消息 新产品上线或商业化通知 重要通知 网站重要公告、通知、声明等信息通知 其他 非以上消息类型通知

本节主要介绍分布式消息服务Kafka常用术语解释。 代理（Broker） kafka集群包含一个或多个消息处理服务器，该服务器成为Broker，提供数据刷盘等核心功能。可以横向扩展、在线扩容以提高集群性能。 主题（Topic） 每条发布到Kafka 集群的消息都有一个主题，这个主题被称为 Topic。通过 Topic 可以对消息进行分类。每个 Topic 可以由一个或多个分区（Partition）组成，存储于一个或多个Broker 上。 分区（partition） 消息分区是物理上的概念，一个Topic可以分为多个partition，每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id（offset）。 生产者（Producer） 消息和数据生成者，一般为应用调用API进行消息生产，并向Kafka的一个Topic发布消息。 消费者（Consumer） 消息订阅者，也成为消息消费者，负责向 Kafka Broker 读取消息并进行消费。 消费组（Consumer Group） 一类Consumer的集合名称，这类Consumer通常消费一类消息，且消费逻辑一致，Consumer Group 和 Topic 的关系是 N：N，同一个 Consumer Group 可以订阅多个 Topic，同一个 Topic 也可以被多个 Consumer Group 订阅。

发送消息 参考如下示例代码。 from rocketmq.client import Producer, Message endpoint "${ENDPOINT}" 填写分布式消息服务RocketMQ控制台Namesrv接入点 accesskey "${ACCESSKEY}" 填写AccessKey 在分布式消息服务RocketMQ控制台用户管理菜单中创建的用户ID accesssecret "${SECRETKEY}" 填写SecretKey 在分布式消息服务RocketMQ控制台用户管理菜单中创建的用户密钥 topic "${TOPIC}" 填写Topic，在管理控制台创建 producergroup "${GROUP}" 生产者组group 创建并启动生产者实例 producer Producer(producergroup) producer.setnameserveraddress(endpoint) producer.setsessioncredentials(accesskey, accesssecret, "") producer.start() msg Message(topic) msg.setbody("Hello RocketMQ") msg.setkeys("") 消息key msg.settags("") 消息tag ret producer.sendsync(msg) print(ret.status, ret.msgid, ret.offset) 关闭生产者实例，释放资源 producer.shutdown() 订阅消息 参考如下示例代码。 import time from rocketmq.client import PushConsumer, ConsumeStatus endpoint "${ENDPOINT}" 填写分布式消息服务RocketMQ控制台Namesrv接入点 accesskey "${ACCESSKEY}" 填写AccessKey 在分布式消息服务RocketMQ控制台用户管理菜单中创建的用户ID accesssecret "${SECRETKEY}" 填写SecretKey 在分布式消息服务RocketMQ控制台用户管理菜单中创建的用户密钥 topic "${TOPIC}" 填写Topic，在管理控制台创建 group "${GROUP}" 填写订阅组group，在管理控制台创建 def callback(msg): print(msg.id, msg.body) return ConsumeStatus.CONSUMESUCCESS consumer PushConsumer(group) consumer.setnameserveraddress(endpoint) consumer.setsessioncredentials(accesskey, accesssecret, "") consumer.subscribe(topic, callback) consumer.start() while True: time.sleep(3600) consumer.shutdown()

本文主要介绍 产品定义。 Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 分布式消息服务Kafka是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。使用分布式消息服务Kafka，资源按需申请，即买即用，您将有更多精力专注于业务快速开发，不用考虑部署和运维。 关于Kafka的帮助手册阅读指引 受限于篇幅，我们提供的Kafka帮助手册重点描述产品相关的内容，以及与开源社区版Kafka的差异部分，例如Kafka的产品规格、控制台操作、客户端对接等。 如果您需要了解Kafka入门知识或消息生产、消费等方面的技术细节，请查阅Kafka官网资料。

介绍分布式消息服务Kafka续订操作内容。 场景描述 分布式消息服务Kafka为用户提供全面周到的服务，支持用户续订的需求。针对包周期消息实例服务，用户可在到期前进行服务周期延长操作，即续订操作。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“更多”，点击“续订”。 （4）点击“续订”后，会打开新页面，选择续订时长，会计算出对应价格，点击“确定”，后可到我的订单中支付。

本文为您介绍分布式消息服务MQTT的产品优势。 分布式消息服务MQTT（Message Queuing Telemetry Transport）是一种轻量级的、发布/订阅模式的消息传递协议，通常用于分布式消息服务和物联网（IoT）应用。以下是MQTT的一些优势： 轻量级协议： MQTT是一种非常轻量级的协议，适用于各种网络环境，包括低带宽、高延迟或不稳定的网络。这使得它非常适合在IoT设备之间传递消息，因为这些设备通常有限的资源和能源。 发布/订阅模式： MQTT采用发布/订阅模式，允许客户端订阅感兴趣的主题，以接收与这些主题相关的消息。这种模式具有灵活性，能够支持多对多的通信，而不需要直接点对点的连接。 异步通信： MQTT允许异步通信，客户端可以发布消息而不必等待接收方的响应。这有助于提高系统的响应速度和吞吐量。 保留消息： MQTT支持保留消息，这意味着最新的消息可以保留在主题中，以便新订阅者可以立即获取到最新数据，而不必等待下一个消息发布。 服务质量（QoS）： MQTT允许设置不同级别的服务质量，从不保证消息送达（QoS 0）到确保消息送达且不重复传递（QoS 2）。这使得可以根据应用的需求选择适当的传递质量。 可伸缩性： MQTT协议可以在大规模分布式系统中轻松扩展，支持成千上万的客户端同时连接到Broker，使其适用于大型IoT解决方案。 消息过滤： MQTT支持使用通配符来订阅主题，这允许客户端根据特定模式匹配多个主题，以接收相关消息。 支持遗愿消息： MQTT支持遗愿消息（Will Messages），允许客户端指定在异常断开连接时发送一条预定义消息。这对于检测设备在线状态非常有用。 跨平台和多语言支持： MQTT具有广泛的跨平台和多语言支持，因此可以在各种设备和编程语言上使用，使得它非常灵活。 安全性： MQTT可以与安全机制（如TLS/SSL）结合使用，确保消息在传输过程中的安全性和隐私。 总的来说，MQTT是一种高效、灵活和可靠的协议，特别适用于分布式消息传递和IoT应用，因此在物联网、远程监控、实时通信等领域得到广泛应用。它的轻量级特性和异步通信使得它成为连接数众多的设备的理想选择。

分布式消息服务RocketMQ版支持任意时间的定时消息，最大推迟时间可达到40天。 定时消息即生产者生产消息到分布式消息服务RocketMQ版后，消息不会立即被消费，而是延迟到设定的时间点后才会发送给消费者进行消费。 收发消息前，请参考收集连接信息收集RocketMQ所需的连接信息。 准备环境 1. 在命令行输入python，检查是否已安装Python。得到如下回显，说明Python已安装。 PS C:> python Python 3.9.9 (tags/v3.9.9:ccb0e6a, Nov 15 2021, 18:08:50) [MSC v.1929 64 bit (AMD64)] on win32 Type "help", "copyright", "credits" or "license" for more information. 如果未安装Python，请使用以下命令安装： pip install rocketmqclientpython 2. 安装librocketmq库和rocketmqclientpython。 说明 建议下载rocketmqclientcpp2.2.0，获取librocketmq库。 3. 将librocketmq.so添加到系统动态库搜索路径。 1. 查找librocketmq.so的路径。 find / name librocketmq.so 2. 将librocketmq.so添加到系统动态库搜索路径。 ln s /查找到的librocketmq.so路径/librocketmq.so /usr/lib sudo ldconfig 以下示例代码中的参数说明如下，请参考收集连接信息获取参数值。 GROUP：表示消费组名称。 ENDPOINT：表示实例连接地址和端口。 TOPIC：表示Topic名称。 发送消息 参考如下示例代码。 import datetime from rocketmq.client import Producer, Message from rocketmq.exceptions import RocketMQException endpoint "${ENDPOINT}" 填写分布式消息服务RocketMQ控制台Namesrv接入点 accesskey "${ACCESSKEY}" 填写AccessKey 在分布式消息服务RocketMQ控制台用户管理菜单中创建的用户ID accesssecret "${SECRETKEY}" 填写SecretKey 在分布式消息服务RocketMQ控制台用户管理菜单中创建的用户密钥 topic "${TOPIC}" 填写Topic，在管理控制台创建 producergroup "${GROUP}" 生产者组group 初始化生产者 producer Producer(producergroup) producer.setnamesrvaddr(endpoint) producer.setsessioncredentials(accesskey, accesssecret, "") 启动生产者 try: producer.start() except RocketMQException as e: print('start producer error:', e) exit(1) msg Message(topic) msg.setbody("Hello RocketMQ") delaytime 10 发送任意延迟消息，时间单位为毫秒，如下所示：消息将在10s后投递 delaytimestamp int((datetime.datetime.now() + datetime.timedelta(secondsdelaytime)).timestamp() 1000) msg.setproperty('STARTDELIVERTIME', str(delaytimestamp)) 发送消息 try: result producer.sendsync(msg) print('send result:', result) except RocketMQException as e: print('send message error:', e) producer.shutdown() exit(1) 关闭生产者实例，释放资源 producer.shutdown()

本文主要介绍分布式消息服务RabbitMQ的产品优势。 天翼云分布式消息服务RabbitMQ完全兼容开源社区版本，旨在为用户提供便捷高效的消息队列。业务无需改动即可快速迁移上云，为您节省维护和使用成本。 一键式部署，免去集群搭建烦恼 专享实例只需要在实例管理界面选好规格配置，提交订单，后台将自动创建部署完成一整套RabbitMQ实例。 兼容开源，业务零改动迁移上云 兼容社区版RabbitMQ的API，具备原生RabbitMQ的所有消息处理特性。 业务系统基于开源的RabbitMQ进行开发，只需加入少量认证安全配置，即可使用天翼云分布式消息服务RabbitMQ，做到无缝迁移。 说明 RabbitMQ实例兼容开源社区RabbitMQ 3.8.35版本。 独占式体验 RabbitMQ实例采用物理隔离的方式部署，租户独占RabbitMQ实例，每个RabbitMQ之间互不影响。 高性能 单队列性能最高可达10万TPS（默认配置），增加队列可获得更高性能。 数据安全 独有的安全加固体系，提供业务操作云端审计，消息存储加密等有效安全措施。 在网络通信方面，除了提供SASL认证，还借助虚拟私有云（VPC）和安全组等加强网络访问控制。 无忧运维 天翼云提供一整套完整的监控告警等运维服务，故障自动发现和告警，避免724小时人工值守。RabbitMQ专享实例自动上报相关监控指标，如分区数、主题数、堆积消息数等，并支持配置监控数据发送规则，您可以在第一时间通过短信、邮件等获得业务消息队列的运行使用和负载状态。

本节介绍了RabbitMQ元数据迁移的实践。 RabbitMQ元数据迁移指将用户线下实例的rabbitmq实例元数据迁移到线上实例。 背景信息 RabbitMQ集群元数据是指RabbitMQ集群的信息，包括User、Vhost、Queue、Exchange、Binding Key、Permission、Parameter等信息。RabbitMQ集群元数据存储于RabbitMQ集群的内部数据库，在集群的各个节点之间自动复制。集群中的每个节点都有自己的元数据副本。当某个节点的元数据变更时，所有节点的元数据都会同步更新。因此，集群的各个节点的元数据被导出时都是相同的。RabbitMQ集群元数据可以被导出成一份JSON文件，然后被导入另一个RabbitMQ集群，实现RabbitMQ集群元数据备份。 迁移元数据上云是指将开源RabbitMQ集群的元数据迁移到天翼云分布式消息服务RabbitMQ实例。分布式消息服务RabbitMQ是天翼云提供的全托管消息队列服务，兼容开源RabbitMQ。您可以将RabbitMQ集群元数据导出，然后导入分布式消息服务RabbitMQ实例，分布式消息服务RabbitMQ会根据成功导入的元数据在目标分布式消息服务RabbitMQ实例中创建对应的Vhost、Queue、Exchange、Binding，实现RabbitMQ集群元数据迁移上云。您可以将全部Vhost信息导入分布式消息服务RabbitMQ实例，也可以根据需要将某个Vhost信息导入分布式消息服务RabbitMQ实例中的Vhost。 迁移元数据 （1）在RabbitMQ WebUI页面查看，如图所示。 Overview视图中，点击“Download broker definitions”按钮下载集群元数据。得到rabbitmq元数据的json文件。 （2）上线rabbitmq实例导入元数据。 如上图所示，先点击选择文件，选择上一步骤导出的json文件，再点击导入配置。 注意：在线下的Rabbitmq集群中不能含有用户名rabbitmq，否则会被覆盖。用户名rabbitmq是天翼云Rabbitmq内部使用的管理账号。

Kafka 是按分区一条一条消息顺序向前推进消费的，如果消费端拿到某条消息后执行消费逻辑失败，比如应用服务器出现了脏数据，导致某条消息处理失败，等待人工干预，那么有以下两种处理方式： 失败后一直尝试再次执行消费逻辑。这种方式有可能造成消费线程阻塞在当前消息，无法向前推进，造成消息堆积。 由于 Kafka 自身没有处理失败消息的设计，实践中通常会打印失败的消息、或者存储到某个服务（比如创建一个 Topic 专门用来放失败的消息），然后定时 check 失败消息的情况，分析失败原因，根据情况处理。

本文介绍如何在事件总线EventBridge管理控制台添加分布式消息服务Kafka作为事件流中的事件提供方。 前提条件 事件总线EventBridge 开通事件总线EventBridge并委托授权。 分布式消息服务Kafka 开通分布式消息服务Kafka。 操作步骤 1. 登录事件总线管理控制台。 2. 在左侧导航栏，单击事件流。 3. 在事件流页面，单击创建事件流。 4. 在事件源（Source） 配置面板，事件提供方 选择分布式消息服务Kafka，选择或填入主题等配置然后单击确认，如图1所示。 图1 创建事件流时选择事件提供方为分布式消息服务Kafka 参数说明 参数 说明 示例 实例名称 选择前提条件中已创建的分布式消息服务Kafka版实例。 KAFKAxxx Topic 选择当前实例中的Topic。 topic1 Group 快速创建：自动创建以GIDEVENTBRIDGExxx命名的Group ID。 使用已有：选择当前实例中已创建的Group，请不要与已有业务的Group混用，以免影响已有的消息收发。 group1 消费位点 开始消费的位置。 最新位点：从最新位点开始消费。 最早位点：从最初位点开始消费。 最新位点 事件示例 plaintext { "id": "c40c8fe289994177b5aed37466bae2e5", "source": "ctyun:kafka", "specversion": "1.0", "subject": "ctyun:kafka:b342b77ef26b11ecbxxxxxxxc110002:0b3a633836ef4xxxxxx33ab4da:topic:streamsource", "time": "20250206T03:44:55.026774053Z", "datacontenttype": "application/json", "type": "kafka:Topic:SendMessage", "ctyunregion": "b342b77ef26b11ecbxxxxxxxc110002", "ctyunaccountid": "0b3a633836ef4xxxxxx33ab4da", "data": { "offset": 1, "topic": "streamsource", "value": "Hello,Kafka!", "key": "test" } } data字段包含的参数解释如下表所示： 参数 类型 示例值 描述 topic String source1 Topic名称。 offset Integer 1 消费位点。 key String test 消息Key值。 value Object Hello,Kafka! 消息体，默认以JSON格式编码。

本文主要介绍分布式消息服务RabbitMQ的典型应用场景。 RabbitMQ作为一款热门的消息队列中间件，具备高效可靠的消息异步传递机制，主要用于不同系统间的数据交流和传递，在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 异步通信 将业务中属于非核心或不重要的流程部分，使用消息异步通知的方式发给目标系统，这样主业务流程无需同步等待其他系统的处理结果，从而达到系统快速响应的目的。 如网站的用户注册场景，在用户注册成功后，还需要发送注册邮件与注册短信，这两个流程使用RabbitMQ消息服务通知邮件发送系统与短信发送系统，从而提升注册流程的响应速度。 图1 串行发送注册邮件与短信流程 图2 借助消息队列异步发送注册邮件与短信流程 错峰流控与流量削峰 在电子商务系统或大型网站中，上下游系统处理能力存在差异，处理能力高的上游系统的突发流量可能会对处理能力低的某些下游系统造成冲击，需要提高系统的可用性的同时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时，可以通过队列服务堆积缓存订单等信息，在下游系统有能力处理消息的时候再处理，避免下游订阅系统因突发流量崩溃。消息队列提供亿级消息堆积能力，3天的默认保留时长，消息消费系统可以错峰进行消息处理。 另外，在商品秒杀、抢购等流量短时间内暴增场景中，为了防止后端应用被压垮，可在前后端系统间使用RabbitMQ消息队列传递请求。 图3 消息队列应对秒杀大流量场景

模块 参数 参数说明 配置示例 备注 配置订阅渠道 网络通道 公网/vpc内网 公网 配置订阅渠道 订阅类型 公网：分布式消息服务/remotewriteAPI/API vpc内网:分布式消息服务 分布式消息服务 配置订阅渠道 类型 对应订阅类型下选择支持的类型 分布式消息服务Kafka 配置订阅渠道 地址 填写分布式消息服务/remotewriteAPI/API目标地址 配置订阅渠道 实例选择 下拉选择所创建的kafka实例（前提：“网络通道”选择“vpc内网”） 配置订阅渠道 用户名 目标地址用户名信息 test 配置订阅渠道 密码 目标地址用户名对应密码信息 配置订阅渠道 TOPIC 目标地址主题（TOPIC） 配置订阅渠道 kafka版本 选择目标客户端kafka版本，2.0.0/2.1.0 2.1.0 2.0.0及以下版本，请选择2.0.0 2.0.0以上版本，请选择2.1.0 基本信息 名称 填写订阅渠道名称 test 基本信息 描述 填写订阅渠道描述信息

模块 参数 参数说明 配置示例 备注 配置订阅渠道 网络通道 公网/vpc内网 公网 配置订阅渠道 订阅类型 公网：分布式消息服务/remotewriteAPI/API vpc内网:分布式消息服务 分布式消息服务 配置订阅渠道 类型 对应订阅类型下选择支持的类型 分布式消息服务Kafka 配置订阅渠道 地址 填写分布式消息服务/remotewriteAPI/API目标地址 配置订阅渠道 实例选择 下拉选择所创建的kafka实例（前提：“网络通道”选择“vpc内网”） 配置订阅渠道 用户名 目标地址用户名信息 test 配置订阅渠道 密码 目标地址用户名对应密码信息 配置订阅渠道 TOPIC 目标地址主题（TOPIC） 配置订阅渠道 kafka版本 选择目标客户端kafka版本，2.0.0/2.1.0 2.1.0 2.0.0及以下版本，请选择2.0.0 2.0.0以上版本，请选择2.1.0 基本信息 名称 填写订阅渠道名称 test 基本信息 描述 填写订阅渠道描述信息

场景说明 RocketMQ提供了两种连接： 生产者连接：生产者通过调用RocketMQ提供的API，与RocketMQ代理（Broker）建立连接。生产者连接主要用于发送消息到RocketMQ。 消费者连接：消费者通过调用RocketMQ提供的API，与RocketMQ代理（Broker）建立连接。消费者连接主要用于从RocketMQ订阅消息并进行消费。 RocketMQ采用基于TCP/IP的通信协议，使用长连接方式进行连接。在建立连接之前，需要配置正确的RocketMQ服务端地址和端口，并使用相应的身份验证信息（如AccessKey和SecretKey）进行认证。 建立连接后，RocketMQ客户端可以通过连接发送消息到RocketMQ集群，并从集群中接收消息进行消费。连接的建立和维护是RocketMQ消息传递的基础，确保了消息的可靠传递和高效处理。 操作步骤 首先需要在RocketMQ控制台实例详情记录下集群的接入点信息，目前支持namesrv的内网访问，将该地址作为客户端程序namesrv地址的参数，具体生产消费消息的客户端示例代码请参考快速入门生产消费验证。 1、 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台，点击右上角地域选择对应资源池。 进入实例列表，点击【管理】按钮进入管理菜单。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入主题管理菜单，点击【拨测】按钮，进行生产消费的拨测验证，验证开通的消息实例和主题。 5、 用户应用按照规范接入RocketMQ，发送、消费消息。

本章节介绍普通消息的收发方法和示例代码。其中，普通消息发送方式分为同步发送、异步发送、单向发送。 同步发送：同步发送是指消息发送方发出一条消息后，会在收到服务端同步响应之后才发下一条消息的通讯方式。 异步发送：异步发送是指发送方发出一条消息后，不等服务端返回响应，接着发送下一条消息的通讯方式。 单向发送：发送方只负责发送消息，不等待服务端返回响应且没有回调函数触发。 收发消息前，请参考收集连接信息收集RocketMQ所需的连接信息。 准备环境 开源的Java客户端支持连接分布式消息服务RocketMQ版，推荐使用的客户端版本为4.9.7。 通过以下任意一种方式引入依赖： 1. 使用Maven方式引入依赖。 org.apache.rocketmq rocketmqclient 4.9.7 org.apache.rocketmq rocketmqacl 4.9.7 2. 点击下载依赖JAR包：rocketmqall4.9.7binrelease.zip 同步发送 同步发送是最常用的方式，是指消息发送方发出一条消息后，会在收到服务端同步响应之后才发下一条消息的通讯方式，可靠的同步传输被广泛应用于各种场景，如重要的通知消息、短消息通知等。 参考如下示例代码 import org.apache.rocketmq.acl.common.AclClientRPCHook; import org.apache.rocketmq.acl.common.SessionCredentials; import org.apache.rocketmq.client.producer.DefaultMQProducer; import org.apache.rocketmq.client.producer.SendResult; import org.apache.rocketmq.common.message.Message; import org.apache.rocketmq.remoting.RPCHook; import org.apache.rocketmq.remoting.common.RemotingHelper; public class ProducerNormalExample { private static RPCHook getAclRPCHook() { return new AclClientRPCHook(new SessionCredentials( "accessKey", // 分布式消息服务RocketMQ控制台用户管理菜单中创建的用户ID "accessSecret" // 分布式消息服务RocketMQ控制台用户管理菜单中创建的密钥 )); } public static void main(String[] args) throws Exception { DefaultMQProducer producer new DefaultMQProducer("YOUR GROUP ID", getAclRPCHook()); // 填入控制台获取NAMESRV接入点地址 producer.setNamesrvAddr("XXX:xxx"); ; // 如果需要开启SSL，请增加此行代码 producer.start(); for (int i 0; i < 128; i++) try { { Message msg new Message("YOUR TOPIC", "TagA", "Hello RocketMQ".getBytes(RemotingHelper.DEFAULTCHARSET)); SendResult sendResult producer.send(msg); System.out.println(sendResult); } } catch (Exception e) { e.printStackTrace(); } producer.shutdown(); } }

分布式消息服务Kafka版完全兼容开源社区版本，旨在为用户提供便捷高效的消息队列。业务无需改动即可快速迁移上云，为您节省维护和使用成本。 一键式部署，免去集群搭建烦恼 专享实例只需要在实例管理界面选好规格配置，提交订单。后台将自动创建部署完成一整套Kafka实例。 兼容开源，业务零改动迁移上云 兼容社区版Kafka的API，具备原生Kafka的所有消息处理特性。 业务系统基于开源的Kafka进行开发，只需加入少量认证安全配置，即可使用分布式消息服务Kafka，做到无缝迁移。 说明：Kafka专享实例兼容开源社区Kafka 1.1.0和2.3.0版本。在客户端使用上，推荐使用和服务端版本一致的版本。 安全保证 独有的安全加固体系，提供业务操作云端审计，消息存储加密等有效安全措施。 在网络通信方面，除了提供SASL认证，还借助虚拟私有云（VPC）和安全组等加强网络访问控制。 数据高可靠 Kafka专享实例支持消息持久化，多副本存储机制。副本间消息同步、异步复制，数据同步或异步落盘多种方式供您自由选择。 集群架构与跨AZ部署，服务高可用 Kafka后台为多集群部署，支持故障自动迁移和容错，保证业务的可靠运行。 Kafka专享实例支持跨AZ部署，节点部署在不同的AZ，进一步保障服务高可用。 无忧运维 公有云提供一整套完整的监控告警等运维服务，故障自动发现和告警，避免724小时人工值守。Kafka专享实例自动上报相关监控指标，如分区数、主题数、堆积消息数等，并支持配置监控数据发送规则，您可以在第一时间通过短信、邮件等获得业务消息队列的运行使用和负载状态。 海量消息堆积与弹性扩容 内建的分布式集群技术，使得服务具有高度扩展性。分区数可配置多达100个，存储空间弹性扩展，保证在高并发、高性能和大规模场景下的访问能力，轻松实现百亿级消息的堆积和访问能力。 多规格灵活选择 Kafka专享实例的带宽与存储资源可灵活配置，并且自定义Topic的分区数。

事件目标是事件规则的一部分，负责消费经事件规则过滤与转换后的事件。 事件目标 事件总线EventBridge支持以下事件目标： 函数计算 分布式消息服务RocketMQ 分布式消息服务RabbitMQ 分布式消息服务Kafka HTTP、HTTPS地址

Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 分布式消息服务Kafka是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。使用分布式消息服务Kafka，资源按需申请，按需配置Topic的分区与副本数量，即买即用，您将有更多精力专注于业务快速开发，不用考虑部署和运维。