介绍分布式消息服务RocketMQ的安全方案,包括支持TLS传输加密、权限控制、Topic资源访问权限控制等内容。 安全价值 RocketMQ的安全对用户有以下几个重要价值： 1. 保护数据安全：RocketMQ的安全机制可以保护消息的机密性和完整性，防止敏感数据泄露或被篡改。这对于处理包含个人信息、商业机密等敏感数据的应用程序非常重要。 2. 防止未经授权的访问：RocketMQ的访问控制功能可以限制对消息队列的访问权限，只有具有相应权限的用户才能发送和消费消息。这可以防止未经授权的用户访问和操作消息队列，保护系统的安全性。 3. 合规性要求：对于一些行业和法规要求较高的场景，如金融、医疗等，RocketMQ的安全特性可以帮助用户满足合规性要求，确保数据的安全和合规性。 4. 提供安全审计功能：RocketMQ的安全审计功能可以记录和追踪对消息队列的操作，包括发送、消费、订阅等。这可以帮助用户监控和检测潜在的安全风险，及时发现和应对安全事件。 5. 增强用户信任：通过提供安全性能和功能，RocketMQ可以增强用户对系统的信任感。用户可以放心地使用RocketMQ来处理重要的消息传输和处理任务，而不必担心数据的安全问题。 综上所述，RocketMQ的安全性对用户来说具有重要的价值，可以保护数据安全，防止未经授权的访问，满足合规性要求，提供安全审计功能，并增强用户对系统的信任感。

topicconfigs]( " "))。 图中⑤区域表示队列监控数据统计。 图中⑥区域表示队列分区信息，包括分区消息数(Latest Offset)，分区leader(Leader)，副本列表(Replicas)，同步副本列表(In Sync Replicas)。 图 队列详情页 6.查看消费组列表 导航栏中单击 Consumers ，即可查看当前集群中的消费组列表。 说明 只显示14天内有消费记录的消费组。 图 集群的消费组列表 7.查看消费组详情页 单击消费组名称可进入消费组详情页面，展示消费组消费的所有队列列表以及每个队列的可消费数（Total Lag）。 图 消费组详情页面 8.查看消费组队列详情页 单击队列名称，即可进入详情页面，查看消费组消费在队列中每个分区的消费状态。包括分区编号（Partition）、分区消息数（LogSize）、分区消费进度（Consumer Offset）、分区剩余可消费数（Lag）和最近消费该分区的消费者（Consumer Instance Owner）。 图 消费组队列详情页面

本章节介绍 Topic管理 。 操作场景 Topic创建成功后，查询Topic相关的配置和状态信息。 操作步骤 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在左侧导航栏，单击“Topic管理”，进入“Topic管理”页面。 4. 单击需要查询的Topic名称，进入Topic详情页面。 在详情页上方可以查看Topic名称、关联代理、读队列个数、写队列个数和权限。 在详情页下方可以查看Topic在每个代理上的队列状态，包括队列ID、最小偏移量、最大偏移量和消息更新时间。还可以查看消费组消费此Topic的情况，包括消费组名称、最大重试次数和广播消费。 图1 Topic详情

触发器名称 调用方式 详细介绍 定时触发器 同步调用 按照指定的时间间隔触发工作流执行。 HTTP触发器 同步调用 当通过HTTP请求触发工作流时，工作流会根据请求参数执行。 Kafka触发器 同步/异步调用 当消息队列中出现新消息时，触发工作流执行。 RocketMQ触发器 同步/异步调用 当消息队列中出现新消息时，触发工作流执行。 云原生网关触发器 同步调用 当通过云原生网关触发工作流时，工作流会根据请求参数执行。

本文主要介绍日志收集系统Flume接入Kafka。 最佳实践概述 场景描述 使用Flume+Kafka来完成实时流式日志处理，后面再连接上Storm/Spark Streaming等流式实时处理技术，从而完成日志实时解析的目标。如果Flume直接对接实时计算框架，当数据采集速度大于数据处理速度，很容易发生数据堆积或者数据丢失，而kafka可以当做一个消息缓存队列，可以把它理解为一个数据库，可以存放一段时间的数据。 因此数据从数据源（ HTTP、Log 文件、JMS、监听端口数据等）到flume再到Kafka进行消息缓存，数据一方面可以同步到HDFS做离线计算，另一方面可以做实时计算，可实现数据多分发。 技术架构图 暂无。 方案优势 把数据存储到 HDFS 或者 HBase 等下游存储模块或者计算模块时需要考虑各种复杂的场景，例如并发写入的量以及系统承载压力、网络延迟等问题。Flume 作为灵活的分布式系统具有多种接口，同时提供可定制化的管道。在生产处理环节中，当生产与处理速度不一致时，Kafka 可以充当缓存角色。Kafka 拥有 partition 结构以及采用 append 追加数据，使 Kafka 具有优秀的吞吐能力；同时其拥有 replication 结构，使 Kafka 具有很高的容错性。所以将 Flume 和 Kafka 结合起来，可以满足生产环境中绝大多数要求。 前提条件 需已购买Kafka实例、创建Topic，并且已成功消费消息。 确认准备 Apache Flume环境（1.6.0以上版本兼容 Kafka）。 确认 Kafka 的 Source、 Sink 组件已经在 Flume 中。 资源规划 本实践方案内容仅涉及Kafka专享版实例。 分布式消息服务 Figure 1 分布式消息服务 资源类型 配置项 配置明细 说明 :::: 企业中间件 DMS Kafka专享实例 需已购买kafka专享实例，创建好Topic，并成功消费消息。 方案正文

消息可以批量生产和消费 为提高消息发送和消息消费效率，推荐使用批量消息发送和消费。通常，默认消息消费为批量消费，而消息发送尽可能采用批量发送。同时批量方式可有效减少API调用次数，减少服务使用费用。 如下面两张示意图对比所示，消息批量生产与消费，可以减少API调用次数，节约资源。 图 消息批量生产（发送）与消费 说明 批量发送消息时，单次不能超过10条消息，总大小不能超过512KB。 批量生产（发送）消息可以灵活使用，在消息并发多的时候，批量发送，并发少时，单条发送。这样能够在减少调用次数的同时保证消息发送的实时性。 图 消息逐条生产（发送）与消费 此外，批量消费消息时，消费者应按照接收的顺序对消息进行处理、确认，当对某一条消息处理失败时，不再需要继续处理本批消息中的后续消息，直接对已正确处理的消息进行确认即可。 巧用消费组协助运维 用户使用DMS服务作为消息管理系统，查看队列的消息内容对于定位问题与调试服务是至关重要的。 当消息的生产和消费过程中遇到疑难问题时，通过创建不同消费组可以帮助定位分析问题或调试服务对接。用户可以创建一个新的消费组，对队列中的消息进行消费并分析消费过程，这样不会影响其他服务对消息的处理。

专属云Kafka的产品服务与公有云Kafka的产品规格保持一致，由两种服务资源组成，队列规格、队列存储。 其中队列计算规格按消息队列基准带宽分为4种分别是：100MB/s、300MB/s、600MB/s、1200MB/s； 存储类型分2种，分别如下：高I/O、超高I/O。

本文介绍如何创建内网数据订阅渠道。 操作场景 内网数据订阅适用于企业内部网络环境中，对数据实时性、传输安全性等有较高要求的场景，可在不暴露公网、不影响源端性能的前提下，实现低延迟、高可靠的数据分发与消费。目前已支持内网消息队列（kafka）、内网普罗米修斯（APM实例、自建）方式。 前提条件 注册天翼云账号，并完成实名认证。具体操作，请参见天翼云账号注册流程。 说明 1、内网数据订阅功能：内网消息队列（kafka）、内网普罗米修斯（APM实例、自建实例）三种方式当前分别受限开放，如有需求可以联系客户经理为您开放此功能。 2、如需使用内网消息队列（kafka）方式数据订阅功能，需先开通天翼云分布式消息服务Kafka实例。 3、如需使用内网普罗米修斯（APM实例）方式数据订阅功能，需先在天翼云应用性能监控（APM）平台>Prometheus监控>实例列表创建实例。 创建内网消息队列（kafka）方式订阅渠道 1. 登录控制中心。 2. 在控制中心页面左上角点击，选择区域，本文我们选择华东1。 3. 依次选择“迁移与部署”，单击“云监控服务”，进入监控概览页面。 4. 单击“数据订阅”，切换至订阅渠道页签。 5. 点击"创建订阅渠道"按钮，进入订阅渠道创建页面。 6. “网络通道”选择“VPC内网”，订阅类型选择“分布式消息服务”。 配置参数如下： 参数 参数说明 是否必填 取值样例 实例选择 选择天翼云分布式消息服务Kafka实例 是 用户名 填写目标实例的访问用户名 否 注意 如目标实例已启用用户名及密码认证方式，请按实际信息填写 密码 填写目标实例的访问用户名 否 注意 如目标实例已启用用户名及密码认证方式，请按实际信息填写 TOPIC 填写数据订阅的kafka实例的主题 是

实践 描述 以CentOS 7.2 64bit操作系统云主机为例，介绍如何搭建FTP站点 以Windows 2012数据中心版 64bit操作系统云主机为例，介绍如何搭建FTP站点 以CentOS 7.5 64bit操作系统云主机为例，介绍如何搭建Docker 以CentOS 7.4 64bit操作系统云主机为例，介绍如何搭建RabbitMQ

the consumer message buffer is full, so do flow control 客户端日志出现the consumer message buffer is full, so do flow control 问题原因：push客户端消费过慢，本地缓存队列已满，暂时停止向服务端拉取消息。消费慢的原因可能是网络原因、topic队列数过多、消费者过少，内存过小等。 解决方案： （1）查看网络是否异常，缓慢。 （2）增加消费者实例。 （3）如果消息不重要，又不方便增加消费者实例，可以减少topic队列数量。 system busy, start flow control for a while 客户端日志出现 [REJECTREQUEST]system busy, start flow control for a while 或者 [PCBUSYCLEANQUEUE]broker busy, start flow control for a while, period in queue。 问题原因： 在关闭生产者实例的同时用生产者实例发送消息，连接关闭了netty会拒绝请求。 线程少，处理发送请求过慢。 解决方案： 应用优化使用流程，禁止在close生产者实例后使用生产者。 如果Broker是同步主，那么改成异步主，或者将 sendMessageThreadPoolNums32且waitTimeMillsInSendQueue1000。 消费者消费不到消息如何处理 进入控制台查看订阅管理菜单，检查订阅组是否有消费实例在线，如果不在线检查消费客户端日志是否有连接异常。 检查消费客户端逻辑，是否存在订阅关系不一致的情况。 消费者机器宕机重启是否会造成消息丢失 RocketMQ的消息数据以及订阅信息都是持久化保存的，当消费者下线重新上线后，会Broker持久化的下线前的消费偏移重新开始消费，所以不会发生消息丢失的情况。 订阅消息时是否可以允许消息Tag为空 订阅主题时如果Tag设置为空会导致消费者消费不到消息，如不希望通过Tag进行消息过滤，可以将Tag设置为，示例如下： consumer.subscribe(topic, ""); 客户端连接时出现“signature validate by dauth failed”错误 这种错误的原因一般是由于ACL认证失败，较大的可能是客户端配置的AccessKey和SecretKey出现错误，可以检查下这两项配置是否输入有误。

本文介绍如何创建内网数据订阅渠道。 操作场景 内网数据订阅适用于企业内部网络环境中，对数据实时性、传输安全性等有较高要求的场景，可在不暴露公网、不影响源端性能的前提下，实现低延迟、高可靠的数据分发与消费。目前已支持内网消息队列（kafka）、内网普罗米修斯（APM实例、自建）方式。 前提条件 注册天翼云账号，并完成实名认证。具体操作，请参见天翼云账号注册流程。 说明 1、内网数据订阅功能：内网消息队列（kafka）、内网普罗米修斯（APM实例、自建实例）三种方式当前分别受限开放，如有需求可以联系客户经理为您开放此功能。 2、如需使用内网消息队列（kafka）方式数据订阅功能，需先开通天翼云分布式消息服务Kafka实例。 3、如需使用内网普罗米修斯（APM实例）方式数据订阅功能，需先在天翼云应用性能监控（APM）平台>Prometheus监控>实例列表创建实例。 创建内网消息队列（kafka）方式订阅渠道 1. 登录控制中心。 2. 在控制中心页面左上角点击，选择区域，本文我们选择华东1。 3. 依次选择“迁移与部署”，单击“云监控服务”，进入监控概览页面。 4. 单击“数据订阅”，切换至订阅渠道页签。 5. 点击"创建订阅渠道"按钮，进入订阅渠道创建页面。 6. “网络通道”选择“VPC内网”，订阅类型选择“分布式消息服务”。 配置参数如下： 参数 参数说明 是否必填 取值样例 实例选择 选择天翼云分布式消息服务Kafka实例 是 用户名 填写目标实例的访问用户名 否 注意 如目标实例已启用用户名及密码认证方式，请按实际信息填写 密码 填写目标实例的访问用户名 否 注意 如目标实例已启用用户名及密码认证方式，请按实际信息填写 TOPIC 填写数据订阅的kafka实例的主题 是

场景描述 在进行消息发送与接收验证的过程中，我们需要确保RocketMQ的生产者能够将消息成功发送到指定的Topic，同时消费者能够接收到这些消息。通过验证，可以确认生产者发送的消息能够准确无误地到达消费者，这是消息队列最基本也是最重要的功能要求。在开发和测试阶段，通过消息发送与接收验证可以及时发现并修复可能存在的问题，避免在实际应用中出现故障。 操作步骤 1、 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台，点击右上角地域选择对应资源池。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入Topic管理菜单，点击【拨测】按钮，进行生产消费的拨测验证，验证开通的消息实例和Topic。 1）生产测试拨测： 选择消息类型，默认普通消息。 填写需要产生的测试消息数量，以及每条消息的大小，默认每条消息1KB，建议不超过4MB(4096KB)。 选择已建的消息Topic，若无选项，请新增Topic，详见上文创建Topic和订阅组。 点击【测试】按钮，按照已填写规格及数量产生测试消息数据，展示消息数据的信息，包括消息ID(messageID)、发送状态、主题名（topic名）、Broker名、队列ID。 拨测功能涉及消息发送状态码，以下是RocketMQ消息发送状态码及其说明： ✧ SENDOK（发送成功）：表示消息成功发送到了消息服务器。 ✧ FLUSHDISKTIMEOUT（刷新磁盘超时）：表示消息已经成功发送到消息服务器，但是刷新到磁盘上超时。这可能会导致消息服务器在宕机后，尚未持久化到磁盘上的数据丢失。 ✧ FLUSHSLAVETIMEOUT（刷新从服务器超时）：表示消息已经成功发送到消息服务器，但是刷新到从服务器上超时。这可能会导致主从同步不一致。 ✧ SLAVENOTAVAILABLE（从服务器不可用）：表示消息已经成功发送到消息服务器，但是从服务器不可用。这可能是由于网络故障或从服务器宕机引起的。 ✧ UNKNOWNERROR（未知错误）：表示发送消息时遇到了未知的错误。一般情况下建议重试发送消息。 ✧ MESSAGESIZEEXCEEDED（消息大小超过限制）：表示消息的大小超过了消息服务器的限制。需要检查消息的大小是否合适。 ✧ PRODUCETHROTTLE（消息生产被限流）：表示消息生产者的频率超出了消息服务器的限制。这可能是由于消息发送频率过高引起的。 ✧ SERVICENOTAVAILABLE（服务不可用）：表示消息服务器不可用。这可能是由于网络故障或者消息服务器宕机引起的。 请注意，以上状态码仅适用于RocketMQ消息发送阶段，并且并不代表消息是否成功被消费者接收。同时，这些状态码也可能因版本变化而有所不同，建议查阅官方文档获取最新信息。 2）消费测试拨测： 选择消息顺序，下拉选择无序/有序，默认选项为无序。 RocketMQ是一种开源的分布式消息中间件，它支持有序消息和无序消息。 ✧ 有序消息是指消息的消费顺序与发送顺序完全一致。在某些业务场景下，消息的处理需要保证顺序性，例如订单的处理或者任务的执行。RocketMQ提供了有序消息的支持，通过指定消息的顺序属性或使用消息队列的分区机制，可以确保消息按照指定的顺序进行消费。 ✧ 无序消息则是指消息的消费顺序与发送顺序无关。无序消息的特点是高吞吐量和低延迟，适用于一些不要求严格顺序的业务场景，如日志收集等。 在RocketMQ中，有序消息和无序消息的实现方式略有不同。有序消息需要借助MessageQueue的分区机制和消费者端的顺序消息消费来实现。而无序消息则是通过消息的发送和接收的并发处理来实现的。 总的来说，RocketMQ既支持有序消息也支持无序消息，根据业务需求选择合适的消息类型来满足业务的要求。 选择消费方式，目前仅提供pull方式。值得注意的是，RocketMQ还提供了推送（push）方式的消费模式，其中消息队列服务器会主动将消息推送给消费者。但在当前仅限于pull方式的消费模式。 填写消费数量。 下拉选择选择已建的消息主题和订阅组，若无选项，请新增主题和订阅组，详见上文创建主题和订阅组。 点击【测试】按钮，按照已填写规格及数量产生消费数据，展示消息数据的信息，包括消息ID(messageID)、主题名称（topicName）、生成时间、存储时间、队列ID、消费状态。 拨测功能涉及消息消费状态码，RocketMQ消费状态码是指在消息消费过程中，对消费结果进行标识的状态码。以下是常见的RocketMQ消费状态码： ✧ CONSUMESUCCESS（消费成功）：表示消息成功被消费。 ✧ RECONSUMELATER（稍后重试）：表示消费失败，需要稍后再次进行消费。 ✧ CONSUMEFAILURE（消费失败）：表示消息消费出现异常或失败。 ✧ SLAVENOTAVAILABLE（从节点不可用）：表示消费者无法访问从节点来消费消息。 ✧ NOMATCHEDMESSAGE（无匹配的消息）：表示当前没有匹配的消息需要消费。 ✧ OFFSETILLEGAL（偏移量非法）：表示消费的偏移量参数不合法。 ✧ BROKERTIMEOUT（Broker超时）：表示由于Broker超时导致消费失败。

顺序消息和普通消息的区别是什么 最大的区别在于是否能保证消息生产和消费的顺序一致。 对于顺序消息，消息均根据ShardingKey进行区块分区，同一分区内的消息消费满足先进先出，保证分区有序，不同分区的消息消费顺序不做要求。 普通消息则没有该项保证，消息消费的顺序跟生产的顺序不一定保证一致性。 RocketMQ集群消费和广播消费区别是什么 使用集群消费模式时，MQ内任意一条消息只需被订阅组集群内的任意一个消费者消费即可。 使用广播消费模式时，MQ内每条消息都会投递到订阅组集群的所有消费者，每条消息至少被每个消费者消费一次。 多个订阅组订阅同一个主题时消息如何被消费 RocketMQ中订阅关系并非是一对一的，一个主题可以被一个或多个订阅组订阅，但不同订阅组之间的消费是互不影响的，它们各自维护自己在当前主题的消费偏移信息，每一条消息都会被订阅该主题的订阅组接收到。 消息消费失败是否会有重试机制 在push消费模式下，RocketMQ在消费者消费消息失败后会通过将消息重新投递到该订阅组的重试队列在一定时间后会被消费者重新消费到，如果多次失败则会多次重复上述的重试过程，超过最大次数之后（创建订阅组时可配置）会将消息投递到死信队列。

本章节主要介绍队列相关问题中有关使用咨询的问题。 DLI队列管理是否支持修改描述内容 不支持修改描述内容。 目前已经创建完成的队列不支持修改描述内容，只能在购买队列时进行添加。 删除队列会导致数据库中的表数据丢失吗? 删除队列不会导致您数据库中的表数据丢失。 队列异常时，DLI怎么保证Spark作业的可靠性？ 应用侧调用DLI提交作业，需要有重试机制来保证Spark作业的可靠性。 如果队列发生异常时，在后续队列恢复后，通过应用侧重试来保证作业的正常提交。 DLI如何进行队列异常监控？ DLI为用户提供了作业失败的topic订阅功能。 1. 登录DLI控制台。 2. 单击左侧“队列管理”，进入队列管理页面。 3. 在队列管理页面，单击左上角“创建消息通知主题”进行配置。

Kafka支持减少分区数吗？ Kafka不支持减少分区数，您可以通过删除原先的Topic，然后创建新Topic，重新设置分区数。 Kafka实例创建Topic失败 可能原因：已创建的Topic，分区数之和达到实例规格的分区数上限。不同规格实例配置的分区数上限不同，具体请参考产品规格。 解决方案：对Kafka实例扩容，或者删除不需要的Topic。 Kafka实例支持批量导入Topic功能么？或者是自动生成Topic功能？ 支持自动生成Topic功能，但不支持Topic批量导入功能，仅支持批量导出Topic功能。 通过以下任意一种方法，开启自动生成Topic功能： 创建实例时，开启Kafka自动创建Topic。 创建实例后，在实例详情页开启Kafka自动创建Topic。 为什么删除Topic不生效？删除后该Topic仍然存在 可能原因：您开启了自动创建Topic功能，且有消费者正在连接该Topic。所以，如果没有停止您的业务，删除了Topic后，还会有消息生产行为，并自动创建Topic。 解决办法：需要关闭自动创建Topic功能，才可以正常删除Topic。 Kafka实例是否支持查看单个Topic占用磁盘空间？ 支持。通过以下任意一种方法，查看单个Topic占用磁盘空间大小。 在Kafka实例名称后，单击，跳转到云监控页面。在“队列”页签中，“队列”选择待查看磁盘空间大小的Topic名称，“监控类型”选择“基本监控”，查看“队列数据容量”，该指标表示该队列当前的消息数据大小。 单击Kafka实例名称，进入实例详情页。在左侧导航栏单击“监控”，进入监控页面。在“主题”页签中，“主题”选择待查看磁盘空间大小的Topic名称，“监控类型”选择“基本监控”，查看“队列数据容量”，该指标表示该队列当前的消息数据大小。

分布式系统异步通信场景 在单体或传统大型单机应用场景中，系统涉及模块众多，接口调用错综繁杂，业务流程耦合导致系统对用户请求响应慢，可以通过将拆分子系统，并用消息队列作为子系统间的异步通信通道进行系统解耦，提升整个系统的响应速度。 数据同步和交换场景 在大中型分布式系统中，各个子系统数据需最终保持一致，比如金融业务场景，需要有可靠消息传递，能保证业务的连续性。分布式消息队列可用于子系统间的高可靠数据传递，实现两者之间数据同步和交换，降低实现难度和成本，并提供数据通道帮助触发其他的业务流程。 削峰填谷场景 在电子商务系统或大型网站，比如大型电商场景，通常会涉及到订单、支付和通知等等场景的业务处理，系统上下游处理能力存在差异，当处理能力高的系统上游突发请求超过系统下游处理能力时，系统对外呈现的服务能力为0。此时可以通过队列服务堆积请求消息，对请求消息实现削峰填谷，错峰处理，避免下游因突发流量崩溃。

事件通知类其他问题。 超过重试次数后，消息会被丢弃吗？这样如何保证消息不丢失？ 如果您的接收服务异常，如崩溃、重启、网络不可达等，超过重试次数消息都会被丢弃。如果遇到长时间未收到回调，用户可先自行排查接受回调的服务状态是否正常，或主机网络是否异常。也可以通过调用重试接口 【点播模式】【任务重试】重新发起任务接收回调信息。 HTTP回调支持302跳转吗？ HTTP回调只支持200响应，出于安全考虑，不支持302、301等。 收到多次重复回调是什么原因？ HTTP回调只有收到200响应码时才认为是成功，否则均认为失败，并重试回调。 云点播是否支持基于消息队列的事件通知机制？ 云点播暂时不支持使用消息队列作为通知方式。

本章节介绍了如何创建分布式消息服务RocketMQ实例的Topic。 操作场景 Topic，即消息主题，消息发送与接收的基本单元。购买RocketMQ实例成功后，需要手动创建Topic，然后才能进行生产消息和消费消息。 前提条件 已购买RocketMQ实例。 操作步骤 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在左侧导航栏，单击“Topic管理”，进入“Topic管理”页面。 4. 单击“创建Topic”，弹出“创建Topic”页面。 5. 参考表1，填写Topic名称和配置信息。 表1 Topic参数说明 参数 说明 Topic名称 您可以自定义Topic名称，用于区分不同的Topic。 Topic名称不能设置为相同，否则会创建失败。创建Topic后不能修改名称。 说明：如果Topic名称中包含“%”或“ 权限 Topic的权限，包括发布+订阅、发布和订阅。 关联代理 选择在某个代理上创建Topic，并设置Topic的队列个数。如果实例部署在多个代理上，单击“添加关联代理”，可以在其他代理上创建Topic，并设置Topic的队列个数。 6. 参考图1 创建Topic 7. 配置完成后，单击“确定”，完成Topic的创建。

本节介绍分布式缓存服务Redis版产品的应用场景 电商类应用场景 在电商类场景中，分布式缓存服务Redis版广泛用于商品展示、购物推荐、在线选号以及在大型促销秒杀活动中的库存、计数控制等 热门商品展示：秒杀活动通常会吸引大量用户的访问，商品信息的读取是非常频繁的操作。为了减轻数据库负载和提高响应速度，可以使用Redis将热门商品的信息缓存起来。这样，用户每次请求秒杀商品时，可以先从Redis中获取商品信息，而不必每次都查询数据库，可以显著提升电商网站的性能和响应速度。 库存控制：秒杀活动对商品的库存有严格的限制，需要保证商品数量的准确性和并发访问的安全性。Redis提供了原子性操作和分布式锁的支持，可以使用Redis的原子减操作来实现商品库存的扣减，同时可以使用Redis的分布式锁来保护库存操作的并发安全性。可参考最佳实践：秒杀库存控制 异步处理订单：秒杀活动结束后，会有大量的订单需要处理。为了提高系统的并发能力和响应速度，可以使用Redis作为消息队列，将订单信息存储在Redis的列表中。然后通过多个消费者进程或线程从Redis中获取订单消息进行处理，实现订单的异步处理和解耦。 游戏类应用场景 分布式缓存服务Redis版是游戏中重要的组件，一般用于玩家数据的缓存和持久化。 缓存玩家数据：分布式缓存服务Redis版可以用作玩家数据的缓存存储，包括玩家的角色信息、道具装备、技能等业务数据。通过将玩家数据存储在Redis中，可以提高数据的读取速度，并减轻数据库的负载。这对于需要频繁读取玩家数据的游戏来说尤为重要。 排行榜数据存储：在一个在线游戏中，我们需要实时统计玩家的得分，并展示排行榜，以便玩家之间进行竞争和比较。可使用分布式缓存服务Redis版的有序集合数据结构存储用户排行榜，利用Redis提供的排序功能快速获取排名信息。可参考最佳实践：排行榜功能 状态管理和计数器：Redis的计数器和键值存储特性可以用于游戏中的状态管理和计数功能。例如，可以使用Redis的计数器记录游戏中的击杀数、经验值等，以及管理玩家的在线状态，同时可以使用Redis的键值存储功能存储和读取游戏中的各种状态信息。

指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 异常 (exception，RabbitMqCommon调用的异常信息统计。) exceptionType 异常类型 异常类型 ENUM LAST 异常 (exception，RabbitMqCommon调用的异常信息统计。) causeType 异常类 发生异常的类 ENUM LAST 异常 (exception，RabbitMqCommon调用的异常信息统计。) count 次数 该异常的发生次数 INT SUM 异常 (exception，RabbitMqCommon调用的异常信息统计。) message 异常消息 该异常产生的异常消息 STRING LAST 异常 (exception，RabbitMqCommon调用的异常信息统计。) stackTrace 异常堆栈 该异常产生的堆栈信息 CLOB LAST 连接数监控 (connectionCount，以connection为维度统计连接数详情。) connection connection 连接信息 ENUM LAST 连接数监控 (connectionCount，以connection为维度统计连接数详情。) connectionCount 当前连接数 当前连接数 INT LAST 连接数监控 (connectionCount，以connection为维度统计连接数详情。) channelCount 当前Channel数 当前Channel数 INT LAST 连接数监控 (connectionCount，以connection为维度统计连接数详情。) connectionCreated 创建连接数 创建连接数 INT SUM 连接数监控 (connectionCount，以connection为维度统计连接数详情。) connectionClosed 销毁连接数 销毁连接数 INT SUM 连接数监控 (connectionCount，以connection为维度统计连接数详情。) channelCreated 创建Channel数 创建Channel数 INT SUM 连接数监控 (connectionCount，以connection为维度统计连接数详情。) channelClosed 销毁Channel数 销毁Channel数 INT SUM total监控（total ，以connection为维度统计连接数详情。） connection connection 连接信息 ENUM LAST total监控（total ，以connection为维度统计连接数详情。） connectionCount 当前连接数 当前连接数 INT LAST total监控（total ，以connection为维度统计连接数详情。） channelCount 当前Channel数 当前Channel数 INT LAST total监控（total ，以connection为维度统计连接数详情。） connectionCreated 创建连接数 创建连接数 INT SUM total监控（total ，以connection为维度统计连接数详情。） connectionClosed 销毁连接数 销毁连接数 INT SUM total监控（total ，以connection为维度统计连接数详情。） channelCreated 创建Channel数 创建Channel数 INT SUM total监控（total ，以connection为维度统计连接数详情。） channelClosed 销毁Channel数 销毁Channel数 INT SUM RabbitMq版本（version ，RabbitMq版本。） version 版本 版本 STRING LAST

配置项 操作 示例 触发器类型 选择RocketMQ触发器。 RocketMQ触发器 名称 填写自定义的触发器名称。 rocketmqtrigger 版本或别名 默认值为 LATEST ，支持选择任意函数版本或函数别名。 LATEST RocketMQ 实例 选择已创建的RocketMQ实例。 Topic 选择已创建的RocketMQ实例的Topic。 Group ID 选择已创建的RocketMQ实例的Group ID。 消费位点 选择消息的消费位点，即触发器从RocketMQ实例开始拉取消息的位置。取值说明如下。 最新位点 ：从最新位点开始消费。 最早位点 ：从最早位点开始消费。 指定时间戳 ：从指定时间戳开始消费。 最新位点 调用方式 选择函数调用方式。 同步调用 ：指触发器消费topic消息后投递到函数是同步调用，会等待函数响应后继续下一个消息投递。 异步调用 ：指触发器消费topic消息后投递到函数是异步调用，不会等待函数响应，可以快速消费事件。 同步调用 用户ID RocketMQ实例用户ID，需要在RocketMQ控制台创建。 密钥 RocketMQ实例用户密钥，需要在RocketMQ控制台创建。 触发器启用状态 创建触发器后是否立即启用。默认选择开启，即创建触发器后立即启用触发器。 推送配置 批量推送条数：批量推送的最大值，积压值达到后立刻推送，取值范围为 [1, 10000]。 批量推送间隔：批量推送的最大时间间隔，达到后立刻推送，单位秒，取值[0,15]。默认0无需等待，数据直接推送。 推送格式：函数收到的事件格式，详情请查阅 重试策略 消息推送函数失败后重试的策略，共两种： 指数退避：指数退避重试，重试5次，重试周期为2，4，8，16，32（秒）。 线性退避：线性退避重试，重试5次，重试周期为1，2，3，4，5（秒）。 容错策略 当重试次数耗尽后仍然失败时的处理方式： 允许容错：当异常发生并超过重试策略配置时直接丢弃。 禁止容错：当异常发生并超过重试策略配置时继续阻塞执行。 死信队列 当容错策略为：允许容错时，可以额外开启死信队列。当开启死信队列时且异常发生并超过重试策略配置时，消息会被投递到指定的消息队列里，当前只支持投递到kafka和rocketmq

本章节介绍了如何创建Topic。 操作场景 Topic，即消息主题，消息发送与接收的基本单元。购买RocketMQ实例成功后，需要手动创建Topic，然后才能进行生产消息和消费消息。 前提条件 已购买RocketMQ实例。 操作步骤 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在左侧导航栏，单击“Topic管理”，进入“Topic管理”页面。 4. 单击“创建Topic”，弹出“创建Topic”页面。 5. 参考表1，填写Topic名称和配置信息。 表 Topic参数说明 参数 说明 :: Topic名称 您可以自定义Topic名称，用于区分不同的Topic。 Topic名称不能设置为相同，否则会创建失败。 创建Topic后不能修改名称。 说明： 如果Topic名称中包含“%”或“ 权限 Topic的权限，包括发布+订阅、发布和订阅。 关联代理 选择在某个代理上创建Topic，并设置Topic的队列个数。 如果实例部署在多个代理上，单击“添加关联代理”，可以在其他代理上创建Topic，并设置Topic的队列个数。 图 创建Topic 6. 配置完成后，单击“确定”，完成Topic的创建。

操作事件 读写类型 创建虚拟主机 写事件 删除虚拟主机 写事件 创建交换器 写事件 删除交换器 写事件 创建队列 写事件 删除队列 写事件 清空队列消息 写事件 队列生产拨测 写事件 队列消费拨测 写事件 新建用户 写事件 删除用户 写事件 创建绑定 写事件 删除绑定 写事件 配置虚拟主机主题权限 写事件 删除虚拟主机主题权限 写事件 配置虚拟主机限制 写事件 删除虚拟主机限制 写事件 配置虚拟主机权限 写事件 删除虚拟主机权限 写事件 插件启停 写事件 更新配置 写事件 实例开通 写事件 实例退订 写事件 实例冻结 写事件 实例注销 写事件 实例按需转包周期 写事件 实例包周期转按需 写事件 实例扩容 写事件 实例缩容 写事件

介绍分布式消息服务RocketMQ与开源自建的对比情况。 分布式消息服务RocketMQ基于开源产品RocketMQ进行问题修复与优化，并自主研发，实现低成本、高可靠、高性能和具备监控运维能力的中间件产品。 使用开源RocketMQ遇到的问题 功能不完善：功能比较单一，针对不同应用场景无法有效支持，如消息查询，数据自动删除策略等。 可维护性差：缺乏配套监控运维能力，难以迅速发现解决如消息堆积、队列堵塞等问题。 可靠性较低：消息服务不提供主备切换能力，存在单点故障，无法保证服务高可用。 分布式消息服务RocketMQ改进点 高可用、高可靠改进： 实现自动主备切换、自动拉起功能，保证服务高可用。 实现消息删除策略，按不同的场景优先保证服务可用性或者数据安全性。 可维护性改进： 实现按生产者、消费者、数据节点、队列4种维度的运行状态监控，方便快速发现问题。 实现可视化的监控、配置、管理界面实现自动化测试，以快速迭代。 新增功能： 新增消息查询，做到可查可追踪。 重新封装SDK，简化应用使用，并提供按hash算法实现消息局部有序生产消费。 开源自建对比项 对比项 开源自建 分布式消息服务RocketMQ 自动化部署 不支持自动化部署，需要专业人员自行部署、运维 全托管PaaS，免机器资源一键自动化部署。开箱即用，按需使用，支持弹性扩容 运维监控 缺乏配套的监控运维能力 提供多维度的数据可视化监控，快速定位、处理问题 增强能力 功能单一，无法支持多种场景需求 功能丰富，支持消息重试、消息查询、消息轨迹查询、数据自动清理等定制化功能 延迟消息/定时消息 仅支持18个固定延迟时长，最长延迟2小时 支持秒级的任意延迟时长，最长延迟40天 ACL访问控制 访问控制配置复杂 灵活配置，一键生效

配置项 操作 示例 触发器类型 选择 MQTT触发器。 MQTT触发器 名称 填写自定义的触发器名称。 mqtttrigger 版本或别名 默认值为 LATEST ，支持选择任意函数版本或函数别名。 LATEST MQTT实例 选择已创建的MQTT实例。 Topic 填写订阅的消息Topic，请确保topic的命名符合以下"^[azAZ09/+]+$"正则表达式 mytopic 调用方法 选择函数调用方式。 同步调用 ：指触发器消费消息后投递到函数是同步调用，会等待函数响应后继续下一个消息投递。 异步调用 ：指触发器消费消息后投递到函数是异步调用，不会等待函数响应，可以快速消费事件。 用户ID 终端设备连接MQTT队列需要先创建用户密码，详情请查看 密钥 终端设备连接MQTT队列需要先创建用户密码，详情请查看 触发器启用状态 创建触发器后是否立即启用。默认选择开启，即创建触发器后立即启用触发器。 启用

本文为您介绍分布式消息服务MQTT的计费类常见问题。 如何为购买的消息队列MQTT实例续费？ 为防止资源到期或者浪费，已经购买包月实例的用户，可执行续费操作，延长MQTT实例的有效期，也可以设置到期自动续费的相关操作。 开通的MQTT实例资源何时生效？ 天翼云分布式消息服务MQTT资源在客户支付成功之后，系统经过初始化完成后即可生效使用。

指标ID 指标名称 指标含义 取值范围 单位 currentbrokers 存活节点数 该指标用于统计Kafka实例中正常运行的实例节点数 0~50 Count currenttopics 主题数 该指标用于统计Kafka实例中已经创建的主题数量。 0~2000 Count currentpartitions 分区数 该指标用于统计Kafka实例中已经使用的分区数量。 0~2000 Count groupmsgs 堆积消息数 该指标用于统计Kafka实例中所有消费组中总堆积消息数。 >0 Count instancebytesinrate 生产流量 该指标用于统计Kafka实例中每秒生产的字节数。 >0 MB/s instancebytesoutrate 消费流量 该指标用于统计Kafka实例中每秒生产的字节数。 >0 MB/s instancemessagesinrate 消息生产速率 该指标用于统计实例每秒生产的消息数。 >0 Count/s instancemessagesoutrate 消息消费速率 该指标用于统计实例每秒消费的消息数。 注意：2025年1月及以后购买的实例，支持此监控项。 >0 Count/s instancerequestqueuesize 实例请求队列长度 该指标用于统计实例请求队列长度。 >0 Count instanceresponsequeuesize 实例响应队列长度 该指标用于统计实例响应队列长度。 >0 Count instanceconnectionusage 实例连接数使用率 该指标用于统计实例连接数使用率 注意：2025年6月及以后购买的实例，支持此监控项。 0~100 % instancetopicusage 实例用户主题数使用率 该指标用于统计实例租户主题使用率 注意：2025年6月及以后购买的实例，支持此监控项。 0~100 % instancepartitionusage 实例用户主题分区数使用率 该指标用于统计实例租户主题分区使用率 注意：2025年6月及以后购买的实例，支持此监控项。 0~100 % instancegroupusage 实例用户消费组数使用率 该指标用于统计实例租户消费组使用率 注意：2025年6月及以后购买的实例，支持此监控项。 0~100 % instanceproducelimit 实例生产限流次数 该指标用于统计实例生产限流次数 注意：2025年6月及以后购买的实例，支持此监控项。 >0 Count instanceconsumelimit 实例消费限流次数 该指标用于统计实例消费限流次数 注意：2025年6月及以后购买的实例，支持此监控项。 >0 Count

场景描述 在RocketMQ中，重置消费位置是一个常见的场景，用于重新设置消费者对消息队列的消费位置。以下是一些常见的RocketMQ重置消费位置的场景描述： 消费者异常停止后的重启：当消费者由于某种原因异常停止后，重新启动时可能需要重置消费位置。例如，消费者在处理消息时发生故障导致停止，重新启动后可以选择从上次消费的位置继续消费，或者从最早的消息开始重新消费。 消费者消费进度错误或需要重新处理：在某些情况下，消费者的消费进度可能出现错误，或者需要重新处理之前未正确处理的消息。此时，可以选择重置消费位置，将消费者的消费进度重置到指定的位置，从而重新消费或重新处理消息。 消费者切换消费模式：当消费者从集群模式切换到广播模式，或者从广播模式切换到集群模式时，可能需要重置消费位置。因为在不同的消费模式下，消费者对消息队列的消费位置和进度管理方式是不同的。 消费者消费速度过慢导致消息堆积：当消费者的消费速度过慢，无法及时处理消息时，可能会导致消息堆积。为了加快消息的消费速度，可以选择重置消费位置，将消费者的消费进度重置到最新的消息位置，从而快速消费积压的消息。 在进行消费位置重置时，需要注意以下几点： 确定重置的目标位置：在重置消费位置之前，需要确定重置的目标位置，可以选择从最早的消息位置开始消费，或者从指定的消息位置开始消费。 谨慎操作：重置消费位置是一个敏感操作，需要谨慎处理。在重置消费位置之前，建议备份相关数据，以防止数据丢失或处理错误。 考虑消费者组和消息模式：在重置消费位置时，需要考虑消费者组和消息模式的影响。不同的消费者组和消息模式可能对消费位置重置有不同的要求和限制。 总之，重置消费位置是一个常见的操作，可以帮助解决消费者异常停止、消费进度错误或重新处理消息等情况。但在进行操作时，需要谨慎评估和处理，确保不会对业务和数据产生不可逆的影响。

实例的创建和销毁 1、使用CTGFactory进行创建实例【强制规范】。 2、Consumer是重量级的实例，每次创建、销毁都会消耗系统资源，建议系统启动的时候创建，系统退出的时候关闭，禁止每次消费消息都创建新的实例【强制规范】。 多消费组消费 一个Topic，可以使用多个消费组消费消息，每个消费组将在服务端独立保存进度。 集群消费意味着多个消费者均衡消费Topic的消息，由于经常不同的程序由多个开发者进行研发和调试，如果使用同一个消费组，在调试过程中存在被其他程序消费者消费的可能，因此应该尽量避免多种类型的应用程序使用同一个消费组。 消费位置设置 消费位置重置可通过控制台进行按时间重置，客户端必须离线。 堆积量 不建议高堆积量的消费，为了预防出现高堆积的情况，建议： 1、边生产边消费，如果消费速度跟不上，增加消费者。 2、消费者一直在线，不要等生产了一段时间再开启消费者，这样会造成消费的堆积。 消费并行度 1. 同一个ConsumerGroup下，可通过增加Consumer 实例数量来提高消费的并行度（注意超过主题队列数的部分Consumer实例因为分配不到队列而无效），从而提升消费吞吐。 2. 增加单个消费节点的线程数，通过修改Consumer的参数consumeThreadMin、consumeThreadMax，增加并发线程个数实现更高的并发度。 3. 批量方式消费，如果业务流程支持批量方式消费处理消息，可设置consumer的consumeMessageBatchMaxSize返回消息个数参数，该参数默认为1，即一次只消费一条消息。通过调大该参数的值，则可以很大程度上提高消费的吞吐量。

本节介绍了分布式消息服务RabbitMQ产品计费模式的区别。 包周期（包年/包月）、按需2种计费模式供您灵活选择，使用越久越便宜。 按包周期实例计费 天翼云提供包月和包年的购买模式。这种购买方式相对于按需付费则能够提供更大的折扣，对于长期使用者，推荐该方式。包周期计费按照订单的购买周期来进行结算。 按需实例计费 这种购买方式比较灵活，可以即开即停，支持秒级计费。实例从“开通”开启计费到“删除”结束计费，按实际购买时长（精确到秒）计费。 下表列出两种模式的区别： 计费模式 包年/包月 按需计费 付费方式 预付费按照订单的购买周期结算。 后付费按照云服务器实际使用时长计费。 计费周期 按订单的购买周期计费。 按小时结算。 实例升级 支持扩容，工单施工完生效，但是施工过程中服务不可用；不支持缩容。 支持扩容，工单施工完生效，但是施工过程中服务不可用；不支持缩容。 更改计费模式 支持变更为按需资源。 支持变更为包周期资源。 变更规格 支持变更实例规格。 支持变更实例规格。 适用场景 适用于可预估资源使用周期的场景，价格比按需计费模式更优惠。对于长期使用者，推荐该方式。 适用于消息资源需求波动的场景，可以随时开通，随时删除。 变更配置：天翼云分布式消息服务支持计费模式变更，更多操作内容请参考按需转包周期。

如何获取RocketMQ实例连接信息请参阅收集连接信息。 开发指南详细介绍Java、Go和Python客户端访问分布式消息服务RocketMQ的示例代码，具体如表1所示。 表1 示例代码 客户端语言 示例代码 :: Java 收发普通消息 收发顺序消息 收发事务消息 发送定时/延时消息 Go（TCP协议） 收发普通消息 收发顺序消息 收发事务消息 发送定时/延时消息 Python（TCP协议） 收发普通消息 收发顺序消息 收发事务消息 发送定时/延时消息

配置处理任务 1. 在云搜索服务实例创建页面选择Logstash实例管理，选择已经加装的Logstash实例。 2. 选择“管道管理”，选择“新建管道”。 3. 在“管道配置”窗口中,配置相关的管道配置。 python input { kafka { autooffsetreset > "latest" bootstrapservers > "ip:port,ip:port,ip:port" consumerthreads > 88 groupid > "yourgroupid" topics > ["yourkafkatopic"] codec > json } } filter { } output { elasticsearch { hosts > ["ip:port"] index > "yourindexname%{+YYYY.MM.dd}" user > "yourusername" password > "yourpassword" } } input部分用于定义数据的来源，即Logstash从哪里获取数据。这里以Kafka为例： autooffsetreset：会决定从哪个位置开始消费消息 bootstrapservers：Kafka集群的地址 consumerthreads：控制 Kafka 消费者线程的数量 groupid：消费者组ID topics：Kafka的主题列表 codec：指定数据格式 filter部分可以进行消息处理、数据解析等操作。根据实际业务规则来处理。 output部分用于将处理后的数据推送到外部系统（如数据库、消息队列、搜索引擎等）。这里以Elasticsearch为例： hosts：指定Elasticsearch的地址。 index：指定存储到Elasticsearch的索引名称，可以使用日期变量%{+YYYY.MM.dd} 来动态生成基于日期的索引。 user/password：提供Elasticsearch用户名和密码 配置完点击“预校验”，预校验会使用Logstash的语法功能来检测基础的语法，不检测逻辑和连通性。 预校验通过后可以执行后续操作。 4. 在“参数配置”中,配置相关的参数。 参数 说明 管道名称 只能包含字母、数字、中划线或下划线，且必须以字母开头，限制430个字符，实例内唯一 管道描述 限制长度50 管道工作线程数 控制Logstash同时处理事件的线程数 管道批处理大小 单个线程从input部分收集的最大事件数 管道批处理延迟 不满足批处理大小最大等待时间 队列类型 memory模式、persisted模式 memory：内存队列 persisted：磁盘队列 队列最大字节数 persisted模式生效 队列最大存储大小 队列检查点写入数 persisted模式生效 队列检查点数量 5. 启动处理任务 配置完参数后点击“保存并部署”。就启动了读取Kafka中的数据转换后写入到Elasticsearch的管道任务。 等到管道“运行中”可以尝试配置的Kafka的topics中导入一些数据，例如使用Filebeat或其他程序。 可以通过Curl命令查看logstash中配置的索引名，在Elasticsearch实例是否有数据进来。 plaintext curl " 6. 停止任务 当任务执行结束后，可以在“管道管理”页面，点击“停止”，会执行停止管道操作。