本文主要介绍DMS for Kafka 消费者poll的优化。 场景介绍 在DMS提供的原生Kafka SDK中，消费者可以自定义拉取消息的时长，如果需要长时间的拉取消息，只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力，特别是分区数较多且每个消费者开启多个线程的情况下。 如图所示，Kafka队列含有多个分区，消费组中有多个消费者同时进行消费，每个线程均为长连接。当队列中消息较少或者没有时，连接不断开，所有消费者不间断地拉取消息，这样造成了一定的资源浪费。 图 Kafka消费者多线程消费模式 优化方案 在开了多个线程同时访问的情况下，如果队列里已经没有消息了，其实不需要所有的线程都在poll，只需要有一个线程poll各分区的消息就足够了，当在polling的线程发现队列中有消息，可以唤醒其他线程一起消费消息，以达到快速响应的目的。如图所示。 这种方案适用于对消费消息的实时性要求不高的应用场景。如果要求准实时消费消息，则建议保持所有消费者处于活跃状态。 图 优化后的多线程消费方案 说明 消费者（Consumer）和消息分区（Partition）并不强制数量相等，Kafka的poll(long)方法帮助实现获取消息、分区平衡、消费者与Kafka broker节点间的心跳检测等功能。 因此在对消费消息的实时性要求不高场景下，当消息数量不多的时候，可以选择让一部分消费者处于wait状态。

Kafka作为一款热门的消息队列中间件，具备高效可靠的消息异步传递机制，主要用于不同系统间的数据交流和传递，在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 异步通信 将业务中属于非核心或不重要的流程部分，使用消息异步通知的方式发给目标系统，这样主业务流程无需同步等待其他系统的处理结果，从而达到系统快速响应的目的。 如网站的用户注册场景，在用户注册成功后，还需要发送注册邮件与注册短信，这两个流程使用Kafka消息服务通知邮件发送系统与短信发送系统，从而提升注册流程的响应速度。 图 串行发送注册邮件与短信流程 图 借助消息队列异步发送注册邮件与短信流程 错峰流控与流量削峰 在电子商务系统或大型网站中，上下游系统处理能力存在差异，处理能力高的上游系统的突发流量可能会对处理能力低的某些下游系统造成冲击，需要提高系统的可用性的同时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时，可以通过队列服务堆积缓存订单等信息，在下游系统有能力处理消息的时候再处理，避免下游订阅系统因突发流量崩溃。消息队列提供亿级消息堆积能力，3天的默认保留时长，消息消费系统可以错峰进行消息处理。 另外，在商品秒杀、抢购等流量短时间内暴增场景中，为了防止后端应用被压垮，可在前后端系统间使用Kafka消息队列传递请求。 图 消息队列应对秒杀大流量场景 日志同步 在大型业务系统设计中，为了快速定位问题，全链路追踪日志，以及故障及时预警监控，通常需要将各系统应用的日志集中分析处理。 Kafka设计初衷就是为了应对大量日志传输场景，应用通过可靠异步方式将日志消息同步到消息服务，再通过其他组件对日志做实时或离线分析，也可用于关键日志信息收集进行应用监控。 日志同步主要有三个关键部分：日志采集客户端，Kafka消息队列以及后端的日志处理应用。 1. 日志采集客户端，负责用户各类应用服务的日志数据采集，以消息方式将日志“批量”“异步”发送Kafka客户端。 Kafka客户端批量提交和压缩消息，对应用服务的性能影响非常小。 2. Kafka将日志存储在消息文件中，提供持久化。 3. 日志处理应用，如Logstash，订阅并消费Kafka中的日志消息，最终供文件搜索服务检索日志，或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。 图 日志同步示意图 上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具，Hadoop表示大数据分析系统。

Java客户端必须使用Push Consumer 使用Pull可以实现的所有场景，均可使用Push实现，并且更简单。 Push其实是长轮询的Pull（依然是由客户端发起），在客户端通过配置参数是可以实现流控的，并不会出现服务端的流量压垮客户端的情况。 Push封装了拉取消息，分发给消费线程的线程模型，非流控的情况下，由后台线程主动拉取消息，并缓存在本地，消费线程池有空闲线程时，分发给消费线程，在有堆积量的情况下，可以保证消费线程一直工作，性能更高（备注：Pull只提供了拉取消息的功能，并且何时去拉取，拉取时机，这些都需要应用去控制；分发给消费线程的逻辑需要应用封装，除了增加应用工作量外，还可能有不稳定、性能问题等）。 Push经过多个大型项目的长时间的使用，更成熟稳定。 Push会自动订阅重试队列，不需要再次调用拉取重试队列的API来取得重试队列的消息（备注：Pull需要另外调用API拉取重试队列的消息）。 Pull是一种遗留的消费模式（兼容早期的API），新开发的应用，或者未上线的应用，都要求使用Push消费模式。

本章节主要介绍分布式消息服务RabbitMQ的单一活跃消费者特性。 使用场景 单一活跃消费者（Single Active Consumer）表示队列中可以注册多个消费者，但是只允许一个消费者消费消息，只有在此消费者出现异常时，才会自动转移到另一个消费者进行消费。单一活跃消费者适用于需要保证消息消费顺序性，同时提供高可靠能力的场景。 说明 分布式消息服务RabbitMQ3.8.35版本才提供单一活跃消费者特性。 图1 单一活跃消费者消费流程 如图1所示，Producer生产9条消息，由于队列设置了单一活跃消费者特性，只有Consumer 1在消费消息。 更多关于单一活跃消费者的说明，请参考Single Active Consumer。 配置方法 在声明队列时，可以配置单一活跃消费者，只需要将队列的“xsingleactiveconsumer”参数设置为“true”。 以下示例演示在Java客户端设置单一活跃消费者。 Channel ch ...; Map arguments newHashMap (); arguments.put("xsingleactiveconsumer", true); ch.queueDeclare("myqueue", false, false, false, arguments); 以下示例演示在 RabbitMQ WebUI页面设置单一活跃消费者。 图2 设置单一活跃消费者 设置完成后，在“Queues”页面查看队列特性是否包含单一活跃消费者。如图3所示，“SAC”即单一活跃消费者。 图3 查看队列特性

topicconfigs)。 − 图中⑤区域表示队列监控数据统计。 − 图中⑥区域表示队列分区信息，包括分区消息数(Latest Offset)，分区leader(Leader)，副本列表(Replicas)，同步副本列表(In Sync Replicas)。 队列详情页 查看消费组列表 导航栏中单击Consumers页签，即可查看当前集群中的消费组列表。 集群的消费组列表 查看消费组详情页 单击消费组名称可进入消费组详情页面，展示消费组消费的所有队列列表以及每个队列的可消费数(Total Lag)。 消费组详情页面 查看消费组队列详情页 单击队列名称，即可进入详情页面，查看消费组消费在队列中每个分区的消费状态。包括分区编号(Partition)，分区消息数(LogSize)，分区消费进度(Consumer Offset)，分区剩余可消费数(Lag)，最近消费该分区的消费者(Consumer Instance Owner)。 消费组队列详情页面

本章节主要介绍如何查看分布式消息服务RabbitMQ实例。 操作场景 本节介绍如何在控制台查看RabbitMQ实例的详细信息。例如，连接RabbitMQ时，需要获取连接IP和端口。 前提条件 已创建RabbitMQ实例。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 此处请选择RabbitMQ实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件 > 分布式消息服务 > RabbitMQ专享版”，进入分布式消息服务RabbitMQ专享版页面。 步骤 4 RabbitMQ实例支持通过筛选来查询对应的RabbitMQ实例。当前支持的筛选条件为“标签”、“状态”、“名称”、“连接地址”和“ID”。RabbitMQ实例状态请参见表1。 表1 RabbitMQ实例状态说明 状态 说明 创建中 创建RabbitMQ实例后，在RabbitMQ实例状态进入运行中之前的状态。 运行中 RabbitMQ实例正常运行状态。在这个状态的实例可以运行您的业务。 故障 RabbitMQ实例处于故障的状态。 启动中 RabbitMQ实例从已冻结到运行中的中间状态。 重启中 RabbitMQ实例正在进行重启操作。 变更中 RabbitMQ实例正在进行规格变更操作。 变更失败 RabbitMQ实例处于规格变更操作失败的状态。 已冻结 RabbitMQ实例处于已冻结状态。 冻结中 RabbitMQ实例从运行中到已冻结的中间状态。 升级中 RabbitMQ实例正在进行升级操作。 回滚中 RabbitMQ实例正在进行回滚操作。 步骤 4 单击RabbitMQ实例的名称，进入该RabbitMQ实例的基本信息页面，查看RabbitMQ实例的详细信息。 表2为连接实例的相关参数，其他参数，请查看页面显示。 表2 连接参数说明 参数 说明 内网连接地址 未开启公网访问时，连接实例的地址。 Web界面UI地址 未开启公网访问时，访问实例管理工具的地址。 公网访问 是否开启公网访问开关。 公网连接地址 开启公网访问后，连接实例的地址。 公网访问Web界面UI地址 开启公网访问后，访问实例管理工具的地址。

本节介绍了在RabbitMQ实例中如何创建和删除交换器。 背景信息 生产者将消息发送到交换器，由交换器将消息路由到一个或多个队列中（或者丢弃）。交换器根据Routing Key和Binding Key将消息路由到Queue。不同类型的交换器的路由规则不同。 操作步骤 新建交换器 1.登录管理控制台。 2.进入RabbitMQ管理控制台。 3.在实例列表页在操作列，目标实例行点击“管理”。 4.点击“交换器管理”后，点击“新建”按钮。 5.点击“新建”后出现以下窗口，选择虚拟主机，添加交换器名字，选择交换器类型和其他参数，然后点击“确定”即可新建交换器。 各参数说明如下 参数 描述 虚拟主机 选择创建交换器所属的虚拟主机 名称 交换器名称。以amq.开头的为保留字段，因此不能使用。例如：。 类型 Exchange类型。 是否持久化 交换器是否持久化到磁盘 是否自动删除 如果是，交换器将在至少一个队列或交换器绑定到该交换器，然后所有队列或交换器都已解除绑定时删除。 是否内置 如果是，客户端不能直接发布到这个交换器。它只能与其他交换器绑定使用。 其他参数 Alternate exchange：备份交换器是为了实现没有路由到队列的消息，声明交换机的时候添加属性alternateexchange，声明一个备用交换机，一般声明为fanout类型，这样交换机收到路由不到队列的消息就会发送到备用交换机绑定的队列中。 其中交换机类型如下表所示 交换机类型 说明 Direct 完全根据key进行投递的叫做Direct交换机。如果Routing key匹配, 那么Message就会被传递到相应的queue中。其实在queue创建时，它会自动的以queue的名字作为routing key来绑定那个exchange。例如，绑定时设置了Routing key为”abc”，那么客户端提交的消息，只有设置了key为”abc”的才会投递到队列。 Fanout 不需要key的叫做Fanout交换机。它采取广播模式，一个消息进来时，投递到与该交换机绑定的所有队列。 Topic 对key进行模式匹配后进行投递的叫做Topic交换机。比如符号”

数据保护技术 RabbitMQ提供了多种数据保护技术，以确保数据在传输和存储过程中的机密性和完整性。 1. 跨AZ容灾：在不同的可用区部署多个RabbitMQ节点，确保节点之间的数据复制和同步。这样，当一个可用区发生故障时，其他可用区上的节点可以继续提供服务。 2. 副本冗余：RabbitMQ副本冗余是一种保证消息队列的高可用性和数据冗余的策略。通过在多个节点上创建副本，可以确保即使一个节点发生故障，其他节点上的副本仍然可以提供服务。 3. 数据持久化：RabbitMQ数据持久化是通过将队列、消息和交换器进行持久化，确保消息队列中的数据在节点重启或故障时不会丢失。 服务韧性 RabbitMQ服务的韧性是指其在面对各种故障和异常情况时能够保持可用性和可靠性的能力。以下是保障RabbitMQ服务韧性的关键方面： 1. AZ内实例容灾：在不同的可用区内部署多个RabbitMQ节点，使它们能够相互复制和同步消息。这样即使一个可用区发生故障，其他可用区的节点仍然可以提供服务。 2. 数据容灾：RabbitMQ数据容灾是通过持久化消息、队列和交换器、备份和复制以及高可用性集群等策略，保护数据免受损失和故障影响的措施。

Messaging（消息传递）是指在分布式系统中，通过消息传递实现不同组件之间的通信。 System （消息系统）：是指消息传递所使用的消息系统，如Apache Kafka、RabbitMQ、ActiveMQ等。它是一个软件系统，用于实现异步消息传递。 Operation （操作）：是指对消息执行的操作，包括发送、接收、确认等。它是一个字符串，用于表示当前执行的操作。 DestinationKind （目标类型）：是指消息的目标类型，包括队列（Queue）和主题（Topic）两种。队列用于点对点的消息传递，主题用于发布订阅模式的消息传递。它是一个字符串，用于表示当前消息的目的地类型。 目标服务（Target Service）是指客户端需要访问的远程服务。 名称 （Name）：是指目标服务的名称，用于唯一标识服务。它是一个字符串，通常由服务提供方指定，并在服务注册中心中注册。 类型 （Type）：是指目标服务的类型，用于表示服务的功能类别。例如，Web服务、消息队列服务、数据库服务等。它是一个字符串，通常由服务提供方指定。 实例 （Instance）：是指目标服务的实例，用于标识不同的服务实例。在分布式系统中，通常会有多个服务实例提供相同的服务。它是一个字符串，通常由服务注册中心分配。

专属队列 专属队列是指队列对应的资源为专属资源，空闲时不释放，即无论是否使用均保留资源的队列类型。专属队列可以保证提交作业时资源一定存在。 队列弹性扩缩容 DLI提供了队列弹性扩缩容的功能。用户在创建指定规格队列后，可根据需要进行弹性扩缩容。 根据业务情况，手动更改队列规格。具体操作请参考队列弹性扩缩容。 说明 新创建的队列需要运行作业后才可进行扩缩容。 队列弹性扩缩容定时任务 DLI提供了队列弹性扩缩容定时任务的功能。用户在创建队列后，可根据需要进行弹性扩缩容定时任务。 根据业务情况，设置队列自动扩缩容的时间，由系统定时触发队列扩缩容。具体操作请参考弹性扩缩容定时任务。 说明 新创建的队列需要运行作业后才可进行扩缩容。 队列自动扩缩容 Flink作业使用队列，DLI可根据作业大小自动触发扩缩容，用户无需进行操作。 说明 新创建的队列需要运行作业后才可进行扩缩容。 队列管理页面 队列管理主要包括如下功能： 队列权限管理 创建队列 删除队列 修改队列网段 队列弹性扩缩容 弹性扩缩容定时任务 测试地址连通性 创建消息通知主题 说明 DLI作业执行失败需要通过SMN发送通知消息，因此需要获得访问和使用SMN（消息通知服务）的SMN Administrator权限。 队列管理页面显示用户创建所有的队列和服务预置的default队列。队列列表默认按创建时间排列，创建时间最近的队列显示在最前端。 队列管理参数 参数 参数说明 名称 队列的名称。 类型 队列的类型。 SQL队列 通用队列 Spark队列（兼容老版本） 规格 队列大小，单位：CUs。 CUs是队列的计价单位。1CUs1Core 4GMem。不同规格的队列对应的计算能力不一样，规格越高计算能力越好。 实际CUs 当前队列实际大小值。 弹性扩缩容 定时扩缩容的目标CU值，或当前规格CU值的最大值和最小值。 用户名 队列所有者。 描述 创建队列时，对队列的描述。如果无描述，则显示“”。 操作 删除：删除所选队列。如果队列中有正在提交或者正在运行的作业，将不支持删除操作。 权限管理：查看队列对应的用户权限信息以及对其他用户授权。 更多 − 重启：强制重启队列。 说明 只有SQL队列有“重启”操作。 − 弹性扩缩容：可以根据需要选择“扩容”或“缩容”，目标值大小必须为16CU的整数倍。 − 弹性扩缩容定时任务：可以根据业务周期或使用情况，在不同的时间或周期内设置不同的队列大小，系统将定时自动进行“扩容”或“缩容”。目标值大小必须为16CU的整数倍。 − 修改网段：使用DLI增强型跨源时，DLI队列网段与数据源网段不能重合，可根据需要进行修改。 − 测试地址连通性：测试队列到指定地址是否可达，支持域名和ip，可指定端口。

本页面主要介绍分布式消息服务RocketMQ对接的云审计服务使用和查看方法。 操作场景 本服务现已对接天翼云云审计服务，云审计服务提供对各种云资源操作的记录和查询功能，用于支撑合规审计、安全分析、操作追踪和问题定位等场景，同时提供事件跟踪功能，将操作日志转储至对象存储实现永久保存。 云审计可提供的功能服务具体如下： ● 记录审计日志：支持用户通过管理控制台或API接口发起的操作，以及各服务内部自触发的操作。 ● 审计日志查询：支持在管理控制台对7天内操作记录按照事件类型、事件来源、资源类型、筛选类型、操作用户和事件级别等多个维度进行组合查询。 使用限制 ● 云审计服务本身免费，包括时间记录以及7天内时间的存储和检索。 ● 用户通过云审计能查询到多久前的操作事件：7天。 ● 用户操作后多久可以通过云审计查询到数据：5分钟。 ● 其它限制请参考使用限制云审计。 操作步骤 1. 开通云审计服务。 参见开通云审计服务云审计。 2. 查看云审计事件。 参见查看审计事件云审计。 3. 在事件列表中，选择事件来源为“容器与中间件”，资源类型选择“分布式消息服务RocketMQ”，上方时间选择需要筛选的时间段。点击查询即可。 4. 在审计事件右侧点击详情，可以看到更详细的事件信息。 更多云审计相关使用说明和常见问题请参考用户指南、常见问题。

本文主要介绍消息队列 Kafka 通过SSL接入的最佳实践，从而帮助您更好的使用该产品。 文中的最佳实践基于消息队列 Kafka 的 Java 客户端；对于其它语言的客户端，其基本概念与思想是通用的，但实现细节可能有差异，仅供参考。 背景 云消息队列 Kafka 版实例如果选择SASLSSL接入时，可能会出现性能较差的情况。可以通过在客户端指定密码套件的方式，手动选择性能和安全性都较高的套件进行TLS通讯。 SSL握手时客户端发送Hello Client 并带上客户端支持的密码套件，服务端收到握手请求后，获取客户端带来的密码套件和服务端支持的密码套件取交集。密码套件加载顺序受客户端jdk版本影响，不同jdk版本，密码套件顺序不一样，可能会导致性能和安全性等无法保证。因此为了保证性能，SSL连接时客户端可以指定密码套件。 推荐的性能和安全性较高的密码套件 TLSECDHERSAWITHAES256GCMSHA384 TLSECDHERSAWITHAES128GCMSHA256 步骤 1.先按照SASLSSL协议接入Kafka，SASLSSL接入可参考文档 SASLSSL接入点接入 2.在此基础上增加 ssl.cipher.suites 配置 客户端关键参数 java Properties props new Properties(); props.put(ProducerConfig.BOOTSTRAPSERVERSCONFIG, BROKERADDR); props.put(ProducerConfig.VALUESERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.KEYSERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(CommonClientConfigs.SECURITYPROTOCOLCONFIG, "SASLSSL"); props.put("sasl.mechanism", "SCRAMSHA512"); props.put(SaslConfigs.SASLJAASCONFIG, "org.apache.kafka.common.security.scram.ScramLoginModule required username"testuser" password"f6eca4dbc78df78d63fba980e448185f";");//注：上面的密码f6eca4dbc78df78d63fba980e448185f，为用户管理里面创建用户时填入的密码进行md5的结果，md5取32位小写 props.put("ssl.truststore.location","/kafka/client.truststore.jks"); props.put("ssl.truststore.password","sJses2tin1@23"); props.put("ssl.endpoint.identification.algorithm",""); props.put("ssl.cipher.suites","TLSECDHERSAWITHAES256GCMSHA384,TLSECDHERSAWITHAES128GCMSHA256");//密码套件支持多个，用半角逗号分开

背景信息 分布式消息服务RabbitMQ为用户提供全面周到的服务，支持用户退订需求。用户如不需要继续使用该分布式消息服务RocketMQ实例，可进行删除实例操作，即退订操作。 操作步骤 （1）登录管理控制台。 （2）进入RabbitMQ管理控制台。 （3）当前页面会列出所购买的RabbitMQ实例。选择需要退订的实例，点击更多退订。 注意： 退订的实例处于冻结状态，请务必在实例退订前停止全部的应用。 在申请退订前，请做好数据备份工作，退订后数据将保留15个自然日，15天后相关数据将不予保留，且不会进行备份，务必谨慎操作。

本节介绍了分布式消息服务RabbitMQ产品常见的名词解释。 Vhost 虚拟主机（Virtual Host），类似于Namespace命名空间的概念，逻辑隔离，每个用户里可以创建多个Vhost，每个Vhost可以创建若干个Exchange和Queue。 Queue 消息队列，每个消息都会被投入到一个或者多个Queue里。 Producer 消息生产者，即投递消息的程序。 Consumer 消息消费者，即接受消息的程序。 Connection TCP 连接，Producer 或 Consumer 与消息队列间的物理 TCP 连接。 Connection将应用与分布式消息服务RabbitMQ连接在一起。Connection会执行认证、IP解析、路由等底层网络任务。应用与分布式消息服务RabbitMQ建立Connection需要多个TCP报文交互，因而会消耗较多的网络资源和分布式消息服务RabbitMQ资源。大量的Connection会对分布式消息服务RabbitMQ造成巨大压力，甚至触发分布式消息服务RabbitMQ SYN洪水攻击防护，导致分布式消息服务RabbitMQ无响应，进而影响业务。 Channel 在客户端的每个物理TCP连接里，可建立多个Channel，每个Channel代表一个会话任务。 Channel是物理TCP连接中的虚拟连接。当应用通过Connection与分布式消息服务RabbitMQ建立连接后，所有的AMQP协议操作（例如创建队列、发送消息、接收消息等）都会通过Connection中的Channel完成。Channel可以复用Connection，即一个Connection下可以建立多个Channel。Channel不能脱离Connection独立存在，而必须存活在Connection中。当某个Connection断开时，该Connection下的所有Channel都会断开。当大量应用需要与分布式消息服务RabbitMQ建立多个连接时，建议您使用Channel来复用Connection，从而减少网络资源和分布式消息服务RabbitMQ资源消耗。 Connection和Channel的使用建议 保持Connection长连接，请勿频繁开启或关闭Connection。如果确实需要频繁开启或关闭连接，请使用Channel。 一个进程对应一个Connection，一个进程中的多个线程则分别对应一个Connection中的多个Channel。 Producer和Consumer分别使用不同的Connection进行消息发送和消费。

本文主要介绍消息队列 Kafka 发布者的最佳实践，从而帮助您更好的使用该产品。 文中的最佳实践基于消息队列 Kafka 的 Java 客户端；对于其它语言的客户端，其基本概念与思想是通用的，但实现细节可能有差异，仅供参考。 Kafka 发送示例代码片段 Key 和 Value Kafka 0.10.0.0 的消息字段只有两个：Key 和 Value。Key 是消息的标识，Value 即消息内容。为了便于追踪，重要消息最好都设置一个唯一的 Key。通过 Key 追踪某消息，打印发送日志和消费日志，了解该消息的发送和消费情况。 失败重试 在分布式环境下，由于网络等原因，偶尔的发送失败是常见的。导致这种失败的原因有可能是消息已经发送成功，但是 Ack 失败，也有可能是确实没发送成功。 消息队列 Kafka 是 VIP 网络架构，会主动掐掉空闲连接（30 秒没活动），也就是说，不是一直活跃的客户端会经常收到 “connection rest by peer” 这样的错误，因此建议都考虑重试消息发送。 异步发送 发送接口是异步的；如果你想得到发送的结果，可以调用metadataFuture.get(timeout, TimeUnit.MILLISECONDS)。 线程安全 Producer 是线程安全的，且可以往任何 Topic 发送消息。通常情况下，一个应用对应一个 Producer 就足够了。 Acks Acks的说明如下： acks0，表示无需服务端的 Response，性能较高，丢数据风险较大； acks1，服务端主节点写成功即返回 Response，性能中等，丢数据风险中等，主节点宕机可能导致数据丢失； acksall，服务端主节点写成功，且备节点同步成功，才返回 Response，性能较差，数据较为安全，主节点和备节点都宕机才会导致数据丢失。 一般建议选择 acks1，重要的服务可以设置 acksall。

消息超过老化时间，消息仍存在的原因 问题现象： 消息超过设置的老化时间（如果Topic已经设置了老化时间，此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时，“配置参数”中的log.retention.hours值才会对此Topic生效。），消息仍存在。 可能原因1： Topic的每个分区都是由多个大小相同的segment文件组成，每个segment文件的大小为500MB，当segment文件存储的消息大小到达500MB后，才会新建下一个segment文件。Kafka删除消息是删除segment文件，而不是删除一条消息。Kafka要求至少保留一个segment文件用来存储消息，如果正在使用的segment文件中包含超过老化时间的消息，由于此时segment文件不会被删除，所以超过老化时间的消息也不会被删除。 处理方法： 等待segment文件被使用完，或者删除超过老化时间的消息所在的Topic。 可能原因2： Topic中存在一条create time为未来时间的消息（例如当前时间为1月1日，create time设置成了2月1日），此消息在72小时后，并不会被老化，导致在此消息后创建的其他消息都不会被老化。 处理方法： 删除create time为未来时间的消息所在的Topic。 Kafka实例是否支持延迟消息？ 不支持延迟消息。 如何查看堆积消息数？ 通过以下任意一种方法，查看堆积消息数。 在Kafka控制台的“消费组管理”页面，单击待查看堆积消息的消费组名称，进入消费组详情页。在“消费进度”页签，查看消费组中每个Topic的总堆积数。具体步骤，请参考查询消费组信息。 在Kafka控制台的“监控”页面的“消费组”页签中，“消费组”选择待查看堆积消息数的消费组名称，“队列”选择“全部队列”，“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤，请参考查看监控数据。 在云监控页面的“消费组”页签中，“消费组”选择待查看堆积消息数的消费组名称，“队列”选择“全部队列”，“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤，请参考查看监控数据。 在Kafka客户端，在“/{命令行工具所在目录}/kafka{version}/bin/”目录下，通过 kafkaconsumergroups.sh bootstrapserver {kafka连接地址} describe group {消费组} 命令查看消费组中每个Topic的堆积消息数。“LAG”表示每个Topic的总堆积数。 图 查看每个Topic的总堆积数 说明 如果Kafka实例开启SASL认证，则以上命令还需要增加SASL认证的“consumer.properties”配置文件参数： commandconfig {SASL认证的consumer.properties配置文件} ，“consumer.properties”配置文件参考开启SASL认证的Kafka命令行连接说明。

topicconfigs]( " "))。 图中⑤区域表示队列监控数据统计。 图中⑥区域表示队列分区信息，包括分区消息数(Latest Offset)，分区leader(Leader)，副本列表(Replicas)，同步副本列表(In Sync Replicas)。 图 队列详情页 6.查看消费组列表 导航栏中单击 Consumers ，即可查看当前集群中的消费组列表。 说明 只显示14天内有消费记录的消费组。 图 集群的消费组列表 7.查看消费组详情页 单击消费组名称可进入消费组详情页面，展示消费组消费的所有队列列表以及每个队列的可消费数（Total Lag）。 图 消费组详情页面 8.查看消费组队列详情页 单击队列名称，即可进入详情页面，查看消费组消费在队列中每个分区的消费状态。包括分区编号（Partition）、分区消息数（LogSize）、分区消费进度（Consumer Offset）、分区剩余可消费数（Lag）和最近消费该分区的消费者（Consumer Instance Owner）。 图 消费组队列详情页面

场景描述 在RocketMQ中，修改订阅组的场景可以有以下几种情况： 增加或减少消费者：当需要增加或减少订阅组中的消费者数量时，可以通过修改订阅组来实现。例如，当消息量增加时，可以增加消费者数量以提高消费能力；当消费者数量过多时，可以减少消费者数量以降低资源消耗。 修改消费策略：订阅组中的消费者可以采用不同的消费策略，如集群模式或广播模式。集群模式下，每个消息只会被订阅组中的一个消费者消费；广播模式下，每个消息会被订阅组中的所有消费者都消费一次。通过修改订阅组，可以更改消费策略以满足不同的业务需求。 调整消费进度：订阅组中的消费者可以通过消费进度来记录已经消费的消息位置。当需要重新消费某些消息或调整消费的起始位置时，可以修改订阅组中各个消费者的消费进度。 修改消费者参数：订阅组中的消费者可以设置一些参数，如消费线程数、消息拉取策略等。通过修改订阅组，可以对消费者的参数进行调整，以优化消费性能和资源利用。 注意 修改订阅组时需要确保订阅组的唯一性，避免与其他订阅组冲突。同时，修改订阅组可能会影响消息的分发和消费进度，需要谨慎操作，避免消息丢失或重复消费的问题。 通过修改订阅组，可以灵活调整消费者数量、消费策略、消费进度和消费者参数，以满足不同的业务需求和优化消费性能。

专属云Kafka的产品服务与公有云Kafka的产品规格保持一致，由两种服务资源组成，队列规格、队列存储。 其中队列计算规格按消息队列基准带宽分为4种分别是：100MB/s、300MB/s、600MB/s、1200MB/s； 存储类型分2种，分别如下：高I/O、超高I/O。

介绍分布式消息服务RabbitMQ虚拟主机权限管理内容。 场景描述 在RabbitMQ中，虚拟主机（Virtual Hosts, vhosts）是一种逻辑隔离机制，允许单个 RabbitMQ 实例划分为多个独立的环境。每个虚拟主机都有自己的交换机、队列、绑定和权限设置。虚拟主机的用户权限管理，支持对每个用户配置三种权限，分别是配置权限、写权限、读权限，用户在未配置这三种权限之前，无法访问对应的虚拟主机。三个权限的详情如下： 配置权限：允许用户创建、修改或删除交换器（Exchange）、队列（Queue）和绑定关系。 写权限：允许用户向交换器发布消息。 读权限：允许用户消费队列中的消息或获取队列状态。 权限配置 在RabbitMQ中，虚拟主机的用户权限配置，采用的是正则表达式匹配方式， 只有满足正则表达式的资源才有权限。比如配置写权限为："."，表示该用户可以向虚拟主机下全部的交换器发布消息。配置写权限为："^$”，表示该用户不允许向任何交换器发布消息。配置写权限为："^exchange."，表示该用户可以向虚拟主机下以"exchange"开头的交换器发布消息。 最佳实践 1. 登录管理控制台。 2. 进入RabbitMQ管理控制台。 3. 在实例列表页在操作列，目标实例行点击“管理”。 4. 进入具体的实例管理页面，点击Vhost管理，在vhost列表页，针对指定的vhost，点击vhost进入具体的权限管理页： 5. 在具体的权限管理页，点击新建，选择指定用户，配置权限为"."、"."、"."，则该用户拥有对虚拟主机下全部资源的配置权限、写权限和读权限： 6. 点击权限列表的操作列的“修改”或“删除”按钮，可以修改或删除对应用户的权限：

消息可以批量生产和消费 为提高消息发送和消息消费效率，推荐使用批量消息发送和消费。通常，默认消息消费为批量消费，而消息发送尽可能采用批量发送。同时批量方式可有效减少API调用次数，减少服务使用费用。 如下面两张示意图对比所示，消息批量生产与消费，可以减少API调用次数，节约资源。 图 消息批量生产（发送）与消费 说明 批量发送消息时，单次不能超过10条消息，总大小不能超过512KB。 批量生产（发送）消息可以灵活使用，在消息并发多的时候，批量发送，并发少时，单条发送。这样能够在减少调用次数的同时保证消息发送的实时性。 图 消息逐条生产（发送）与消费 此外，批量消费消息时，消费者应按照接收的顺序对消息进行处理、确认，当对某一条消息处理失败时，不再需要继续处理本批消息中的后续消息，直接对已正确处理的消息进行确认即可。 巧用消费组协助运维 用户使用DMS服务作为消息管理系统，查看队列的消息内容对于定位问题与调试服务是至关重要的。 当消息的生产和消费过程中遇到疑难问题时，通过创建不同消费组可以帮助定位分析问题或调试服务对接。用户可以创建一个新的消费组，对队列中的消息进行消费并分析消费过程，这样不会影响其他服务对消息的处理。

场景描述 RocketMQ中的Topic一旦创建后，通常是不允许直接修改的。因为Topic的配置信息会对消息的发送和消费产生影响，直接修改Topic可能导致消息的发送和消费出现问题。 然而，有时候可能会遇到需要修改Topic配置的场景，以下是一些可能的场景描述： 扩展Topic的分区数量：当Topic的消息量增加，原有的分区数量可能无法满足需求时，可以考虑扩展Topic的分区数量。通过修改Topic的配置，增加分区数量，可以提高消息的并发处理能力和负载均衡性能。 修改Topic的生产模式，可能会对消息的发送和消费产生影响，生产模式决定了消息发送的方式和策略，直接修改可能会导致消息发送和消费的异常。 修改Topic的读写权限，需要考虑到消费者和生产者的配置，以确保它们能够正确地读写Topic。 修改Topic备注，用户按照业务需要修改注意备注。 需要注意的是，修改Topic的配置可能会对消息的发送和消费产生影响，因此在进行修改之前，需要谨慎评估和测试，确保不会对现有的消息系统造成不可逆的影响。在实际操作中，建议在创建Topic时就根据业务需求进行充分的规划和配置，避免频繁修改Topic的配置。 操作步骤 1、进入Topic管理菜单，在Topic列表点击【编辑】按钮，进入编辑Topic窗口。 2、Topic修改时，不能修改集群、broker、topic名称；可以修改分区数、读写权限、备注；

事件通知类其他问题。 超过重试次数后，消息会被丢弃吗？这样如何保证消息不丢失？ 如果您的接收服务异常，如崩溃、重启、网络不可达等，超过重试次数消息都会被丢弃。如果遇到长时间未收到回调，用户可先自行排查接受回调的服务状态是否正常，或主机网络是否异常。也可以通过调用重试接口 【点播模式】【任务重试】重新发起任务接收回调信息。 HTTP回调支持302跳转吗？ HTTP回调只支持200响应，出于安全考虑，不支持302、301等。 收到多次重复回调是什么原因？ HTTP回调只有收到200响应码时才认为是成功，否则均认为失败，并重试回调。 云点播是否支持基于消息队列的事件通知机制？ 云点播暂时不支持使用消息队列作为通知方式。

本章节主要介绍队列相关问题中有关使用咨询的问题。 DLI队列管理是否支持修改描述内容 不支持修改描述内容。 目前已经创建完成的队列不支持修改描述内容，只能在购买队列时进行添加。 删除队列会导致数据库中的表数据丢失吗? 删除队列不会导致您数据库中的表数据丢失。 队列异常时，DLI怎么保证Spark作业的可靠性？ 应用侧调用DLI提交作业，需要有重试机制来保证Spark作业的可靠性。 如果队列发生异常时，在后续队列恢复后，通过应用侧重试来保证作业的正常提交。 DLI如何进行队列异常监控？ DLI为用户提供了作业失败的topic订阅功能。 1. 登录DLI控制台。 2. 单击左侧“队列管理”，进入队列管理页面。 3. 在队列管理页面，单击左上角“创建消息通知主题”进行配置。

方案二：先迁移数据，再然后同时切换生产和消费 在线下实例和线上实例都开启shovel插件，线上实例开启的方法请参见开启shovel插件。然后，在线下实例的RabbitMQ WebUI页面中配置shovel插件信息：Source为线下实例信息，Destination为线上实例信息，并在Source和Destination中设置需要同步的队列。 图3 配置shovel插件信息 shovel插件信息配置完成后，生成如下shovel规则： 图4 生成shovel规则 当shovel状态为“running”时，表示迁移开始。等数据迁移完成后，将生产、消费切换至线上实例，完成迁移过程。 图5 shovel完成状态 说明 shovel迁移数据的原理是消费线下实例消息，生产消息到线上实例，迁移后线下实例消息 被清空，建议离线迁移，业务会出现中断。 确保线上实例和线下实例可连通。 通过以下方法，确认数据是否迁移完成。 1. 在RabbitMQ WebUI页面查看，如图6所示。 Overview视图中，线下实例中可消费消息数（Ready）以及未确认的消息数（Unacked）都为0时，说明迁移完成。 图6 RabbitMQ WebUI 针对于具体的队列数据，可以进队列页面查看。 图7 迁移后线下实例队列数据 图8 迁移后线上实例队列数据 2. 调用API查看。 curl s u username:password XGET 参数说明： username：线下实例登录RabbitMQ WebUI的帐号 password：线下实例登录RabbitMQ WebUI的密码 ip：线下实例登录RabbitMQ WebUI的IP地址 port：线下实例登录RabbitMQ WebUI的端口号 回显信息中“messagesready”和“messagesunacknowledged”都为0时，说明迁移完成。 图9 回显信息

本文主要介绍日志收集系统Flume接入Kafka。 最佳实践概述 场景描述 使用Flume+Kafka来完成实时流式日志处理，后面再连接上Storm/Spark Streaming等流式实时处理技术，从而完成日志实时解析的目标。如果Flume直接对接实时计算框架，当数据采集速度大于数据处理速度，很容易发生数据堆积或者数据丢失，而kafka可以当做一个消息缓存队列，可以把它理解为一个数据库，可以存放一段时间的数据。 因此数据从数据源（ HTTP、Log 文件、JMS、监听端口数据等）到flume再到Kafka进行消息缓存，数据一方面可以同步到HDFS做离线计算，另一方面可以做实时计算，可实现数据多分发。 技术架构图 暂无。 方案优势 把数据存储到 HDFS 或者 HBase 等下游存储模块或者计算模块时需要考虑各种复杂的场景，例如并发写入的量以及系统承载压力、网络延迟等问题。Flume 作为灵活的分布式系统具有多种接口，同时提供可定制化的管道。在生产处理环节中，当生产与处理速度不一致时，Kafka 可以充当缓存角色。Kafka 拥有 partition 结构以及采用 append 追加数据，使 Kafka 具有优秀的吞吐能力；同时其拥有 replication 结构，使 Kafka 具有很高的容错性。所以将 Flume 和 Kafka 结合起来，可以满足生产环境中绝大多数要求。 前提条件 需已购买Kafka实例、创建Topic，并且已成功消费消息。 确认准备 Apache Flume环境（1.6.0以上版本兼容 Kafka）。 确认 Kafka 的 Source、 Sink 组件已经在 Flume 中。 资源规划 本实践方案内容仅涉及Kafka专享版实例。 分布式消息服务 Figure 1 分布式消息服务 资源类型 配置项 配置明细 说明 :::: 企业中间件 DMS Kafka专享实例 需已购买kafka专享实例，创建好Topic，并成功消费消息。 方案正文

Kafka支持减少分区数吗？ Kafka不支持减少分区数，您可以通过删除原先的Topic，然后创建新Topic，重新设置分区数。 Kafka实例创建Topic失败 可能原因：已创建的Topic，分区数之和达到实例规格的分区数上限。不同规格实例配置的分区数上限不同，具体请参考产品规格。 解决方案：对Kafka实例扩容，或者删除不需要的Topic。 Kafka实例支持批量导入Topic功能么？或者是自动生成Topic功能？ 支持自动生成Topic功能，但不支持Topic批量导入功能，仅支持批量导出Topic功能。 通过以下任意一种方法，开启自动生成Topic功能： 创建实例时，开启Kafka自动创建Topic。 创建实例后，在实例详情页开启Kafka自动创建Topic。 为什么删除Topic不生效？删除后该Topic仍然存在 可能原因：您开启了自动创建Topic功能，且有消费者正在连接该Topic。所以，如果没有停止您的业务，删除了Topic后，还会有消息生产行为，并自动创建Topic。 解决办法：需要关闭自动创建Topic功能，才可以正常删除Topic。 Kafka实例是否支持查看单个Topic占用磁盘空间？ 支持。通过以下任意一种方法，查看单个Topic占用磁盘空间大小。 在Kafka实例名称后，单击，跳转到云监控页面。在“队列”页签中，“队列”选择待查看磁盘空间大小的Topic名称，“监控类型”选择“基本监控”，查看“队列数据容量”，该指标表示该队列当前的消息数据大小。 单击Kafka实例名称，进入实例详情页。在左侧导航栏单击“监控”，进入监控页面。在“主题”页签中，“主题”选择待查看磁盘空间大小的Topic名称，“监控类型”选择“基本监控”，查看“队列数据容量”，该指标表示该队列当前的消息数据大小。

本章节主要介绍分布式消息服务RabbitMQ的预取值特性。 使用场景 设置预取值可以限制未被确认的消息个数，一旦消费者中未被确认的消息数量达到设置的预取值，服务端将不再向此消费者发送消息，除非至少有一个未被确认的消息被确认。设置预取值本质上是一种对消费者进行流控的方法。 设置预取值时，需要考虑多种因素： 预取值设置太小可能会损害性能，RabbitMQ会一直在等待获得发送消息的权限。 预取值设置太大可能会导致从队列中取出大量消息传递给一个消费者，而使其他消费者处于空闲状态。另外还需要考虑消费者的配置，消费者在处理消息时会将所有消息保存在内存中，太大的预取值会对消费者的性能产生负面影响，甚至可能会导致消费者崩溃。 更多关于预取值的说明，请参考Consumer Prefetch。 如何设置合适的预取值？ 如果您只有一个或很少几个消费者在处理消息，建议一次预取多条消息，尽量让客户端保持忙碌。如果您的处理时间和网络状态稳定，则只需将总往返时间除以每条消息在客户端的处理时间即可获得估计的预取值。 在消费者多且处理时间短的情况下，建议使用较低的预取值。过低的预取值会使消费者闲置，因为消费者在处理完消息后需要等待下一批的消息到达。过高的值可能会使单个消费者忙碌，其他消费者处于空闲状态。 在消费者多且处理时间很长的情况下，建议您将预取值设置为1，以便消息在所有消费者间均匀分布。 说明 如果客户端配置的消息确认机制为自动确认，则设置的预取值无效，已确认的消息会从队列中删除。

本节介绍了分布式消息服务RabbitMQ产品的计费项。 RabbitMQ包括2个计费项：RabbitMQ队列实例费用、RabbitMQ队列存储空间费用，具体费用详情可参考产品资费。 目前天翼云对分布式消息服务RabbitMQ产品支持包年包月、按需两种计费方式。 计费项 计费项说明 使用的计费模式 计费公式 实例费用 计费因子：代理规格和代理数量 包年/包月、按需计费 实例规格单价 代理数量 购买时长 存储空间费用 计费因子：云硬盘类型、容量大小 包年/包月、按需计费 云硬盘规格单价 单个代理存储大小 代理数量 购买时长

采集项名称 最大值 监控项默认最大行数 500行 SQL默认长度限制 2000字符 SQL Result Body体默认采集数量限制 100个 SQL Result Body体默认采集内容大小限制 999字符 Redis Body体默认长度限制 100字符 Mongo最大集群数 10个 Mongo command默认长度限制 2000字符 Hbase command默认长度限制 500字符 Es RestClient上限 10个 Cassandra CQL默认长度限制 2000字符 Cassandra Session上限 10个 Kafka Mbean采集ObjectName上限 100个 Kafka ClientId对应IP缓存上限 100个 RabbitMq连接地址上限 20个 RabbitMq每个地址最大缓存连接数 100个 RabbitMq Consumer上限 500个 RabbitMq每个Consumer最大缓存Channel数 100个 RabbitMq每个Channel没有ACK的消息数 3000条 RabbitMq缓存的手动ACK Consumer个数 20个 RocketMq PID上限 20个 RocketMq ClientId上限 20个 Jetcd Tag最大长度 500字符 HttpClient连接池上限 10条 连接池调用链默认上报时间阈值 1毫秒 Dubbo Invocation长度限制 500字符 Dubbo Attachment长度限制 500字符 URL Body体默认长度限制 9999字符 URL采集应用code body长度限制 0字符 Java Method Body体长度限制 8192字符

本节介绍分布式缓存服务Redis版产品的应用场景 电商类应用场景 在电商类场景中，分布式缓存服务Redis版广泛用于商品展示、购物推荐、在线选号以及在大型促销秒杀活动中的库存、计数控制等 热门商品展示：秒杀活动通常会吸引大量用户的访问，商品信息的读取是非常频繁的操作。为了减轻数据库负载和提高响应速度，可以使用Redis将热门商品的信息缓存起来。这样，用户每次请求秒杀商品时，可以先从Redis中获取商品信息，而不必每次都查询数据库，可以显著提升电商网站的性能和响应速度。 库存控制：秒杀活动对商品的库存有严格的限制，需要保证商品数量的准确性和并发访问的安全性。Redis提供了原子性操作和分布式锁的支持，可以使用Redis的原子减操作来实现商品库存的扣减，同时可以使用Redis的分布式锁来保护库存操作的并发安全性。可参考最佳实践：秒杀库存控制 异步处理订单：秒杀活动结束后，会有大量的订单需要处理。为了提高系统的并发能力和响应速度，可以使用Redis作为消息队列，将订单信息存储在Redis的列表中。然后通过多个消费者进程或线程从Redis中获取订单消息进行处理，实现订单的异步处理和解耦。 游戏类应用场景 分布式缓存服务Redis版是游戏中重要的组件，一般用于玩家数据的缓存和持久化。 缓存玩家数据：分布式缓存服务Redis版可以用作玩家数据的缓存存储，包括玩家的角色信息、道具装备、技能等业务数据。通过将玩家数据存储在Redis中，可以提高数据的读取速度，并减轻数据库的负载。这对于需要频繁读取玩家数据的游戏来说尤为重要。 排行榜数据存储：在一个在线游戏中，我们需要实时统计玩家的得分，并展示排行榜，以便玩家之间进行竞争和比较。可使用分布式缓存服务Redis版的有序集合数据结构存储用户排行榜，利用Redis提供的排序功能快速获取排名信息。可参考最佳实践：排行榜功能 状态管理和计数器：Redis的计数器和键值存储特性可以用于游戏中的状态管理和计数功能。例如，可以使用Redis的计数器记录游戏中的击杀数、经验值等，以及管理玩家的在线状态，同时可以使用Redis的键值存储功能存储和读取游戏中的各种状态信息。

本节介绍了在RabbitMQ实例中如何创建、修改和删除虚拟主机限制策略。 背景信息 RabbitMQ虚拟主机限制管理是一种用于管理RabbitMQ虚拟主机的功能，它允许管理员对虚拟主机的资源和权限进行限制和管理。 虚拟主机是RabbitMQ中的逻辑隔离单位，它允许在同一台RabbitMQ服务器上创建多个独立的消息队列环境。每个虚拟主机都有自己的队列、交换机、绑定和权限设置。通过虚拟主机限制管理，管理员可以对RabbitMQ服务器上的虚拟主机进行细粒度的控制和管理。这有助于确保不同的应用程序或用户之间的隔离性、安全性和资源利用率，提高整个消息队列系统的可靠性和性能。 操作步骤 1.登录管理控制台。 2.进入RabbitMQ管理控制台。 3.在实例列表页在操作列，目标实例行点击“管理”。 4.点击“集群管理”后点击“虚拟主机限制”到达虚拟主机页面，点击“新建”按钮。 5.点击“新建”后出现以下界面，选择虚拟主机，添加限制策略内容。 限制项参数 说明 maxconnections 最大TCP连接。 maxqueues 最大队列数。 6.在目标虚拟主机限制行点击“删除”或“修改”，即可删除当前虚拟主机策略。