本文主要介绍应用场景。 Kafka作为一款热门的消息队列中间件，具备高效可靠的消息异步传递机制，主要用于不同系统间的数据交流和传递，在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 异步通信 将业务中属于非核心或不重要的流程部分，使用消息异步通知的方式发给目标系统，这样主业务流程无需同步等待其他系统的处理结果，从而达到系统快速响应的目的。 如网站的用户注册场景，在用户注册成功后，还需要发送注册邮件与注册短信，这两个流程使用Kafka消息服务通知邮件发送系统与短信发送系统，从而提升注册流程的响应速度。 图 串行发送注册邮件与短信流程 图 借助消息队列异步发送注册邮件与短信流程 错峰流控与流量削峰 在电子商务系统或大型网站中，上下游系统处理能力存在差异，处理能力高的上游系统的突发流量可能会对处理能力低的某些下游系统造成冲击，需要提高系统的可用性的同时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时，可以通过队列服务堆积缓存订单等信息，在下游系统有能力处理消息的时候再处理，避免下游订阅系统因突发流量崩溃。消息队列提供亿级消息堆积能力，3天的默认保留时长，消息消费系统可以错峰进行消息处理。 另外，在商品秒杀、抢购等流量短时间内暴增场景中，为了防止后端应用被压垮，可在前后端系统间使用Kafka消息队列传递请求。 图 消息队列应对秒杀大流量场景

本文主要介绍产品优势。 分布式消息服务Kafka完全兼容开源社区版本，旨在为用户提供便捷高效的消息队列。业务无需改动即可快速迁移上云，为您节省维护和使用成本。 一键式部署，免去集群搭建烦恼 您只需要在实例管理界面选好规格配置，提交订单。后台将自动创建部署完成一整套Kafka实例。 兼容开源，业务零改动迁移上云 兼容社区版Kafka的API，具备原生Kafka的所有消息处理特性。 业务系统基于开源的Kafka进行开发，只需加入少量认证安全配置，即可使用分布式消息服务Kafka，做到无缝迁移。 说明 Kafka实例兼容开源社区Kafka 1.1.0、2.3.0和2.7版本。在客户端使用上，推荐使用和服务端版本一致的版本。 安全保证 独有的安全加固体系，提供业务操作云端审计，消息存储加密等有效安全措施。 在网络通信方面，除了提供SASL（Simple Authentication and Security Layer）认证，还借助虚拟私有云（VPC）和安全组等加强网络访问控制。 数据高可靠 Kafka实例支持消息持久化，多副本存储机制。副本间消息同步、异步复制，数据同步或异步落盘多种方式供您自由选择。 集群架构与跨AZ部署，服务高可用 Kafka后台为多集群部署，支持故障自动迁移和容错，保证业务的可靠运行。 Kafka实例支持跨AZ部署，代理部署在不同的AZ，进一步保障服务高可用。不同AZ之间基于Kafka ISR（insync replica）进行数据同步，Topic需要选择数据多副本并且将不同副本分布到不同的ISR上，在ISR正常同步状态下，故障RPO（Recovery Point Objective）趋近于0。 无忧运维 云服务平台提供一整套完整的监控告警等运维服务，故障自动发现和告警，避免724小时人工值守。Kafka实例自动上报相关监控指标，如分区数、主题数、堆积消息数等，并支持配置监控数据发送规则，您可以在第一时间通过短信、邮件等获得业务消息队列的运行使用和负载状态。 海量消息堆积与弹性扩容 内建的分布式集群技术，使得服务具有高度扩展性。分区数可配置多达100个，存储空间弹性扩展，保证在高并发、高性能和大规模场景下的访问能力，轻松实现百亿级消息的堆积和访问能力。 多规格灵活选择 Kafka实例的带宽与存储资源可灵活配置，并且自定义Topic的分区数、副本数。

本文主要介绍RocketMqProducer监控 介绍APM采集的RocketMqProducer监控指标的类别、名称、含义等信息。 表 RocketMqProducer监控指标说明 指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 ::::::: 异常（exception，RabbitMqProducer调用的异常信息统计。） exceptionType 异常类型 异常类型 ENUM LAST 异常（exception，RabbitMqProducer调用的异常信息统计。） causeType 异常类 发生异常的类 ENUM LAST 异常（exception，RabbitMqProducer调用的异常信息统计。） count 次数 该异常的发生次数 INT SUM 异常（exception，RabbitMqProducer调用的异常信息统计。） message 异常消息 该异常产生的异常消息 STRING LAST 异常（exception，RabbitMqProducer调用的异常信息统计。） stackTrace 异常堆栈 该异常产生的堆栈信息 CLOB LAST clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） clientId clientId 客户端实例标识 ENUM LAST clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） group 生产者组 生产者组 ENUM LAST clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） pid pid pid STRING LAST clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） concurrentMax 最大并发 推送消息最大并发 INT MAX clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） errorCount 错误次数 推送消息的错误次数 INT SUM clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） invokeCount invokeCount Publish调用次数 INT SUM clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） publishedMsgCount publishedMsgCount 推送消息数 INT SUM clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） publishedBytes 推送字节数 推送字节数 INT SUM clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） lastError 错误信息 推送消息发生错误产生的错误信息 STRING LAST clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） maxTime 最大响应时间 推送消息的最大响应时间 INT MAX clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） runningCount 正在执行数 采集时间点正在执行的推送消息数量 INT SUM clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） totalTime 总响应时间 推送消息的总响应时间 INT SUM clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） range1 010ms 响应时间在010ms范围请求数 INT SUM clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） range2 10100ms 响应时间在10100ms范围请求数 INT SUM clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） range3 100200ms 响应时间在100200ms范围请求数 INT SUM clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） range4 2001000ms 响应时间在2001000ms范围请求数 INT SUM clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） range5 110s 响应时间在110s范围请求数 INT SUM clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） range6 10s以上 响应时间在10s以上请求数 INT SUM topic监控（topicPublish，以以topic为维度统计消息推送详情。） clientId clientId 客户端实例标识 ENUM LAST topic监控（topicPublish，以以topic为维度统计消息推送详情。） group 生产者组 生产者组 ENUM LAST topic监控（topicPublish，以以topic为维度统计消息推送详情。） topic 主题 消息推送的主题 ENUM LAST topic监控（topicPublish，以以topic为维度统计消息推送详情。） pid pid pid STRING LAST topic监控（topicPublish，以以topic为维度统计消息推送详情。） concurrentMax 最大并发 推送消息最大并发 INT MAX topic监控（topicPublish，以以topic为维度统计消息推送详情。） errorCount 错误次数 推送消息的错误次数 INT SUM topic监控（topicPublish，以以topic为维度统计消息推送详情。） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST topic监控（topicPublish，以以topic为维度统计消息推送详情。） invokeCount invokeCount Publish调用次数 INT SUM topic监控（topicPublish，以以topic为维度统计消息推送详情。） publishedMsgCount publishedMsgCount 推送消息数 INT SUM topic监控（topicPublish，以以topic为维度统计消息推送详情。） publishedBytes 推送字节数 推送字节数 INT SUM topic监控（topicPublish，以以topic为维度统计消息推送详情。） lastError 错误信息 推送消息发生错误产生的错误信息 STRING LAST topic监控（topicPublish，以以topic为维度统计消息推送详情。） maxTime 最大响应时间 推送消息的最大响应时间 INT MAX topic监控（topicPublish，以以topic为维度统计消息推送详情。） runningCount 正在执行数 采集时间点正在执行的推送消息数量 INT SUM topic监控（topicPublish，以以topic为维度统计消息推送详情。） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST topic监控（topicPublish，以以topic为维度统计消息推送详情。） totalTime 总响应时间 推送消息的总响应时间 INT SUM topic监控（topicPublish，以以topic为维度统计消息推送详情。） range1 010ms 响应时间在010ms范围请求数 INT SUM topic监控（topicPublish，以以topic为维度统计消息推送详情。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM topic监控（topicPublish，以以topic为维度统计消息推送详情。） range3 100200ms 响应时间在100200ms范围请求数 INT SUM topic监控（topicPublish，以以topic为维度统计消息推送详情。） range4 2001000ms 响应时间在2001000ms范围请求数 INT SUM topic监控（topicPublish，以以topic为维度统计消息推送详情。） range5 110s 响应时间在110s范围请求数 INT SUM topic监控（topicPublish，以以topic为维度统计消息推送详情。） range6 10s以上 响应时间在10s以上请求数 INT SUM queue监控（queuePublish，以queue为维度统计消息推送详情。） clientId clientId 客户端实例标识 ENUM LAST queue监控（queuePublish，以queue为维度统计消息推送详情。） group 生产者组 生产者组 ENUM LAST queue监控（queuePublish，以queue为维度统计消息推送详情。） queue 消息队列 消息队列标识 ENUM LAST queue监控（queuePublish，以queue为维度统计消息推送详情。） pid pid pid STRING LAST queue监控（queuePublish，以queue为维度统计消息推送详情。） concurrentMax 最大并发 推送消息最大并发 INT MAX queue监控（queuePublish，以queue为维度统计消息推送详情。） errorCount 错误次数 推送消息的错误次数 INT SUM queue监控（queuePublish，以queue为维度统计消息推送详情。） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST queue监控（queuePublish，以queue为维度统计消息推送详情。） invokeCount invokeCount Publish调用次数 INT SUM queue监控（queuePublish，以queue为维度统计消息推送详情。） publishedMsgCount publishedMsgCount 推送消息数 INT SUM queue监控（queuePublish，以queue为维度统计消息推送详情。） publishedBytes 推送字节数 推送字节数 INT SUM queue监控（queuePublish，以queue为维度统计消息推送详情。） lastError 错误信息 推送消息发生错误产生的错误信息 STRING LAST queue监控（queuePublish，以queue为维度统计消息推送详情。） maxTime 最大响应时间 推送消息的最大响应时间 INT MAX queue监控（queuePublish，以queue为维度统计消息推送详情。） runningCount 正在执行数 采集时间点正在执行的推送消息数量 INT SUM queue监控（queuePublish，以queue为维度统计消息推送详情。） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST queue监控（queuePublish，以queue为维度统计消息推送详情。） totalTime 总响应时间 推送消息的总响应时间 INT SUM queue监控（queuePublish，以queue为维度统计消息推送详情。） range1 010ms 响应时间在010ms范围请求数 INT SUM queue监控（queuePublish，以queue为维度统计消息推送详情。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM queue监控（queuePublish，以queue为维度统计消息推送详情。） range3 100200ms 响应时间在100200ms范围请求数 INT SUM queue监控（queuePublish，以queue为维度统计消息推送详情。） range4 2001000ms 响应时间在2001000ms范围请求数 INT SUM queue监控（queuePublish，以queue为维度统计消息推送详情。） range5 110s 响应时间在110s范围请求数 INT SUM queue监控（queuePublish，以queue为维度统计消息推送详情。） range6 10s以上 响应时间在10s以上请求数 INT SUM broker监控（brokerPublish，以broker为维度统计消息推送详情。） clientId clientId 客户端实例标识 ENUM LAST broker监控（brokerPublish，以broker为维度统计消息推送详情。） group 生产者组 生产者组 ENUM LAST broker监控（brokerPublish，以broker为维度统计消息推送详情。） broker broker broker地址 ENUM LAST broker监控（brokerPublish，以broker为维度统计消息推送详情。） pid pid pid STRING LAST broker监控（brokerPublish，以broker为维度统计消息推送详情。） concurrentMax 最大并发 推送消息最大并发 INT MAX broker监控（brokerPublish，以broker为维度统计消息推送详情。） errorCount 错误次数 推送消息的错误次数 INT SUM broker监控（brokerPublish，以broker为维度统计消息推送详情。） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST broker监控（brokerPublish，以broker为维度统计消息推送详情。） invokeCount invokeCount Publish调用次数 INT SUM broker监控（brokerPublish，以broker为维度统计消息推送详情。） publishedMsgCount publishedMsgCount 推送消息数 INT SUM broker监控（brokerPublish，以broker为维度统计消息推送详情。） publishedBytes 推送字节数 推送字节数 INT SUM broker监控（brokerPublish，以broker为维度统计消息推送详情。） lastError 错误信息 推送消息发生错误产生的错误信息 STRING LAST broker监控（brokerPublish，以broker为维度统计消息推送详情。） maxTime 最大响应时间 推送消息的最大响应时间 INT MAX broker监控（brokerPublish，以broker为维度统计消息推送详情。） runningCount 正在执行数 采集时间点正在执行的推送消息数量 INT SUM broker监控（brokerPublish，以broker为维度统计消息推送详情。） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST broker监控（brokerPublish，以broker为维度统计消息推送详情。） totalTime 总响应时间 推送消息的总响应时间 INT SUM broker监控（brokerPublish，以broker为维度统计消息推送详情。） range1 010ms 响应时间在010ms范围请求数 INT SUM broker监控（brokerPublish，以broker为维度统计消息推送详情。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM broker监控（brokerPublish，以broker为维度统计消息推送详情。） range3 100200ms 响应时间在100200ms范围请求数 INT SUM broker监控（brokerPublish，以broker为维度统计消息推送详情。） range4 2001000ms 响应时间在2001000ms范围请求数 INT SUM broker监控（brokerPublish，以broker为维度统计消息推送详情。） range5 110s 响应时间在110s范围请求数 INT SUM broker监控（brokerPublish，以broker为维度统计消息推送详情。） range6 10s以上 响应时间在10s以上请求数 INT SUM 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） clientId clientId 客户端实例标识 ENUM LAST 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） group 生产者组 生产者组 ENUM LAST 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） pid pid pid STRING LAST 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） concurrentMax 最大并发 推送事务消息最大并发 INT MAX 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） errorCount 错误次数 推送事务消息的错误次数 INT SUM 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） invokeCount invokeCount 推送事务消息调用次数 INT SUM 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） lastError 错误信息 推送事务消息发生错误产生的错误信息 STRING LAST 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） maxTime 最大响应时间 推送事务消息的最大响应时间 INT MAX 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） runningCount 正在执行数 采集时间点正在执行的推送事务消息数量 INT SUM 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） totalTime 总响应时间 推送事务消息的总响应时间 INT SUM 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） range1 010ms 响应时间在010ms范围请求数 INT SUM 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） range3 100200ms 响应时间在100200ms范围请求数 INT SUM 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） range4 2001000ms 响应时间在2001000ms范围请求数 INT SUM 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） range5 110s 响应时间在110s范围请求数 INT SUM 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） range6 10s以上 响应时间在10s以上请求数 INT SUM total监控（total，以客户端为维度统计消息推送详情） errorCount 错误次数 推送消息的错误次数 INT SUM total监控（total，以客户端为维度统计消息推送详情） invokeCount invokeCount Publish调用次数 INT SUM total监控（total，以客户端为维度统计消息推送详情） publishedMsgCount publishedMsgCount 推送消息数 INT SUM total监控（total，以客户端为维度统计消息推送详情） publishedBytes 推送字节数 推送字节数 INT SUM total监控（total，以客户端为维度统计消息推送详情） totalTime 总响应时间 推送消息的总响应时间 INT SUM

本节介绍分布式消息服务Kafka操作类常见问题 消息在kafka保留多长时间？ 消息保存72小时，超过72小时的消息将会被删除。 Kafka可以创建多少个主题？ Kafka基础版可以创建50个主题、Kafka高级版可以创建100个主题。 如果想消费已经被消费过的数据？ consumer是底层采用的是一个阻塞队列，只要一有producer生产数据，那consumer就会将数据消费。当然这里会产生一个很严重的问题，如果你重启一消费者程序，那你连一条数据都抓不到，但是log文件中明明可以看到所有数据都好好的存在。换句话说，一旦你消费过这些数据，那你就无法再次用同一个groupid消费同一组数据了。针对这种情况，你可在控制台重置消费组消费点（3天内）。 是否需要预先创建消费组 消费组和消费组订阅主题关系虽然业务应用客户端接入时可自动创建，但建议都先预先创建做好管理。 出现“Not authorized to access group”的错误信息 没有创建消费组时会遇到此报错信息，创建消费组可解决此问题。 为什么PHP发送延时比较长？ PHP发送延时比较长是PHP的语言特性导致的。PHP每次发送时，都会重新初始化一个KafkaProducer对象，这个初始化会进行各种操作，包括连接各个Broker、更新元数据等，在VPC内耗时100ms以上，在公网可能耗时500ms以上。相比之下，Java会复用KafkaProducer，发送延迟较低。 哪里可以找到生产消费消息的示例 最佳实践 生产者实践、消费者实践。

态势感知（专业版）数据监控功能支持监控态势感知（专业版）管道上下游的生产速率、生产量、消费总速率等指标，您可以根据监控判断业务运行状态。 相关概念 生产者：是用来构建并传输数据到服务端的逻辑概念，负责把数据放入消息队列。 订阅器：用于订阅态势感知（专业版）管道消息，一个管道可由多个订阅器进行订阅，态势感知（专业版）通过订阅器进行消息分发。 消费者：是用来接收并处理数据的运行实体，负责通过订阅器把态势感知（专业版）管道中的消息进行消费并处理。 消息队列：是数据存储和传输的实际容器。 查看监控指标 1. 登录管理控制台。 2. 单击页面左上方的，选择“安全 > 态势感知（专业版）”，进入态势感知（专业版）管理页面。 3. 在左侧导航栏选择“工作空间 > 空间管理”，并在工作空间列表中，单击目标工作空间名称，进入目标工作空间管理页面。 4. 在左侧导航栏选择“日志审计 > 安全数据”，进入安全分析页面。 5. 在左侧数据空间导航栏中，单击数据空间名称，展开数据管道列后，单击目标管道名称后的“更多 > 监控”，进入管道监控页面。 6. 在数据管道的监控页面，查看监控指标。 总览：显示当前管道中生产者、管道、订阅器、消费者之间生产速率等信息。 生产者：显示生产者的“当前生产TPS”、“当前生产速率”、“当前生产量”、“当前消息存储大小”等相关指标信息。 管道：显示当前管道指定时间（近2/6/12/24小时、近7天或自定义）内的“管道存储的消息大小(MB)”、“生产到管道的消息大小(MB)”、“生产到管道的消息数量(条)”、“从管道消费的消息大小(MB)”、“从管道消费的消息数量(条)”、“未确认的消息大小(MB)”、“管道的生产速率(条/秒)”、“管道的消费速率(条/秒)”、“每条消息大小平均值(KB)”、“未卸载的消息大小(B)”等相关指标信息。 订阅器：显示当前订阅器指定时间（近2/6/12/24小时、近7天或自定义）内的“订阅器消费总速率(条/秒)”、“订阅器消费的数据大小(B)”、“订阅器消费的数据数量(条)”、和“活跃消费者”等相关指标信息。

本节介绍了如何查看分布式消息服务RabbitMQ产品实例。 实例列表 1、进入分布式消息服务RabbitMQ管理控制台查看已购买的实例列表，若列表为空，可点击右上角【创建实例】进入购买页面，创建实例详情见具体操作步骤。 2、支持按照实例ID查询，输入查询内容，点击【查询】按钮即可展示需要的实例数据。 3、查看实例基本信息，包括实例ID、规格、VPC、计费模式、创建时间、到期时间、状态。其中状态说明见下文。 运行状态 （1）登录天翼云，进入分布式消息服务RabbitMQ管理控制台。 （2）当前页面会列出所购买的RabbitMQ实例，并查看状态，状态说明如下 状态 说明 运行中 RabbitMQ实例正常运行状态。 已关闭 RabbitMQ实例处于离线的状态。 变更中 RabbitMQ实例正在进行规格变更操作。 变更失败 RabbitMQ实例处于规格变更失败状态。 暂停 RabbitMQ专享版实例处于已冻结状态，用户可以在“更多”中续费开启冻结的RabbitMQ实例。 注销 RabbitMQ实例已经过期并关闭，需要重新购买实例。

Kafka作为一款热门的消息队列中间件，具备高效可靠的消息异步传递机制，主要用于不同系统间的数据交流和传递，在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 异步通信 将业务中属于非核心或不重要的流程部分，使用消息异步通知的方式发给目标系统，这样主业务流程无需同步等待其他系统的处理结果，从而达到系统快速响应的目的。 如网站的用户注册场景，在用户注册成功后，还需要发送注册邮件与注册短信，这两个流程使用Kafka消息服务通知邮件发送系统与短信发送系统，从而提升注册流程的响应速度。 图 串行发送注册邮件与短信流程 图 借助消息队列异步发送注册邮件与短信流程 错峰流控与流量削峰 在电子商务系统或大型网站中，上下游系统处理能力存在差异，处理能力高的上游系统的突发流量可能会对处理能力低的某些下游系统造成冲击，需要提高系统的可用性的同时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时，可以通过队列服务堆积缓存订单等信息，在下游系统有能力处理消息的时候再处理，避免下游订阅系统因突发流量崩溃。消息队列提供亿级消息堆积能力，3天的默认保留时长，消息消费系统可以错峰进行消息处理。 另外，在商品秒杀、抢购等流量短时间内暴增场景中，为了防止后端应用被压垮，可在前后端系统间使用Kafka消息队列传递请求。 图 消息队列应对秒杀大流量场景 日志同步 在大型业务系统设计中，为了快速定位问题，全链路追踪日志，以及故障及时预警监控，通常需要将各系统应用的日志集中分析处理。 Kafka设计初衷就是为了应对大量日志传输场景，应用通过可靠异步方式将日志消息同步到消息服务，再通过其他组件对日志做实时或离线分析，也可用于关键日志信息收集进行应用监控。 日志同步主要有三个关键部分：日志采集客户端，Kafka消息队列以及后端的日志处理应用。 1. 日志采集客户端，负责用户各类应用服务的日志数据采集，以消息方式将日志“批量”“异步”发送Kafka客户端。 Kafka客户端批量提交和压缩消息，对应用服务的性能影响非常小。 2. Kafka将日志存储在消息文件中，提供持久化。 3. 日志处理应用，如Logstash，订阅并消费Kafka中的日志消息，最终供文件搜索服务检索日志，或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。 图 日志同步示意图 上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具，Hadoop表示大数据分析系统。

Java客户端必须使用Push Consumer 使用Pull可以实现的所有场景，均可使用Push实现，并且更简单。 Push其实是长轮询的Pull（依然是由客户端发起），在客户端通过配置参数是可以实现流控的，并不会出现服务端的流量压垮客户端的情况。 Push封装了拉取消息，分发给消费线程的线程模型，非流控的情况下，由后台线程主动拉取消息，并缓存在本地，消费线程池有空闲线程时，分发给消费线程，在有堆积量的情况下，可以保证消费线程一直工作，性能更高（备注：Pull只提供了拉取消息的功能，并且何时去拉取，拉取时机，这些都需要应用去控制；分发给消费线程的逻辑需要应用封装，除了增加应用工作量外，还可能有不稳定、性能问题等）。 Push经过多个大型项目的长时间的使用，更成熟稳定。 Push会自动订阅重试队列，不需要再次调用拉取重试队列的API来取得重试队列的消息（备注：Pull需要另外调用API拉取重试队列的消息）。 Pull是一种遗留的消费模式（兼容早期的API），新开发的应用，或者未上线的应用，都要求使用Push消费模式。

本节介绍产品使用卡券规则。 天翼云分布式消息服务RocketMQ产品卡券使用遵循天翼云统一规则。 ++优惠券使用++ ++代金券使用++ 卡券使用常见问题：卡券管理费用中心常见问题 天翼云。

本章节主要介绍分布式消息服务RabbitMQ的单一活跃消费者特性。 使用场景 单一活跃消费者（Single Active Consumer）表示队列中可以注册多个消费者，但是只允许一个消费者消费消息，只有在此消费者出现异常时，才会自动转移到另一个消费者进行消费。单一活跃消费者适用于需要保证消息消费顺序性，同时提供高可靠能力的场景。 说明 分布式消息服务RabbitMQ3.8.35版本才提供单一活跃消费者特性。 图1 单一活跃消费者消费流程 如图1所示，Producer生产9条消息，由于队列设置了单一活跃消费者特性，只有Consumer 1在消费消息。 更多关于单一活跃消费者的说明，请参考Single Active Consumer。 配置方法 在声明队列时，可以配置单一活跃消费者，只需要将队列的“xsingleactiveconsumer”参数设置为“true”。 以下示例演示在Java客户端设置单一活跃消费者。 Channel ch ...; Map arguments newHashMap (); arguments.put("xsingleactiveconsumer", true); ch.queueDeclare("myqueue", false, false, false, arguments); 以下示例演示在 RabbitMQ WebUI页面设置单一活跃消费者。 图2 设置单一活跃消费者 设置完成后，在“Queues”页面查看队列特性是否包含单一活跃消费者。如图3所示，“SAC”即单一活跃消费者。 图3 查看队列特性

本节介绍了在RabbitMQ实例中如何创建和删除交换器。 背景信息 生产者将消息发送到交换器，由交换器将消息路由到一个或多个队列中（或者丢弃）。交换器根据Routing Key和Binding Key将消息路由到Queue。不同类型的交换器的路由规则不同。 操作步骤 新建交换器 1.登录管理控制台。 2.进入RabbitMQ管理控制台。 3.在实例列表页在操作列，目标实例行点击“管理”。 4.点击“交换器管理”后，点击“新建”按钮。 5.点击“新建”后出现以下窗口，选择虚拟主机，添加交换器名字，选择交换器类型和其他参数，然后点击“确定”即可新建交换器。 各参数说明如下 参数 描述 虚拟主机 选择创建交换器所属的虚拟主机 名称 交换器名称。以amq.开头的为保留字段，因此不能使用。例如：。 类型 Exchange类型。 是否持久化 交换器是否持久化到磁盘 是否自动删除 如果是，交换器将在至少一个队列或交换器绑定到该交换器，然后所有队列或交换器都已解除绑定时删除。 是否内置 如果是，客户端不能直接发布到这个交换器。它只能与其他交换器绑定使用。 其他参数 Alternate exchange：备份交换器是为了实现没有路由到队列的消息，声明交换机的时候添加属性alternateexchange，声明一个备用交换机，一般声明为fanout类型，这样交换机收到路由不到队列的消息就会发送到备用交换机绑定的队列中。 其中交换机类型如下表所示 交换机类型 说明 Direct 完全根据key进行投递的叫做Direct交换机。如果Routing key匹配, 那么Message就会被传递到相应的queue中。其实在queue创建时，它会自动的以queue的名字作为routing key来绑定那个exchange。例如，绑定时设置了Routing key为”abc”，那么客户端提交的消息，只有设置了key为”abc”的才会投递到队列。 Fanout 不需要key的叫做Fanout交换机。它采取广播模式，一个消息进来时，投递到与该交换机绑定的所有队列。 Topic 对key进行模式匹配后进行投递的叫做Topic交换机。比如符号”

针对各类消息插件进行监控。 功能入口 1. 选择目标资源池，并登录APM组件控制台。 2. 在左侧导航栏中选择「应用监控 」「应用列表」。 3. 在应用列表中选择您想查看的应用，点击「应用名称」打开新的应用详情链接。 4. 在左侧导航栏中选择「应用详情 」，您可以在应用详情页面切换至「消息监控」页签，在左侧关键指标中选择不同的应用实例，可查看该应用实例相应的概览信息。 功能说明 KafkaProducer 总发送次数&总发送字节数 显示总发送次数和总发送字节数的趋势图。 总发送次数：这是指生产者在其生命周期内成功发送到Kafka broker的消息数量。这个数字可以帮助我们了解生产者在实际运行中的消息处理能力和稳定性。例如，如果一个生产者在一段时间内发送了10000条消息，那么它的总发送次数就是10000。 总发送字节数：这是指生产者在其生命周期内发送到Kafka broker的所有消息的总字节数。这个数字反映了生产者传输的数据量，是评估生产者负载和资源消耗的一个重要指标。例如，如果生产者发送了10000条消息，每条消息大小为1KB，则总发送字节数为10000 1024 10,485,760字节。 这两个指标通常用于监控和优化Kafka生产者的性能，确保其能够高效、稳定地处理消息。通过这些数据，可以发现生产者是否存在瓶颈或问题，并进行相应的调整和优化。 通过消息队列发送消息 显示topic列表，表头如下。 Topic：是指消息发送到消息队列中的特定主题（topic）。主题是消息队列中的逻辑分类，用于将相关的消息归类和分组。每个topic可以包含多条消息，每条消息都有一个特定的主题标签。 调用次数：表示当前这个Topic在一段时间内，通过消息队列发送消息的总调用次数。每次发送消息都会被计算为一次调用。 平均响应时间(ms)：是指在发送消息的过程中，从发送请求到接收到响应的平均时间。它表示了发送消息的速度和效率。 错误数：表示在发送消息的过程中发生的错误次数。这些错误可能包括发送消息失败、网络连接问题或其他异常情况。 最慢调用(ms)：是指在一段时间内，发送消息过程中最耗时的一次调用的时间。它反映了发送消息中的性能瓶颈或延迟情况。 操作：点击详情，出现弹层显示调用次数、平均响应时间(ms)、错误数在筛选时间段内的趋势图。 这些指标可以帮助您监控和分析通过消息队列发送消息的性能和健康状况。通过追踪调用次数、平均响应时间、错误数和最慢调用时间，您可以了解消息发送的频率、效率、稳定性和延迟情况，从而进行性能优化、故障排除和容量规划等方面的工作。

背景信息 分布式消息服务RabbitMQ为用户提供全面周到的服务，支持用户退订需求。用户如不需要继续使用该分布式消息服务RocketMQ实例，可进行删除实例操作，即退订操作。 操作步骤 （1）登录管理控制台。 （2）进入RabbitMQ管理控制台。 （3）当前页面会列出所购买的RabbitMQ实例。选择需要退订的实例，点击更多退订。 注意： 退订的实例处于冻结状态，请务必在实例退订前停止全部的应用。 在申请退订前，请做好数据备份工作，退订后数据将保留15个自然日，15天后相关数据将不予保留，且不会进行备份，务必谨慎操作。

本文主要介绍DMS for Kafka 消费者poll的优化。 场景介绍 在DMS提供的原生Kafka SDK中，消费者可以自定义拉取消息的时长，如果需要长时间的拉取消息，只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力，特别是分区数较多且每个消费者开启多个线程的情况下。 如图所示，Kafka队列含有多个分区，消费组中有多个消费者同时进行消费，每个线程均为长连接。当队列中消息较少或者没有时，连接不断开，所有消费者不间断地拉取消息，这样造成了一定的资源浪费。 图 Kafka消费者多线程消费模式 优化方案 在开了多个线程同时访问的情况下，如果队列里已经没有消息了，其实不需要所有的线程都在poll，只需要有一个线程poll各分区的消息就足够了，当在polling的线程发现队列中有消息，可以唤醒其他线程一起消费消息，以达到快速响应的目的。如图所示。 这种方案适用于对消费消息的实时性要求不高的应用场景。如果要求准实时消费消息，则建议保持所有消费者处于活跃状态。 图 优化后的多线程消费方案 说明 消费者（Consumer）和消息分区（Partition）并不强制数量相等，Kafka的poll(long)方法帮助实现获取消息、分区平衡、消费者与Kafka broker节点间的心跳检测等功能。 因此在对消费消息的实时性要求不高场景下，当消息数量不多的时候，可以选择让一部分消费者处于wait状态。

介绍分布式消息服务RabbitMQ查看虚拟主机操作内容。 场景描述 在RabbitMQ中，虚拟主机（Virtual Host）是一个逻辑隔离的消息代理环境，用于分隔不同应用或不同团队之间的消息流。当需要查看虚拟主机的信息时，可能有以下场景描述： 管理员查看虚拟主机配置：管理员需要查看虚拟主机的配置信息，包括虚拟主机的名称、权限设置、连接数限制等。这可以帮助管理员了解当前系统的虚拟主机情况，进行配置管理和优化。 开发人员查看虚拟主机队列信息：开发人员需要查看虚拟主机中队列的信息，包括队列的名称、消息数量、消费者数量等。这可以帮助开发人员了解当前队列的状态，监控消息的流动情况，进行故障排查和性能调优。 运维人员查看虚拟主机连接信息：运维人员需要查看虚拟主机的连接信息，包括连接的客户端IP、连接数、协议等。这可以帮助运维人员监控连接的使用情况，检测异常连接，进行资源管理和安全审计。 操作步骤 （1）在虚拟主机管理页面，点击目标虚拟主机名称，即可参看虚拟主机详情。 （2）查看虚拟主机概览，主要展示最近时间段各类型消息数量和消息tps统计。 （3）参看用户配置权限及读写权限信息。 （4）查看用户主题权限信息。

数据保护技术 RabbitMQ提供了多种数据保护技术，以确保数据在传输和存储过程中的机密性和完整性。 1. 跨AZ容灾：在不同的可用区部署多个RabbitMQ节点，确保节点之间的数据复制和同步。这样，当一个可用区发生故障时，其他可用区上的节点可以继续提供服务。 2. 副本冗余：RabbitMQ副本冗余是一种保证消息队列的高可用性和数据冗余的策略。通过在多个节点上创建副本，可以确保即使一个节点发生故障，其他节点上的副本仍然可以提供服务。 3. 数据持久化：RabbitMQ数据持久化是通过将队列、消息和交换器进行持久化，确保消息队列中的数据在节点重启或故障时不会丢失。 服务韧性 RabbitMQ服务的韧性是指其在面对各种故障和异常情况时能够保持可用性和可靠性的能力。以下是保障RabbitMQ服务韧性的关键方面： 1. AZ内实例容灾：在不同的可用区内部署多个RabbitMQ节点，使它们能够相互复制和同步消息。这样即使一个可用区发生故障，其他可用区的节点仍然可以提供服务。 2. 数据容灾：RabbitMQ数据容灾是通过持久化消息、队列和交换器、备份和复制以及高可用性集群等策略，保护数据免受损失和故障影响的措施。

本章节主要介绍如何查看分布式消息服务RabbitMQ实例。 操作场景 本节介绍如何在控制台查看RabbitMQ实例的详细信息。例如，连接RabbitMQ时，需要获取连接IP和端口。 前提条件 已创建RabbitMQ实例。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 此处请选择RabbitMQ实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件 > 分布式消息服务 > RabbitMQ专享版”，进入分布式消息服务RabbitMQ专享版页面。 步骤 4 RabbitMQ实例支持通过筛选来查询对应的RabbitMQ实例。当前支持的筛选条件为“标签”、“状态”、“名称”、“连接地址”和“ID”。RabbitMQ实例状态请参见表1。 表1 RabbitMQ实例状态说明 状态 说明 创建中 创建RabbitMQ实例后，在RabbitMQ实例状态进入运行中之前的状态。 运行中 RabbitMQ实例正常运行状态。在这个状态的实例可以运行您的业务。 故障 RabbitMQ实例处于故障的状态。 启动中 RabbitMQ实例从已冻结到运行中的中间状态。 重启中 RabbitMQ实例正在进行重启操作。 变更中 RabbitMQ实例正在进行规格变更操作。 变更失败 RabbitMQ实例处于规格变更操作失败的状态。 已冻结 RabbitMQ实例处于已冻结状态。 冻结中 RabbitMQ实例从运行中到已冻结的中间状态。 升级中 RabbitMQ实例正在进行升级操作。 回滚中 RabbitMQ实例正在进行回滚操作。 步骤 4 单击RabbitMQ实例的名称，进入该RabbitMQ实例的基本信息页面，查看RabbitMQ实例的详细信息。 表2为连接实例的相关参数，其他参数，请查看页面显示。 表2 连接参数说明 参数 说明 内网连接地址 未开启公网访问时，连接实例的地址。 Web界面UI地址 未开启公网访问时，访问实例管理工具的地址。 公网访问 是否开启公网访问开关。 公网连接地址 开启公网访问后，连接实例的地址。 公网访问Web界面UI地址 开启公网访问后，访问实例管理工具的地址。

操作说明 本方案基于 天翼云 ROS（资源编排服务）控制台，实现 Kafka 消息队列实例、Topic、消费组及关联网络资源的快速搭建，有效提升消息中间件资源交付效率，降低人工配置与运维成本。 方案内置标准化全链路编排模板，一站式完成 VPC 网络、子网、安全组、Kafka 集群实例、Topic 分区、消费组的联动部署，支持自定义规格配置、存储类型选择、节点数调整等灵活参数化设置，用户可根据消息队列业务规模、吞吐量与存储需求快速适配，高效完成生产级 Kafka 消息服务资源部署。 适用场景 Kafka 消息队列集群快速搭建 一键完成生产级 Kafka 集群 + Topic + 消费组全链路部署，无需分步手动配置，大幅缩短资源交付周期。 消息中间件多环境标准化部署 统一配置规范，支持测试、预发、生产等多环境 Kafka 资源标准化批量编排，避免配置不一致问题。 临时消息业务资源快速创建与释放 适配临时数据采集、压测、活动类消息业务场景，可快速创建 / 销毁 Kafka 资源，按需使用、节约成本 操作步骤 1. 登录控制中心。 2. 在控制台首页搜索“资源编排ROS”，或在左侧产品导航栏选择“管理工具 > 资源编排ROS”，进入[资源编排控制台](

操作说明 本方案基于 天翼云 ROS（资源编排服务）控制台，实现 Kafka 消息队列实例、Topic、消费组及关联网络资源的快速搭建，有效提升消息中间件资源交付效率，降低人工配置与运维成本。 方案内置标准化全链路编排模板，一站式完成 VPC 网络、子网、安全组、Kafka 集群实例、Topic 分区、消费组的联动部署，支持自定义规格配置、存储类型选择、节点数调整等灵活参数化设置，用户可根据消息队列业务规模、吞吐量与存储需求快速适配，高效完成生产级 Kafka 消息服务资源部署。 适用场景 Kafka 消息队列集群快速搭建 一键完成生产级 Kafka 集群 + Topic + 消费组全链路部署，无需分步手动配置，大幅缩短资源交付周期。 消息中间件多环境标准化部署 统一配置规范，支持测试、预发、生产等多环境 Kafka 资源标准化批量编排，避免配置不一致问题。 临时消息业务资源快速创建与释放 适配临时数据采集、压测、活动类消息业务场景，可快速创建 / 销毁 Kafka 资源，按需使用、节约成本 操作步骤 1. 登录控制中心。 2. 在控制台首页搜索“资源编排ROS”，或在左侧产品导航栏选择“管理工具 > 资源编排ROS”，进入[资源编排控制台](

专属队列 专属队列是指队列对应的资源为专属资源，空闲时不释放，即无论是否使用均保留资源的队列类型。专属队列可以保证提交作业时资源一定存在。 队列弹性扩缩容 DLI提供了队列弹性扩缩容的功能。用户在创建指定规格队列后，可根据需要进行弹性扩缩容。 根据业务情况，手动更改队列规格。具体操作请参考队列弹性扩缩容。 说明 新创建的队列需要运行作业后才可进行扩缩容。 队列弹性扩缩容定时任务 DLI提供了队列弹性扩缩容定时任务的功能。用户在创建队列后，可根据需要进行弹性扩缩容定时任务。 根据业务情况，设置队列自动扩缩容的时间，由系统定时触发队列扩缩容。具体操作请参考弹性扩缩容定时任务。 说明 新创建的队列需要运行作业后才可进行扩缩容。 队列自动扩缩容 Flink作业使用队列，DLI可根据作业大小自动触发扩缩容，用户无需进行操作。 说明 新创建的队列需要运行作业后才可进行扩缩容。 队列管理页面 队列管理主要包括如下功能： 队列权限管理 创建队列 删除队列 修改队列网段 队列弹性扩缩容 弹性扩缩容定时任务 测试地址连通性 创建消息通知主题 说明 DLI作业执行失败需要通过SMN发送通知消息，因此需要获得访问和使用SMN（消息通知服务）的SMN Administrator权限。 队列管理页面显示用户创建所有的队列和服务预置的default队列。队列列表默认按创建时间排列，创建时间最近的队列显示在最前端。 队列管理参数 参数 参数说明 名称 队列的名称。 类型 队列的类型。 SQL队列 通用队列 Spark队列（兼容老版本） 规格 队列大小，单位：CUs。 CUs是队列的计价单位。1CUs1Core 4GMem。不同规格的队列对应的计算能力不一样，规格越高计算能力越好。 实际CUs 当前队列实际大小值。 弹性扩缩容 定时扩缩容的目标CU值，或当前规格CU值的最大值和最小值。 用户名 队列所有者。 描述 创建队列时，对队列的描述。如果无描述，则显示“”。 操作 删除：删除所选队列。如果队列中有正在提交或者正在运行的作业，将不支持删除操作。 权限管理：查看队列对应的用户权限信息以及对其他用户授权。 更多 − 重启：强制重启队列。 说明 只有SQL队列有“重启”操作。 − 弹性扩缩容：可以根据需要选择“扩容”或“缩容”，目标值大小必须为16CU的整数倍。 − 弹性扩缩容定时任务：可以根据业务周期或使用情况，在不同的时间或周期内设置不同的队列大小，系统将定时自动进行“扩容”或“缩容”。目标值大小必须为16CU的整数倍。 − 修改网段：使用DLI增强型跨源时，DLI队列网段与数据源网段不能重合，可根据需要进行修改。 − 测试地址连通性：测试队列到指定地址是否可达，支持域名和ip，可指定端口。

topicconfigs)。 − 图中⑤区域表示队列监控数据统计。 − 图中⑥区域表示队列分区信息，包括分区消息数(Latest Offset)，分区leader(Leader)，副本列表(Replicas)，同步副本列表(In Sync Replicas)。 队列详情页 查看消费组列表 导航栏中单击Consumers页签，即可查看当前集群中的消费组列表。 集群的消费组列表 查看消费组详情页 单击消费组名称可进入消费组详情页面，展示消费组消费的所有队列列表以及每个队列的可消费数(Total Lag)。 消费组详情页面 查看消费组队列详情页 单击队列名称，即可进入详情页面，查看消费组消费在队列中每个分区的消费状态。包括分区编号(Partition)，分区消息数(LogSize)，分区消费进度(Consumer Offset)，分区剩余可消费数(Lag)，最近消费该分区的消费者(Consumer Instance Owner)。 消费组队列详情页面

场景描述 RocketMQ中的Topic一旦创建后，通常是不允许直接修改的。因为Topic的配置信息会对消息的发送和消费产生影响，直接修改Topic可能导致消息的发送和消费出现问题。 然而，有时候可能会遇到需要修改Topic配置的场景，以下是一些可能的场景描述： 扩展Topic的分区数量：当Topic的消息量增加，原有的分区数量可能无法满足需求时，可以考虑扩展Topic的分区数量。通过修改Topic的配置，增加分区数量，可以提高消息的并发处理能力和负载均衡性能。 修改Topic的生产模式，可能会对消息的发送和消费产生影响，生产模式决定了消息发送的方式和策略，直接修改可能会导致消息发送和消费的异常。 修改Topic的读写权限，需要考虑到消费者和生产者的配置，以确保它们能够正确地读写Topic。 修改Topic备注，用户按照业务需要修改注意备注。 需要注意的是，修改Topic的配置可能会对消息的发送和消费产生影响，因此在进行修改之前，需要谨慎评估和测试，确保不会对现有的消息系统造成不可逆的影响。在实际操作中，建议在创建Topic时就根据业务需求进行充分的规划和配置，避免频繁修改Topic的配置。 操作步骤 1、进入Topic管理菜单，在Topic列表点击【编辑】按钮，进入编辑Topic窗口。 2、Topic修改时，不能修改集群、broker、topic名称；可以修改分区数、读写权限、备注；

本节介绍了分布式消息服务RabbitMQ产品常见的名词解释。 Vhost 虚拟主机（Virtual Host），类似于Namespace命名空间的概念，逻辑隔离，每个用户里可以创建多个Vhost，每个Vhost可以创建若干个Exchange和Queue。 Queue 消息队列，每个消息都会被投入到一个或者多个Queue里。 Producer 消息生产者，即投递消息的程序。 Consumer 消息消费者，即接受消息的程序。 Connection TCP 连接，Producer 或 Consumer 与消息队列间的物理 TCP 连接。 Connection将应用与分布式消息服务RabbitMQ连接在一起。Connection会执行认证、IP解析、路由等底层网络任务。应用与分布式消息服务RabbitMQ建立Connection需要多个TCP报文交互，因而会消耗较多的网络资源和分布式消息服务RabbitMQ资源。大量的Connection会对分布式消息服务RabbitMQ造成巨大压力，甚至触发分布式消息服务RabbitMQ SYN洪水攻击防护，导致分布式消息服务RabbitMQ无响应，进而影响业务。 Channel 在客户端的每个物理TCP连接里，可建立多个Channel，每个Channel代表一个会话任务。 Channel是物理TCP连接中的虚拟连接。当应用通过Connection与分布式消息服务RabbitMQ建立连接后，所有的AMQP协议操作（例如创建队列、发送消息、接收消息等）都会通过Connection中的Channel完成。Channel可以复用Connection，即一个Connection下可以建立多个Channel。Channel不能脱离Connection独立存在，而必须存活在Connection中。当某个Connection断开时，该Connection下的所有Channel都会断开。当大量应用需要与分布式消息服务RabbitMQ建立多个连接时，建议您使用Channel来复用Connection，从而减少网络资源和分布式消息服务RabbitMQ资源消耗。 Connection和Channel的使用建议 保持Connection长连接，请勿频繁开启或关闭Connection。如果确实需要频繁开启或关闭连接，请使用Channel。 一个进程对应一个Connection，一个进程中的多个线程则分别对应一个Connection中的多个Channel。 Producer和Consumer分别使用不同的Connection进行消息发送和消费。

本文主要介绍消息队列 Kafka 发布者的最佳实践，从而帮助您更好的使用该产品。 文中的最佳实践基于消息队列 Kafka 的 Java 客户端；对于其它语言的客户端，其基本概念与思想是通用的，但实现细节可能有差异，仅供参考。 Kafka 发送示例代码片段 Key 和 Value Kafka 0.10.0.0 的消息字段只有两个：Key 和 Value。Key 是消息的标识，Value 即消息内容。为了便于追踪，重要消息最好都设置一个唯一的 Key。通过 Key 追踪某消息，打印发送日志和消费日志，了解该消息的发送和消费情况。 失败重试 在分布式环境下，由于网络等原因，偶尔的发送失败是常见的。导致这种失败的原因有可能是消息已经发送成功，但是 Ack 失败，也有可能是确实没发送成功。 消息队列 Kafka 是 VIP 网络架构，会主动掐掉空闲连接（30 秒没活动），也就是说，不是一直活跃的客户端会经常收到 “connection rest by peer” 这样的错误，因此建议都考虑重试消息发送。 异步发送 发送接口是异步的；如果你想得到发送的结果，可以调用metadataFuture.get(timeout, TimeUnit.MILLISECONDS)。 线程安全 Producer 是线程安全的，且可以往任何 Topic 发送消息。通常情况下，一个应用对应一个 Producer 就足够了。 Acks Acks的说明如下： acks0，表示无需服务端的 Response，性能较高，丢数据风险较大； acks1，服务端主节点写成功即返回 Response，性能中等，丢数据风险中等，主节点宕机可能导致数据丢失； acksall，服务端主节点写成功，且备节点同步成功，才返回 Response，性能较差，数据较为安全，主节点和备节点都宕机才会导致数据丢失。 一般建议选择 acks1，重要的服务可以设置 acksall。

消息超过老化时间，消息仍存在的原因 问题现象： 消息超过设置的老化时间（如果Topic已经设置了老化时间，此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时，“配置参数”中的log.retention.hours值才会对此Topic生效。），消息仍存在。 可能原因1： Topic的每个分区都是由多个大小相同的segment文件组成，每个segment文件的大小为500MB，当segment文件存储的消息大小到达500MB后，才会新建下一个segment文件。Kafka删除消息是删除segment文件，而不是删除一条消息。Kafka要求至少保留一个segment文件用来存储消息，如果正在使用的segment文件中包含超过老化时间的消息，由于此时segment文件不会被删除，所以超过老化时间的消息也不会被删除。 处理方法： 等待segment文件被使用完，或者删除超过老化时间的消息所在的Topic。 可能原因2： Topic中存在一条create time为未来时间的消息（例如当前时间为1月1日，create time设置成了2月1日），此消息在72小时后，并不会被老化，导致在此消息后创建的其他消息都不会被老化。 处理方法： 删除create time为未来时间的消息所在的Topic。 Kafka实例是否支持延迟消息？ 不支持延迟消息。 如何查看堆积消息数？ 通过以下任意一种方法，查看堆积消息数。 在Kafka控制台的“消费组管理”页面，单击待查看堆积消息的消费组名称，进入消费组详情页。在“消费进度”页签，查看消费组中每个Topic的总堆积数。具体步骤，请参考查询消费组信息。 在Kafka控制台的“监控”页面的“消费组”页签中，“消费组”选择待查看堆积消息数的消费组名称，“队列”选择“全部队列”，“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤，请参考查看监控数据。 在云监控页面的“消费组”页签中，“消费组”选择待查看堆积消息数的消费组名称，“队列”选择“全部队列”，“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤，请参考查看监控数据。 在Kafka客户端，在“/{命令行工具所在目录}/kafka{version}/bin/”目录下，通过 kafkaconsumergroups.sh bootstrapserver {kafka连接地址} describe group {消费组} 命令查看消费组中每个Topic的堆积消息数。“LAG”表示每个Topic的总堆积数。 图 查看每个Topic的总堆积数 说明 如果Kafka实例开启SASL认证，则以上命令还需要增加SASL认证的“consumer.properties”配置文件参数： commandconfig {SASL认证的consumer.properties配置文件} ，“consumer.properties”配置文件参考开启SASL认证的Kafka命令行连接说明。

本页面主要介绍分布式消息服务RocketMQ对接的云审计服务使用和查看方法。 操作场景 本服务现已对接天翼云云审计服务，云审计服务提供对各种云资源操作的记录和查询功能，用于支撑合规审计、安全分析、操作追踪和问题定位等场景，同时提供事件跟踪功能，将操作日志转储至对象存储实现永久保存。 云审计可提供的功能服务具体如下： ● 记录审计日志：支持用户通过管理控制台或API接口发起的操作，以及各服务内部自触发的操作。 ● 审计日志查询：支持在管理控制台对7天内操作记录按照事件类型、事件来源、资源类型、筛选类型、操作用户和事件级别等多个维度进行组合查询。 使用限制 ● 云审计服务本身免费，包括时间记录以及7天内时间的存储和检索。 ● 用户通过云审计能查询到多久前的操作事件：7天。 ● 用户操作后多久可以通过云审计查询到数据：5分钟。 ● 其它限制请参考使用限制云审计。 操作步骤 1. 开通云审计服务。 参见开通云审计服务云审计。 2. 查看云审计事件。 参见查看审计事件云审计。 3. 在事件列表中，选择事件来源为“容器与中间件”，资源类型选择“分布式消息服务RocketMQ”，上方时间选择需要筛选的时间段。点击查询即可。 4. 在审计事件右侧点击详情，可以看到更详细的事件信息。 更多云审计相关使用说明和常见问题请参考用户指南、常见问题。

topicconfigs]( " "))。 图中⑤区域表示队列监控数据统计。 图中⑥区域表示队列分区信息，包括分区消息数(Latest Offset)，分区leader(Leader)，副本列表(Replicas)，同步副本列表(In Sync Replicas)。 图 队列详情页 6.查看消费组列表 导航栏中单击 Consumers ，即可查看当前集群中的消费组列表。 说明 只显示14天内有消费记录的消费组。 图 集群的消费组列表 7.查看消费组详情页 单击消费组名称可进入消费组详情页面，展示消费组消费的所有队列列表以及每个队列的可消费数（Total Lag）。 图 消费组详情页面 8.查看消费组队列详情页 单击队列名称，即可进入详情页面，查看消费组消费在队列中每个分区的消费状态。包括分区编号（Partition）、分区消息数（LogSize）、分区消费进度（Consumer Offset）、分区剩余可消费数（Lag）和最近消费该分区的消费者（Consumer Instance Owner）。 图 消费组队列详情页面

本文主要介绍消息队列 Kafka 通过SSL接入的最佳实践，从而帮助您更好的使用该产品。 文中的最佳实践基于消息队列 Kafka 的 Java 客户端；对于其它语言的客户端，其基本概念与思想是通用的，但实现细节可能有差异，仅供参考。 背景 云消息队列 Kafka 版实例如果选择SASLSSL接入时，可能会出现性能较差的情况。可以通过在客户端指定密码套件的方式，手动选择性能和安全性都较高的套件进行TLS通讯。 SSL握手时客户端发送Hello Client 并带上客户端支持的密码套件，服务端收到握手请求后，获取客户端带来的密码套件和服务端支持的密码套件取交集。密码套件加载顺序受客户端jdk版本影响，不同jdk版本，密码套件顺序不一样，可能会导致性能和安全性等无法保证。因此为了保证性能，SSL连接时客户端可以指定密码套件。 推荐的性能和安全性较高的密码套件 TLSECDHERSAWITHAES256GCMSHA384 TLSECDHERSAWITHAES128GCMSHA256 步骤 1.先按照SASLSSL协议接入Kafka，SASLSSL接入可参考文档 SASLSSL接入点接入 2.在此基础上增加 ssl.cipher.suites 配置 客户端关键参数 java Properties props new Properties(); props.put(ProducerConfig.BOOTSTRAPSERVERSCONFIG, BROKERADDR); props.put(ProducerConfig.VALUESERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.KEYSERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(CommonClientConfigs.SECURITYPROTOCOLCONFIG, "SASLSSL"); props.put("sasl.mechanism", "SCRAMSHA512"); props.put(SaslConfigs.SASLJAASCONFIG, "org.apache.kafka.common.security.scram.ScramLoginModule required username"testuser" password"f6eca4dbc78df78d63fba980e448185f";");//注：上面的密码f6eca4dbc78df78d63fba980e448185f，为用户管理里面创建用户时填入的密码进行md5的结果，md5取32位小写 props.put("ssl.truststore.location","/kafka/client.truststore.jks"); props.put("ssl.truststore.password","sJses2tin1@23"); props.put("ssl.endpoint.identification.algorithm",""); props.put("ssl.cipher.suites","TLSECDHERSAWITHAES256GCMSHA384,TLSECDHERSAWITHAES128GCMSHA256");//密码套件支持多个，用半角逗号分开

介绍分布式消息服务RabbitMQ虚拟主机权限管理内容。 场景描述 在RabbitMQ中，虚拟主机（Virtual Hosts, vhosts）是一种逻辑隔离机制，允许单个 RabbitMQ 实例划分为多个独立的环境。每个虚拟主机都有自己的交换机、队列、绑定和权限设置。虚拟主机的用户权限管理，支持对每个用户配置三种权限，分别是配置权限、写权限、读权限，用户在未配置这三种权限之前，无法访问对应的虚拟主机。三个权限的详情如下： 配置权限：允许用户创建、修改或删除交换器（Exchange）、队列（Queue）和绑定关系。 写权限：允许用户向交换器发布消息。 读权限：允许用户消费队列中的消息或获取队列状态。 权限配置 在RabbitMQ中，虚拟主机的用户权限配置，采用的是正则表达式匹配方式， 只有满足正则表达式的资源才有权限。比如配置写权限为："."，表示该用户可以向虚拟主机下全部的交换器发布消息。配置写权限为："^$”，表示该用户不允许向任何交换器发布消息。配置写权限为："^exchange."，表示该用户可以向虚拟主机下以"exchange"开头的交换器发布消息。 最佳实践 1. 登录管理控制台。 2. 进入RabbitMQ管理控制台。 3. 在实例列表页在操作列，目标实例行点击“管理”。 4. 进入具体的实例管理页面，点击Vhost管理，在vhost列表页，针对指定的vhost，点击vhost进入具体的权限管理页： 5. 在具体的权限管理页，点击新建，选择指定用户，配置权限为"."、"."、"."，则该用户拥有对虚拟主机下全部资源的配置权限、写权限和读权限： 6. 点击权限列表的操作列的“修改”或“删除”按钮，可以修改或删除对应用户的权限：

专属云Kafka的产品服务与公有云Kafka的产品规格保持一致，由两种服务资源组成，队列规格、队列存储。 其中队列计算规格按消息队列基准带宽分为4种分别是：100MB/s、300MB/s、600MB/s、1200MB/s； 存储类型分2种，分别如下：高I/O、超高I/O。

消息可以批量生产和消费 为提高消息发送和消息消费效率，推荐使用批量消息发送和消费。通常，默认消息消费为批量消费，而消息发送尽可能采用批量发送。同时批量方式可有效减少API调用次数，减少服务使用费用。 如下面两张示意图对比所示，消息批量生产与消费，可以减少API调用次数，节约资源。 图 消息批量生产（发送）与消费 说明 批量发送消息时，单次不能超过10条消息，总大小不能超过512KB。 批量生产（发送）消息可以灵活使用，在消息并发多的时候，批量发送，并发少时，单条发送。这样能够在减少调用次数的同时保证消息发送的实时性。 图 消息逐条生产（发送）与消费 此外，批量消费消息时，消费者应按照接收的顺序对消息进行处理、确认，当对某一条消息处理失败时，不再需要继续处理本批消息中的后续消息，直接对已正确处理的消息进行确认即可。 巧用消费组协助运维 用户使用DMS服务作为消息管理系统，查看队列的消息内容对于定位问题与调试服务是至关重要的。 当消息的生产和消费过程中遇到疑难问题时，通过创建不同消费组可以帮助定位分析问题或调试服务对接。用户可以创建一个新的消费组，对队列中的消息进行消费并分析消费过程，这样不会影响其他服务对消息的处理。

本文主要介绍日志收集系统Flume接入Kafka。 最佳实践概述 场景描述 使用Flume+Kafka来完成实时流式日志处理，后面再连接上Storm/Spark Streaming等流式实时处理技术，从而完成日志实时解析的目标。如果Flume直接对接实时计算框架，当数据采集速度大于数据处理速度，很容易发生数据堆积或者数据丢失，而kafka可以当做一个消息缓存队列，可以把它理解为一个数据库，可以存放一段时间的数据。 因此数据从数据源（ HTTP、Log 文件、JMS、监听端口数据等）到flume再到Kafka进行消息缓存，数据一方面可以同步到HDFS做离线计算，另一方面可以做实时计算，可实现数据多分发。 技术架构图 暂无。 方案优势 把数据存储到 HDFS 或者 HBase 等下游存储模块或者计算模块时需要考虑各种复杂的场景，例如并发写入的量以及系统承载压力、网络延迟等问题。Flume 作为灵活的分布式系统具有多种接口，同时提供可定制化的管道。在生产处理环节中，当生产与处理速度不一致时，Kafka 可以充当缓存角色。Kafka 拥有 partition 结构以及采用 append 追加数据，使 Kafka 具有优秀的吞吐能力；同时其拥有 replication 结构，使 Kafka 具有很高的容错性。所以将 Flume 和 Kafka 结合起来，可以满足生产环境中绝大多数要求。 前提条件 需已购买Kafka实例、创建Topic，并且已成功消费消息。 确认准备 Apache Flume环境（1.6.0以上版本兼容 Kafka）。 确认 Kafka 的 Source、 Sink 组件已经在 Flume 中。 资源规划 本实践方案内容仅涉及Kafka专享版实例。 分布式消息服务 Figure 1 分布式消息服务 资源类型 配置项 配置明细 说明 :::: 企业中间件 DMS Kafka专享实例 需已购买kafka专享实例，创建好Topic，并成功消费消息。 方案正文