本文主要介绍应用场景。 Kafka作为一款热门的消息队列中间件，具备高效可靠的消息异步传递机制，主要用于不同系统间的数据交流和传递，在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 异步通信 将业务中属于非核心或不重要的流程部分，使用消息异步通知的方式发给目标系统，这样主业务流程无需同步等待其他系统的处理结果，从而达到系统快速响应的目的。 如网站的用户注册场景，在用户注册成功后，还需要发送注册邮件与注册短信，这两个流程使用Kafka消息服务通知邮件发送系统与短信发送系统，从而提升注册流程的响应速度。 图 串行发送注册邮件与短信流程 图 借助消息队列异步发送注册邮件与短信流程 错峰流控与流量削峰 在电子商务系统或大型网站中，上下游系统处理能力存在差异，处理能力高的上游系统的突发流量可能会对处理能力低的某些下游系统造成冲击，需要提高系统的可用性的同时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时，可以通过队列服务堆积缓存订单等信息，在下游系统有能力处理消息的时候再处理，避免下游订阅系统因突发流量崩溃。消息队列提供亿级消息堆积能力，3天的默认保留时长，消息消费系统可以错峰进行消息处理。 另外，在商品秒杀、抢购等流量短时间内暴增场景中，为了防止后端应用被压垮，可在前后端系统间使用Kafka消息队列传递请求。 图 消息队列应对秒杀大流量场景

视频 天翼云媒体存储服务等级协议 容器与企业中间件 云容器引擎服务等级协议 微服务云应用平台服务等级协议 分布式消息服务RabbitMQ服务等级协议 分布式消息服务RocketMQ服务等级协议 分布式消息服务Kafka服务等级协议 天翼云软件开发生产线CodeArts服务等级协议 天翼云应用性能监控APM服务等级协议 天翼云容器安全卫士服务等级协议 天翼云应用服务网格服务等级协议 天翼云微服务引擎服务等级协议 天翼云容器镜像服务等级协议 天翼云函数计算服务等级协议 安全 Web应用防火墙（边缘云版）服务等级协议 天翼云高防（边缘云版）服务等级协议 天翼云网站安全监测服务等级协议 天翼云爬虫管理平台服务等级协议 天翼云容器安全平台服务等级协议 天翼云托管检测与响应服务（原生版）服务等级协议 天翼云密评专区服务等级协议 天翼云日志审计服务等级协议 天翼云证书管理服务等级协议 天翼云云堡垒机服务等级协议 天翼云密钥管理服务等级协议 天翼云云安全中心服务等级协议 天翼云Web应用防火墙（原生版）服务等级协议 天翼云云防火墙（原生版）服务等级协议 天翼云Web应用防火墙（独享版）服务等级协议 天翼云漏洞扫描（专业版）服务等级协议 天翼云企业主机安全服务等级协议 天翼云态势感知（专业版）服务等级协议 天翼云云防火墙服务等级协议 天翼云运维安全中心（云堡垒机）服务等级协议

参数 参数类型 说明 示例 下级对象 queueId Integer 队列ID。 0 storeSize Integer 存储大小，单位B 280 queueOffset Integer 队列偏移量。 0 sysFlag Integer 系统标记。 0 bornTimestamp Long 消息生成时间戳。 1661947215767 bornHost String 消息生成主机地址。 192.168.71.1:64222 storeTimestamp Long 消息存储时间戳。 1661947567107 storeHost String 消息存储主机地址。 192.168.71.188:8422 msgId String 消息ID。 C0A847BC000020E600000000000794D8 commitLogOffset Long 提交日志偏移量。 496856 bodyCRC Integer 消息体CRC校验值。 1335308324 reconsumeTimes Integer 重试次数。 4 preparedTransactionOffset Long 预处理事务偏移量。 0 topic String 主题名称。 %DLQ%group1 properties Object 消息属性。 properties messageBody String 消息体内容。 GZ2BfSrWuAinKs 表 properties

参数 参数类型 说明 示例 下级对象 queueId Integer 队列ID 0 storeSize Integer 存储大小,单位B 280 queueOffset Integer 队列偏移量 0 sysFlag Integer 系统标记 0 bornTimestamp Long 消息生成时间戳 1661947215767 bornHost String 消息生成主机地址 192.168.71.1:64222 storeTimestamp Long 消息存储时间戳 1661947567107 storeHost String 消息存储主机地址 192.168.71.188:8422 msgId String 消息ID C0A847BC000020E600000000000794D8 commitLogOffset Long 提交日志偏移量 496856 bodyCRC Integer 消息体CRC校验值 1335308324 reconsumeTimes Integer 重试次数 4 preparedTransactionOffset Long 预处理事务偏移量 0 topic String 主题名称 %DLQ%group1 properties Object 消息属性 properties messageBody String 消息体内容 GZ2BfSrWuAinKs 表 properties

本文主要介绍产品优势。 分布式消息服务Kafka完全兼容开源社区版本，旨在为用户提供便捷高效的消息队列。业务无需改动即可快速迁移上云，为您节省维护和使用成本。 一键式部署，免去集群搭建烦恼 您只需要在实例管理界面选好规格配置，提交订单。后台将自动创建部署完成一整套Kafka实例。 兼容开源，业务零改动迁移上云 兼容社区版Kafka的API，具备原生Kafka的所有消息处理特性。 业务系统基于开源的Kafka进行开发，只需加入少量认证安全配置，即可使用分布式消息服务Kafka，做到无缝迁移。 说明 Kafka实例兼容开源社区Kafka 1.1.0、2.3.0和2.7版本。在客户端使用上，推荐使用和服务端版本一致的版本。 安全保证 独有的安全加固体系，提供业务操作云端审计，消息存储加密等有效安全措施。 在网络通信方面，除了提供SASL（Simple Authentication and Security Layer）认证，还借助虚拟私有云（VPC）和安全组等加强网络访问控制。 数据高可靠 Kafka实例支持消息持久化，多副本存储机制。副本间消息同步、异步复制，数据同步或异步落盘多种方式供您自由选择。 集群架构与跨AZ部署，服务高可用 Kafka后台为多集群部署，支持故障自动迁移和容错，保证业务的可靠运行。 Kafka实例支持跨AZ部署，代理部署在不同的AZ，进一步保障服务高可用。不同AZ之间基于Kafka ISR（insync replica）进行数据同步，Topic需要选择数据多副本并且将不同副本分布到不同的ISR上，在ISR正常同步状态下，故障RPO（Recovery Point Objective）趋近于0。 无忧运维 云服务平台提供一整套完整的监控告警等运维服务，故障自动发现和告警，避免724小时人工值守。Kafka实例自动上报相关监控指标，如分区数、主题数、堆积消息数等，并支持配置监控数据发送规则，您可以在第一时间通过短信、邮件等获得业务消息队列的运行使用和负载状态。 海量消息堆积与弹性扩容 内建的分布式集群技术，使得服务具有高度扩展性。分区数可配置多达100个，存储空间弹性扩展，保证在高并发、高性能和大规模场景下的访问能力，轻松实现百亿级消息的堆积和访问能力。 多规格灵活选择 Kafka实例的带宽与存储资源可灵活配置，并且自定义Topic的分区数、副本数。

Kafka作为一款热门的消息队列中间件，具备高效可靠的消息异步传递机制，主要用于不同系统间的数据交流和传递，在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 异步通信 将业务中属于非核心或不重要的流程部分，使用消息异步通知的方式发给目标系统，这样主业务流程无需同步等待其他系统的处理结果，从而达到系统快速响应的目的。 如网站的用户注册场景，在用户注册成功后，还需要发送注册邮件与注册短信，这两个流程使用Kafka消息服务通知邮件发送系统与短信发送系统，从而提升注册流程的响应速度。 图 串行发送注册邮件与短信流程 图 借助消息队列异步发送注册邮件与短信流程 错峰流控与流量削峰 在电子商务系统或大型网站中，上下游系统处理能力存在差异，处理能力高的上游系统的突发流量可能会对处理能力低的某些下游系统造成冲击，需要提高系统的可用性的同时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时，可以通过队列服务堆积缓存订单等信息，在下游系统有能力处理消息的时候再处理，避免下游订阅系统因突发流量崩溃。消息队列提供亿级消息堆积能力，3天的默认保留时长，消息消费系统可以错峰进行消息处理。 另外，在商品秒杀、抢购等流量短时间内暴增场景中，为了防止后端应用被压垮，可在前后端系统间使用Kafka消息队列传递请求。 图 消息队列应对秒杀大流量场景 日志同步 在大型业务系统设计中，为了快速定位问题，全链路追踪日志，以及故障及时预警监控，通常需要将各系统应用的日志集中分析处理。 Kafka设计初衷就是为了应对大量日志传输场景，应用通过可靠异步方式将日志消息同步到消息服务，再通过其他组件对日志做实时或离线分析，也可用于关键日志信息收集进行应用监控。 日志同步主要有三个关键部分：日志采集客户端，Kafka消息队列以及后端的日志处理应用。 1. 日志采集客户端，负责用户各类应用服务的日志数据采集，以消息方式将日志“批量”“异步”发送Kafka客户端。 Kafka客户端批量提交和压缩消息，对应用服务的性能影响非常小。 2. Kafka将日志存储在消息文件中，提供持久化。 3. 日志处理应用，如Logstash，订阅并消费Kafka中的日志消息，最终供文件搜索服务检索日志，或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。 图 日志同步示意图 上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具，Hadoop表示大数据分析系统。

本文主要介绍DMS for Kafka 消费者poll的优化。 场景介绍 在DMS提供的原生Kafka SDK中，消费者可以自定义拉取消息的时长，如果需要长时间的拉取消息，只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力，特别是分区数较多且每个消费者开启多个线程的情况下。 如图所示，Kafka队列含有多个分区，消费组中有多个消费者同时进行消费，每个线程均为长连接。当队列中消息较少或者没有时，连接不断开，所有消费者不间断地拉取消息，这样造成了一定的资源浪费。 图 Kafka消费者多线程消费模式 优化方案 在开了多个线程同时访问的情况下，如果队列里已经没有消息了，其实不需要所有的线程都在poll，只需要有一个线程poll各分区的消息就足够了，当在polling的线程发现队列中有消息，可以唤醒其他线程一起消费消息，以达到快速响应的目的。如图所示。 这种方案适用于对消费消息的实时性要求不高的应用场景。如果要求准实时消费消息，则建议保持所有消费者处于活跃状态。 图 优化后的多线程消费方案 说明 消费者（Consumer）和消息分区（Partition）并不强制数量相等，Kafka的poll(long)方法帮助实现获取消息、分区平衡、消费者与Kafka broker节点间的心跳检测等功能。 因此在对消费消息的实时性要求不高场景下，当消息数量不多的时候，可以选择让一部分消费者处于wait状态。

ssl生产消息 php CERTSPATH . '/cacertificate.pem', 'localcert' > CERTSPATH . '/clientrabbitmqcertificate.pem', 'localpk' > CERTSPATH . '/clientrabbitmqkey.pem', 'verifypeer' > true, 'verifypeername' > false, ); $connection new AMQPSSLConnection("10.10.33.196", 5671, "YOUR USERNAME", "YOUR PASSWORD", "/" , $sslOptions); $channel $connection>channel(); $channel>queuedeclare($queue, false, true, false, false); $channel>exchangedeclare($exchange, AMQPExchangeType::DIRECT, false, true, false); $channel>queuebind($queue, $exchange); $channel>queuedeclare($queue, false, true, false, false); $channel>exchangedeclare($exchange, AMQPExchangeType::DIRECT, false, true, false); $channel>queuebind($queue, $exchange); $messageBody implode(' ', arrayslice($argv, 1)); $message new AMQPMessage($messageBody, array('contenttype' > 'text/plain', 'deliverymode' > AMQPMessage::DELIVERYMODEPERSISTENT)); $channel>basicpublish($message, $exchange); $channel>close(); $connection>close(); ssl消费消息 php CERTSPATH . '/cacertificate.pem', 'localcert' > CERTSPATH . '/clientrabbitmqcertificate.pem', 'localpk' > CERTSPATH . '/clientrabbitmqkey.pem', 'verifypeer' > false, 'verifypeername' > false, ); $connection new AMQPSSLConnection("10.10.33.196", 5671, "YOUR USERNAME", "YOUR PASSWORD", "/" , $sslOptions); $channel $connection>channel(); $channel>queuedeclare($queue, false, true, false, false); $channel>exchangedeclare($exchange, AMQPExchangeType::DIRECT, false, true, false); $channel>queuebind($queue, $exchange); function processmessage($message) { echo "nn"; echo $message>body; echo "nn"; $message>ack(); // Send a message with the string "quit" to cancel the consumer. if ($message>body 'quit') { $message>getChannel()>basiccancel($message>getConsumerTag()); } } $channel>basicconsume($queue, $consumerTag, false, false, false, false, 'processmessage'); function shutdown($channel, $connection) { $channel>close(); $connection>close(); } registershutdownfunction('shutdown', $channel, $connection); $channel>consume();

参数 是否必填 参数类型 说明 示例 下级对象 prodInstId 是 String 实例id d7ed2dbad63843f4bcb3b9dc0955a617 brokerNameList 是 Array of Strings 关联的Broker节点名称列表，需填写实际部署的Broker节点名称，不可为空数组 ["broker1"] writeQueueNums 是 Integer 主题的写队列数量，用于控制消息写入的并发能力，需为正整数 4 readQueueNums 是 Integer 主题的读队列数量，需与写队列数量保持一致，确保消息消费的负载均衡，需为正整数 4 order 是 Boolean 标识主题是否为顺序消息队列，true表示顺序队列，false表示普通队列 false perm 是 Integer 主题的权限控制值，固定可选值为2（只读）、4（只写）、6（读写），默认推荐6 6 allowdConsumerGroups 是 Array of Strings 允许订阅该主题的消费者组列表，空数组表示不限制消费者组订阅 [] topicName 是 String 主题名称，需符合MQ主题命名规范（字母、数字、下划线组合，长度164字符），不可重复 test1

参数 参数类型 说明 示例 下级对象 queueId Integer 队列ID。 3 storeSize Integer 存储大小。 485 queueOffset Integer 队列偏移量。 7 sysFlag Integer 系统标记。 0 bornTimestamp Long 消息生成时间戳。 1661857434591 bornHost String 消息生成主机地址。 192.168.71.1:55492 storeTimestamp Long 消息存储时间戳。 1661857434599 storeHost String 消息存储主机地址。 192.168.71.188:8422 msgId String 消息ID。 C0A847BC000020E600000000000045FE commitLogOffset Long 提交日志偏移量。 17918 bodyCRC Integer 消息体CRC校验值。 979262990 reconsumeTimes Integer 重试次数。 0 preparedTransactionOffset Long 预处理事务偏移量。 0 topic String 主题名称。 test properties Map of String 消息属性。 properties messageBody String 消息体内容。 status String 消息状态。 null

参数 参数类型 说明 示例 下级对象 clientid String 设备ID keepalive Integer 心跳时间 mqueuelen Integer 队列消息长度 maxinflight Integer 暂无描述 createdat String 创建时间 connectedat String 连接时间 sendmsg Integer 发送消息数量 mqueuedropped Integer 队列丢弃消息数量 recvmsg Integer 接收消息数量 ipaddress String ip port Integer 端口 username String 用户名 cleanstart Boolean 持久化会话

Broker信息 展示该集群具体broker信息，包括该broker的详细指标，如下图： 其中关键指标为： commitLogMaxOffset为当前brokercommitLog最大的物理偏移。通过commitLogMaxOffset，RocketMQ可以追踪和管理消息的存储位置。当有新的消息写入时，RocketMQ会将消息追加到Commit Log文件的末尾，并更新commitLogMaxOffset的值。消费者在消费消息时，可以根据commitLogMaxOffset来确定从哪个偏移量开始消费消息。 consumeQueueDiskRatio为消费队列存储的文件占用的磁盘空间比例。通过配置consumeQueueDiskRatio，可以在保证消费队列的性能的同时，控制磁盘空间的占用。较小的consumeQueueDiskRatio值可以提高消费队列的读写性能，但会增加内存的使用。较大的consumeQueueDiskRatio值可以降低内存的使用，但可能会降低消费队列的读写性能。根据实际需求，可以根据系统的内存和磁盘资源情况来调整consumeQueueDiskRatio的值，以获得更好的性能和资源利用率。 putMessageDistributeTime为消息写入commitLog的耗时分布。通过配置putMessageDistributeTime，可以了解消息从发送到最终被消费的整体时间。这对于监控和优化消息传递的性能和延迟非常有用。注意，putMessageDistributeTime是一个估计值，实际的消息传递时间可能会受到网络状况、消费者处理能力等多种因素的影响。因此，在配置putMessageDistributeTime时，需要根据实际情况进行调整，并结合其他指标进行综合分析。

topicconfigs)。 − 图中⑤区域表示队列监控数据统计。 − 图中⑥区域表示队列分区信息，包括分区消息数(Latest Offset)，分区leader(Leader)，副本列表(Replicas)，同步副本列表(In Sync Replicas)。 队列详情页 查看消费组列表 导航栏中单击Consumers页签，即可查看当前集群中的消费组列表。 集群的消费组列表 查看消费组详情页 单击消费组名称可进入消费组详情页面，展示消费组消费的所有队列列表以及每个队列的可消费数(Total Lag)。 消费组详情页面 查看消费组队列详情页 单击队列名称，即可进入详情页面，查看消费组消费在队列中每个分区的消费状态。包括分区编号(Partition)，分区消息数(LogSize)，分区消费进度(Consumer Offset)，分区剩余可消费数(Lag)，最近消费该分区的消费者(Consumer Instance Owner)。 消费组队列详情页面

说明 分布式消息服务RocketMQ新资费涉及的产品实例支持4.9版本引擎，支持X86和ARM计算CPU架构类型的计算增强型主机，提供集群和单机两种版本规格实例，集群版可选116代理数量，单机版默认为1节点。 目前在 华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3 资源池开放订购。 上述资源池实例新购和续订可享受1年83折，2年7折，3年5折优惠。 价格计算公式 分布式消息服务RocketMQ费用由实例费用和存储费用两部分组成，两者单价如下表所示，计费公式为： 实例费用实例规格单价 总节点数（NameServer集群固定3节点+代理数量 2节点），单机版总节点数量为1。 存储费用存储类型单价 代理节点数量（代理数量2节点） 单节点存储空间GB大小，单机版代理节点数量为1。 实例规格单价 Intel计算增强型 规格名称 实例单价（单个节点） 规格名称 按需标准价格(元/小时) 包月标准价格(元/月) rocketmq.2u4g.cluster 0.98 441 rocketmq.4u8g.cluster 2.24 1008 rocketmq.8u16g.cluster 4.86 2187 rocketmq.12u24g.cluster 7.38 3321 rocketmq.16u32g.cluster 9 4050 rocketmq.24u48g.cluster 15.12 6804 rocketmq.32u64g.cluster 20.16 9072 rocketmq.48u96g.cluster 30.24 13608 rocketmq.64u128g.cluster 40.32 18144

参数 参数类型 说明 示例 下级对象 brokerName String Broker名称 broker1 queueId Integer 队列ID 0 storeSize Integer 存储大小 1240 queueOffset Integer 队列偏移量 0 sysFlag Integer 系统标识 0 bornTimestamp Long 消息生成时间戳 1763433803612 bornHost String 消息生成主机地址及端口 192.168.1.138:63894 storeTimestamp Long 消息存储时间戳 1763433803618 storeHost String 消息存储主机地址及端口 192.168.1.140:9600 msgId String 消息唯一标识 C0A8018C00002580000000257833D8FF commitLogOffset Long 提交日志偏移量 160930453759 bodyCRC Integer 消息体CRC校验值 183478142 reconsumeTimes Integer 重新消费次数 0 preparedTransactionOffset Integer 预处理事务偏移量 0 topic String 消息主题 topicTest properties Object 消息属性集合 properties messageBody String 消息体内容 WebTestTools status String 消息状态 TOCONSUME messageBodyPath String 消息体路径 null bodySize Integer 消息体大小 1024 表 properties

使用Pull可以实现的所有场景，均可使用Push实现，并且更简单。 Push其实是长轮询的Pull（依然是由客户端发起），在客户端通过配置参数是可以实现流控的，并不会出现服务端的流量压垮客户端的情况。 Push封装了拉取消息，分发给消费线程的线程模型，非流控的情况下，由后台线程主动拉取消息，并缓存在本地，消费线程池有空闲线程时，分发给消费线程，在有堆积量的情况下，可以保证消费线程一直工作，性能更高（备注：Pull只提供了拉取消息的功能，并且何时去拉取，拉取时机，这些都需要应用去控制；分发给消费线程的逻辑需要应用封装，除了增加应用工作量外，还可能有不稳定、性能问题等）。 Push经过多个大型项目的长时间的使用(比如物联网，使用能台，多个试点省份)，更成熟稳定。 Push会自动订阅重试队列，不需要再次调用拉取重试队列的API来取得重试队列的消息（备注：Pull需要另外调用API拉取重试队列的消息）。 Pull是一种遗留的消费模式（兼容早期的API），新开发的应用，或者未上线的应用，都要求使用Push消费模式。

参数 参数类型 说明 示例 下级对象 topicName String 主题名称 topic001 readQueueNums Integer 读队列数量 4 writeQueueNums Integer 写队列数量 4 perm Integer 读写权限 2 6 topicFilterType String 主题过滤标志 topicSysFlag Integer 主题系统标识 0 表示非系统主题 1 系统内部主题 0 order Boolean 是否为顺序消息 false remark String 备注 clusterName String 集群名 brokerName String 集群名称 brokerId String 代理id 0 messageType String 消息类型 NORMAL普通消息 NORMAL

配置项 操作说明 示例 触发器类型 选择Kafka触发器。 Kafka触发器 名称 填写自定义的触发器名称。 kafkatrigger Kafka实例 选择已创建的Kafka实例。 Topic 选择已创建的Kafka实例的Topic。 Group ID • 快速创建 ：推荐方案。自动创建以GROUPFCTrigger{triggername}{uuid}命名的Group ID。 • 使用已有 ：选择Kafka实例已有的GroupID，请您注意不要与已有的业务混用GroupID，否则会影响已有的消息收发。 消费任务并发数 消费者的并发数量，有效取值范围为[1,20]，建议不超过Topic的分区数。该值同时影响投递到函数的并发数。 消费位点 选择消息的消费位点，即触发器从kafka消息队列开始拉取消息的位置。 • 最早位点 ：从最早位点开始消费。 • 最新位点 ：从最新位点开始消费。 最新位点 调用方式 选择函数调用方式。 • 同步调用 ：指触发器消费topic消息后投递到函数是同步调用，会等待函数响应后继续下一个消息投递。但消费任务并发数大于1时，多个消费者有可能会并发消费消息并投递，并发的情况视topic队列本身积存的消息而定。 • 异步调用 ：指触发器消费topic消息后投递到函数是异步调用，不会等待函数响应，可以快速消费事件。 同步调用 触发器启用状态 创建触发器后是否立即启用。默认选择开启，即创建触发器后立即启用触发器。 启用 推送配置 • 批量推送条数 ：批量推送的最大值，积压值达到后立刻推送，取值范围为[1,10000]。 • 批量推送间隔 ：批量推送的最大时间间隔，达到后立刻推送，单位秒，取值[0,15]。默认0无需等待，数据直接推送。 • 推送格式 ：函数收到的事件格式，详情请查阅触发器事件消息格式。 重试策略 消息推送函数失败后重试的策略，共两种： • 指数退避 ：指数退避重试，重试5次，重试周期为2,4,8,16,32（秒）。 • 线性退避 ：线性退避重试，重试5次，重试周期为1,2,3,4,5（秒）。 容错策略 当重试次数耗尽后仍然失败时的处理方式： • 允许容错 ：当异常发生并超过重试策略配置时直接丢弃。 • 禁止容错 ：当异常发生并超过重试策略配置时继续阻塞执行。 死信队列 当容错策略为：允许容错时，可以额外开启死信队列。当开启死信队列时且异常发生并超过重试策略配置时，消息会被投递到指定的消息队列里，当前只支持投递到kafka和rocketmq

本文主要介绍消息队列 Kafka 通过SSL接入的最佳实践，从而帮助您更好的使用该产品。 文中的最佳实践基于消息队列 Kafka 的 Java 客户端；对于其它语言的客户端，其基本概念与思想是通用的，但实现细节可能有差异，仅供参考。 背景 云消息队列 Kafka 版实例如果选择SASLSSL接入时，可能会出现性能较差的情况。可以通过在客户端指定密码套件的方式，手动选择性能和安全性都较高的套件进行TLS通讯。 SSL握手时客户端发送Hello Client 并带上客户端支持的密码套件，服务端收到握手请求后，获取客户端带来的密码套件和服务端支持的密码套件取交集。密码套件加载顺序受客户端jdk版本影响，不同jdk版本，密码套件顺序不一样，可能会导致性能和安全性等无法保证。因此为了保证性能，SSL连接时客户端可以指定密码套件。 推荐的性能和安全性较高的密码套件 TLSECDHERSAWITHAES256GCMSHA384 TLSECDHERSAWITHAES128GCMSHA256 步骤 1.先按照SASLSSL协议接入Kafka，SASLSSL接入可参考文档 SASLSSL接入点接入 2.在此基础上增加 ssl.cipher.suites 配置 客户端关键参数 java Properties props new Properties(); props.put(ProducerConfig.BOOTSTRAPSERVERSCONFIG, BROKERADDR); props.put(ProducerConfig.VALUESERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.KEYSERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(CommonClientConfigs.SECURITYPROTOCOLCONFIG, "SASLSSL"); props.put("sasl.mechanism", "SCRAMSHA512"); props.put(SaslConfigs.SASLJAASCONFIG, "org.apache.kafka.common.security.scram.ScramLoginModule required username"testuser" password"f6eca4dbc78df78d63fba980e448185f";");//注：上面的密码f6eca4dbc78df78d63fba980e448185f，为用户管理里面创建用户时填入的密码进行md5的结果，md5取32位小写 props.put("ssl.truststore.location","/kafka/client.truststore.jks"); props.put("ssl.truststore.password","sJses2tin1@23"); props.put("ssl.endpoint.identification.algorithm",""); props.put("ssl.cipher.suites","TLSECDHERSAWITHAES256GCMSHA384,TLSECDHERSAWITHAES128GCMSHA256");//密码套件支持多个，用半角逗号分开

专属队列 专属队列是指队列对应的资源为专属资源，空闲时不释放，即无论是否使用均保留资源的队列类型。专属队列可以保证提交作业时资源一定存在。 队列弹性扩缩容 DLI提供了队列弹性扩缩容的功能。用户在创建指定规格队列后，可根据需要进行弹性扩缩容。 根据业务情况，手动更改队列规格。具体操作请参考队列弹性扩缩容。 说明 新创建的队列需要运行作业后才可进行扩缩容。 队列弹性扩缩容定时任务 DLI提供了队列弹性扩缩容定时任务的功能。用户在创建队列后，可根据需要进行弹性扩缩容定时任务。 根据业务情况，设置队列自动扩缩容的时间，由系统定时触发队列扩缩容。具体操作请参考弹性扩缩容定时任务。 说明 新创建的队列需要运行作业后才可进行扩缩容。 队列自动扩缩容 Flink作业使用队列，DLI可根据作业大小自动触发扩缩容，用户无需进行操作。 说明 新创建的队列需要运行作业后才可进行扩缩容。 队列管理页面 队列管理主要包括如下功能： 队列权限管理 创建队列 删除队列 修改队列网段 队列弹性扩缩容 弹性扩缩容定时任务 测试地址连通性 创建消息通知主题 说明 DLI作业执行失败需要通过SMN发送通知消息，因此需要获得访问和使用SMN（消息通知服务）的SMN Administrator权限。 队列管理页面显示用户创建所有的队列和服务预置的default队列。队列列表默认按创建时间排列，创建时间最近的队列显示在最前端。 队列管理参数 参数 参数说明 名称 队列的名称。 类型 队列的类型。 SQL队列 通用队列 Spark队列（兼容老版本） 规格 队列大小，单位：CUs。 CUs是队列的计价单位。1CUs1Core 4GMem。不同规格的队列对应的计算能力不一样，规格越高计算能力越好。 实际CUs 当前队列实际大小值。 弹性扩缩容 定时扩缩容的目标CU值，或当前规格CU值的最大值和最小值。 用户名 队列所有者。 描述 创建队列时，对队列的描述。如果无描述，则显示“”。 操作 删除：删除所选队列。如果队列中有正在提交或者正在运行的作业，将不支持删除操作。 权限管理：查看队列对应的用户权限信息以及对其他用户授权。 更多 − 重启：强制重启队列。 说明 只有SQL队列有“重启”操作。 − 弹性扩缩容：可以根据需要选择“扩容”或“缩容”，目标值大小必须为16CU的整数倍。 − 弹性扩缩容定时任务：可以根据业务周期或使用情况，在不同的时间或周期内设置不同的队列大小，系统将定时自动进行“扩容”或“缩容”。目标值大小必须为16CU的整数倍。 − 修改网段：使用DLI增强型跨源时，DLI队列网段与数据源网段不能重合，可根据需要进行修改。 − 测试地址连通性：测试队列到指定地址是否可达，支持域名和ip，可指定端口。

触发器名称 调用方式 详细介绍 定时触发器 同步调用 按照指定的时间间隔触发工作流执行。 HTTP触发器 同步调用 当通过HTTP请求触发工作流时，工作流会根据请求参数执行。 Kafka触发器 同步/异步调用 当消息队列中出现新消息时，触发工作流执行。 RocketMQ触发器 同步/异步调用 当消息队列中出现新消息时，触发工作流执行。 云原生网关触发器 同步调用 当通过云原生网关触发工作流时，工作流会根据请求参数执行。

本文主要介绍消息队列 Kafka 发布者的最佳实践，从而帮助您更好的使用该产品。 文中的最佳实践基于消息队列 Kafka 的 Java 客户端；对于其它语言的客户端，其基本概念与思想是通用的，但实现细节可能有差异，仅供参考。 Kafka 发送示例代码片段 Key 和 Value Kafka 0.10.0.0 的消息字段只有两个：Key 和 Value。Key 是消息的标识，Value 即消息内容。为了便于追踪，重要消息最好都设置一个唯一的 Key。通过 Key 追踪某消息，打印发送日志和消费日志，了解该消息的发送和消费情况。 失败重试 在分布式环境下，由于网络等原因，偶尔的发送失败是常见的。导致这种失败的原因有可能是消息已经发送成功，但是 Ack 失败，也有可能是确实没发送成功。 消息队列 Kafka 是 VIP 网络架构，会主动掐掉空闲连接（30 秒没活动），也就是说，不是一直活跃的客户端会经常收到 “connection rest by peer” 这样的错误，因此建议都考虑重试消息发送。 异步发送 发送接口是异步的；如果你想得到发送的结果，可以调用metadataFuture.get(timeout, TimeUnit.MILLISECONDS)。 线程安全 Producer 是线程安全的，且可以往任何 Topic 发送消息。通常情况下，一个应用对应一个 Producer 就足够了。 Acks Acks的说明如下： acks0，表示无需服务端的 Response，性能较高，丢数据风险较大； acks1，服务端主节点写成功即返回 Response，性能中等，丢数据风险中等，主节点宕机可能导致数据丢失； acksall，服务端主节点写成功，且备节点同步成功，才返回 Response，性能较差，数据较为安全，主节点和备节点都宕机才会导致数据丢失。 一般建议选择 acks1，重要的服务可以设置 acksall。

介绍分布式消息服务RocketMQ的安全方案,包括支持TLS传输加密、权限控制、Topic资源访问权限控制等内容。 安全价值 RocketMQ的安全对用户有以下几个重要价值： 1. 保护数据安全：RocketMQ的安全机制可以保护消息的机密性和完整性，防止敏感数据泄露或被篡改。这对于处理包含个人信息、商业机密等敏感数据的应用程序非常重要。 2. 防止未经授权的访问：RocketMQ的访问控制功能可以限制对消息队列的访问权限，只有具有相应权限的用户才能发送和消费消息。这可以防止未经授权的用户访问和操作消息队列，保护系统的安全性。 3. 合规性要求：对于一些行业和法规要求较高的场景，如金融、医疗等，RocketMQ的安全特性可以帮助用户满足合规性要求，确保数据的安全和合规性。 4. 提供安全审计功能：RocketMQ的安全审计功能可以记录和追踪对消息队列的操作，包括发送、消费、订阅等。这可以帮助用户监控和检测潜在的安全风险，及时发现和应对安全事件。 5. 增强用户信任：通过提供安全性能和功能，RocketMQ可以增强用户对系统的信任感。用户可以放心地使用RocketMQ来处理重要的消息传输和处理任务，而不必担心数据的安全问题。 综上所述，RocketMQ的安全性对用户来说具有重要的价值，可以保护数据安全，防止未经授权的访问，满足合规性要求，提供安全审计功能，并增强用户对系统的信任感。

消息超过老化时间，消息仍存在的原因 问题现象： 消息超过设置的老化时间（如果Topic已经设置了老化时间，此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时，“配置参数”中的log.retention.hours值才会对此Topic生效。），消息仍存在。 可能原因1： Topic的每个分区都是由多个大小相同的segment文件组成，每个segment文件的大小为500MB，当segment文件存储的消息大小到达500MB后，才会新建下一个segment文件。Kafka删除消息是删除segment文件，而不是删除一条消息。Kafka要求至少保留一个segment文件用来存储消息，如果正在使用的segment文件中包含超过老化时间的消息，由于此时segment文件不会被删除，所以超过老化时间的消息也不会被删除。 处理方法： 等待segment文件被使用完，或者删除超过老化时间的消息所在的Topic。 可能原因2： Topic中存在一条create time为未来时间的消息（例如当前时间为1月1日，create time设置成了2月1日），此消息在72小时后，并不会被老化，导致在此消息后创建的其他消息都不会被老化。 处理方法： 删除create time为未来时间的消息所在的Topic。 Kafka实例是否支持延迟消息？ 不支持延迟消息。 如何查看堆积消息数？ 通过以下任意一种方法，查看堆积消息数。 在Kafka控制台的“消费组管理”页面，单击待查看堆积消息的消费组名称，进入消费组详情页。在“消费进度”页签，查看消费组中每个Topic的总堆积数。具体步骤，请参考查询消费组信息。 在Kafka控制台的“监控”页面的“消费组”页签中，“消费组”选择待查看堆积消息数的消费组名称，“队列”选择“全部队列”，“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤，请参考查看监控数据。 在云监控页面的“消费组”页签中，“消费组”选择待查看堆积消息数的消费组名称，“队列”选择“全部队列”，“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤，请参考查看监控数据。 在Kafka客户端，在“/{命令行工具所在目录}/kafka{version}/bin/”目录下，通过 kafkaconsumergroups.sh bootstrapserver {kafka连接地址} describe group {消费组} 命令查看消费组中每个Topic的堆积消息数。“LAG”表示每个Topic的总堆积数。 图 查看每个Topic的总堆积数 说明 如果Kafka实例开启SASL认证，则以上命令还需要增加SASL认证的“consumer.properties”配置文件参数： commandconfig {SASL认证的consumer.properties配置文件} ，“consumer.properties”配置文件参考开启SASL认证的Kafka命令行连接说明。

本章节介绍 Topic管理 。 操作场景 Topic创建成功后，查询Topic相关的配置和状态信息。 操作步骤 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在左侧导航栏，单击“Topic管理”，进入“Topic管理”页面。 4. 单击需要查询的Topic名称，进入Topic详情页面。 在详情页上方可以查看Topic名称、关联代理、读队列个数、写队列个数和权限。 在详情页下方可以查看Topic在每个代理上的队列状态，包括队列ID、最小偏移量、最大偏移量和消息更新时间。还可以查看消费组消费此Topic的情况，包括消费组名称、最大重试次数和广播消费。 图1 Topic详情

topicconfigs]( " "))。 图中⑤区域表示队列监控数据统计。 图中⑥区域表示队列分区信息，包括分区消息数(Latest Offset)，分区leader(Leader)，副本列表(Replicas)，同步副本列表(In Sync Replicas)。 图 队列详情页 6.查看消费组列表 导航栏中单击 Consumers ，即可查看当前集群中的消费组列表。 说明 只显示14天内有消费记录的消费组。 图 集群的消费组列表 7.查看消费组详情页 单击消费组名称可进入消费组详情页面，展示消费组消费的所有队列列表以及每个队列的可消费数（Total Lag）。 图 消费组详情页面 8.查看消费组队列详情页 单击队列名称，即可进入详情页面，查看消费组消费在队列中每个分区的消费状态。包括分区编号（Partition）、分区消息数（LogSize）、分区消费进度（Consumer Offset）、分区剩余可消费数（Lag）和最近消费该分区的消费者（Consumer Instance Owner）。 图 消费组队列详情页面

本章节主要介绍如何开启心跳。 客户端连接RabbitMQ集群实例时，如果存在消息收发时间间隔大于90秒的场景，请在客户端开启心跳并设置小于90秒的心跳超时时间，防止断连。 什么是心跳 RabbitMQ实例提供了心跳功能，以确保应用程序层及时发现中断的连接和完全无响应的对端。心跳还可以防止某些网络设备在一段时间内由于没有活动而中断TCP连接。开启心跳的方法为在连接上指定心跳超时时间。 心跳超时时间定义了对等TCP连接在多长时间后被服务端和客户端视为关闭。服务端和客户端会对配置的心跳超时时间进行协商，客户端必须配置该值来发送心跳。RabbitMQ官方团队维护的3个客户端（Java、.NET、Erlang语言）的心跳超时时间协商逻辑如下： 服务端和客户端设置的心跳超时时间都不为0时，两者间较小的值生效。 服务端和客户端任意一端设置的心跳超时时间为0，另一端不为0时，非0的值生效。 服务端和客户端的心跳超时时间都设置为0时，表示禁用心跳。 配置心跳超时时间后，RabbitMQ服务端和客户端都会向对方发送AMQP心跳帧作为心跳，发送的时间间隔为心跳超时时间的一半。客户端在两次错过心跳后，会被认为是不可达的，TCP连接将被关闭。当客户端检测到服务端由于心跳而无法访问时，需要重新连接。 说明 一些客户端（如C语言客户端）没有发送心跳的逻辑，即使配置了心跳超时时间，开启了心跳，仍然无法发送心跳。此时需要额外启动一个线程，编写发送心跳的逻辑。

专属云Kafka的产品服务与公有云Kafka的产品规格保持一致，由两种服务资源组成，队列规格、队列存储。 其中队列计算规格按消息队列基准带宽分为4种分别是：100MB/s、300MB/s、600MB/s、1200MB/s； 存储类型分2种，分别如下：高I/O、超高I/O。

消息可以批量生产和消费 为提高消息发送和消息消费效率，推荐使用批量消息发送和消费。通常，默认消息消费为批量消费，而消息发送尽可能采用批量发送。同时批量方式可有效减少API调用次数，减少服务使用费用。 如下面两张示意图对比所示，消息批量生产与消费，可以减少API调用次数，节约资源。 图 消息批量生产（发送）与消费 说明 批量发送消息时，单次不能超过10条消息，总大小不能超过512KB。 批量生产（发送）消息可以灵活使用，在消息并发多的时候，批量发送，并发少时，单条发送。这样能够在减少调用次数的同时保证消息发送的实时性。 图 消息逐条生产（发送）与消费 此外，批量消费消息时，消费者应按照接收的顺序对消息进行处理、确认，当对某一条消息处理失败时，不再需要继续处理本批消息中的后续消息，直接对已正确处理的消息进行确认即可。 巧用消费组协助运维 用户使用DMS服务作为消息管理系统，查看队列的消息内容对于定位问题与调试服务是至关重要的。 当消息的生产和消费过程中遇到疑难问题时，通过创建不同消费组可以帮助定位分析问题或调试服务对接。用户可以创建一个新的消费组，对队列中的消息进行消费并分析消费过程，这样不会影响其他服务对消息的处理。

顺序消息和普通消息的区别是什么 最大的区别在于是否能保证消息生产和消费的顺序一致。 对于顺序消息，消息均根据ShardingKey进行区块分区，同一分区内的消息消费满足先进先出，保证分区有序，不同分区的消息消费顺序不做要求。 普通消息则没有该项保证，消息消费的顺序跟生产的顺序不一定保证一致性。 RocketMQ集群消费和广播消费区别是什么 使用集群消费模式时，MQ内任意一条消息只需被订阅组集群内的任意一个消费者消费即可。 使用广播消费模式时，MQ内每条消息都会投递到订阅组集群的所有消费者，每条消息至少被每个消费者消费一次。 多个订阅组订阅同一个主题时消息如何被消费 RocketMQ中订阅关系并非是一对一的，一个主题可以被一个或多个订阅组订阅，但不同订阅组之间的消费是互不影响的，它们各自维护自己在当前主题的消费偏移信息，每一条消息都会被订阅该主题的订阅组接收到。 消息消费失败是否会有重试机制 在push消费模式下，RocketMQ在消费者消费消息失败后会通过将消息重新投递到该订阅组的重试队列在一定时间后会被消费者重新消费到，如果多次失败则会多次重复上述的重试过程，超过最大次数之后（创建订阅组时可配置）会将消息投递到死信队列。

本文主要介绍在网络异常时如何自动恢复分布式消息服务RabbitMQ。 本章介绍客户端与服务端由于服务端重启、网络抖动等原因造成网络连接断开时，如何在客户端设置网络自动恢复。4.0.0及以上版本的Java客户端默认支持网络自动恢复，无需设置。 说明 如果应用程序使用Connection.Close方法关闭连接，则不会启用或触发网络自动恢复。 触发自动恢复的场景 以下场景，会触发网络自动恢复： 在连接的I/O循环中抛出未处理的异常 检测到Socket读取超时 检测到服务端心跳丢失 重试连接示例代码 客户端和服务端的初始连接失败，不会触发自动恢复，建议您编写对应的应用程序代码，通过重试连接来解决初始连接失败的问题。 以下示例演示了使用Java客户端通过重试连接解决初始连接失败的问题。 ConnectionFactory factory new ConnectionFactory(); // enable automatic recovery if using RabbitMQ Java client library prior to version 4.0.0. factory.setAutomaticRecoveryEnabled(true); // configure various connection settings try { Connection conn factory.newConnection(); } catch (java.net.ConnectException e) { Thread.sleep(5000); // apply retry logic }

本文主要介绍日志收集系统Flume接入Kafka。 最佳实践概述 场景描述 使用Flume+Kafka来完成实时流式日志处理，后面再连接上Storm/Spark Streaming等流式实时处理技术，从而完成日志实时解析的目标。如果Flume直接对接实时计算框架，当数据采集速度大于数据处理速度，很容易发生数据堆积或者数据丢失，而kafka可以当做一个消息缓存队列，可以把它理解为一个数据库，可以存放一段时间的数据。 因此数据从数据源（ HTTP、Log 文件、JMS、监听端口数据等）到flume再到Kafka进行消息缓存，数据一方面可以同步到HDFS做离线计算，另一方面可以做实时计算，可实现数据多分发。 技术架构图 暂无。 方案优势 把数据存储到 HDFS 或者 HBase 等下游存储模块或者计算模块时需要考虑各种复杂的场景，例如并发写入的量以及系统承载压力、网络延迟等问题。Flume 作为灵活的分布式系统具有多种接口，同时提供可定制化的管道。在生产处理环节中，当生产与处理速度不一致时，Kafka 可以充当缓存角色。Kafka 拥有 partition 结构以及采用 append 追加数据，使 Kafka 具有优秀的吞吐能力；同时其拥有 replication 结构，使 Kafka 具有很高的容错性。所以将 Flume 和 Kafka 结合起来，可以满足生产环境中绝大多数要求。 前提条件 需已购买Kafka实例、创建Topic，并且已成功消费消息。 确认准备 Apache Flume环境（1.6.0以上版本兼容 Kafka）。 确认 Kafka 的 Source、 Sink 组件已经在 Flume 中。 资源规划 本实践方案内容仅涉及Kafka专享版实例。 分布式消息服务 Figure 1 分布式消息服务 资源类型 配置项 配置明细 说明 :::: 企业中间件 DMS Kafka专享实例 需已购买kafka专享实例，创建好Topic，并成功消费消息。 方案正文