参数 说明 示例 实例名称 前提条件中已创建的分布式消息服务RocketMQ版实例。 xxx Topic 当前实例中的Topic。 topic1 Group 消费组名。 快速创建 ：自动创建以GIDEVENTBRIDGExxx命名的Group ID。 使用已有 ：选择当前实例中已创建的Group，请不要与已有业务的Group混用，以免影响已有的消息收发。 group1 消费位点 开始消费的位置。 最新位点 ：从最新位点开始消费。 最新位点 Tag 用于过滤消息的Tag值，非必填。 tag1

说明 分布式消息服务RocketMQ旧资费根据实例规格分为基础版、中级版和高级版，按照不同版本收费。 目前在 上海7、南京3、乌鲁木齐27、北京5、晋中、内蒙6 资源池开放订购。 实例资费 实例类型 标准资费（元/月） 按需标准资费（元/小时） 实例说明 基础版 1546 3.23 TPS:5000条/秒， Topic数上限：50，存储空间：200GB 中级版 2276 4.75 TPS:10000条/秒， Topic数上限：200，存储空间：500GB 高级版 3792 7.90 TPS:20000条/秒， Topic数上限：500，存储空间：1000GB

可信云服务可以通过IAM委托的方式访问其他云服务的资源。可信实体为天翼云服务的IAM委托，包括普通云服务委托和云服务关联委托。本文介绍事件总线EventBridge的服务内联委托。 什么是服务内联委托 在某些场景下，事件总线EventBridge为了完成自身的某个功能，需要获取其他云服务的访问权限，因此，事件总线EventBridge创建了与云服务内联委托，即服务内联委托CtyunAssumeRoleForEventBridge。 使用事件总线EventBridge，系统提供的服务内联委托及其包含的系统权限策略如下： 服务内联委托：CtyunAssumeRoleForEventBridge 系统权限策略：CtyunAssumePolicyForEventBridge CtyunAssumeRoleForEventBridge 服务内联委托CtyunAssumeRoleForEventBridge具有获取访函数列表、函数详情以及调用函数的权限；具有对分布式消息服务Kafka、分布式消息服务RocketMQ、分布式消息服务MQTT与分布式消息服务RabbitMQ的管理员权限；具有专有网络VPC、VPCE的管理员权限。 服务内联委托CtyunAssumeRoleForEventBridge被授予权限策略CtyunAssumePolicyForEventBridge，该权限策略的内容如下： plaintext { "Version": "1.1", "Statement": [ { "Action": [ "cf:inst:InvokeFunction", "cf:inst:GetFunction", "cf:inst:ListFunctions", "KAFKA::", "MQ2::", "mqtt::", "AMQP::", "vpce::", "vpc::" ], "Resource": [ "" ], "Effect": "Allow" } ] } 以下是使用事件总线EventBridge时，需要使用服务内联委托的场景： 建立函数计算规则时，需要委托事件总线EventBridge具有获取访函数列表、函数详情以及调用函数的权限。 建立消息中间件事件源与事件目标时，需要委托事件总线EventBridge具有对分布式消息服务Kafka、分布式消息服务RocketMQ、分布式消息服务MQTT与分布式消息服务RabbitMQ的管理员权限。 建立网络端点时，需要委托事件总线EventBridge具有专有网络VPC、VPCE的管理员权限。

本文为您介绍密钥管理服务与其他云服务的关系,以及对应密钥的区分。 KMS与其他云服务的加密关系 KMS集成天翼云产品提供服务端加密能力，实现云上原生数据提供加密保护，有效提升默认安全能力。在创建云产品资源时开启加密功能，您可以自定义加密密钥，支持选择默认密钥和您在KMS中自行创建的用户主密钥。 服务端加密优势 提升云产品内生安全性 加密过程中使用的密钥由用户自定义选择，集中托管在KMS服务中，KMS已通过国家密码管理局审查，获得商用密码产品认证，合规性得到有效保障。 降低研发成本 使用云产品服务端加密能力，您无需自行构建和维护密钥管理基础设施，无需考虑自研数据加密能力所涉及的密钥管理安全及合理性、加密算法的研发等一系列复杂的工程，大幅度降低开发成本。 加密过程透明无感知 服务端加密为您提供内嵌至云服务中的加密方案，您无需关注底层数据加密的细节，只需一键开启加密功能，即可实现数据加密。 支持服务端加密的云产品 云硬盘 对象存储 弹性文件 关系型数据库MySQL版 关系型数据库PostgreSQL版 文档数据库服务 分布式消息服务Kafka 分布式消息服务RabbitMQ 分布式消息服务RocketMQ 功能详情详见云产品服务端加密。 KMS与云审计服务的关系 已对接天翼云云审计服务，可通过云审计服务查看资源操作的记录，用于支撑合规审计、安全分析、操作追踪和问题定位等场景，同时提供事件跟踪功能，将操作日志转储至日志审计等产品实现永久保存。 KMS与云监控服务的关系 已对接天翼云云监控服务，可通过云监控服务查看实例节点的相关监控指标，并可以设置相关指标的告警规则及通知策略。

分布式消息服务RocketMQ版的事务消息支持在业务逻辑与发送消息之间提供事务保证，通过两阶段的方式提供对事务消息的支持，事务消息交互流程如图1所示。 图1 事务消息交互流程 事务消息生产者首先发送半消息，然后执行本地事务。如果执行成功，则发送事务提交，否则发送事务回滚。服务端在一段时间后如果一直收不到提交或回滚，则发起回查，生产者在收到回查后重新发送事务提交或回滚。消息只有在提交之后才投递给消费者，消费者对回滚的消息不可见。 收发事务消息前，请参考收集连接信息收集RocketMQ所需的连接信息。 准备环境 1. 在命令行输入python，检查是否已安装Python。得到如下回显，说明Python已安装。 PS C:> python Python 3.9.9 (tags/v3.9.9:ccb0e6a, Nov 15 2021, 18:08:50) [MSC v.1929 64 bit (AMD64)] on win32 Type "help", "copyright", "credits" or "license" for more information. 如果未安装Python，请使用以下命令安装： pip install rocketmqclientpython 2. 安装librocketmq库和rocketmqclientpython。 说明 建议下载rocketmqclientcpp2.2.0，获取librocketmq库。 3. 将librocketmq.so添加到系统动态库搜索路径。 1. 查找librocketmq.so的路径。 find / name librocketmq.so 2. 将librocketmq.so添加到系统动态库搜索路径。 ln s /查找到的librocketmq.so路径/librocketmq.so /usr/lib sudo ldconfig 以下示例代码中的参数说明如下，请参考收集连接信息获取参数值。 GROUP：表示消费组名称。 ENDPOINT：表示实例连接地址和端口。 TOPIC：表示Topic名称。

说明 分布式消息服务RocketMQ兼容了社区版 HTTP SDK，您可以使用社区版 HTTP SDK接入分布式消息服务RocketMQ。 前提条件： 1. 在PHP安装目录下的composer.json文件中加入社区PHP SDK 依赖。 2. 使用Composer安装依赖。 composer install 发送普通消息 client new MQClient( // 填写分布式消息服务RocketMQ控制台HTTP接入点 "${HTTPENDPOINT}", // 填写AccessKey，在管理控制台创建 "${ACCESSKEY}", // 填写SecretKey 在管理控制台创建 "${SECRETKEY}" ); // 所属的 Topic $topic "${TOPIC}"; // Topic所属实例ID，默认实例为空NULL $instanceId "${INSTANCEID}"; $this>producer $this>client>getProducer($instanceId, $topic); } public function run() { try { for ($i 1; $i putProperty("a", $i); // 设置消息KEY $publishMessage>setMessageKey("MessageKey"); $result $this>producer>publishMessage($publishMessage); print "Send mq message success. msgId is:" . $result>getMessageId() . ", bodyMD5 is:" . $result>getMessageBodyMD5() . "n"; } } catch (Exception $e) { printr($e>getMessage() . "n"); } }}$instance new NormalProducerExample();$instance>run();?> 消费普通消息 client new MQClient( // 填写分布式消息服务RocketMQ控制台HTTP接入点 "${HTTPENDPOINT}", // 填写AccessKey，在管理控制台创建 "${ACCESSKEY}", // 填写SecretKey 在管理控制台创建 "${SECRETKEY}" ); // 所属的 Topic $topic "${TOPIC}"; // 您在控制台创建的 Consumer ID(Group ID) $groupId "${GROUPID}"; // Topic所属实例ID，默认实例为空NULL $instanceId "${INSTANCEID}"; $this>consumer $this>client>getConsumer($instanceId, $topic, $groupId, "TagA"); } public function run() { // 在当前线程循环消费消息，建议是多开个几个线程并发消费消息 while (True) { try { // 长轮询消费消息 // 长轮询表示如果topic没有消息则请求会在服务端挂住3s，3s内如果有消息可以消费则立即返回 $messages $this>consumer>consumeMessage( 3, // 一次最多消费3条(最多可设置为16条) 3 // 长轮询时间3秒（最多可设置为30秒） ); } catch (MQExceptionMessageResolveException $e) { // 当出现消息Body存在不合法字符，无法解析的时候，会抛出此异常。 // 可以正常解析的消息列表。 $messages $e>getPartialResult()>getMessages(); // 无法正常解析的消息列表。 $failMessages $e>getPartialResult()>getFailResolveMessages(); $receiptHandles array(); foreach ($messages as $message) { // 处理业务逻辑。 $receiptHandles[] $message>getReceiptHandle(); printf("MsgID %sn", $message>getMessageId()); } foreach ($failMessages as $failMessage) { // 处理存在不合法字符，无法解析的消息。 $receiptHandles[] $failMessage>getReceiptHandle(); printf("Fail To Resolve Message. MsgID %sn", $failMessage>getMessageId()); } $this>ackMessages($receiptHandles); continue; } catch (Exception $e) { if ($e instanceof MQExceptionMessageNotExistException) { // 没有消息可以消费，接着轮询 printf("No message, contine long polling!RequestId:%sn", $e>getRequestId()); continue; } printr($e>getMessage() . "n"); sleep(3); continue; } print "consume finish, messages:n"; // 处理业务逻辑 $receiptHandles array(); foreach ($messages as $message) { $receiptHandles[] $message>getReceiptHandle(); printf("MessageID:%s TAG:%s BODY:%s nPublishTime:%d, FirstConsumeTime:%d, nConsumedTimes:%d, NextConsumeTime:%d,MessageKey:%sn", $message>getMessageId(), $message>getMessageTag(), $message>getMessageBody(), $message>getPublishTime(), $message>getFirstConsumeTime(), $message>getConsumedTimes(), $message>getNextConsumeTime(), $message>getMessageKey()); printr($message>getProperties()); } // $message>getNextConsumeTime()前若不确认消息消费成功，则消息会重复消费 // 消息句柄有时间戳，同一条消息每次消费拿到的都不一样 printr($receiptHandles); try { $this>ackMessages($receiptHandles); } catch (Exception $e) { if ($e instanceof MQExceptionAckMessageException) { // 某些消息的句柄可能超时了会导致确认不成功 printf("Ack Error, RequestId:%sn", $e>getRequestId()); foreach ($e>getAckMessageErrorItems() as $errorItem) { printf("tReceiptHandle:%s, ErrorCode:%s, ErrorMsg:%sn", $errorItem>getReceiptHandle(), $errorItem>getErrorCode(), $errorItem>getErrorCode()); } } } print "ack finishn"; } } public function ackMessages($receiptHandles) { try { $this>consumer>ackMessage($receiptHandles); } catch (Exception $e) { if ($e instanceof MQExceptionAckMessageException) { // 某些消息的句柄可能超时，会导致消费确认失败。 printf("Ack Error, RequestId:%sn", $e>getRequestId()); foreach ($e>getAckMessageErrorItems() as $errorItem) { printf("tReceiptHandle:%s, ErrorCode:%s, ErrorMsg:%sn", $errorItem>getReceiptHandle(), $errorItem>getErrorCode(), $errorItem>getErrorCode()); } } } }}$instance new ConsumerExample();$instance>run();?>

视频 天翼云媒体存储服务等级协议 容器与企业中间件 云容器引擎服务等级协议 微服务云应用平台服务等级协议 分布式消息服务RabbitMQ服务等级协议 分布式消息服务RocketMQ服务等级协议 分布式消息服务Kafka服务等级协议 天翼云软件开发生产线CodeArts服务等级协议 天翼云应用性能监控APM服务等级协议 天翼云容器安全卫士服务等级协议 天翼云应用服务网格服务等级协议 天翼云微服务引擎服务等级协议 天翼云容器镜像服务等级协议 天翼云函数计算服务等级协议 安全 Web应用防火墙（边缘云版）服务等级协议 天翼云高防（边缘云版）服务等级协议 天翼云网站安全监测服务等级协议 天翼云爬虫管理平台服务等级协议 天翼云容器安全平台服务等级协议 天翼云托管检测与响应服务（原生版）服务等级协议 天翼云密评专区服务等级协议 天翼云日志审计服务等级协议 天翼云证书管理服务等级协议 天翼云云堡垒机服务等级协议 天翼云密钥管理服务等级协议 天翼云云安全中心服务等级协议 天翼云Web应用防火墙（原生版）服务等级协议 天翼云云防火墙（原生版）服务等级协议 天翼云Web应用防火墙（独享版）服务等级协议 天翼云漏洞扫描（专业版）服务等级协议 天翼云企业主机安全服务等级协议 天翼云态势感知（专业版）服务等级协议 天翼云云防火墙服务等级协议 天翼云运维安全中心（云堡垒机）服务等级协议

主题监控指标 表主题支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） topicbytesinrate 生产流量 该指标用于统计每秒生产的字节数。单位：Byte/s、KB/s、MB/s、GB/s 说明 在“主题”页签，当“监控类型”为“基本监控”时，才包含该指标。 0~500000000 Kafka实例队列 1分钟 topicbytesoutrate 消费流量 该指标用于统计每秒消费的字节数。单位：Byte/s、KB/s、MB/s、GB/s 说明 在“主题”页签，当“监控类型”为“基本监控”时，才包含该指标。 0~500000000 Kafka实例队列 1分钟 topicdatasize 队列数据容量 该指标用于统计队列当前的消息数据大小。单位：Byte、KB、MB、GB、TB、PB 说明 在“主题”页签，当“监控类型”为“基本监控”时，才包含该指标。 0~5000000000000 Kafka实例队列 1分钟 topicmessages 队列消息总数 该指标用于统计队列当前的消息总数。单位：Count 说明 在“主题”页签，当“监控类型”为“基本监控”时，才包含该指标。 ≥ 0 Kafka实例队列 1分钟 topicmessagesinrate 消息生产速率 该指标用于统计每秒生产的消息数量。单位：Count/s 说明 在“主题”页签，当“监控类型”为“基本监控”时，才包含该指标。 0~500000 Kafka实例队列 1分钟 partitionmessages 分区消息数 该指标用于统计分区中当前的消息个数。单位：Count 说明 在“主题”页签，当“监控类型”为“分区监控”时，才包含该指标。 ≥ 0 Kafka实例队列 1分钟 producedmessages 生产消息数 该指标用于统计目前生产的消息总数。单位：Count 说明 在“主题”页签，当“监控类型”为“分区监控”时，才包含该指标。 ≥ 0 Kafka实例队列 1分钟

本文主要介绍产品优势。 分布式消息服务Kafka完全兼容开源社区版本，旨在为用户提供便捷高效的消息队列。业务无需改动即可快速迁移上云，为您节省维护和使用成本。 一键式部署，免去集群搭建烦恼 您只需要在实例管理界面选好规格配置，提交订单。后台将自动创建部署完成一整套Kafka实例。 兼容开源，业务零改动迁移上云 兼容社区版Kafka的API，具备原生Kafka的所有消息处理特性。 业务系统基于开源的Kafka进行开发，只需加入少量认证安全配置，即可使用分布式消息服务Kafka，做到无缝迁移。 说明 Kafka实例兼容开源社区Kafka 1.1.0、2.3.0和2.7版本。在客户端使用上，推荐使用和服务端版本一致的版本。 安全保证 独有的安全加固体系，提供业务操作云端审计，消息存储加密等有效安全措施。 在网络通信方面，除了提供SASL（Simple Authentication and Security Layer）认证，还借助虚拟私有云（VPC）和安全组等加强网络访问控制。 数据高可靠 Kafka实例支持消息持久化，多副本存储机制。副本间消息同步、异步复制，数据同步或异步落盘多种方式供您自由选择。 集群架构与跨AZ部署，服务高可用 Kafka后台为多集群部署，支持故障自动迁移和容错，保证业务的可靠运行。 Kafka实例支持跨AZ部署，代理部署在不同的AZ，进一步保障服务高可用。不同AZ之间基于Kafka ISR（insync replica）进行数据同步，Topic需要选择数据多副本并且将不同副本分布到不同的ISR上，在ISR正常同步状态下，故障RPO（Recovery Point Objective）趋近于0。 无忧运维 云服务平台提供一整套完整的监控告警等运维服务，故障自动发现和告警，避免724小时人工值守。Kafka实例自动上报相关监控指标，如分区数、主题数、堆积消息数等，并支持配置监控数据发送规则，您可以在第一时间通过短信、邮件等获得业务消息队列的运行使用和负载状态。 海量消息堆积与弹性扩容 内建的分布式集群技术，使得服务具有高度扩展性。分区数可配置多达100个，存储空间弹性扩展，保证在高并发、高性能和大规模场景下的访问能力，轻松实现百亿级消息的堆积和访问能力。 多规格灵活选择 Kafka实例的带宽与存储资源可灵活配置，并且自定义Topic的分区数、副本数。

本节介绍分布式消息服务Kafka操作类常见问题 消息在kafka保留多长时间？ 消息保存72小时，超过72小时的消息将会被删除。 Kafka可以创建多少个主题？ Kafka基础版可以创建50个主题、Kafka高级版可以创建100个主题。 如果想消费已经被消费过的数据？ consumer是底层采用的是一个阻塞队列，只要一有producer生产数据，那consumer就会将数据消费。当然这里会产生一个很严重的问题，如果你重启一消费者程序，那你连一条数据都抓不到，但是log文件中明明可以看到所有数据都好好的存在。换句话说，一旦你消费过这些数据，那你就无法再次用同一个groupid消费同一组数据了。针对这种情况，你可在控制台重置消费组消费点（3天内）。 是否需要预先创建消费组 消费组和消费组订阅主题关系虽然业务应用客户端接入时可自动创建，但建议都先预先创建做好管理。 出现“Not authorized to access group”的错误信息 没有创建消费组时会遇到此报错信息，创建消费组可解决此问题。 为什么PHP发送延时比较长？ PHP发送延时比较长是PHP的语言特性导致的。PHP每次发送时，都会重新初始化一个KafkaProducer对象，这个初始化会进行各种操作，包括连接各个Broker、更新元数据等，在VPC内耗时100ms以上，在公网可能耗时500ms以上。相比之下，Java会复用KafkaProducer，发送延迟较低。 哪里可以找到生产消费消息的示例 最佳实践 生产者实践、消费者实践。

指标ID 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） topicproducemsg 消息生产数 Topic一分钟收到的消息数单位：Count >0 RocketMQ实例队列 1分钟 topicconsumemsg 消息消费数 Topic一分钟被消费的消息数单位：Count >0 RocketMQ实例队列 1分钟 topicproducerate 消息生产速率 Topic每秒收到的消息数单位：Count/s >0 RocketMQ实例队列 1分钟 topicconsumerate 消息消费速率 Topic每秒被消费的消息数单位：Count/s >0 RocketMQ实例队列 1分钟 topicbytesinrate 生产流量 当前主题的生产流量单位：Byte/s说明：2022年5月16号及以后购买的实例，支持此监控项。 >0 RocketMQ实例队列 1分钟 topicbytesoutrate 消费流量 当前主题的消费流量单位：Byte/s说明：2022年5月16号及以后购买的实例，支持此监控项。 >0 RocketMQ实例队列 1分钟

ssl生产消息 php CERTSPATH . '/cacertificate.pem', 'localcert' > CERTSPATH . '/clientrabbitmqcertificate.pem', 'localpk' > CERTSPATH . '/clientrabbitmqkey.pem', 'verifypeer' > true, 'verifypeername' > false, ); $connection new AMQPSSLConnection("10.10.33.196", 5671, "YOUR USERNAME", "YOUR PASSWORD", "/" , $sslOptions); $channel $connection>channel(); $channel>queuedeclare($queue, false, true, false, false); $channel>exchangedeclare($exchange, AMQPExchangeType::DIRECT, false, true, false); $channel>queuebind($queue, $exchange); $channel>queuedeclare($queue, false, true, false, false); $channel>exchangedeclare($exchange, AMQPExchangeType::DIRECT, false, true, false); $channel>queuebind($queue, $exchange); $messageBody implode(' ', arrayslice($argv, 1)); $message new AMQPMessage($messageBody, array('contenttype' > 'text/plain', 'deliverymode' > AMQPMessage::DELIVERYMODEPERSISTENT)); $channel>basicpublish($message, $exchange); $channel>close(); $connection>close(); ssl消费消息 php CERTSPATH . '/cacertificate.pem', 'localcert' > CERTSPATH . '/clientrabbitmqcertificate.pem', 'localpk' > CERTSPATH . '/clientrabbitmqkey.pem', 'verifypeer' > false, 'verifypeername' > false, ); $connection new AMQPSSLConnection("10.10.33.196", 5671, "YOUR USERNAME", "YOUR PASSWORD", "/" , $sslOptions); $channel $connection>channel(); $channel>queuedeclare($queue, false, true, false, false); $channel>exchangedeclare($exchange, AMQPExchangeType::DIRECT, false, true, false); $channel>queuebind($queue, $exchange); function processmessage($message) { echo "nn"; echo $message>body; echo "nn"; $message>ack(); // Send a message with the string "quit" to cancel the consumer. if ($message>body 'quit') { $message>getChannel()>basiccancel($message>getConsumerTag()); } } $channel>basicconsume($queue, $consumerTag, false, false, false, false, 'processmessage'); function shutdown($channel, $connection) { $channel>close(); $connection>close(); } registershutdownfunction('shutdown', $channel, $connection); $channel>consume();

本文介绍如何在事件总线EventBridge管理控制台中添加分布式消息服务RocketMQ类型的自定义事件源。 前提条件 事件总线EventBridge 开通事件总线EventBridge并委托授权。 创建自定义总线。 分布式消息服务RocketMQ 开通分布式消息服务RocketMQ。 创建实例，并创建对应主题与消费组。 操作步骤 1. 登录事件总线管理控制台。 2. 在左侧导航栏，单击事件总线。 3. 在事件总线页面，单击目标总线名称。 4. 在左侧导航栏，单击事件源。 5. 在事件源 页面，单击添加事件源。 6. 在添加自定义事件源 面板，输入名称 和描述 ，事件提供方 选择分布式消息服务RocketMQ，选择实例、主题等配置然后单击确认，如图1所示。 图1 创建事件源时事件提供方选择分布式消息服务RocketMQ 参数说明 参数 说明 示例 名称 事件源名。 source1 实例名称 选择前提条件中已创建的分布式消息服务RocketMQ版实例。 xxx Topic 选择当前实例中的Topic。 topic1 Group 快速创建：自动创建以GIDEVENTBRIDGExxx命名的Group ID。 使用已有：选择当前实例中已创建的Group，请不要与已有业务的Group混用，以免影响已有的消息收发。 group1 消费位点 开始消费的位置。仅支持从最早位点进行消费。 最早位点：从最初位点开始消费。 最早位点

本文介绍如何应用事件总线EventBridge的事件流功能实现分布式消息服务RocketMQ的消息路由。 前提条件 开通事件总线EventBridge并授权。 开通分布式消息服务RocketMQ并创建最少两个主题。 背景信息 事件流作为更轻量、实时端到端的流式事件通道，提供轻量级的流式数据的过滤和转换的能力，在不同的数据仓库之间、数据处理程序之间、数据分析和处理系统之间进行数据同步。源端分布式消息服务RocketMQ生产的消息可以通过事件流这个通道被路由到目标端的分布式消息服务RocketMQ。 步骤一：创建事件流 1. 登录事件总线EventBridge控制台。 2. 在左侧导航栏，单击事件流。 3. 在事件流页面，单击创建事件流。 4. 在创建事件流面板，设置任务名称和描述，配置以下参数，然后单击保存。 a.在Source（源）配置向导，选择数据提供方为分布式消息服务RocketMQ，设置以下参数，然后单击下一步。 参数 说明 示例 实例名称 前提条件中已创建的分布式消息服务RocketMQ版实例。 xxx Topic 当前实例中的Topic。 topic1 Group 消费组名。 快速创建：自动创建以GIDEVENTBRIDGExxx命名的Group ID。 使用已有：选择当前实例中已创建的Group，请不要与已有业务的Group混用，以免影响已有的消息收发。 group1 消费位点 开始消费的位置。 最新位点：从最新位点开始消费。 最新位点 Tag 用于过滤消息的Tag值，非必填。 tag1 b.在Filtering（过滤）配置向导，设置事件过滤规则，单击下一步。 c.在Sink（目标）配置向导，选择服务类型为分布式消息服务RocketMQ，配置以下参数，单击保存，如图1所示。 参数 说明 示例 实例 选择分布式消息服务RocketMQ实例。 instancexxx Topic 选择RocketMQ实例的Topic。 topic1 消息体 选择消息体（Body）的内容，更多参考“事件内容转换”。 完整事件 自定义属性 选择自定义属性（Properties）的内容，更多参考“事件内容转换”。 空 索引 选择索引（Keys）的内容，更多参考“事件内容转换”。 空 标签 选择标签（Tags）的内容，更多参考“事件内容转换”。 空 图1 创建事件流时选择服务类型为分布式消息服务RocketMQ的事件目标 5. 创建事件流后，会有30秒~60秒的延迟时间，您可以在事件流页面的状态栏查看启动进度。

本文主要介绍应用场景。 Kafka作为一款热门的消息队列中间件，具备高效可靠的消息异步传递机制，主要用于不同系统间的数据交流和传递，在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 异步通信 将业务中属于非核心或不重要的流程部分，使用消息异步通知的方式发给目标系统，这样主业务流程无需同步等待其他系统的处理结果，从而达到系统快速响应的目的。 如网站的用户注册场景，在用户注册成功后，还需要发送注册邮件与注册短信，这两个流程使用Kafka消息服务通知邮件发送系统与短信发送系统，从而提升注册流程的响应速度。 图 串行发送注册邮件与短信流程 图 借助消息队列异步发送注册邮件与短信流程 错峰流控与流量削峰 在电子商务系统或大型网站中，上下游系统处理能力存在差异，处理能力高的上游系统的突发流量可能会对处理能力低的某些下游系统造成冲击，需要提高系统的可用性的同时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时，可以通过队列服务堆积缓存订单等信息，在下游系统有能力处理消息的时候再处理，避免下游订阅系统因突发流量崩溃。消息队列提供亿级消息堆积能力，3天的默认保留时长，消息消费系统可以错峰进行消息处理。 另外，在商品秒杀、抢购等流量短时间内暴增场景中，为了防止后端应用被压垮，可在前后端系统间使用Kafka消息队列传递请求。 图 消息队列应对秒杀大流量场景

态势感知（专业版）数据监控功能支持监控态势感知（专业版）管道上下游的生产速率、生产量、消费总速率等指标，您可以根据监控判断业务运行状态。 相关概念 生产者：是用来构建并传输数据到服务端的逻辑概念，负责把数据放入消息队列。 订阅器：用于订阅态势感知（专业版）管道消息，一个管道可由多个订阅器进行订阅，态势感知（专业版）通过订阅器进行消息分发。 消费者：是用来接收并处理数据的运行实体，负责通过订阅器把态势感知（专业版）管道中的消息进行消费并处理。 消息队列：是数据存储和传输的实际容器。 查看监控指标 1. 登录管理控制台。 2. 单击页面左上方的，选择“安全 > 态势感知（专业版）”，进入态势感知（专业版）管理页面。 3. 在左侧导航栏选择“工作空间 > 空间管理”，并在工作空间列表中，单击目标工作空间名称，进入目标工作空间管理页面。 4. 在左侧导航栏选择“日志审计 > 安全数据”，进入安全分析页面。 5. 在左侧数据空间导航栏中，单击数据空间名称，展开数据管道列后，单击目标管道名称后的“更多 > 监控”，进入管道监控页面。 6. 在数据管道的监控页面，查看监控指标。 总览：显示当前管道中生产者、管道、订阅器、消费者之间生产速率等信息。 生产者：显示生产者的“当前生产TPS”、“当前生产速率”、“当前生产量”、“当前消息存储大小”等相关指标信息。 管道：显示当前管道指定时间（近2/6/12/24小时、近7天或自定义）内的“管道存储的消息大小(MB)”、“生产到管道的消息大小(MB)”、“生产到管道的消息数量(条)”、“从管道消费的消息大小(MB)”、“从管道消费的消息数量(条)”、“未确认的消息大小(MB)”、“管道的生产速率(条/秒)”、“管道的消费速率(条/秒)”、“每条消息大小平均值(KB)”、“未卸载的消息大小(B)”等相关指标信息。 订阅器：显示当前订阅器指定时间（近2/6/12/24小时、近7天或自定义）内的“订阅器消费总速率(条/秒)”、“订阅器消费的数据大小(B)”、“订阅器消费的数据数量(条)”、和“活跃消费者”等相关指标信息。

Kafka作为一款热门的消息队列中间件，具备高效可靠的消息异步传递机制，主要用于不同系统间的数据交流和传递，在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 异步通信 将业务中属于非核心或不重要的流程部分，使用消息异步通知的方式发给目标系统，这样主业务流程无需同步等待其他系统的处理结果，从而达到系统快速响应的目的。 如网站的用户注册场景，在用户注册成功后，还需要发送注册邮件与注册短信，这两个流程使用Kafka消息服务通知邮件发送系统与短信发送系统，从而提升注册流程的响应速度。 图 串行发送注册邮件与短信流程 图 借助消息队列异步发送注册邮件与短信流程 错峰流控与流量削峰 在电子商务系统或大型网站中，上下游系统处理能力存在差异，处理能力高的上游系统的突发流量可能会对处理能力低的某些下游系统造成冲击，需要提高系统的可用性的同时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时，可以通过队列服务堆积缓存订单等信息，在下游系统有能力处理消息的时候再处理，避免下游订阅系统因突发流量崩溃。消息队列提供亿级消息堆积能力，3天的默认保留时长，消息消费系统可以错峰进行消息处理。 另外，在商品秒杀、抢购等流量短时间内暴增场景中，为了防止后端应用被压垮，可在前后端系统间使用Kafka消息队列传递请求。 图 消息队列应对秒杀大流量场景 日志同步 在大型业务系统设计中，为了快速定位问题，全链路追踪日志，以及故障及时预警监控，通常需要将各系统应用的日志集中分析处理。 Kafka设计初衷就是为了应对大量日志传输场景，应用通过可靠异步方式将日志消息同步到消息服务，再通过其他组件对日志做实时或离线分析，也可用于关键日志信息收集进行应用监控。 日志同步主要有三个关键部分：日志采集客户端，Kafka消息队列以及后端的日志处理应用。 1. 日志采集客户端，负责用户各类应用服务的日志数据采集，以消息方式将日志“批量”“异步”发送Kafka客户端。 Kafka客户端批量提交和压缩消息，对应用服务的性能影响非常小。 2. Kafka将日志存储在消息文件中，提供持久化。 3. 日志处理应用，如Logstash，订阅并消费Kafka中的日志消息，最终供文件搜索服务检索日志，或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。 图 日志同步示意图 上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具，Hadoop表示大数据分析系统。

本文主要介绍DMS for Kafka 消费者poll的优化。 场景介绍 在DMS提供的原生Kafka SDK中，消费者可以自定义拉取消息的时长，如果需要长时间的拉取消息，只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力，特别是分区数较多且每个消费者开启多个线程的情况下。 如图所示，Kafka队列含有多个分区，消费组中有多个消费者同时进行消费，每个线程均为长连接。当队列中消息较少或者没有时，连接不断开，所有消费者不间断地拉取消息，这样造成了一定的资源浪费。 图 Kafka消费者多线程消费模式 优化方案 在开了多个线程同时访问的情况下，如果队列里已经没有消息了，其实不需要所有的线程都在poll，只需要有一个线程poll各分区的消息就足够了，当在polling的线程发现队列中有消息，可以唤醒其他线程一起消费消息，以达到快速响应的目的。如图所示。 这种方案适用于对消费消息的实时性要求不高的应用场景。如果要求准实时消费消息，则建议保持所有消费者处于活跃状态。 图 优化后的多线程消费方案 说明 消费者（Consumer）和消息分区（Partition）并不强制数量相等，Kafka的poll(long)方法帮助实现获取消息、分区平衡、消费者与Kafka broker节点间的心跳检测等功能。 因此在对消费消息的实时性要求不高场景下，当消息数量不多的时候，可以选择让一部分消费者处于wait状态。

说明 分布式消息服务RocketMQ新资费涉及的产品实例支持4.9版本引擎，支持X86和ARM计算CPU架构类型的计算增强型主机，提供集群和单机两种版本规格实例，集群版可选116代理数量，单机版默认为1节点。 目前在 华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3 资源池开放订购。 上述资源池实例新购和续订可享受1年83折，2年7折，3年5折优惠。 价格计算公式 分布式消息服务RocketMQ费用由实例费用和存储费用两部分组成，两者单价如下表所示，计费公式为： 实例费用实例规格单价 总节点数（NameServer集群固定3节点+代理数量 2节点），单机版总节点数量为1。 存储费用存储类型单价 代理节点数量（代理数量2节点） 单节点存储空间GB大小，单机版代理节点数量为1。 实例规格单价 Intel计算增强型 规格名称 实例单价（单个节点） 规格名称 按需标准价格(元/小时) 包月标准价格(元/月) rocketmq.2u4g.cluster 0.98 441 rocketmq.4u8g.cluster 2.24 1008 rocketmq.8u16g.cluster 4.86 2187 rocketmq.12u24g.cluster 7.38 3321 rocketmq.16u32g.cluster 9 4050 rocketmq.24u48g.cluster 15.12 6804 rocketmq.32u64g.cluster 20.16 9072 rocketmq.48u96g.cluster 30.24 13608 rocketmq.64u128g.cluster 40.32 18144

本章节主要介绍如何开启心跳。 客户端连接RabbitMQ集群实例时，如果存在消息收发时间间隔大于90秒的场景，请在客户端开启心跳并设置小于90秒的心跳超时时间，防止断连。 什么是心跳 RabbitMQ实例提供了心跳功能，以确保应用程序层及时发现中断的连接和完全无响应的对端。心跳还可以防止某些网络设备在一段时间内由于没有活动而中断TCP连接。开启心跳的方法为在连接上指定心跳超时时间。 心跳超时时间定义了对等TCP连接在多长时间后被服务端和客户端视为关闭。服务端和客户端会对配置的心跳超时时间进行协商，客户端必须配置该值来发送心跳。RabbitMQ官方团队维护的3个客户端（Java、.NET、Erlang语言）的心跳超时时间协商逻辑如下： 服务端和客户端设置的心跳超时时间都不为0时，两者间较小的值生效。 服务端和客户端任意一端设置的心跳超时时间为0，另一端不为0时，非0的值生效。 服务端和客户端的心跳超时时间都设置为0时，表示禁用心跳。 配置心跳超时时间后，RabbitMQ服务端和客户端都会向对方发送AMQP心跳帧作为心跳，发送的时间间隔为心跳超时时间的一半。客户端在两次错过心跳后，会被认为是不可达的，TCP连接将被关闭。当客户端检测到服务端由于心跳而无法访问时，需要重新连接。 说明 一些客户端（如C语言客户端）没有发送心跳的逻辑，即使配置了心跳超时时间，开启了心跳，仍然无法发送心跳。此时需要额外启动一个线程，编写发送心跳的逻辑。

Broker信息 展示该集群具体broker信息，包括该broker的详细指标，如下图： 其中关键指标为： commitLogMaxOffset为当前brokercommitLog最大的物理偏移。通过commitLogMaxOffset，RocketMQ可以追踪和管理消息的存储位置。当有新的消息写入时，RocketMQ会将消息追加到Commit Log文件的末尾，并更新commitLogMaxOffset的值。消费者在消费消息时，可以根据commitLogMaxOffset来确定从哪个偏移量开始消费消息。 consumeQueueDiskRatio为消费队列存储的文件占用的磁盘空间比例。通过配置consumeQueueDiskRatio，可以在保证消费队列的性能的同时，控制磁盘空间的占用。较小的consumeQueueDiskRatio值可以提高消费队列的读写性能，但会增加内存的使用。较大的consumeQueueDiskRatio值可以降低内存的使用，但可能会降低消费队列的读写性能。根据实际需求，可以根据系统的内存和磁盘资源情况来调整consumeQueueDiskRatio的值，以获得更好的性能和资源利用率。 putMessageDistributeTime为消息写入commitLog的耗时分布。通过配置putMessageDistributeTime，可以了解消息从发送到最终被消费的整体时间。这对于监控和优化消息传递的性能和延迟非常有用。注意，putMessageDistributeTime是一个估计值，实际的消息传递时间可能会受到网络状况、消费者处理能力等多种因素的影响。因此，在配置putMessageDistributeTime时，需要根据实际情况进行调整，并结合其他指标进行综合分析。

Java客户端必须使用Push Consumer 使用Pull可以实现的所有场景，均可使用Push实现，并且更简单。 Push其实是长轮询的Pull（依然是由客户端发起），在客户端通过配置参数是可以实现流控的，并不会出现服务端的流量压垮客户端的情况。 Push封装了拉取消息，分发给消费线程的线程模型，非流控的情况下，由后台线程主动拉取消息，并缓存在本地，消费线程池有空闲线程时，分发给消费线程，在有堆积量的情况下，可以保证消费线程一直工作，性能更高（备注：Pull只提供了拉取消息的功能，并且何时去拉取，拉取时机，这些都需要应用去控制；分发给消费线程的逻辑需要应用封装，除了增加应用工作量外，还可能有不稳定、性能问题等）。 Push经过多个大型项目的长时间的使用，更成熟稳定。 Push会自动订阅重试队列，不需要再次调用拉取重试队列的API来取得重试队列的消息（备注：Pull需要另外调用API拉取重试队列的消息）。 Pull是一种遗留的消费模式（兼容早期的API），新开发的应用，或者未上线的应用，都要求使用Push消费模式。

本文主要介绍概述 概述 APM Agent会周期性采集一些性能指标数据，用来衡量应用的总体健康状况。可以采集JVM、GC、服务调用、异常、外部调用、数据库访问以及其他中间件的指标调用等数据，帮助用户全面掌握应用的运行情况。 APM对指标数据的采集有严格的定义，每一种采集的数据类型对应一个采集器，比如采集java应用的JVM数据，那么对应有JVM采集器，一个采集器会采集多个指标集的数据。 采集器被部署到环境后形成监控项，在数据采集的时候监控项决定了采集的数据结构和采集行为。 采集周期：监控项具有数据采集器的周期属性。当前数据采集周期为一分钟，不支持用户调整。 监控项状态：默认为enable状态，用户可以将监控项设置为disable状态，这样Agent就不会拦截该指标数据，也不会上报数据。 采集状态：采集实例和监控项会有一个采集状态信息。如果出现采集错误，可以通过采集状态查看。常见错误是主键太多，导致客户端数据汇聚异常。 监控项类型 Agent会自动发现系统采集的插件类型，并且将采集器实例化，形成监控项。监控项是实例化在一个环境上的。 由于采集器种类较多，会导致用户区分困难。系统后台会定义一些类型，每种采集器都会归到一种类型下，这样方便用户查看数据。 根据采集器的作用可以将监控项分为以下几种类型： 接口调用：是指外部服务调用当前应用的监控类型。 基础监控：是用来监控系统性能的基础监控指标的监控类型。 异常：用来监控应用的异常信息。 外部调用：是指当前应用调用外部服务的监控类型。 数据库：是对数据库的访问进行监控。 缓存：是对Redis等缓存系统的监控，会采集指令级别的细粒度的指标数据。 web容器：是对tomcat等web容器的监控，一般会采集系统总的处理线程数，busy线程数，连接数等；用于衡量系统总的容量。 消息队列：是对kafka、RabbitMq等消息系统的监控，包含发送端和接收端的监控。在接收端的处理函数，可以产生调用链信息。 通信协议：是对websocket等通信协议的监控。

操作说明 本方案基于 天翼云 ROS（资源编排服务）控制台，实现 Kafka 消息队列实例、Topic、消费组及关联网络资源的快速搭建，有效提升消息中间件资源交付效率，降低人工配置与运维成本。 方案内置标准化全链路编排模板，一站式完成 VPC 网络、子网、安全组、Kafka 集群实例、Topic 分区、消费组的联动部署，支持自定义规格配置、存储类型选择、节点数调整等灵活参数化设置，用户可根据消息队列业务规模、吞吐量与存储需求快速适配，高效完成生产级 Kafka 消息服务资源部署。 适用场景 Kafka 消息队列集群快速搭建 一键完成生产级 Kafka 集群 + Topic + 消费组全链路部署，无需分步手动配置，大幅缩短资源交付周期。 消息中间件多环境标准化部署 统一配置规范，支持测试、预发、生产等多环境 Kafka 资源标准化批量编排，避免配置不一致问题。 临时消息业务资源快速创建与释放 适配临时数据采集、压测、活动类消息业务场景，可快速创建 / 销毁 Kafka 资源，按需使用、节约成本 操作步骤 1. 登录控制中心。 2. 在控制台首页搜索“资源编排ROS”，或在左侧产品导航栏选择“管理工具 > 资源编排ROS”，进入[资源编排控制台](

操作说明 本方案基于 天翼云 ROS（资源编排服务）控制台，实现 Kafka 消息队列实例、Topic、消费组及关联网络资源的快速搭建，有效提升消息中间件资源交付效率，降低人工配置与运维成本。 方案内置标准化全链路编排模板，一站式完成 VPC 网络、子网、安全组、Kafka 集群实例、Topic 分区、消费组的联动部署，支持自定义规格配置、存储类型选择、节点数调整等灵活参数化设置，用户可根据消息队列业务规模、吞吐量与存储需求快速适配，高效完成生产级 Kafka 消息服务资源部署。 适用场景 Kafka 消息队列集群快速搭建 一键完成生产级 Kafka 集群 + Topic + 消费组全链路部署，无需分步手动配置，大幅缩短资源交付周期。 消息中间件多环境标准化部署 统一配置规范，支持测试、预发、生产等多环境 Kafka 资源标准化批量编排，避免配置不一致问题。 临时消息业务资源快速创建与释放 适配临时数据采集、压测、活动类消息业务场景，可快速创建 / 销毁 Kafka 资源，按需使用、节约成本 操作步骤 1. 登录控制中心。 2. 在控制台首页搜索“资源编排ROS”，或在左侧产品导航栏选择“管理工具 > 资源编排ROS”，进入[资源编排控制台](

topicconfigs)。 − 图中⑤区域表示队列监控数据统计。 − 图中⑥区域表示队列分区信息，包括分区消息数(Latest Offset)，分区leader(Leader)，副本列表(Replicas)，同步副本列表(In Sync Replicas)。 队列详情页 查看消费组列表 导航栏中单击Consumers页签，即可查看当前集群中的消费组列表。 集群的消费组列表 查看消费组详情页 单击消费组名称可进入消费组详情页面，展示消费组消费的所有队列列表以及每个队列的可消费数(Total Lag)。 消费组详情页面 查看消费组队列详情页 单击队列名称，即可进入详情页面，查看消费组消费在队列中每个分区的消费状态。包括分区编号(Partition)，分区消息数(LogSize)，分区消费进度(Consumer Offset)，分区剩余可消费数(Lag)，最近消费该分区的消费者(Consumer Instance Owner)。 消费组队列详情页面

配置项 操作说明 示例 触发器类型 选择Kafka触发器。 Kafka触发器 名称 填写自定义的触发器名称。 kafkatrigger Kafka实例 选择已创建的Kafka实例。 Topic 选择已创建的Kafka实例的Topic。 Group ID • 快速创建 ：推荐方案。自动创建以GROUPFCTrigger{triggername}{uuid}命名的Group ID。 • 使用已有 ：选择Kafka实例已有的GroupID，请您注意不要与已有的业务混用GroupID，否则会影响已有的消息收发。 消费任务并发数 消费者的并发数量，有效取值范围为[1,20]，建议不超过Topic的分区数。该值同时影响投递到函数的并发数。 消费位点 选择消息的消费位点，即触发器从kafka消息队列开始拉取消息的位置。 • 最早位点 ：从最早位点开始消费。 • 最新位点 ：从最新位点开始消费。 最新位点 调用方式 选择函数调用方式。 • 同步调用 ：指触发器消费topic消息后投递到函数是同步调用，会等待函数响应后继续下一个消息投递。但消费任务并发数大于1时，多个消费者有可能会并发消费消息并投递，并发的情况视topic队列本身积存的消息而定。 • 异步调用 ：指触发器消费topic消息后投递到函数是异步调用，不会等待函数响应，可以快速消费事件。 同步调用 触发器启用状态 创建触发器后是否立即启用。默认选择开启，即创建触发器后立即启用触发器。 启用 推送配置 • 批量推送条数 ：批量推送的最大值，积压值达到后立刻推送，取值范围为[1,10000]。 • 批量推送间隔 ：批量推送的最大时间间隔，达到后立刻推送，单位秒，取值[0,15]。默认0无需等待，数据直接推送。 • 推送格式 ：函数收到的事件格式，详情请查阅触发器事件消息格式。 重试策略 消息推送函数失败后重试的策略，共两种： • 指数退避 ：指数退避重试，重试5次，重试周期为2,4,8,16,32（秒）。 • 线性退避 ：线性退避重试，重试5次，重试周期为1,2,3,4,5（秒）。 容错策略 当重试次数耗尽后仍然失败时的处理方式： • 允许容错 ：当异常发生并超过重试策略配置时直接丢弃。 • 禁止容错 ：当异常发生并超过重试策略配置时继续阻塞执行。 死信队列 当容错策略为：允许容错时，可以额外开启死信队列。当开启死信队列时且异常发生并超过重试策略配置时，消息会被投递到指定的消息队列里，当前只支持投递到kafka和rocketmq

专属队列 专属队列是指队列对应的资源为专属资源，空闲时不释放，即无论是否使用均保留资源的队列类型。专属队列可以保证提交作业时资源一定存在。 队列弹性扩缩容 DLI提供了队列弹性扩缩容的功能。用户在创建指定规格队列后，可根据需要进行弹性扩缩容。 根据业务情况，手动更改队列规格。具体操作请参考队列弹性扩缩容。 说明 新创建的队列需要运行作业后才可进行扩缩容。 队列弹性扩缩容定时任务 DLI提供了队列弹性扩缩容定时任务的功能。用户在创建队列后，可根据需要进行弹性扩缩容定时任务。 根据业务情况，设置队列自动扩缩容的时间，由系统定时触发队列扩缩容。具体操作请参考弹性扩缩容定时任务。 说明 新创建的队列需要运行作业后才可进行扩缩容。 队列自动扩缩容 Flink作业使用队列，DLI可根据作业大小自动触发扩缩容，用户无需进行操作。 说明 新创建的队列需要运行作业后才可进行扩缩容。 队列管理页面 队列管理主要包括如下功能： 队列权限管理 创建队列 删除队列 修改队列网段 队列弹性扩缩容 弹性扩缩容定时任务 测试地址连通性 创建消息通知主题 说明 DLI作业执行失败需要通过SMN发送通知消息，因此需要获得访问和使用SMN（消息通知服务）的SMN Administrator权限。 队列管理页面显示用户创建所有的队列和服务预置的default队列。队列列表默认按创建时间排列，创建时间最近的队列显示在最前端。 队列管理参数 参数 参数说明 名称 队列的名称。 类型 队列的类型。 SQL队列 通用队列 Spark队列（兼容老版本） 规格 队列大小，单位：CUs。 CUs是队列的计价单位。1CUs1Core 4GMem。不同规格的队列对应的计算能力不一样，规格越高计算能力越好。 实际CUs 当前队列实际大小值。 弹性扩缩容 定时扩缩容的目标CU值，或当前规格CU值的最大值和最小值。 用户名 队列所有者。 描述 创建队列时，对队列的描述。如果无描述，则显示“”。 操作 删除：删除所选队列。如果队列中有正在提交或者正在运行的作业，将不支持删除操作。 权限管理：查看队列对应的用户权限信息以及对其他用户授权。 更多 − 重启：强制重启队列。 说明 只有SQL队列有“重启”操作。 − 弹性扩缩容：可以根据需要选择“扩容”或“缩容”，目标值大小必须为16CU的整数倍。 − 弹性扩缩容定时任务：可以根据业务周期或使用情况，在不同的时间或周期内设置不同的队列大小，系统将定时自动进行“扩容”或“缩容”。目标值大小必须为16CU的整数倍。 − 修改网段：使用DLI增强型跨源时，DLI队列网段与数据源网段不能重合，可根据需要进行修改。 − 测试地址连通性：测试队列到指定地址是否可达，支持域名和ip，可指定端口。

本文主要介绍消息队列 Kafka 通过SSL接入的最佳实践，从而帮助您更好的使用该产品。 文中的最佳实践基于消息队列 Kafka 的 Java 客户端；对于其它语言的客户端，其基本概念与思想是通用的，但实现细节可能有差异，仅供参考。 背景 云消息队列 Kafka 版实例如果选择SASLSSL接入时，可能会出现性能较差的情况。可以通过在客户端指定密码套件的方式，手动选择性能和安全性都较高的套件进行TLS通讯。 SSL握手时客户端发送Hello Client 并带上客户端支持的密码套件，服务端收到握手请求后，获取客户端带来的密码套件和服务端支持的密码套件取交集。密码套件加载顺序受客户端jdk版本影响，不同jdk版本，密码套件顺序不一样，可能会导致性能和安全性等无法保证。因此为了保证性能，SSL连接时客户端可以指定密码套件。 推荐的性能和安全性较高的密码套件 TLSECDHERSAWITHAES256GCMSHA384 TLSECDHERSAWITHAES128GCMSHA256 步骤 1.先按照SASLSSL协议接入Kafka，SASLSSL接入可参考文档 SASLSSL接入点接入 2.在此基础上增加 ssl.cipher.suites 配置 客户端关键参数 java Properties props new Properties(); props.put(ProducerConfig.BOOTSTRAPSERVERSCONFIG, BROKERADDR); props.put(ProducerConfig.VALUESERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.KEYSERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(CommonClientConfigs.SECURITYPROTOCOLCONFIG, "SASLSSL"); props.put("sasl.mechanism", "SCRAMSHA512"); props.put(SaslConfigs.SASLJAASCONFIG, "org.apache.kafka.common.security.scram.ScramLoginModule required username"testuser" password"f6eca4dbc78df78d63fba980e448185f";");//注：上面的密码f6eca4dbc78df78d63fba980e448185f，为用户管理里面创建用户时填入的密码进行md5的结果，md5取32位小写 props.put("ssl.truststore.location","/kafka/client.truststore.jks"); props.put("ssl.truststore.password","sJses2tin1@23"); props.put("ssl.endpoint.identification.algorithm",""); props.put("ssl.cipher.suites","TLSECDHERSAWITHAES256GCMSHA384,TLSECDHERSAWITHAES128GCMSHA256");//密码套件支持多个，用半角逗号分开

本文主要介绍在网络异常时如何自动恢复分布式消息服务RabbitMQ。 本章介绍客户端与服务端由于服务端重启、网络抖动等原因造成网络连接断开时，如何在客户端设置网络自动恢复。4.0.0及以上版本的Java客户端默认支持网络自动恢复，无需设置。 说明 如果应用程序使用Connection.Close方法关闭连接，则不会启用或触发网络自动恢复。 触发自动恢复的场景 以下场景，会触发网络自动恢复： 在连接的I/O循环中抛出未处理的异常 检测到Socket读取超时 检测到服务端心跳丢失 重试连接示例代码 客户端和服务端的初始连接失败，不会触发自动恢复，建议您编写对应的应用程序代码，通过重试连接来解决初始连接失败的问题。 以下示例演示了使用Java客户端通过重试连接解决初始连接失败的问题。 ConnectionFactory factory new ConnectionFactory(); // enable automatic recovery if using RabbitMQ Java client library prior to version 4.0.0. factory.setAutomaticRecoveryEnabled(true); // configure various connection settings try { Connection conn factory.newConnection(); } catch (java.net.ConnectException e) { Thread.sleep(5000); // apply retry logic }

本文主要介绍消息队列 Kafka 发布者的最佳实践，从而帮助您更好的使用该产品。 文中的最佳实践基于消息队列 Kafka 的 Java 客户端；对于其它语言的客户端，其基本概念与思想是通用的，但实现细节可能有差异，仅供参考。 Kafka 发送示例代码片段 Key 和 Value Kafka 0.10.0.0 的消息字段只有两个：Key 和 Value。Key 是消息的标识，Value 即消息内容。为了便于追踪，重要消息最好都设置一个唯一的 Key。通过 Key 追踪某消息，打印发送日志和消费日志，了解该消息的发送和消费情况。 失败重试 在分布式环境下，由于网络等原因，偶尔的发送失败是常见的。导致这种失败的原因有可能是消息已经发送成功，但是 Ack 失败，也有可能是确实没发送成功。 消息队列 Kafka 是 VIP 网络架构，会主动掐掉空闲连接（30 秒没活动），也就是说，不是一直活跃的客户端会经常收到 “connection rest by peer” 这样的错误，因此建议都考虑重试消息发送。 异步发送 发送接口是异步的；如果你想得到发送的结果，可以调用metadataFuture.get(timeout, TimeUnit.MILLISECONDS)。 线程安全 Producer 是线程安全的，且可以往任何 Topic 发送消息。通常情况下，一个应用对应一个 Producer 就足够了。 Acks Acks的说明如下： acks0，表示无需服务端的 Response，性能较高，丢数据风险较大； acks1，服务端主节点写成功即返回 Response，性能中等，丢数据风险中等，主节点宕机可能导致数据丢失； acksall，服务端主节点写成功，且备节点同步成功，才返回 Response，性能较差，数据较为安全，主节点和备节点都宕机才会导致数据丢失。 一般建议选择 acks1，重要的服务可以设置 acksall。

消息超过老化时间，消息仍存在的原因 问题现象： 消息超过设置的老化时间（如果Topic已经设置了老化时间，此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时，“配置参数”中的log.retention.hours值才会对此Topic生效。），消息仍存在。 可能原因1： Topic的每个分区都是由多个大小相同的segment文件组成，每个segment文件的大小为500MB，当segment文件存储的消息大小到达500MB后，才会新建下一个segment文件。Kafka删除消息是删除segment文件，而不是删除一条消息。Kafka要求至少保留一个segment文件用来存储消息，如果正在使用的segment文件中包含超过老化时间的消息，由于此时segment文件不会被删除，所以超过老化时间的消息也不会被删除。 处理方法： 等待segment文件被使用完，或者删除超过老化时间的消息所在的Topic。 可能原因2： Topic中存在一条create time为未来时间的消息（例如当前时间为1月1日，create time设置成了2月1日），此消息在72小时后，并不会被老化，导致在此消息后创建的其他消息都不会被老化。 处理方法： 删除create time为未来时间的消息所在的Topic。 Kafka实例是否支持延迟消息？ 不支持延迟消息。 如何查看堆积消息数？ 通过以下任意一种方法，查看堆积消息数。 在Kafka控制台的“消费组管理”页面，单击待查看堆积消息的消费组名称，进入消费组详情页。在“消费进度”页签，查看消费组中每个Topic的总堆积数。具体步骤，请参考查询消费组信息。 在Kafka控制台的“监控”页面的“消费组”页签中，“消费组”选择待查看堆积消息数的消费组名称，“队列”选择“全部队列”，“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤，请参考查看监控数据。 在云监控页面的“消费组”页签中，“消费组”选择待查看堆积消息数的消费组名称，“队列”选择“全部队列”，“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤，请参考查看监控数据。 在Kafka客户端，在“/{命令行工具所在目录}/kafka{version}/bin/”目录下，通过 kafkaconsumergroups.sh bootstrapserver {kafka连接地址} describe group {消费组} 命令查看消费组中每个Topic的堆积消息数。“LAG”表示每个Topic的总堆积数。 图 查看每个Topic的总堆积数 说明 如果Kafka实例开启SASL认证，则以上命令还需要增加SASL认证的“consumer.properties”配置文件参数： commandconfig {SASL认证的consumer.properties配置文件} ，“consumer.properties”配置文件参考开启SASL认证的Kafka命令行连接说明。