步骤四：购买客户端服务器 购买3台ECS服务器（资源池、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致，带宽要大于等于Kafka实例带宽） 购买完成后需要进行如下操作： 安装JDK yum install y java1.8.0openjdkdevel.x8664 下载Kafka命令行工具并解压 tar zxvf kafka2.132.8.2.tar.gz 步骤五：测试命令 ./kafkaproducerperftest.sh producerprops bootstrap.servers${连接地址} acks1 batch.size16384 topic ${Topic名称} numrecords 5000000 recordsize 1024 throughput 1 producer.config ../config/producer.properties bootstrap.servers：购买Kafka实例后，获取的Kafka实例的地址。 acks：消息主从同步策略，acks1表示异步复制消息，acks1表示同步复制消息。 batch.size：每次批量发送消息的大小（单位为字节）。 topic：创建Topic中设置的Topic名称。 numrecords：总共需要发送的消息数。 recordsize：每条消息的大小。 throughput：每秒发送的消息数，1表示不作限制。 测试结果 测试场景一（实例是否开启SASL）：相同的Topic（30分区，3副本，异步复制） 实例规格 磁盘类型 节点数量 TPS（使用SASL） TPS（不使用SASL） 计算增强型4核8GB 超高IO 3 170000 500000 计算增强型8核16GB 超高IO 3 200000 730000 计算增强型16核32GB 超高IO 3 360000 886000 测试场景二（同步/异步复制）：相同的实例（超高I/O、3个节点、不使用SASL） 实例规格 分区数 副本数 TPS（同步复制） TPS（异步复制） 计算增强型4核8GB 30 3 238000 500000 计算增强型8核16GB 30 3 315000 730000 计算增强型16核32GB 30 3 375000 886000 测试场景三（不同磁盘类型）：相同的Topic（30分区，3副本，异步复制） 实例规格 是否使用SASL 节点数量 TPS（高IO） TPS（超高IO） 计算增强型4核8GB 不使用 3 135000 500000 计算增强型8核16GB 不使用 3 240000 730000 计算增强型16核32GB 不使用 3 280000 886000 测试场景四（不同分区数）：相同的实例（超高I/O、3个节点、不使用SASL） 实例规格 是否同步复制 副本数 TPS（3分区） TPS（12分区） TPS（100分区） 计算增强型4核8GB 否 3 330000 280000 260000 计算增强型8核16GB 否 3 480000 410000 340000 计算增强型16核32GB 否 3 534000 744000 630000

场景描述 RocketMQ提供了用户管理和权限管理机制，用于确保消息队列的安全性和访问控制。另外RocketMQ还支持角色的概念，可以将多个权限组合成一个角色，并将角色分配给用户。通过角色管理，可以简化权限管理的复杂性，提高管理效率。 通过用户管理和权限管理机制，RocketMQ可以实现对消息队列的细粒度访问控制，确保只有授权的用户能够读取、写入和订阅消息，并提供了灵活的角色管理功能，方便管理员进行权限分配和管理。这些机制可以帮助用户保护消息队列的安全性，防止未经授权的访问和操作。 应用用户管理 本章节适用于南京3、上海7、重庆2、乌鲁木齐27、保定、石家庄20、内蒙6、晋中、北京5 节点。 新建消息实例后，必须在此菜单新建应用用户，然后应用才能在此消息实例上发送、消费消息。此处的用户名即为管控openapi中的accessKey，加密后的密码即为管控openapi中的secretKey。 应用用户：指MQ客户端，连接服务器生产消费时，需要进行权限校验，所以MQ客户端的用户，称为应用用户。 除了用户密码的校验，还可以为用户指定topic，代表该用户只能生产消费，指定的topic，其他topic不能生产消费。 1）点击【新建用户】按钮 2）进入用户列表界面，新增用户 3）弹出框填写用户字段 默认展示租户名，不可修改。 选择集群名称，填写应用用户名，请输入大于6位字符，只能输入大小写字母，下划线，数字。 填写用户密码，请输入大于8位字符，需要包含数字大小写字母以及特殊符号(!@

参数 类型 示例 描述 headers map {"myheader": "100"} 消息的自定义header。 properites map { "deliveryMode": 1, "priority": 0, "type": "mytype" } 消息的自定义属性值。 deliveryTag int 1 消息的tag。 redelivered bool false 消息是否是被重新投递： false：表示这条消息是第一次投递给消费者。 true：表示这条消息是被重新投递的。 exchange string 消息的Exchange。 routingKey string testforfaas 消息的路由key。 body string hello, rabbitmq 消息的内容。

4. 消费组监控 指标ID 指标名称 指标含义 取值范围 单位 partitionmessagesconsumed 分区已消费消息数 该指标用于统计当前消费组指定主题分区已经消费的消息总数。 >0 Count partitionmessagesremained 分区可消费消息数 该指标用于统计当前消费组指定主题分区还可以消费的消息总数。 >0 Count topicmessagesconsumed 主题已消费消息数 该指标用于统计当前消费组指定主题已经消费的消息总数。 >0 Count topicmessagesremained 主题可消费消息数 该指标用于统计当前消费组指定主题还可以消费的消息总数。 >0 Count consumermessagesconsumed 消费组已消费消息数 该指标用于统计当前消费组已经消费的消息总数。 >0 Count consumermessagesremained 消费组可消费消息数 该指标用于统计当前消费组还可以消费的消息总数。 >0 Count consumerrebalancetimes 消费组重平衡次数 该指标用于统计当前消费组重平衡次数。 >0 Count consumermessagesconsumedrate 消费组消费速率 该指标用于统计消费组每秒消费的消息数。 注意：2025年1月及以后购买的实例，支持此监控项。 >0 Count/s topicmessagesconsumedrate 主题消费速率 该指标用于统计主题每秒消费的消息数。 注意：2025年1月及以后购买的实例，支持此监控项。 >0 Count/s messagesconsumedrate 分区消费速率 该指标用于统计主题分区每秒消费的消息数。 注意：2025年1月及以后购买的实例，支持此监控项。 >0 Count/s

介绍分布式消息服务MQTT实例详情。 实例详情包含基本的实例基本信息、当前性能指标信息以及各MQTT Broker节点信息。 基本信息 实例基本信息包括实例ID、实例名称、实例类型、专有网络、子网、安全组、创建时间、服务端连接地址、内网终端连接地址等，各字段释义如下： 实例ID：MQTT实例ID通常用于标识和管理不同的MQTT实例。每个MQTT实例都有一个唯一的实例ID，以确保在MQTT Broker上进行识别和区分。实例ID通常是一个字符串，由系统自动生成。 实例名称：MQTT实例名称通常用于标识和描述特定的MQTT实例。它是一个可读性高的字符串，用于方便用户在管理和监控中识别不同的MQTT实例。实例名称可以由用户自定义，也可以由MQTT服务根据用户指定的规则自动生成。通常情况下，实例名称是唯一的，以确保在一个MQTT服务中区分不同的实例。 实例类型：包含MQTT主机规格和节点数信息。 专有网络：即VPC，为分布式消息服务MQTT提供一个逻辑隔离的区域，构建一个安全可靠、可配置和管理的虚拟网络环境。 子网：构建在云基础设施上的网络分段，用于划分和管理云资源的网络连接。 安全组：网络安全控制机制，用于在云计算环境中管理虚拟机实例、容器实例或其他云资源的网络访问规则。 创建时间：购买并成功创建MQTT实例时间。 服务器连接地址：MQTT服务器的主机名或IP地址。 内网终端连接地址：在局域网或内部网络中使用的地址，用于设备之间在相同网络环境下进行通信。 内网终端SSL连接地址：内网终端之间建立SSL连接，使用MQTT over TLS/SSL（通常称为MQTTS）来保护通信。 公网IP：可以独立申请的公网 IP 地址，包括公网IP地址与公网出口带宽服务。

优势 多源数据分析免搬迁：关系型数据库RDS中存放车辆和车主基本信息，表格存储中存放实时的车辆位置和健康状态信息，数据仓库DWS中存放周期性统计的指标。通过DLI无需数据搬迁，对多数据源进行联邦分析。 数据分级存储：车企需要保留全量历史数据支撑审计类等业务，低频进行访问。温冷数据存放在低成本的对象存储服务OBS上，高频访问的热数据存放在数据引擎（DWS）中，降低整体存储成本。 告警快速敏捷触发服务器弹性伸缩：对CPU、内存、硬盘空间和带宽无特殊要求。 建议搭配以下服务使用： CDM、OBS、DWS。 大数据ETL处理 运营商大数据分析 运营商数据体量在PB~EB级，其数据种类多，有结构化的基站信息数据，非结构化的消息通信数据，同时对数据的时效性有很高的要求，DLI服务提供批处理、流处理等多模引擎，打破数据孤岛进行统一的数据分析。 优势 大数据ETL：具备TB~EB级运营商数据治理能力，能快速将海量运营商数据做ETL处理，为分布式批处理计算提供分布式数据集。 高吞吐低时延：采用Apache Flink的Dataflow模型，高性能计算资源，从用户自建的Kafka、MRSKafka、DMSKafka消费数据，单CU每秒吞吐1千~2万条消息。 建议搭配以下服务使用： OBS、DataArts Studio。

延时消息定义 延时消息 是指消息在发送后不会立即投递给消费者，而是在指定的延迟时间之后才可被消费。 开源 RabbitMQ 本身不直接支持原生延时消息语义 ，但可以通过现有机制组合 或官方插件实现类似能力。 应用场景 延时消息适用于需要定时触发或延迟处理的业务场景，例如： 订单超时关闭 下单成功后发送延时消息，30 分钟后检查支付状态，未支付则关闭订单。 提醒通知 预约活动开始前，通过延时消息发送提醒。 任务调度 延迟执行数据清理、报表生成、状态检查等后台任务。 实现方案对比 方案 实现原理 特点 死信队列（DLX）+ TTL 利用消息或队列 TTL 过期后转入死信交换机，再重新路由到消费队列 无需插件，兼容性好；配置复杂，延迟精度有限 延时消息插件 使用官方延时交换机，消息到期后才进入正常路由流程 使用简单、精度高；需安装插件，存在版本依赖 方案一：死信队列（DLX）+ TTL 实现原理 RabbitMQ 支持为： 消息 设置 TTL（expiration） 队列 设置 TTL（xmessagettl） 当消息到达 TTL 后不会立即删除，而是被投递到死信交换机（Dead Letter Exchange, DLX），再由 DLX 路由到目标队列，从而实现“延迟消费”。

参数区域 参数名称 参数说明 Syslog协议 服务IP模式 设置对接服务器IP地址模式，可选择“IPV4”或者“IPV6”。 Syslog协议 服务IP 设置对接服务器IP地址。 Syslog协议 服务端口 设置对接端口。 Syslog协议 协议 设置协议类型，可选值： l TCP l UDP Syslog协议 安全级别 设置上报消息的严重程度，取值范围： l Emergency l Alert l Critical l Error l Warning l Notice l Informational（默认值） l Debug 说明 “安全级别”和“Facility”共同组成发出消息的优先级（ Priority ）。 优先级（ Priority ） “Facility” × 8 +“安全级别” “安全级别”和“Facility”各项对应的数值请参考下表：“安全级别”和“Facility”字段数值编码 。 Syslog协议 Facility 设置产生日志的模块。可选项参考下表：“安全级别”和“Facility”字段数值编码 ，推荐使用默认值“local use 0 (local0)”。 Syslog协议 标识符 设置产品标识，默认为“FusionInsight Manager”。 标识符可以包含字母、数字、下划线、 空格、、 $、 {、 }、 点、中划线，并且不能超过256个字符。 报告信息 报文格式 设置告警报告的消息格式，具体要求请参考界面帮助。 报文格式可以包含字母、数字、下划线、 空格、、 $、 {、 }、 点、中划线，并且不能超过1024个字符。 说明 报文格式中信息域的说明请参考下表：报文格式信息域表。 报告信息 报告信息类型 设置需要上报的告警类型。 报告信息 上报消息级别 设置需要上报的告警级别。 未恢复告警上报设置 周期上报未恢复告警 设置是否按指定周期上报未清除的告警。打开开关表示启用此功能，关闭开关表示不启用。开关默认为关闭。 未恢复告警上报设置 间隔时间（分钟） 设置周期上报告警的时间间隔，当“周期上报未恢复告警”开关设置为打开时启用。单位为分钟，默认值为“15”，支持范围为“5”到“1440”（1天）。 心跳设置 上报心跳 设置是否开启周期上报Syslog心跳消息。打开开关表示开启此功能，关闭开关表示不启用。开关默认为关闭。 心跳设置 心跳周期（分钟） 设置周期上报心跳的时间间隔，当“上报心跳”开关设置为打开时启用。单位为分钟，默认值为“15”，支持范围为“1”到“60”。 心跳设置 心跳报文 设置心跳上报的内容，当“上报心跳”开关设置为打开时启用，不能为空。支持数字、字母、下划线、竖线、冒号、空格、英文逗号和句号字符，长度小于等于256。

本节介绍Kafka分区平衡功能 场景描述 分区平衡是指将分区的副本重新分配到不同的节点上，解决Kafka节点负载不均衡问题。 需要进行分区平衡的场景如下： 实例扩容节点个数后，新节点没有任何负载，需要将原有Topic分区的副本迁移到新节点上。 将高负载节点上的Leader分区切换为Follower分区。 增加/减少副本数量。 分布式消息服务Kafka版控制台提供两种分区平衡的方法：自动平衡和手动平衡，建议选择自动平衡，确保分区Leader的均匀分布。 操作影响 对数据量大的Topic进行分区平衡，会占用大量的网络和存储带宽，业务可能会出现请求超时或者时延增大，建议在业务低峰期时操作。对Topic进行分区平衡前，根据Kafka实例规格对比当前实例负载情况，评估是否可以进行分区平衡，建议预留足够的带宽进行分区平衡，CPU使用率在90%以上时，不建议进行分区平衡。 带宽限制是指设定Topic进行副本同步的带宽上限，确保不会对该实例上的其他Topic造成流量冲击。但需要注意，带宽限制不会区分是正常的生产消息造成的副本同步还是分区平衡造成的副本同步，如果带宽限制设定过小，可能会影响正常的生产消息，且可能会造成分区平衡一直无法结束。 分区平衡任务启动后，不能删除正在进行分区平衡的Topic，否则会导致分区平衡任务无法结束。 分区平衡任务启动后，无法修改Topic的分区数。 分区平衡任务启动后，无法手动停止任务，需要等到任务完成。 分区平衡后Topic的metadata会改变，如果生产者不支持重试机制，会有少量的请求失败，导致部分消息生产失败。 数据量大的Topic进行分区平衡的时间会比较长，建议根据Topic的消费情况，适当调小Topic老化时间，使得Topic的部分历史数据被及时清理，加快迁移速度。

Kafka 消费的语义是 “at least once”， 也就是至少投递一次，保证消息不丢，但是不会保证消息不重复。在出现网络问题、客户端重启时均有可能出现少量重复消息，此时应用消费端如果对消息重复比较敏感（比如说订单交易类），则应该做到消息幂等。 以数据库类应用为例，常用做法是： 发送消息时，传入 key 作为唯一流水号ID； 消费消息时，判断 key 是否已经消费过，如果已经消费过了，则忽略，如果没消费过，则消费一次； 当然，如果应用本身对少量消息重复不敏感，则不需要做此类幂等检查。

本节介绍产品使用卡券规则。 天翼云分布式消息服务RocketMQ产品卡券使用遵循天翼云统一规则。 ++优惠券使用++ ++代金券使用++ 卡券使用常见问题：卡券管理费用中心常见问题 天翼云。

本节介绍了完成日志采集规则配置后，在云日志控制台实时查看上报的日志。 前提条件 已创建日志组和日志流。 已完成ICAgent安装。 已接入日志。 查看实时日志 1. 在云日志服务管理控制台，单击“日志管理”。 2. 在日志组列表中，单击已创建的日志组名称。 3. 在日志流列表中，单击已创建的日志流名称。 4. 在日志流详情页面，单击“实时日志”，查看实时日志。 日志每隔大约5秒钟上报一次，在日志消息区域，您最多需要等待5秒钟左右，即可查看实时上报的日志。 同时，您还可以通过页面右上方的“清屏”、“暂停”对日志消息区域进行操作。 1. 清屏：清除日志消息区域已经显示出来的日志。 2. 暂停：暂停日志消息的实时显示，页面定格在当前已显示的日志。 暂停后，“暂停”会变成“继续”，再次单击“继续”，日志消息继续实时显示。 说明 如果您正在使用实时查看功能，请停留在实时查看页面，请勿切换页面。如果您离开实时查看页面，实时查看功能将会被关闭。

本文简述HTTP响应头的配置方法。 功能介绍 HTTP响应头是HTTP响应消息的基本组成部分，可以携带指定的响应参数传给客户端。通过配置特定的HTTP响应头，可以实现在边缘节点返回消息头时携带已配置的响应头。常用于告诉客户端边缘节点响应文件的类型，例如添加响应头ContentType: text/xml表明边缘节点响应的文件类型是xml文件。也可以用于实现跨域资源访问。 前提条件 您已经完成添加服务域名，如果您未添加，请参考添加服务域名。 操作步骤 1.登录边缘安全加速控制台，选择【域名】【基础配置】，在域名列表中选中需要配置的域名。 2.进入域名配置详情页面后，选择【头部修改】，单击【编辑配置】按钮。 3.选择【HTTP响应头】后单击【增加规则】按钮。 4.输入响应头的参数名，参数仅支持大小写字母、数字、下划线、中划线。 5.点击确定。 配置界面

其他新增命令 1. swapdb 用途：交换同一Redis实例内2个db的数据。 用法：swapdb dbindex1 dbindex2 2. zlexcount 用途：在有序集合中，返回符合条件的元素个数。 用法：zlexcount key min max 内存使用和性能改进 1. 使用更少的内存来存储相同数量的数据 2. 可以对使用的内存进行碎片整理，并逐渐回收 Redis5.0支持的新特性说明 DCS的Redis 5.0版本继承了Redis 4.0版本的所有功能增强以及新的命令，同时还兼容开源Redis 5.0版本的新增特性。 Stream数据结构 Stream是Redis 5.0引入的一种新数据类型，它是一个全新的支持多播的可持久化消息队列。 Redis Stream的结构示意图如下图所示，它是一个可持久化的数据结构，用一个消息链表，将所有加入进来的消息都串起来。 Stream数据结构具有以下特性 ： 1. Stream中可以有多个消费者组。 2. 每个消费组都含有一个Lastdeliveredid，指向消费组当前已消费的最后一个元素（消息）。 3. 每个消费组可以含有多个消费者对象，消费者共享消费组中的Lastdeliveredid，相同消费组内的消费者存在竞争关系，即一个元素只能被其中一个消费者进行消费。 4. 消费者对象内还维持了一个Pendingids，Pendingids记录已发送给客户端，但是还没完成ACK（消费确认）的元素id。 5. Stream与Redis其他数据结构的比较，见下表。 Stream数据结构示意图 Stream与Redis现有数据结构比较 比较项 Stream List、Pub/Sub、Zset 复杂度 获取元素高效，复杂度为O(logN) List获取元素的复杂度为O(N) offset 支持offset，每个消息元素有唯一id。不会因为新元素加入或者其他元素淘汰而改变id。 List没有offset概念，如果有元素被逐出，无法确定最新的元素 持久化 支持消息元素持久化，可以保存到AOF和RDB中。 Pub/Sub不支持持久化消息。 消费分组 支持消费分组 Pub/Sub不支持消费分组 消息确认 支持ACK（消费确认） Pub/Sub不支持 性能 Stream性能与消费者数量无明显关系 Pub/Sub性能与客户端数量正相关 逐出 允许按时间线逐出历史数据，支持block，给予radix tree和listpack，内存开销少。 Zset不能重复添加相同元素，不支持逐出和block，内存开销大。 删除元素 不能从中间删除消息元素。 Zset支持删除任意元素 Stream相关命令介绍 接下来按照使用流程中出现的顺序介绍 Stream相关命令 。详细命令见下表 1. 首先使用XADD添加流元素，即创建Stream，添加流元素时可指定消息数量最大保存范围。 2. 然后通过XGROUP创建消费者组。 3. 消费者使用XREADGROUP指令进行消费。 4. 客户端消费完毕后使用XACK命令确认消息已消费成功。 Stream相关命令介绍 Stream的详细命令 命令 说明 语法 XACK 从流的消费者组的待处理条目列表 （简称PEL）中删除一条或多条消息。 XACK key group ID [ID ...] XADD 将指定的流条目追加到指定key的流中。 如果key不存在，作为运行这个命令的副作用，将使用流的条目自动创建key。 XADD key ID field string [field string ...] XCLAIM 在流的消费者组上下文中，此命令改变待处理消息的所有权，因此新的所有者是在命令参数中指定的消费者。 XCLAIM key group consumer minidletime ID [ID ...] [IDLE ms] [TIME msunixtime] [RETRYCOUNT count] [FORCE] [JUSTID] XDEL 从指定流中移除指定的条目，并返回成功删除的条目的数量，在传递的ID不存在的情况下， 返回的数量可能与传递的ID数量不同。 XDEL key ID [ID ...] XGROUP 该命令用于管理流数据结构关联的消费者组。使用XGROUP你可以：l 创建与流关联的新消费者组。l 销毁一个消费者组。l 从消费者组中移除指定的消费者。l 将消费者组的最后交付ID设置为其他内容。 XGROUP [CREATE key groupname idor] [SETID key idor ] [DESTROY key groupname] [DELCONSUMER key groupname consumername] XINFO 检索关于流和关联的消费者组的不同的信息。 XINFO [CONSUMERS key groupname] key key [HELP] XLEN 返回流中的条目数。如果指定的key不存在，则此命令返回0，就好像该流为空。 XLEN key XPENDING 通过消费者组从流中获取数据。检查待处理消息列表的接口，用于观察和了解消费者组中哪些客户端是活跃的，哪些消息在等待消费，或者查看是否有空闲的消息。 XPENDING key group [start end count] [consumer] XRANGE 返回流中满足给定ID范围的条目。 XRANGE key start end [COUNT count] XREAD 从一个或者多个流中读取数据，仅返回ID大于调用者报告的最后接收ID的条目。 XREAD [COUNT count] [BLOCK milliseconds] STREAMS key [key ...] ID [ID ...] XREADGROUP XREAD命令的特殊版本，指定消费者组进行读取。 XREADGROUP GROUP group consumer [COUNT count] [BLOCK milliseconds] STREAMS key [key ...] ID [ID ...] XREVRANGE 与XRANGE相同，但显著的区别是以相反的顺序返回条目，并以相反的顺序获取开始结束参数 XREVRANGE key end start [COUNT count] XTRIM XTRIM将流裁剪为指定数量的项目，如有需要，将驱逐旧的项目（ID较小的项目）。 XTRIM key MAXLEN [~] count 消息（流元素）消费确认 Stream与相比Pub/Sub，不仅增加消费分组模式，还支持消息消费确认。 当一条消息被某个消费者调用XREADGROUP命令读取或调用XCLAIM命令接管的时候， 服务器尚不确定它是否至少被处理了一次。 因此， 一旦消费者成功处理完一条消息，它应该调用XACK知会Stream，这样这个消息就不会被再次处理， 同时关于此消息的PEL（pendingids）条目也会被清除，从Redis服务器释放内存 。 某些情况下，因为网络问题等，客户端消费完毕后没有调用XACK，这时候PEL内会保留对应的元素ID。待客户端重新连上后，XREADGROUP的起始消息ID建议设置为00，表示读取所有的PEL消息及自lastid之后的消息。同时，消费者消费消息时需要能够支持消息重复传递。 ACK机制解读

安装依赖 plaintext pip3 install pahomqtt 代码示例 python import ssl import random from paho.mqtt import client as pahoclient 填入您在mqtt控制台创建的ACL账号密码。 USERNAME "yourusername" AUTHPASSWORD "yourpassword" 是否使用tls加密传输 isTls True class MQTTClient: def init(self): 填写mqtt云消息服务的接入点，去掉:{端口号}部分 self.broker "tcp://localhost" 指定连接客户端的id self.clientid "ctgmqttclienttest" self.client None def onconnect(self, client, userdata, flags, rc): 连接建立成功 if rc 0: print("Connected to MQTT Broker!") else: print(f"Failed to connect, return code {rc}") def ondisconnect(self, client, userdata, rc): 连接丢失 print(f"Disconnected with result code {rc}") 可以在这里添加重连逻辑 def onmessage(self, client, userdata, msg): 收到消息的回调 print(f"Received {msg.payload.decode()} from {msg.topic} topic") def onpublish(self, client, userdata, mid): 成功发送消息到服务端 print(f"Message {mid} published successfully") def connectmqtt(self): 创建客户端实例 self.client pahoclient.Client(clientidself.clientid) self.client.usernamepwset(USERNAME, AUTHPASSWORD) 设置回调函数 self.client.onconnect self.onconnect self.client.ondisconnect self.ondisconnect self.client.onmessage self.onmessage self.client.onpublish self.onpublish 设置TLS if isTls: 创建不验证证书的SSL上下文 context ssl.createdefaultcontext() context.checkhostname False context.verifymode ssl.CERTNONE self.client.tlssetcontext(context) 设置其他连接选项 self.client.connect(self.broker.replace("tcp://", "").replace("ssl://", ""), port8883 if isTls else 1883) self.client.loopstart()

本节主要介绍分布式消息服务Kafka的退订说明 如果您有退订的需求，可以进行登录天翼云管理中心或产品控制台进行退订操作。天翼云目前支持7天无理由全额退订和非七天无理由退订以及其他退订，详细规则请参考文档费用中心退订。

本节介绍Kafka不推荐使用Sarama Go客户端收发消息 问题现象 所有Sarama Go版本客户端存在以下已知问题： 当Topic新增分区时，Sarama Go客户端无法感知并消费新增分区，需要客户端重启后，才能消费到新增分区。 当Sarama Go客户端同时订阅两个以上的Topic时，有可能会导致部分分区无法正常消费消息。 当Sarama Go客户端的消费位点重置策略设置为Oldest(earliest)时，如果客户端宕机或服务端版本升级，由于Sarama Go客户端自行实现OutOfRange机制，有可能会导致客户端从最小位点开始重新消费所有消息。 解决方案 建议尽早将Sarama Go客户端替换为Confluent Go客户端。

操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 在Kafka实例名称后，单击。 进入云监控该实例的监控指标页面。 步骤 5 在实例监控指标页面中，找到需要创建告警的指标项，鼠标移动到指标区域，然后单击指标右上角的，创建告警规则，跳转到创建告警规则页面。 步骤 6 在告警规则页面，设置告警信息。 创建告警规则操作，请查看《云监控服务用户指南》的“创建告警规则和告警通知”章节。 1. 设置告警名称和告警的描述。 2. 设置告警策略和告警级别。 如下图所示，在进行指标监控时，如果连续3个周期，磁盘容量使用率原始值超过85%，则产生告警，如果未及时处理，则产生告警通知。 图设置告警策略和告警级别 3. 设置“发送通知”开关。当开启时，设置告警生效时间、产生告警时通知的对象以及触发的条件。 4. 单击“立即创建”，等待创建告警规则成功。

本文主要介绍分布式消息服务RabbitMQ的计费模式概述。 分布式消息服务RabbitMQ提供包年/包月和按需计费两种计费模式，以满足不同场景下的用户需求。 包年/包月 ：一种预付费模式，即先付费再使用，按照订单的购买周期进行结算。购买周期越长，享受的折扣越大。一般适用于业务需求量长期稳定的成熟业务。 按需计费 ：一种后付费模式，即先使用再付费，按照RabbitMQ实例实际使用时长计费，秒级计费，按小时结算。按需计费模式允许您根据实际业务需求灵活地调整资源使用，无需提前预置资源，从而降低预置过多或不足的风险。一般适用于电商抢购等业务需求量瞬间大幅波动的场景。 表1 计费模式 计费模式 包年/包月 按需计费 付费方式 预付费 按照订单的购买周期结算 后付费 按照RabbitMQ实例实际使用时长计费 计费周期 按订单的购买周期计费 秒级计费，按小时结算 适用计费项 实例费用、存储空间费用 实例费用、存储空间费用 变更规格 支持变更实例规格 支持变更实例规格 使用场景 适用于可预估资源使用周期的场景，价格比按需计费模式更优惠。对于长期使用者，推荐该方式 适用于资源需求波动的场景，可以随时开通，随时删除

实例的创建和销毁 1、使用CTGFactory进行创建实例【强制规范】。 2、Consumer是重量级的实例，每次创建、销毁都会消耗系统资源，建议系统启动的时候创建，系统退出的时候关闭，禁止每次消费消息都创建新的实例【强制规范】。 多消费组消费 一个Topic，可以使用多个消费组消费消息，每个消费组将在服务端独立保存进度。 集群消费意味着多个消费者均衡消费Topic的消息，由于经常不同的程序由多个开发者进行研发和调试，如果使用同一个消费组，在调试过程中存在被其他程序消费者消费的可能，因此应该尽量避免多种类型的应用程序使用同一个消费组。 消费位置设置 消费位置重置可通过控制台进行按时间重置，客户端必须离线。 堆积量 不建议高堆积量的消费，为了预防出现高堆积的情况，建议： 1、边生产边消费，如果消费速度跟不上，增加消费者。 2、消费者一直在线，不要等生产了一段时间再开启消费者，这样会造成消费的堆积。 消费并行度 1. 同一个ConsumerGroup下，可通过增加Consumer 实例数量来提高消费的并行度（注意超过主题队列数的部分Consumer实例因为分配不到队列而无效），从而提升消费吞吐。 2. 增加单个消费节点的线程数，通过修改Consumer的参数consumeThreadMin、consumeThreadMax，增加并发线程个数实现更高的并发度。 3. 批量方式消费，如果业务流程支持批量方式消费处理消息，可设置consumer的consumeMessageBatchMaxSize返回消息个数参数，该参数默认为1，即一次只消费一条消息。通过调大该参数的值，则可以很大程度上提高消费的吞吐量。

配置邮件外发 邮件服务器，为改密提示和消息告警等通知提供邮件发送服务。 根据需求设置私有邮箱服务器或是公共邮箱服务器，并可测试所填写服务器信息是否有效。 目前支持两种发送方式，分别为SMTP和Exchange，其中Exchange仅支持Exchange2010版本。 本小节主要介绍如何配置系统邮件外发。 前提条件 已获取“系统”模块管理权限。 操作步骤 1 登录云堡垒机系统。 2 选择“系统 > 系统配置 > 外发配置”，进入系统外发配置管理页面。 外发配置 3 在“邮件配置”区域，单击“编辑”，弹出邮件配置窗口。 分别选择SMTP和Exchange发送方式，并根据界面提示配置邮件发送方式。 4 单击“确认”，返回外发配置页面，即可查看已配置信息。结束 配置短信外发 系统短信外发为手机短信方式登录、重置密码和消息告警等验证或通知，提供短信发送服务。 目前可选择配置“内置”和“自定义”两种类型，其中“自定义”类型还可选择通用“短信网关”和云短信网关。 “内置”由系统的短信网关来提供短信服务。 自定义通用“短信网关”，输入正确的URL地址和API参数后，可测试所填写服务器信息是否有效。 本小节主要介绍如何配置系统短信外发。 约束限制 “内置”短信网关不支持推送系统告警。 自定义通用“短信网关”支持推送系统告警。 自定义云短信网关不支持推送系统告警。云短信网关服务失效后，将自动切换为系统“内置”短信网关。

操作场景 介绍指导用户创建事件监控的告警通知。 操作步骤 1. 登录管理控制台。 2. 在页面左上角单击，选择“管理与部署 > 云监控服务”，进入“云监控服务”页面。 3. 在左侧导航栏选择“事件监控”，进入“事件监控”页面。 4. 在事件列表页面，单击页面右上角的“创建告警规则”。 5. 在“创建告警规则”界面，配置参数。 表1 告警内容参数说明 参数 参数说明 名称 系统会随机产生一个名称，用户也可以进行修改。 描述 告警规则描述（此参数非必填项）。 归属企业项目 可选择已有的企业项目，或单击“创建企业项目”进行创建。 告警类型 用于指定告警规则对应的告警类型。 事件类型 用于指定告警规则对应指标的事件类型。 事件来源 事件来源的云服务名称。选择云数据库GeminiDB。 监控范围 创建事件监控针对的资源范围。 选择类型 选择自定义创建。 告警策略 事件名称：用户操作系统资源的动作，如用户登录，用户登出，为一个瞬间的操作动作。事件监控支持的操作事件请参见本章节 事件监控支持的事件说明。用户根据需要选择触发方式、告警级别。 单击开启“发送通知”，生效时间默认为全天，若没有您想要选择的主题，可以单击下一行的“创建主题”进行添加。 表2 发送通知 参数 参数说明 发送通知 配置是否发送邮件、短信、HTTP和HTTPS通知用户。 通知对象 需要发送告警通知的对象，可选择“云账号联系人”或主题。 云账号联系人：注册账号时的手机和邮箱。 主题：消息发布或客户端订阅通知的特定事件类型，若此处没有需要的主题，需先创建主题并订阅该主题。 生效时间 该告警规则仅在生效时间内发送通知消息。如生效时间为08:0020:00，则该告警规则仅在08:0020:00发送通知消息。 触发条件 出现告警 6. 配置完成后，单击“立即创建”，完成告警规则的创建。

RocketMQ里的一个Consumer Group代表一个Consumer群组。对于大多数分布式应用来说，一个Consumer Group下通常会有多个Consumer实例。订阅关系一致指的是同一个Consumer Group下所有Consumer实例的处理逻辑必须完全一致，一旦订阅关系不一致，消息消费的逻辑就会混乱，甚至导致消息丢失。 背景信息 RocketMQ 中一个消费者代表一个Consumer实例群组。在大多数场景中，一个消费者组下面包含多个Consumer实例。 由于分布式消息服务RocketMQ的订阅关系主要由Topic+Tag共同组成，因此，保持订阅关系一致意味着同一个消费者Group ID下所有的Consumer实例订阅关系的一致性大概包括下面几个方面： 同一个消费组订阅的Topic必须一致，例如：在同一个消费组下，ConsumerA订阅Topic1和Topic2，ConsumerB也必须订阅Topic1和Topic2，只订阅Topic1、只订阅Topic2或订阅Topic2和Topic3都是不允许的。 同一个消费者订阅的同一个Topic的场景下Tag必须一致，包括Tag的数量和顺序，例如：ConsumerA订阅Topic1的Tag配置为Tag1Tag2，ConsumerB订阅Topic1的Tag也必须是Tag1Tag2，只订阅Tag1、只订阅Tag2或者订阅Tag2Tag1都是不允许的。 多个不同的Topic可以被多个消费组订阅，但是同一个消费组下的多个Consumer实例订阅Topic和Tag都必须一致。 代码示例 订阅一个Topic、一个Tag 同一个消费组下面的全部消费者实例均订阅一个Topic，且均配置同一个Tag这种是符合订阅关系一致性原则的。 consumer.setConsumerGroup("group1"); consumer.subscribe(topic,"Tag1"); consumer.registerMessageListener((MessageListenerConcurrently)(msgs, context)>{ // do something } 订阅一个Topic多个Tag 每个消费者订阅消息的代码必须一致 consumer.setConsumerGroup("group1"); consumer.subscribe(topic,"Tag1Tag2"); consumer.registerMessageListener((MessageListenerConcurrently)(msgs, context)>{ // do something } 订阅多个Topic且订阅多个Tag consumer.setConsumerGroup("group1"); consumer.subscribe(topic1,"Tag1"); consumer.subscribe(topic2,"Tag1｜Tag2"); consumer.subscribe(topic3,""); consumer.registerMessageListener((MessageListenerConcurrently)(msgs, context)>{ // do something }

指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 异常（exception，Websocket的异常信息统计。） exceptionType 异常类型 异常类型 ENUM LAST 异常（exception，Websocket的异常信息统计。） causeType 异常类 发生异常的类 ENUM LAST 异常（exception，Websocket的异常信息统计。） count 次数 该异常的发生次数 INT SUM 异常（exception，Websocket的异常信息统计。） message 异常消息 该异常产生的异常消息 STRING LAST 异常（exception，Websocket的异常信息统计。） stackTrace 异常堆栈 该异常产生的堆栈信息 CLOB LAST websocket消息监控（message，websocket消息处理信息。） url url websocket对应的url ENUM LAST websocket消息监控（message，websocket消息处理信息。） errorCount 错误次数 消息处理错误次数 INT SUM websocket消息监控（message，websocket消息处理信息。） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST websocket消息监控（message，websocket消息处理信息。） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST websocket消息监控（message，websocket消息处理信息。） invokeCount 调用次数 消息处理方法调用次数 INT SUM websocket消息监控（message，websocket消息处理信息。） traffic 流量 流量 INT SUM websocket消息监控（message，websocket消息处理信息。） createSessionCount 创建连接数 创建连接数 INT SUM websocket消息监控（message，websocket消息处理信息。） closeSessionCount 关闭连接数 关闭连接数 INT SUM websocket消息监控（message，websocket消息处理信息。） closeReason 关闭原因 连接关闭的原因 STRING LAST websocket消息监控（message，websocket消息处理信息。） maxTime 最大响应时间 最大响应时间 INT MAX websocket消息监控（message，websocket消息处理信息。） totalTime 总响应时间 总响应时间 INT SUM websocket消息监控（message，websocket消息处理信息。） range1 010ms 响应时间在010ms范围请求数 INT SUM websocket消息监控（message，websocket消息处理信息。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM websocket消息监控（message，websocket消息处理信息。） range3 100500ms 响应时间在100500ms范围请求数 INT SUM websocket消息监控（message，websocket消息处理信息。） range4 5001000ms 响应时间在5001000ms范围请求数 INT SUM websocket消息监控（message，websocket消息处理信息。） range5 110s 响应时间在110s范围请求数 INT SUM websocket消息监控（message，websocket消息处理信息。） range6 10s以上 响应时间在10s以上请求数 INT SUM Websocket汇总（total，汇总信息统计。） errorCount 错误次数 总的错误次数 INT SUM Websocket汇总（total，汇总信息统计。） invokeCount 调用次数 总的调用次数 INT SUM Websocket汇总（total，汇总信息统计。） createSessionCount 创建连接数 创建连接数 INT SUM Websocket汇总（total，汇总信息统计。） closeSessionCount 关闭连接数 关闭连接数 INT SUM Websocket汇总（total，汇总信息统计。） traffic 流量 流量 INT SUM Websocket汇总（total，汇总信息统计。） totalTime 总响应时间 总响应时间 INT SUM

本章节介绍了如何迁移分布式消息服务RocketMQ实例的元数据。 操作场景 分布式消息服务RocketMQ支持通过控制台迁移其他厂商或自建RocketMQ实例的元数据到云上RocketMQ实例。 前提条件 已购买RocketMQ实例。 步骤一：获取其他厂商或自建RocketMQ实例的元数据 1. 进入RocketMQ实例的安装目录，执行以下命令，查询集群名称。 sh ./bin/mqadmin clusterList n {nameserver地址及端口号} 例如：“nameserver地址及端口号”为“192.168.0.65:8100”。 sh ./bin/mqadmin clusterList n 192.168.0.65:8100 2. 执行以下命令，导出元数据。 sh ./bin/mqadmin exportMetadata n {nameserver地址及端口号} c {RocketMQ集群名称} f {导出的元数据文件的存放路径} 例如：“nameserver地址及端口号”为“192.168.0.65:8100”，“RocketMQ集群名称”为“DmsCluster”，“导出的元数据文件的存放路径”为“/tmp/rocketmq/export”。 sh ./bin/mqadmin exportMetadata n 192.168.0.65:8100 c DmsCluster f /tmp/rocketmq/export 步骤二 ：在控制台迁移元数据 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在左侧导航栏，选择“元数据迁移”，进入迁移任务列表页面。 4. 单击“创建迁移任务”，弹出“创建迁移任务”对话框。 5. 参考表1，设置迁移任务的参数。 表1 迁移任务参数说明 参数 说明 任务名称 您可以自定义迁移任务的名称，用于区分不同的迁移任务。 是否同名覆盖 如果开启同名覆盖，会对已有的同名元数据的配置进行修改。例如：原实例Topic01的读队列个数为3，云上实例Topic01的读队列个数为2，开启同名覆盖后，云上实例Topic01的读队列个数变为3。如果不开启同名覆盖，同名元数据的迁移将失败。例如：原实例的Topic包含Topic01和Topic02，云上实例的Topic包含Topic01和Topic03，不开启同名覆盖，原实例Topic01的迁移将失败。 元数据 上传其他厂商或自建RocketMQ实例的元数据。 6. 单击“确定”。 迁移完成后，在迁移任务列表页面查看“任务状态”。 当“任务状态”为“迁移完成”，表示所有元数据都已成功迁移。 当“任务状态”为“迁移失败”，表示元数据中部分或全部元数据迁移失败。单击迁移任务名称，进入迁移任务详情页，在“迁移结果”中查看迁移失败的Topic/消费组名称，以及失败原因。 图 迁移结果

本文主要介绍如何实现RabbitMQ的高性能最佳实践。 本章节基于吞吐量和可靠性两个指标，指导您通过设置队列长度、集群负载均衡、优先队列数量等参数，实现RabbitMQ的高性能。 使用较小的队列长度 队列中存在大量消息时，会给内存使用带来沉重的负担，为了释放内存，RabbitMQ会将消息刷新到磁盘。这个过程通常需要时间，由于需要重建索引，重启包含大量消息的集群非常耗时。当刷盘的消息过多时，会阻塞队列处理消息，从而降低队列速度，对RabbitMQ节点的性能产生负面影响。 要获得最佳性能，应尽可能缩短队列。建议始终保持队列消息堆积的数量在0左右。 对于经常受到消息峰值影响的应用程序，和对吞吐量要求较高的应用程序，建议在队列上设置 最大长度 。这样可以通过丢弃队列头部的消息来保持队列长度，队列长度永远不会大于最大长度设置。 最大长度可以通过Policy设置，也可以通过在队列声明时使用对应参数设置。 在Policy中设置 在队列声明时使用对应参数设置 //创建队列 HashMap map new HashMap<>(); //设置队列最大长度 map.put("xmaxlength",10 ); //设置队列溢出方式保留前10 map.put("xoverflow","rejectpublish" ); channel.queueDeclare(queueName,false,false,false,map); 当队列长度超过设置的最大长度时，RabbitMQ的默认做法是将队列头部的信息（队列中最老的消息）丢弃或变成死信。可以通过设置不同的overflow 值来改变这种方式，如果overflow 值设置为 drophead ，表示从队列前面丢弃或deadletter消息，保存后n条消息。如果overflow 值设置为 rejectpublish ，表示最近发布的消息将被丢弃，即保存前n条消息。 说明 如果同时使用以上两种方式设置队列的最大长度，两者中较小的值将被使用。 超过队列最大长度的消息会被丢弃，请谨慎使用。

本文主要介绍分布式消息服务RabbitMQ的队列迁移最佳实践。 在RabbitMQ集群上，队列在各个节点分布不均衡会导致部分节点压力过大，无法更有效的利用集群。这可能是扩容节点、删除队列等原因导致的。 设置队列负载均衡的方法如下： 删除队列重建 通过Policy修改master节点方式 删除队列重建 1. 登录RabbitMQ WebUI页面。 2. 在“Overview”页签中，单击“Download broker definitions”，导出元数据。 3. 停止生产，等待数据消费完，然后删除原有队列。 在“Overview”页签中，确认数据是否已消费完。 可消费消息数（Ready）和未确认的消息数（Unacked）都为0时，说明消费完成。 等数据消费完后，删除原有队列。 在“Queues”页签，单击需要删除的队列名称，进入队列详情页面。 单机“Delete Queue”，删除队列。 4. 在“Overview”页签中，上传2中导出的元数据。 在“Overview”页签中，单击“选择文件”，选择2中导出的元数据。 单击“Upload broker definitions”，上传元数据。 上传成功后，显示如下信息。 实例会自动将队列均衡创建在各个节点上，在“Queues”页签中查看队列分布详情。

描述 接口名称 对话 请求路径 功能描述 针对描述会话的消息列表，模型将返回响应

尊敬的天翼云客户，分布式消息服务RabbitMQ自2025年12月27日起，订购和续订2年、3年选项默认不开放，调整为白名单特性。 调整时间 2025年12月27日 影响范围 所有区域 调整影响 新订购和续订的实例默认不开放2年、3年选项，您可以选择1年包年选项，如仍需要23年包周期选项，请联系技术支持开通后使用。 已购买2年、3年且还在服务期间的实例仍可继续正常使用不受影响。

尊敬的天翼云客户，分布式消息服务MQTT自2025年12月27日起，订购和续订2年、3年选项默认不开放，调整为白名单特性。 调整时间 2025年12月27日 影响范围 所有区域 调整影响 新订购和续订的实例默认不开放2年、3年选项，您可以选择1年包年选项，如仍需要23年包周期选项，请联系技术支持开通后使用。 已购买2年、3年且还在服务期间的实例仍可继续正常使用不受影响。

本章介绍函数工作流如何使用LTS触发器。 前提条件 已经创建函数。 已经创建LTS FullAccess权限的委托，创建过程请参见配置委托权限。 已经创建日志组，此处以LogGroup1为例，创建过程请参见云日志服务用户指南日志管理日志组。 已经创建，此处以LogTopic1为例，创建过程请参见云日志服务用户指南日志管理日志流。 创建LTS触发器 1、登录函数工作流控制台，在左侧的导航栏选择“函数 > 函数列表”。 2、选择待配置的函数，单击进入函数详情页。 3、选择“设置 > 触发器”，单击“创建触发器”，弹出“创建触发器”对话框。 4、设置以下信息。 触发器类型：选择“云日志服务（LTS）”。 日志组：选择已创建的日志组，例如：LogGroup1。 日志流：选择已创建的日志流，例如：LogStream1。 5、单击“确定”，完成LTS触发器的创建。 配置LTS事件触发函数 说明 当原始LTS事件消息超过75KB，会把原始LTS事件消息按照75KB维度拆分为多条消息触发执行函数。 1、返回函数工作流控制台，在左侧的导航栏选择“函数 > 函数列表”。 2、选择待配置的函数，单击进入函数详情页。 3、在函数详情页，选择函数版本。 4、在“代码”页签下，单击“测试”，弹出“配置测试事件”对话框。 5、填写如表所示测试信息后，单击“保存”。 表 测试信息 参数 说明 配置测试事件 可创建新的测试事件也可编辑已有的测试事件。选择默认值：“创建新的测试事件”。 事件模板 选择"ltseventtemplate"模板，使用系统内置LTS事件模板。 事件名称 事件名称必须以大写或小写字母开头，支持字母（大写或小写），数字和下划线“”（或中划线“”），并以字母或数字结尾，长度为125个字符，例如lts123test。 测试事件 自动加载系统内置lts事件模板，本例不做修改。 6、单击“测试”，可以得到函数运行结果，函数会返回输入LTS数据。

DLI数据源约束 使用CDM服务迁移数据到DLI时，当前用户需拥有OBS的读取权限。 Oracle数据源约束 不支持Oracle实时增量数据同步。 分布式缓存服务（DCS ）和Redis数据源约束 1. 由于分布式缓存服务（DCS）限制了获取所有Key的命令，CDM无法支持DCS作为源端，但可以作为迁移目的端，第三方云的Redis服务也无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 2. 仅支持Hash和String两种数据格式。 文档数据库服务（DDS ）和MongoDB数据源约束 从MongoDB、DDS迁移数据时，CDM会读取集合的首行数据作为字段列表样例，如果首行数据未包含该集合的所有字段，用户需要自己手工添加字段。 云搜索服务和Elasticsearch数据源约束 1. CDM支持自动创建索引和类型，索引和类型名称只能全部小写，不能有大写。 2. 索引下的字段类型创建后不能修改，只能创建新字段。如果一定要修改字段类型，需要创建新索引或到Kibana上用Elasticsearch命令删除当前索引重新创建（数据也会删除）。 3. CDM自动创建的索引，字段类型为date时，要求数据格式为“yyyyMMdd HH:mm:ss.SSS Z”，即“20180808 08:08:08.888 +08:00”。迁移数据到云搜索服务时如果date字段的原始数据不满足格式要求，可以通过CDM的表达式转换功能转换为上述格式。 Kafka数据源约束 消息体中的数据是一条类似CSV格式的记录，可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。