验证数据是否同步 1、 在目标集群中查看Topic列表，确认是否有源集群Topic。 说明 目标集群中的Topic名称和源集群相比，多了前缀（如A.），这属于正常情况，是MirrorMaker 2为了防止Topic循环备份进行的设置。 2、 在源集群生产并消费消息，在目标集群查看消费进度，确认数据是否已从源集群同步到了目标集群。 如果目标集群为Kafka实例的话，在分布式消息服务Kafka控制台的“消费组管理 > 消费进度”中，查看消费进度。

支持将分布式消息服务Kafka的重平衡日志接入LTS。重平衡日志记录了Rebalance的详情，包括Rebalance时间、原因和触发Rebalance的客户端等。重平衡日志存储在云日志服务中，由LTS提供查询功能。 接入操作说明 1. 登录分布式消息服务Kafka管理控制台。 2. 在实例列表中，点击目标Kafka实例名称。 3. 点击左侧菜单栏“智能运维”重平衡日志。点击【立即开启】按钮，即可将Kafka日志接入至云日志服务的grouprebalancelog日志项目中。 4. 等待若干分钟后，系统将自动生成可视化仪表大盘。 5. 点击页面上方“日志查询”页签，即可查询详细的重平衡日志信息。 6. 您也可以登录云日志服务控制台，在“grouprebalancelog”日志项目中，可查看所有已接入日志服务的Kafka重平衡日志的日志单元，并进行查询、分析或告警配置等操作。

本章节介绍了如何查询分布式消息服务RocketMQ实例的消费组信息。 操作场景 消费组创建成功后，查询消费组相关的配置和状态信息。 操作步骤 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在左侧导航栏，单击“消费组管理”，进入“消费组管理”页面。 4. 单击需要查询的消费组名称，进入消费组详情页面。 在详情页上方可以查看消费组名称、关联代理、最大重试次数和广播消费的配置。 在详情页下方可以查看到消费组消费的所有Topic以及消费进度等。 图1 消费组详情

告警策略模板 1. 登录ECX控制台，点击【服务管理>告警管理>告警模板】。 2. 点击【+创建告警模板】可以创建告警策略模板。 3. 通过创建告警策略模板，可以在创建告警策略时，选择对应的模板，快速创建告警策略。 告警消息 1. 登录ECX控制台，点击【服务管理>告警管理>告警消息】。 2. 告警消息版块可以查看所有的告警消息。 3. 如果触发告警的问题已修复，可以对告警消息点击【处理】，告警消息将被标记为【已恢复】。

本节介绍分布式消息服务Kafka实例常见问题 为什么可用区不能选择2个？ Kafka 通常选择三个可用区而不是两个的原因在于数据的容错性和高可用性。通过将副本分布在三个可用区中，Kafka 能够实现更高级别的容错性和可用性，即使一个可用区发生故障，系统仍然可以继续正常运行。这种三个可用区的配置是为了提供更强大的冗余和容错能力，确保 Kafka 集群在面对故障时仍能保持数据的可靠性和可用性。 创建实例时为什么无法查看子网和安全组等信息？ 创建实例时，如果无法查看虚拟私有云、子网、安全组、弹性IP，可能原因是该用户还没创建相关网络实例，需要到对应天翼云网络产品购买相应的网络产品实例。 如何选择实例硬盘大小？ 磁盘大小：流量均值×存储时长×3（备份），建议在迁移上云过程中优化Topic以降低成本。 Kafka实例的超高IO和高IO如何选择？ 选择Kafka磁盘类型主要取决于应用的需求和预算。通常，对于Kafka来说，高IO磁盘是更常见的选择，因为它提供了更好的性能和吞吐量。更多信息请参考计费及购买类问题Kafka磁盘选择超高IO还是高IO？ Kafka服务端支持版本是多少？ 分布式消息服务Kafka支持2.132.8.2版本和2.133.6.2版本服务端。 Kafka实例是否支持修改访问端口？ 分布式消息服务Kafka支持在实例创建时指定访问端口。

步骤四：在Kafka控制台绑定弹性公网IP地址 步骤 1 在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 步骤 2 单击Kafka实例名称，进入实例详情页面。 步骤 3 在“基本信息”页面的“高级配置”区域，单击“修改”。 步骤 4 将“advertised.listeners IP/域名”改为DNAT规则中的弹性公网IP，内网连接地址和弹性公网IP的对应关系与添加DNAT规则中记录的对应关系保持一致，单击“保存”。 图修改advertised.listeners IP（使用DNAT访问） 步骤五：验证接口连通性 参考连接未开启SASL的Kafka实例或者连接已开启SASL的Kafka实例，测试是否可以生产和消费消息。 测试接口连通性时，注意以下几点： 连接Kafka实例的地址为“advertised.listeners IP:9011”，以上图为例，连接Kafka实例的地址为“124.xxx.xxx.167:9011,124.xxx.xxx.174:9011,124.xxx.xxx.57:9011”。 在Kafka实例安全组的入方向规则中放通9011端口。 连接Kafka实例的客户端已开启公网访问功能。

参数 描述 虚拟主机 选择创建队列所属的虚拟主机 名称 队列的名称。以amq.开头的为保留字段，因此不能使用。例如：amq.test。 存储节点 队列数据存储节点 是否持久化 队列元数据是否持久化到磁盘 是否自动删除 最后一个Consumer取消订阅后，Queue是否自动删除。 其他参数 Message TTL消息过期时间：number型(单位:ms) Auto expire队列过期时间，过期后队列自动删除：number型(单位:ms) Max length队列能保存的最大消息数：number型(单位:个) Max length bytes队列能保存的最大消息量：number型(单位:字节) Overflow behaviour 超过队列的最大设定值后消息接收策略：drophead,rejectpublish drophead：删除头部消息,一般就是最早发送的消息，保证队列可用 rejectpublish：拒绝接受新的消息，保证消息不丢失 Dead letter exchange死信交换器名称 Dead letter routing key死信路由键 Maximum priority队列最大优先级：要开启消息的优先级，必须设置消息所在队列的优先级 Lazy mode队列惰性模式：default、lazy default：默认值，普通队列 lazy：惰性队列，尽可能将消息存到磁盘中，会引起I/O操作比较多，内存消耗极少（有大量堆积的持久化消息建议使用） Master Locator 队列保存位置：clientlocal、minmasters、random clientlocal：队列创建时所用连接的节点 minmasters： 集群中节点主数量最少的节点 random：由rabbitmq服务器随机指定一个节点

Web应用防火墙（边缘云版）服务接入网站时未配置的端口是否会有安全风险？ Web应用防火墙（边缘云版）支持在域名接入时配置请求协议和回源端口，安全防护节点只会转发来自HTTP/HTTPS请求协议对应端口的业务流量给源站服务器。 Web应用防火墙（边缘云版）安全防护节点不会转发任何未配置端口的请求流量到源站，因此，在接入网站时未配置的端口不会对源站产生任何安全风险。 非天翼云服务器可以使用Web应用防火墙（边缘云版）吗？ 非天翼云服务器也可以使用Web应用防火墙（边缘云版）服务。 Web应用防火墙（边缘云版）是一种网络应用防火墙，可以通过检测、过滤和阻止来自互联网的恶意网络流量，保护服务器和应用程序免受各种网络攻击和安全威胁。无论您使用哪种云服务器，只要符合Web应用防火墙（边缘云版）的系统要求，就可以部署和配置防护策略来增强网络安全。采用cname的方式接入服务，与客户的源站类型无关，因此，非天翼云服务器也可以使用Web应用防火墙（边缘云版）服务。 Web应用防火墙（边缘云版）可以支持HTTPS双向认证吗？ 单向认证：在 SSL 身份验证中，客户端会收到服务器的证书，客户端可能会尝试将服务器的 CA 与客户端的受信任 CA 列表进行匹配。如果颁发CA是可信的，客户端将验证证书是真实的并且没有被篡改。客户端和服务器在消息交换之前都使用9次握手消息来建立加密通道。 双向认证：双向 SSL 身份验证中，客户端和服务器都通过数字证书相互验证，以便双方都确信对方的身份。客户端和服务器在消息交换之前都使用12次握手消息来建立加密通道。 Web应用防火墙（边缘云版）支持HTTPS双向认证。双向认证包括边缘双向认证以及回源双向认证，如果您有该需求，可以联系我们进行后台配置。

本章节主要介绍如何查看分布式消息服务RabbitMQ的云审计日志。 查看RabbitMQ云审计日志，请参考《云审计服务 用户指南》的“查看追踪事件”章节。

本文主要介绍DMS for Kafka 消费者poll的优化。 场景介绍 在DMS提供的原生Kafka SDK中，消费者可以自定义拉取消息的时长，如果需要长时间的拉取消息，只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力，特别是分区数较多且每个消费者开启多个线程的情况下。 如图所示，Kafka队列含有多个分区，消费组中有多个消费者同时进行消费，每个线程均为长连接。当队列中消息较少或者没有时，连接不断开，所有消费者不间断地拉取消息，这样造成了一定的资源浪费。 图 Kafka消费者多线程消费模式 优化方案 在开了多个线程同时访问的情况下，如果队列里已经没有消息了，其实不需要所有的线程都在poll，只需要有一个线程poll各分区的消息就足够了，当在polling的线程发现队列中有消息，可以唤醒其他线程一起消费消息，以达到快速响应的目的。如图所示。 这种方案适用于对消费消息的实时性要求不高的应用场景。如果要求准实时消费消息，则建议保持所有消费者处于活跃状态。 图 优化后的多线程消费方案 说明 消费者（Consumer）和消息分区（Partition）并不强制数量相等，Kafka的poll(long)方法帮助实现获取消息、分区平衡、消费者与Kafka broker节点间的心跳检测等功能。 因此在对消费消息的实时性要求不高场景下，当消息数量不多的时候，可以选择让一部分消费者处于wait状态。

本节介绍了如何查看分布式消息服务RabbitMQ产品实例。 背景信息 RabbitMQ实例是指使用RabbitMQ消息队列的具体应用场景或示例。这些实例可以是各种不同的系统、应用或业务流程，通过使用RabbitMQ来实现消息的传递和处理。 例如，一个订单处理系统可以使用RabbitMQ来处理订单信息的传递和处理。当有新的订单生成时，订单信息可以被发送到RabbitMQ的消息队列中，然后由不同的消费者来处理这些订单信息，如库存管理、支付处理和物流跟踪等。 另一个例子是日志收集系统，通过使用RabbitMQ作为消息中间件，可以将分布式系统中的日志消息发送到消息队列中，然后由日志收集器消费者来处理和存储这些日志消息。这样可以实现日志的集中管理和分析，方便故障排查和系统性能监控。 其他常见的RabbitMQ实例包括异步任务处理、事件驱动架构、分布式系统通信等。通过使用RabbitMQ，这些实例可以实现系统组件之间的解耦、提高系统的可伸缩性和可靠性，从而更好地满足复杂应用场景的需求。 实例列表 1、进入控制台查看已购买的实例列表，若列表为空，可点击右上角【创建实例】进入购买页面，创建实例详情见具体操作步骤。 2、支持按照实例ID查询，输入查询内容，点击【查询】按钮即可展示需要的实例数据。 3、查看实例基本信息，包括实例ID、规格、VPC、计费模式、创建时间、到期时间、状态。其中状态说明见下文。 运行状态 （1）登录管理控制台。 （2）进入RabbitMQ管理控制台。 （3）当前页面会列出所购买的RabbitMQ实例，并查看状态，状态说明如下 状态 说明 运行中 RabbitMQ实例正常运行状态。在这个状态的实例可以运行您的业务。 已关闭 RabbitMQ实例处于故障的状态。 变更中 RabbitMQ实例正在进行规格变更操作。 变更失败 RabbitMQ实例处于规格变更失败状态。 暂停 RabbitMQ专享版实例处于已冻结状态，用户可以在“更多”中续费开启冻结的RabbitMQ实例。 注销 RabbitMQ实例已经过期并关闭，需要重新购买实例。

本章节介绍了如何删除分布式消息服务RocketMQ实例的消费组。 操作场景 消费组无需继续使用，需要清理时，参考本章节删除消费组。 操作步骤 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在左侧导航栏，单击“消费组管理”，进入“消费组管理”页面。 图1 删除消费组 4. 选择以下任意一种方法删除消费组。 在待删除的消费组所在行，单击“删除”。 单击待删除的消费组名称，进入消费组详情页面。在页面右上角，单击“删除”。 如需批量删除消费组，勾选待删除的消费组，单击“删除消费组”。 5. 单击“是”，确认删除消费组。

本文介绍分布式消息服务MQTT的API请求状态码。 正常状态码 描述 800 成功 900 失败

本文为您介绍分布式消息服务MQTT产品规格。 注意 通用型规格已调整为白名单特性，如需了解该规格参数请联系技术支持。 单机版实例面向用户体验和业务测试场景，无法保证性能和高可用。如果需要在生产环境使用MQTT实例，建议购买集群版实例。 集群版 Intel计算增强型 实例规格 代理个数 单个代理最大连接数 单个代理最大支持消息读写TPS总和 单个连接最大订阅数 mqtt.2u4g.cluster 39 10000 8000 30 mqtt.4u8g.cluster 39 20000 16000 30 mqtt.8u16g.cluster 39 40000 32000 30 mqtt.12u24g.cluster 39 60000 48000 30 mqtt.16u32g.cluster 39 80000 64000 30 单机版 Intel计算增强型 实例规格 代理个数 单个代理最大连接数 单个代理最大支持消息读写TPS总和 单个连接最大订阅数 mqtt.2u4g.single 1 10000 8000 30 mqtt.4u8g.single 1 20000 16000 30 mqtt.8u16g.single 1 40000 32000 30

本文主要介绍自动续订规则及操作流程。 为避免由于未及时对资源采取续订操作，资源被到期冻结或超期释放，客户购买包月包年产品后，可设置开通自动续订。开通自动续订后，系统将在资源到期前自动续订，无需客户再手动操作。 适用范围 自动续订仅针对采用包月、包年计费模式的资源。 已到期资源不支持设置/修改自动续订。 自动续订仅适于 付费用户 ，不适用于非付费用户。 目前支持设置自动续订的产品有：弹性云主机、GPU云主机、物理机、云桌面、云硬盘、对象存储经典版、云主机备份、专属云计算独享型、专属云存储独享型、弹性IP、共享带宽、天翼云SDWAN、云间高速、关系数据库MySQL版、关系数据库Postgre SQL版、分布式关系数据库、分布式缓存服务Redis版、分布式缓存服务Memcache、文档数据库服务、云HBASE数据库、分布式消息服务RocketMQ、分布式消息服务RabbitMQ、分布式消息服务Kafka、Web应用防火墙、服务器安全卫士、域名无忧、DDos高防IP、云解析、登录保护、网站安全监测、内容安全。 单次最多支持20个资源实例批量续订。 开通、变更、关闭自动续订 用户在续订管理页可开通自动续订功能，变更自动续约周期，或关闭自动续订。 不关闭自动续订的情况下，只要预付费账户余额充足，或为后付费客户，系统将持续按设定的周期自动续订下去。 预付费用户可在官网自主控制自动续订功能的开通、变更、关闭。后付费用户需要客户经理协助开启自动续订权限后才可以自主管理。

本章节介绍应用容灾多活的操作日志功能。 前提条件 已创建应用系统。 查看操作日志 1. 登录应用高可用服务控制台。 2. 单击左侧菜单栏应用容灾多活 ，在应用容灾多活菜单下单击数据双活/应用双活 ，进入数据双活/应用双活管理页面。 3. 在应用系统列表中找到需要配置的应用系统，单击应用系统名称 ，进入应用系统概览页。 4. 在左侧导航栏选择运维监控 ，在运维监控菜单下单击操作日志，进入操作日志页面。 5. 操作日志包含下表信息，单击日志行右侧详情按钮，可以查看操作详情。 表 操作分类 操作分类 具体操作 描述 基础配置 新增应用系统 新增应用系统 删除应用系统 删除应用系统 修改应用系统 修改应用系统 新增站点 创建站点 删除站点 删除站点 修改站点 修改站点 启用站点 启用站点 禁用站点 禁用站点 重置站点 重建站点业务数据，在故障站点恢复正常后操作 新增单元 新增单元 删除单元 删除单元 修改单元 修改单元 新增单元组 新增单元组 删除单元组 删除单元组 修改单元组 修改单元组 接入层配置 选择接入层网关 绑定接入层网关 移除接入层网关 解绑接入层网关 新增单元组URI配置 新增业务流量路由 删除单元组URI配置 删除业务流量路由 修改单元组URI配置 修改业务流量路由 数据层配置 新增数据源 新增数据层数据源 删除数据源 删除数据层数据源 修改数据源 修改数据层数据源 新增同步任务 新增数据同步任务 删除同步任务 删除数据同步任务 修改同步任务 修改数据同步任务 启动同步任务 启动数据同步任务 停止同步任务 停止数据同步任务 绑定链路 绑定同步链路与数据传输服务实例 解绑链路 解绑同步链路与数据传输服务实例 启动链路 启动同步链路所绑定任务 停止链路 停止同步链路所绑定任务 消息层配置 新增数据源 新增消息层数据源 删除数据源 删除消息层数据源 修改数据源 修改消息层数据源 新增同步任务 新增消息同步任务 删除同步任务 删除消息同步任务 修改同步任务 修改消息同步任务 启动同步任务 启动消息同步任务 停止同步任务 停止消息同步任务 创建路由任务配置 创建消息路由任务配置 删除路由任务配置 删除消息路由任务配置 创建路由任务 创建路由任务 删除路由任务 删除路由任务 启用路由任务 启用路由任务 停用路由任务 停用路由任务 重置位点 重置目标实例消费位点 容灾切流 基础配置推送 发起基础配置推送 流量切换 发起流量切换 主备切换 发起主备切换 取消步骤 取消切流过程指定步骤 忽略步骤 跳过切流过程指定步骤 重试步骤 重试切流过程指定步骤 表 操作状态 状态 描述 成功 操作成功 失败 操作失败 执行中 操作进行中

本文主要介绍消息堆积对业务的影响及解决办法。 消息堆积对业务的影响 过量的消息堆积可能会引起内存或磁盘告警，从而造成所有connection阻塞，进而影响到其他队列的使用，导致整体服务质量的下降。 消息堆积产生的原因 1. 一般来说消息堆积是由于生产消息的速率远大于消费消息的速率所导致的。比如某个时间段消费端处理消息异常缓慢，发送一条消息只要3秒钟，而消费一条消息需要1分钟，每分钟发送20个消息，只有一个消息被消费端处理，这样队列中就会产生大量的消息堆积。 2. 消费者出现异常，生产者一直在发送消息，但是消费者不能消费，造成消息积压。 3. 消费者没有出现异常，但是消费者与队列间的订阅可能出现了异常，也会导致消息无法被消费从而造成堆积的情况。 4. 消费者正常，与队列间的订阅也正常，但是消费端的代码本身逻辑耗费时间长导致了消费能力降低，这时候就会出现1中的情况从而导致消息堆积。 解决消息堆积的办法 1. 生产速率较快，消费速率较慢 ：您可以通过以下方法解决。 增加消费者数量提高消费速率。 采用生产者确认的发送模式，并监控生产端消息生产速度和时长，当消息生产时长有明显增加时进行流控措施。 2. 消费者异常 ：建议排查消费者逻辑是不是有问题，优化程序。 3. 消费者与队列间的订阅异常 ：建议排查队列和消费者之间的订阅是否正常。 4. 消费端的代码本身逻辑耗费时间长 ：建议给消息设置过期时间，设置方法如下： 在生产消息时，设置消息过期时间。消息过期时间以expiration值体现。 在properties中设置expiration值，单位为毫秒(ms)。 AMQP.BasicProperties properties new AMQP.BasicProperties().builder() .deliveryMode(2) .contentEncoding("UTF8") .expiration("10000") .build(); String message "hello rabbitmq"; channel.basicPublish(exchange, routingKey, properties, message.getBytes(StandardCharsets.UTF8)); 在Web界面中设置expiration值，单位为毫秒(ms)。 登录Web界面，在“Exchanges”页签，单击Exchange名称，进入Exchange详情页。在“Publish message”区域，设置expiration值，如下图所示。 设置队列过期时间。队列过期时间以xmessagettl值体现。从消息进入队列开始计算，超过了配置的队列过期时间，消息会自动被删除。 在客户端代码中设置xmessagettl值，单位为毫秒(ms)。 Map arguments new HashMap (); arguments.put("xmessagettl", 10000); channel.queueDeclare(queueName, true, false, false, arguments); 在Web界面新建队列时，设置xmessagettl值，单位为毫秒(ms)。 登录Web界面，在“Exchanges”页签，新建队列时，设置xmessagettl值，如下图所示。

介绍分布式消息服务RabbitMQ心跳检测功能。 使用场景 网络在很多情况下会失败，有时情况很微妙（比如 丢包率很高）。操作系统检测到 TCP 断开是一个适中的时间（在 Linux 中默认时长是 11 分钟）。AMQP 091 提供心跳检测功能来确保应用层及时发现中断的连接（或者是完全没有工作的连接）。 心跳检测还能保护连接不会在一段时间内没有活动而被终止。 心跳超时时间 心跳 timeout 值决定了 TCP 相互连接的最大时间，超过这个时间，该连接将被 RabbitMQ 和 客户端当作不可到达。这个值是在 RabbitMQ 服务器和客户端连接的时候协商的。客户端需要配置请求心跳检测。 心跳帧 心跳帧每隔 timeout/2 时间会发送一次。连续两次心跳失败后，连接将会当作不可到达。不同客户端对此的表现不同，但是 TCP 连接都会关闭。当客户端检测到 RabbitMQ 服务节点不可到达，它需要重新发起连接。 任何连接数据交换（例如 协议操作、发布消息、消息确认）都会计入有效的心跳。客户端可能也会发送心跳包，在连接中有其他数据交换，但有些只在需要时发送心跳包。 在客户端设置心跳超时时间 Java 客户端中设置心跳时间 ConnectionFactory cf new ConnectionFactory(); cf.setRequestedHeartbeat(30);

如何保证消息发布的可靠性？ 如果acks0，生产者在成功写入消息之前是不会等待任何的来自服务器的响应。可靠性最低、性能最优。 如果acks1，只要集群的首领节点收到消息，生产者就会收到来自服务器成功的响应。 如果acksall / 1，只有在集群所有的跟随副本都接收到消息后，生产者才会受到一个来自服务器的成功响应。可靠性最高，性能最差。 如何保证消息的顺序？ Kafka 每个 Partition 都是相互独立的，Kafka 只能保证单个 Partition 下的有序。 局部有序：当我们所需要的有序其实是针对单个用户的有序，而不要求全局有序。我们可以以用户的 ID 作为 key , 确保单个用户一定会被分配到某个固定的 Partition 上（可能会引起数据倾斜问题），这样我们就能够实现单个用户维度的有序了。 如果一定要全局的有序，所有消息都使用同一个 key ，这样他们一定会被分配到同一个 Partition 上，这种做法适用于临时性且数据量不大的小需求，消息量大了会有性能压力。 如何选择 Partiton 的数量？ 在创建 Topic 的时候可以指定 Partiton 数量，也可以在创建完后手动修改。但 Partiton 数量只能增加不能减少。中途增加 Partiton 会导致各个 Partiton 之间数据量的不平等。 Partition 的数量直接决定了该 Topic 的并发处理能力。但也并不是越多越好。Partition 的数量对消息延迟性会产生影响。 一般建议选择 Broker Num Consumer Num ，这样平均每个 Consumer 会同时读取 Broker 数目个 Partition ， 这些 Partition 压力可以平摊到每台 Broker 上。

介绍分布式消息服务RabbitMQ连接管理内容。 背景信息 RabbitMQ 连接管理的背景信息如下： 生产者连接管理：在 RabbitMQ 中，生产者负责将消息发送到队列中。在高并发的场景下，可能会有大量的生产者与 RabbitMQ 建立连接。因此，连接管理变得至关重要。在这种场景下，需要确保连接的稳定性和可用性，以确保生产者能够持续地发送消息，并避免连接的过度消耗。 消费者连接管理：消费者负责从队列中接收消息并进行处理。在高负载的情况下，可能会有大量的消费者连接到 RabbitMQ。在这种场景下，需要进行连接的管理和优化，以确保消费者能够高效地处理消息，并避免过多的连接占用资源。 连接池管理：为了更好地管理连接，可以使用连接池来对 RabbitMQ 连接进行复用和管理。连接池可以帮助控制连接的数量，避免频繁地创建和销毁连接，提高系统的性能和资源利用率。通过连接池管理，可以确保连接的可用性，并有效地管理连接的生命周期。 连接超时和重连：在网络不稳定或 RabbitMQ 实例发生故障时，连接可能会中断或超时。在这种情况下，需要实现连接的超时和重连机制，以确保连接能够及时地恢复，并保持与 RabbitMQ 的正常通信。通过合理设置连接超时和重连策略，可以提高系统的可靠性和稳定性。 总之，RabbitMQ 连接管理的场景涉及生产者连接管理、消费者连接管理、连接池管理以及连接超时和重连。通过合理的连接管理和优化，可以提高系统的性能、可用性和稳定性，确保消息的可靠传递和处理。

本节介绍了分布式消息服务RabbitMQ产品的实例规格。 （一）以下规格选型适用于14个节点 华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3 注意 通用型规格已调整为白名单特性，如需了解该规格参数请联系技术支持。 云原生引擎已调整为白名单特性，如需了解该引擎请联系技术支持。 单机版实例面向用户体验和业务测试场景，无法保证性能和高可用。如果需要在生产环境使用RabbitMQ实例，建议购买集群版实例。 TPS参考值，是指以2K大小的消息为例的每秒处理消息条数，测试场景为不开启持久化的非镜像队列，实时生产实时消费，队列无积压。此数据仅供参考，在实际业务中，队列数、消息堆积、连接数、channel、消费者数、镜像队列、优先级队列、消息持久化和exchange类型等因素会对TPS造成较大影响，不一定能够达到上述性能。 1、RabbitMQ实例规格 RabbitMQ兼容开源RabbitMQ 3.8版本，提供集群和单机两种部署架构实例，支持X86和ARM计算，主机类型为Intel、海光和鲲鹏计算增强型，节点可选择3节点、5节点、7节点、9节点。 存储类型可选择高IO（SAS）、超高IO（SSD），默认选择超高IO。 2、目前所有的可选规格如下：

参数名称 参数说明 取值样例 报告名称 默认的报告名称。 ecs security report 报告类型 报告的统计周期类型名称。 安全日报（统计周期为每天00：0024：00） 安全周报（统计周期为周一00：00周日24：00） 安全月报（统计周期为每月1号00：00月度最后一天24：00） 自定义报告（自定义统计周期，周期范围应介于1天（包含）至3个月（包含）之间。 所有类型报告将在生成后的次日自动发送至您设置的报告接收人。 安全月报 报告发送时间 报告自动发送时间。 报告接收方式 生成的安全报告接收方式。 消息中心：使用消息中心和其它安全服务共同使用“安全事件通知”的信息接收人。需登录控制台，在右上角信箱查看。 消息主题：为HSS单独创建的主题，设置告警通知接收人。可选择短信或邮件接收通知。 无需发送到邮箱：不发送报告至邮箱。 消息中心

操作场景 天翼云分布式消息服务Kafka为实例、主题、消费组的几个常用配置提供了默认值，在实例开通时默认配置，并支持在控制台手动修改，您可以根据具体的业务需求，自行修改。这几种常用的配置参数，根据是否需要重启Kafka实例，可以分为动态参数和静态参数： 动态参数：修改成功后，无需重启实例，立即生效 静态参数：修改成功后，只有重启实例才能生效 自定义参数 使用限制 已开通天翼云Kafka集群版实例，实例的运行状态为“运行中”。 单机版不支持修改配置参数。 操作步骤 1. 登陆管理控制台 2. 进入Kafka管理控制台 3. 在实例列表页的操作列，目标实例行点击“管理” 4. 点击“配置参数”，在待修改参数所在行，单击“编辑”，修改配置参数。 5. 单击“保存”，完成参数的修改。 参数说明 动态参数 参数 参数说明 参数范围 默认值 log.flush.interval.messages 消息条数刷盘阈值，当实例 broker 接收的消息条数达到阈值时，将触发消息刷盘 1~9223372036854775807 9223372036854775807 min.insync.replicas 当 producer 将 acks 设置为 “all” (或“1”) 时，此配置指定必须确认写入才能被认为成功的副本的最小数量 1~3 1 message.max.bytes kafka 允许的 topic 最大单条消息大小（单位：字节） 0~10485760 10485760 max.connections.per.ip 每个 ip 允许的最大连接数。超过此连接数的连接请求将被丢弃 100~20000 1000 unclean.leader.election.enable 是否能够使不在 ISR 中 replicas 设置用来作为 leader true,false false

Kafka触发器可以订阅天翼云提供的分布式消息队列Kafka实例，并根据消息触发关联的函数，借此能力，使得函数可以消费指定Topic的消息，执行自定义处理逻辑。 注意事项 Kafka触发器订阅的Kafka实例必须和函数计算的函数实例在相同地域。 前提条件 已创建函数。 已开通分布式消息Kafka实例（KAFKA引擎版），详情请参考创建分布式消息服务Kafka实例。 已创建Topic，创建GroupID（可选）。 操作步骤 1. 登录函数计算控制台，点击目标函数，进入函数详情。 2. 选择详情下顶部的配置选项卡。 3. 在配置选项卡 中，选择左边的触发器选项卡。 4. 点击创建触发器 ，在弹出的右抽屉中选择Kafka触发器，配置参数解释如下。 配置项 操作 示例 触发器类型 选择Kafka触发器。 Kafka触发器 名称 填写自定义的触发器名称。 kafkatrigger 版本或别名 默认值为LATEST，支持选择任意函数版本或函数别名。 LATEST Kafka 实例 选择已创建的Kafka实例。 Topic 选择已创建的Kafka实例的Topic。 Group ID 快速创建：推荐方案。自动创建以 GROUPFCTrigger{triggername}{uuid} 命名的 Group ID。 使用已有：选择Kafka实例已有的GroupID，请您注意不要与已有的业务混用GroupID，否则会影响已有的消息收发。 消费任务并发数 消费者的并发数量，有效取值范围为[1,20]，建议不超过Topic的分区数。该值同时影响投递到函数的并发数。 消费位点 选择消息的消费位点，即触发器从kafka消息队列开始拉取消息的位置。 最早位点 ：从最早位点开始消费。 最新位点：从最新位点开始消费。 最新位点 调用方式 选择函数调用方式。 同步调用 ：指触发器消费topic消息后投递到函数是同步调用，会等待函数响应后继续下一个消息投递。但消费任务并发数大于1时，多个消费者有可能会并发消费消息并投递，并发的情况视Topic队列本身积存的消息而定。 异步调用：指触发器消费topic消息后投递到函数是异步调用，不会等待函数响应，可以快速消费事件。 同步调用 触发器启用状态 创建触发器后是否立即启用。默认选择开启，即创建触发器后立即启用触发器。 启用 推送配置 批量推送条数：批量推送的最大值，积压值达到后立刻推送，取值范围为 [1, 10000]。 批量推送间隔：批量推送的最大时间间隔，达到后立刻推送，单位秒，取值[0,15]。默认0无需等待，数据直接推送。 推送格式：函数收到的事件格式，详情请查阅触发器事件消息格式。 重试策略 消息推送函数失败后重试的策略，共两种： 指数退避：指数退避重试，重试5次，重试周期为2，4，8，16，32（秒）。 线性退避：线性退避重试，重试5次，重试周期为1，2，3，4，5（秒）。 容错策略 当重试次数耗尽后仍然失败时的处理方式： 允许容错：当异常发生并超过重试策略配置时直接丢弃。 禁止容错：当异常发生并超过重试策略配置时继续阻塞执行。 死信队列 当容错策略为：允许容错时，可以额外开启死信队列。当开启死信队列时且异常发生并超过重试策略配置时，消息会被投递到指定的消息队列里，当前只支持投递到kafka和rocketmq

本章主要介绍响应消息头。 调用API时，API网关增加如下响应消息头。 XApigMode: debug表示响应消息头增加API网关调试信息。 响应消息头 描述 说明 ::: XRequestId 请求ID 所有合法请求，都会返回此参数 XApigLatency 从API网关接收请求到后端返回消息头的用时 仅在请求消息头包含XApigMode: debug时，返回此参数 XApigUpstreamLatency 从API网关请求后端到后端返回消息头的用时 仅在请求消息头包含XApigMode: debug，且后端服务类型不为Mock时，返回此参数 XApigRateLimitapi API流量控制信息 示例：remain:9,limit:10,time:10 second 仅在请求消息头包含XApigMode: debug，且API配置了API流量控制时，返回此参数 XApigRateLimituser 用户流量限制信息 示例：remain:9,limit:10,time:10 second 仅在请求消息头包含XApigMode: debug，且API配置了用户流量限制时，返回此参数 XApigRateLimitapp 应用流量限制信息 示例：remain:9,limit:10,time:10 second 仅在请求消息头包含XApigMode: debug，且API配置了应用流量限制时，返回此参数 XApigRateLimitip 源IP流量限制信息 示例：remain:9,limit:10,time:10 second 仅在请求消息头包含XApigMode: debug，且API配置了源IP流量限制时，返回此参数 XApigRateLimitapiallenv API默认流控信息 示例：remain:199,limit:200,time:1 second 仅在请求消息头包含XApigMode: debug时，返回此参数

本文主要介绍删除实例。 操作场景 分布式消息服务Kafka管理控制台支持删除Kafka实例，且可实现批量删除Kafka实例、一键式删除创建失败的Kafka实例、单个删除创建失败的实例记录。 说明 Kafka实例删除后，实例中原有的数据将被删除，且没有备份，请谨慎操作。 前提条件 Kafka实例状态为运行中、故障、已冻结的按需付费实例才能执行删除操作。 包年/包月类型的Kafka实例，不支持进行删除和批量删除操作。若不再使用，可单击“操作”栏下的“更多 > 退订”进行退订。 删除Kafka实例 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法，删除Kafka实例。 勾选Kafka实例名称左侧的方框，可选一个或多个，单击信息栏左上侧的“更多 > 删除”。 在待删除Kafka实例所在行，单击“更多 > 删除”。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 删除”。 说明 Kafka实例状态为创建中、启动中、变更中、变更失败、重启中时不允许执行删除操作。 步骤 5 在“删除实例”对话框中，单击“是”，完成删除Kafka实例。 删除Kafka实例大约需要1到60秒。

本文主要介绍了自动续订规则及操作流程。 为避免由于未及时对资源采取续订操作，资源被到期冻结或超期释放，客户购买包月包年产品后，可设置开通自动续订。开通自动续订后，系统将在资源到期前自动续订，无需客户再手动操作。 适用范围 自动续订仅针对采用包月、包年计费模式的资源。 已到期资源不支持设置/修改自动续订。 自动续订仅适于 付费用户 ，不适用于非付费用户。 目前支持设置自动续订的产品有：弹性云主机、GPU云主机、物理机、云桌面、云硬盘、对象存储经典版、云主机备份、专属云计算独享型、专属云存储独享型、弹性IP、共享带宽、天翼云SDWAN、云间高速、关系数据库MySQL版、关系数据库Postgre SQL版、分布式关系数据库、分布式缓存服务Redis版、分布式缓存服务Memcache、文档数据库服务、云HBASE数据库、分布式消息服务RocketMQ、分布式消息服务RabbitMQ、分布式消息服务Kafka、Web应用防火墙、服务器安全卫士、域名无忧、DDos高防IP、云解析、登录保护、网站安全监测、内容安全。 单次最多支持20个资源实例批量续订。 开通、变更、关闭自动续订 用户在续订管理页可开通自动续订功能，变更自动续约周期，或关闭自动续订。 不关闭自动续订的情况下，只要预付费账户余额充足，或为后付费客户，系统将持续按设定的周期自动续订下去。 预付费用户可在官网自主控制自动续订功能的开通、变更、关闭。后付费用户需要客户经理协助开启自动续订权限后才可以自主管理。

权限名 详细信息 备注 Tenant Administrator (全局服务) DLI Flink作业访问和使用OBS或者DWS数据源、日志转储（包括桶授权）、开启checkpoint、作业导入导出等，需要获得访问和使用OBS（对象存储服务）的Tenant Administrator权限。 由于云服务缓存需要时间，该权限60分钟左右才能生效。 DIS Administrator DLI Flink作业访问和使用DIS数据源，需要获得访问和使用DIS（数据接入服务）的DIS Administrator权限。 由于云服务缓存需要时间，该权限30分钟左右才能生效。 VPC Administrator DLI跨源连接需要使用VPC、子网、路由、对等连接功能，因此需要获得使用VPC（虚拟私有云）的VPC Administrator权限。 由于云服务缓存需要时间，该权限3分钟左右才能生效。 SMN Administrator DLI作业执行失败需要通过SMN发送通知消息，因此需要获得访问和使用SMN（消息通知服务）的SMN Administrator权限。 由于云服务缓存需要时间，该权限3分钟左右才能生效。

修改Kafka连接地址 1.在管理控制台左上角单击，选择“企业间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka控制台页面。 2.单击Kafka集群名称，进入实例详情页面。 3.在“实例详情”页面的“高级配置”区域，单击“添加路由策略”，选择接入类型为跨VPC访问，填入advertised.listeners IP和Port端口，advertised.listeners IP为7和8中记录的节点IP，8为创建终端节点服务时填入的端口。修改完后，单击“保存”。其中dvertised.listeners IP中可填入域名，需客户端支持域名解析。 4.20240810前开通的实例，需要重启实例才能生效 图9 修改advertised.listeners IP 验证接口连通性 参考安全接入点接入，测试是否可以生产和消费消息。 测试接口连通性时，注意以下几点： 连接Kafka实例的地址为“advertiesd.listeners IP:port”，以图9为例，连接Kafka实例的地址为“10.254.0.74:9011,10.254.0.75:9011,10.254.0.88:9011”。 在Kafka实例安全组的入方向规则中放通对应端口，以及 XX.XX.XX.0/16网段的地址。 说明 XX.XX.XX.0/16是为VPC终端节点分配的网段，使用VPC终端节点需要放通此网段。

介绍分布式消息产品选型对比项。 特性 Kafka RabbitMQ RocketMQ 功能 支持功能较少，不支持延迟发送，消息重试等功能 功能丰富，支持多个队列种类（优先级队列、延迟队列、死信队列镜像队列等），提供丰富的策略分配 功能完善，支持事务消息、定时消息、事务消息等 单机吞吐量 十万级 万级 几万级 稳定性 队列/分区多时性能不稳定 消息堆积时，性能不稳定 队列较多、消息堆积时性能保持稳定 可用性 非常高（分布式）具有主备故障自动切换 较高，基于主从架构实现高可用性 非常高（分布式）具有主备故障自动切换 选型建议 性能要求高，数据量大，适合产生大量数据的互联网服务的数据收集业务，如日志采集处理、需对接大数据应用等，kafka是首选 数据量少，吞吐量需求不大；数据可靠性要求较高，对功能丰富性极高 可靠性要求很高且性能要求较高的场景以及业务削峰场景，如电商、订单处理等

介绍分布式消息产品选型对比项。 特性 Kafka RabbitMQ RocketMQ 功能 支持功能较少，不支持延迟发送，消息重试等功能 功能丰富，支持多个队列种类（优先级队列、延迟队列、死信队列镜像队列等），提供丰富的策略分配 功能完善，支持事务消息、定时消息、事务消息等 单机吞吐量 十万级 万级 几万级 稳定性 队列/分区多时性能不稳定 消息堆积时，性能不稳定 队列较多、消息堆积时性能保持稳定 可用性 非常高（分布式）具有主备故障自动切换 较高，基于主从架构实现高可用性 非常高(分布式)具有主备故障自动切换 选型建议 性能要求高，数据量大，适合产生大量数据的互联网服务的数据收集业务，如日志采集处理、需对接大数据应用等，kafka是首选。 数据量少，吞吐量需求不大；数据可靠性要求较高，对功能丰富性极高 可靠性要求很高且性能要求较高的场景以及业务削峰场景，如电商、订单处理等。

本节主要介绍Kafka Connect接入Kafka。 最佳实践概述 场景描述 Kafka Connect可以将完整的数据库注入到Kafka的Topic中，或者将服务器的系统监控指标注入到Kafka，然后像正常的Kafka流处理机制一样进行数据流处理。而导出工作则是将数据从Kafka Topic中导出到其它数据存储系统、查询系统或者离线分析系统等。 如果您想要在流数据平台场景下，使用Kafka Connect快速实现数据从Kafka和其它系统之间进行导入导出，可以参考本实践方案。 技术架构图 暂无。 方案优势 用户可按业务需要，参考Kafka Connect数据导入导出，实现流数据的消息消费。 前提条件 需已购买Kafka实例、创建Topic，并且已成功消费消息。 资源规划 本实践方案内容仅涉及Kafka专享版实例和Flink的安装配置。 分布式消息服务 Figure 1 分布式消息服务 资源类型 配置项 配置明细 说明 :::: 企业中间件 DMS Kafka专享实例 需已购买kafka专享实例，创建好Topic，并成功消费消息。 Kafka Connect流数据平台 Figure 2 Kafka Connect流数据平台 资源类型 配置项 配置明细 说明 :::: 应用软件 Flink框架 Flink 1.14 使用开源Apache Flink 方案正文 Kafka Connect 目前支持两种执行模式：standalone 和 distributed。 standalone模式 通过以下命令以 standalone 模式启动 connect： 接入Kafka专享版与接入开源 Apache Kafka 没有区别，仅需要修改 bootstrap.servers 为申请实例时分配的 IP。 distributed模式 通过以下命令以 distributed 模式启动 connect： 该模式下，Kafka Connect 会将 offsets、configs 和 task status 信息存储在 Kafka Topic 中，存储的Topic 在 connectdistributed 中的以下字段配置： 这三个 Topic 需要手动创建，才能保证创建的属性符合 connect 的要求。 config.storage.topic 需要保证只有一个 partition，多副本且为 compact 模式。 offset.storage.topic 需要有多个 partition，多副本且为 compact 模式。 status.storage.topic 需要有多个 partition，多副本且为 compact 模式。 配置 bootstrap.servers 为申请实例是分配的 IP。 配置 group.id，用于标识 connect 集群，需要与消费者分组区分开来。