验证数据是否同步 1、 在目标集群中查看Topic列表，确认是否有源集群Topic。 说明 目标集群中的Topic名称和源集群相比，多了前缀（如A.），这属于正常情况，是MirrorMaker 2为了防止Topic循环备份进行的设置。 2、 在源集群生产并消费消息，在目标集群查看消费进度，确认数据是否已从源集群同步到了目标集群。 如果目标集群为Kafka实例的话，在分布式消息服务Kafka控制台的“消费组管理 > 消费进度”中，查看消费进度。

本文主要介绍分布式消息服务RabbitMQ的队列迁移最佳实践。 在RabbitMQ集群上，队列在各个节点分布不均衡会导致部分节点压力过大，无法更有效的利用集群。这可能是扩容节点、删除队列等原因导致的。 设置队列负载均衡的方法如下： 删除队列重建 通过Policy修改master节点方式 删除队列重建 1. 登录RabbitMQ WebUI页面。 2. 在“Overview”页签中，单击“Download broker definitions”，导出元数据。 3. 停止生产，等待数据消费完，然后删除原有队列。 在“Overview”页签中，确认数据是否已消费完。 可消费消息数（Ready）和未确认的消息数（Unacked）都为0时，说明消费完成。 等数据消费完后，删除原有队列。 在“Queues”页签，单击需要删除的队列名称，进入队列详情页面。 单机“Delete Queue”，删除队列。 4. 在“Overview”页签中，上传2中导出的元数据。 在“Overview”页签中，单击“选择文件”，选择2中导出的元数据。 单击“Upload broker definitions”，上传元数据。 上传成功后，显示如下信息。 实例会自动将队列均衡创建在各个节点上，在“Queues”页签中查看队列分布详情。

本章节介绍了分布式消息服务RocketMQ的相关术语解释。 主题（Topic） 消息关联的基础逻辑单元。消息生产与消费时的基础单位。 队列（Queue） 一个主题由多个队列组成。队列数越大消费的并发度越大。 生产者（Producer） 消息写入的触发者，负责将消息推送到服务端。 生产者组（Producer Group） 同一类生产者的集合，这类生产者发送同一类消息且发送逻辑一致。 消费者（Consumer） 接收消息的对象，负责从服务端获取消息。 消费组（Consumer Group） 多个消费者组成同一个消费组，同一消费组内的消费者具有相同的消费属性。 代理（Broker） 一组节点构成的一个业务集群。 NameServer 存储元数据信息的轻量级注册中心。生产者/消费者在生产/消费消息前，需要先从NameServer获取元数据。

本章节介绍如何将老的内核版本升级到最新的内核版本。 升级Kafka实例内核版本，指的是将老的内核版本升级到最新的内核版本，升级后，Kafka实例将支持一些新的特性（例如支持在控制台创建消费组、支持查看Topic详情等），并且修复老版本的一些问题。 升级Kafka实例内核版本并不会升级Kafka实例的大版本，例如升级前Kafka版本为2.7，升级内核版本后，Kafka版本还是2.7。 升级内核版本的影响 若Topic为单副本，升级期间无法对该Topic生产消息或消费消息，会造成业务中断。 若Topic为多副本，升级不会造成服务中断，但会逐个节点重启，负载会转移到剩余节点上，建议您在业务低峰期升级。 升级过程中会逐个节点升级，单个节点的升级包括两部分：升级软件包和数据同步。升级软件包耗时在5分钟左右，数据同步耗时取决于升级软件包过程中其他节点Leader副本的生产数据量，数据量越大，所需时间越久。升级总耗时每个节点升级软件包耗时+数据同步耗时。 升级过程中会逐个节点重启监控进程，导致监控数据断点，重启成功后，监控数据恢复。 升级过程中节点滚动重启造成分区Leader切换，会发生秒级连接闪断，在用户网络环境稳定的前提下，Leader切换时长一般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制，方法如下： 生产客户端为Kafka开源客户端时，检查是否配置retries和retry.backoff.ms参数。建议参数值分别配置为：retries10，retry.backoff.ms1000。 生产客户端为Flink客户端时，检查是否配置重启策略，配置重启策略可以参考如下代码。 StreamExecutionEnvironment env StreamExecutionEnvironment.getExecutionEnvironment(); env.setRestartStrategy(RestartStrategies.fixedDelayRestart(10, Time.seconds(20)));

介绍分布式消息服务Kafka服务韧性 Kafka服务的韧性是指其在面对各种故障和异常情况时能够保持可用性和可靠性的能力。以下是保障Kafka服务韧性的关键方面： 跨AZ容灾 根据数据和服务的不同可靠性需求，您有多种选择。您可以选择在一个可用区（即单个机房）内部署Kafka实例，或者选择跨多个可用区（即同城灾备）进行部署。 AZ内实例容灾 Kafka的AZ内实例容灾可以通过部署多个Broker节点，以及实施监控和自动化措施来实现。这样可以提高Kafka集群的可用性和容灾能力，确保数据的可靠性和业务的连续性。 数据容灾 Kafka使用副本机制来提供数据的冗余备份和故障转移。每个分区可以配置多个副本，其中一个副本作为领导者处理读写请求，其他副本作为追随者复制数据。当领导者副本发生故障时，Kafka会自动选举一个新的领导者副本来接管分区，从而实现故障转移。

本文主要介绍分布式消息服务RabbitMQ的实例规格。 RabbitMQ实例规格 RabbitMQ实例兼容开源RabbitMQ 3.8.35，实例类型包括单机和集群，实例规格请参考下表。 说明 为了保证稳定性，服务端限制了单条消息的最大长度为50MB，请勿发送大于此长度的消息。 下表中TPS，是指以2KB大小的消息为例的每秒处理消息条数，测试场景为不开启持久化的非镜像队列，实时生产实时消费，队列无积压。此数据仅供参考，生产使用需要以实际压测性能为准。 服务端的性能主要跟以下因素相关：队列数、消息堆积、连接数、channel、消费者数、镜像队列、优先级队列、消息持久化和exchange类型等，在选择实例规格时，请根据业务模型压测结果选择。 一条连接最多可以开启2047个channel。 表1 RabbitMQ实例规格 型号 代理数 存储空间范围 TPS参考值 单个代理最大消费者数 单个代理建议队列数 单个代理最大连接数 rabbitmq.2u4g.single 1 100GB~30000GB 10000 20000 200 3000 rabbitmq.4u8g.single 1 100GB~30000GB 20000 30000 400 4500 rabbitmq.8u16g.single 1 100GB~30000GB 35000 50000 800 7500 rabbitmq.16u32g.single 1 100GB~30000GB 45000 80000 1600 12000 rabbitmq.24u48g.single 1 100GB~30000GB 50000 100000 2400 15000 rabbitmq.2u4g.cluster 3/5/7 3/5/7100GB~30000GB 30000~70000 20000 200 3000 rabbitmq.4u8g.cluster 3/5/7 3/5/7100GB~30000GB 45000~80000 30000 400 4500 rabbitmq.8u16g.cluster 3/5/7 3/5/7100GB~30000GB 85000~120000 50000 800 7500 rabbitmq.12u24g.cluster 3/5/7 3/5/7100GB~30000GB 100000~150000 60000 1200 10000 rabbitmq.16u32g.cluster 3/5/7 3/5/7100GB~30000GB 130000~180000 80000 1600 12000 rabbitmq.24u48g.cluster 3/5/7 3/5/7100GB~30000GB 150000~200000 100000 2400 15000

有序消息 消费消息的顺序要同发送消息的顺序一致，在RocketMQ中，主要有两种有序消息。 普通有序消息 有序消息的一种，在正常情况下可以保证完全的顺序消息，但是一旦发生通信异常，Broker重启，由于队列总数发生变化，哈希取模后定位的队列会变化，产生短暂的消息顺序不一致。如果业务能容忍在集群异常情况（如某个Broker宕机或者重启）下，消息短暂的乱序，使用普通顺序方式比较合适。 严格有序消息 有序消息的一种。无论正常异常情况都能保证顺序，但是牺牲了分布式Failover特性，即Broker集群中只要有一台机器不可用，则整个集群都不可用（或者影响hash值对应队列的使用），服务可用性大大降低。如果服务器部署为同步双写模式，此缺陷可通过备机自动切换为主避免，不过仍然会存在几分钟的服务不可用。若业务能容忍短暂乱序，推荐普通有序消费。

本文主要介绍 计费模式。 分布式消息服务Kafka支持按需和包周期两种付费模式。 包年包月 Kafka当前支持包年、包月的计费方式。 且按天翼云的包年订购优惠策略享受相关的一次性包年订购优惠。 按需 Kafka当前支持按需的计费方式，按小时计费。 具体价格，请详见产品价格。

步骤三：在控制台中发布事件 1. 登录事件总线EventBridge管理控制台，在左侧导航栏，单击事件总线。 2. 在事件总线页面，找到步骤一中选中的总线，在其右侧操作列单击发布事件。 3. 在发送事件面板，事件源下拉列表选择已创建的自定义事件源，在事件体代码框输入事件内容，然后单击确定 。事件包含的参数规范，请参见事件概述。 4. （可选项）亦可选择通过SDK发送事件，详见SDK概述。 注意 仅自定义事件总线支持通过管理控制台发布事件。 步骤四：结果验证 1. 登录分布式消息服务Kafka管理控制台。 2. 在左侧导航栏，单击实例列表，选择目标实例。 3. 在左侧导航栏点击消息查询页面，点击按位点查询，验证主题刚才收到的消息是否与步骤三发送的事件内容一致，详见图2。 图2 在分布式消息Kafka管理控制台消息查询页面查询消息

在RocketMQ中，队列数直接影响到消费者实例数的上限，同一消费组消费者实例数的上限等于队列数，对于集群消费的情况，需考虑队列数的设置。 在RocketMQ中，队列能分布到不同的Broker上，是RocketMQ分布式的基础。Queue分布在Broker中，则能使用Broker的资源，包括存储、IO等，一般情况下，分布在某个Broker上的Queue比例越大，则占用此Broker的资源越多，Topic中的Queue分布到的Broker数量越多，则性能越好、存储越大。若Broker的所在机器性能不同，可以通过调整Queue数量，达到资源调优的目的，在应用设计时，需要充分利用上述特性。 在Push消费模式中，API会默认为每个队列预拉取消息1000条，若队列数过大、或者单条消息包体过大，则需要考虑设置减少预拉数量，防止预拉消息过大导致内存溢出。

结果验证 1. 使用事件源触发一个事件事件。 2. 您可以在分布式消息RabbitMQ 控制台确认是否接收到事件。 1. 登录分布式消息服务RabbitMQ控制台，然后在左侧导航栏选择实例列表。 2. 在实例列表页面单击目标实例名称。 3. 在选择队列管理，进入目标队列详情，进入消息消费拨测页面。 4. 在消息查询页面，点击消费即可查看消息内容， 如图2所示。 图2 在分布式消息服务RabbitMQ管理控制台中查看消息详情

本文主要介绍分布式消息服务RabbitMQ的实例规格。 RabbitMQ实例规格 RabbitMQ实例兼容开源RabbitMQ 3.8.35，实例类型包括单机和集群，实例规格请参考下表。 说明 为了保证稳定性，服务端限制了单条消息的最大长度为50MB，请勿发送大于此长度的消息。 下表中TPS，是指以2KB大小的消息为例的每秒处理消息条数，测试场景为不开启持久化的非镜像队列，实时生产实时消费，队列无积压。此数据仅供参考，生产使用需要以实际压测性能为准。 服务端的性能主要跟以下因素相关：队列数、消息堆积、连接数、channel、消费者数、镜像队列、优先级队列、消息持久化和exchange类型等，在选择实例规格时，请根据业务模型压测结果选择。 一条连接最多可以开启2047个channel。 表1 RabbitMQ实例规格 型号 代理数 存储空间范围 TPS参考值 单个代理最大消费者数 单个代理建议队列数 单个代理最大连接数 rabbitmq.2u4g.single 1 100GB~30000GB 10000 20000 200 3000 rabbitmq.4u8g.single 1 100GB~30000GB 20000 30000 400 4500 rabbitmq.8u16g.single 1 100GB~30000GB 35000 50000 800 7500 rabbitmq.16u32g.single 1 100GB~30000GB 45000 80000 1600 12000 rabbitmq.24u48g.single 1 100GB~30000GB 50000 100000 2400 15000 rabbitmq.2u4g.cluster 3/5/7 3/5/7100GB~30000GB 30000~70000 20000 200 3000 rabbitmq.4u8g.cluster 3/5/7 3/5/7100GB~30000GB 45000~80000 30000 400 4500 rabbitmq.8u16g.cluster 3/5/7 3/5/7100GB~30000GB 85000~120000 50000 800 7500 rabbitmq.12u24g.cluster 3/5/7 3/5/7100GB~30000GB 100000~150000 60000 1200 10000 rabbitmq.16u32g.cluster 3/5/7 3/5/7100GB~30000GB 130000~180000 80000 1600 12000 rabbitmq.24u48g.cluster 3/5/7 3/5/7100GB~30000GB 150000~200000 100000 2400 15000

本章节主要介绍分布式消息服务RabbitMQ的单一活跃消费者特性。 使用场景 单一活跃消费者（Single Active Consumer）表示队列中可以注册多个消费者，但是只允许一个消费者消费消息，只有在此消费者出现异常时，才会自动转移到另一个消费者进行消费。单一活跃消费者适用于需要保证消息消费顺序性，同时提供高可靠能力的场景。 说明 分布式消息服务RabbitMQ3.8.35版本才提供单一活跃消费者特性。 图1 单一活跃消费者消费流程 如图1所示，Producer生产9条消息，由于队列设置了单一活跃消费者特性，只有Consumer 1在消费消息。 更多关于单一活跃消费者的说明，请参考Single Active Consumer。 配置方法 在声明队列时，可以配置单一活跃消费者，只需要将队列的“xsingleactiveconsumer”参数设置为“true”。 以下示例演示在Java客户端设置单一活跃消费者。 Channel ch ...; Map arguments newHashMap (); arguments.put("xsingleactiveconsumer", true); ch.queueDeclare("myqueue", false, false, false, arguments); 以下示例演示在 RabbitMQ WebUI页面设置单一活跃消费者。 图2 设置单一活跃消费者 设置完成后，在“Queues”页面查看队列特性是否包含单一活跃消费者。如图3所示，“SAC”即单一活跃消费者。 图3 查看队列特性

介绍分布式消息服务RabbitMQ消息持久化功能。 使用场景 在生产过程中，难免会发生服务器宕机的事情，RabbitMQ也不例外，可能由于某种特殊情况下的异常而导致RabbitMQ宕机从而重启，那么这个时候对于消息队列里的数据，包括交换机、队列以及队列中存在消息恢复就显得尤为重要了。RabbitMQ本身带有持久化机制，包括交换机、队列以及消息的持久化。持久化的主要机制就是将信息写入磁盘，当RabbtiMQ服务宕机重启后，从磁盘中读取存入的持久化信息，恢复数据。 设置交换器持久化 （1）登录管理控制台。 （2）进入RabbitMQ管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“交换器管理”后，点击“新建”按钮。 （5）点击“新建”后出现以下窗口，是否持久化选择是。 设置队列持久化 （1）登录管理控制台。 （2）进入RabbitMQ管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“队列管理”后，点击“新建”按钮。 （5）点击“新建”后出现以下窗口，是否持久化选择是。

Broker信息 展示该集群具体broker信息，包括该broker的详细指标，如下图： 其中关键指标为： commitLogMaxOffset为当前brokercommitLog最大的物理偏移。通过commitLogMaxOffset，RocketMQ可以追踪和管理消息的存储位置。当有新的消息写入时，RocketMQ会将消息追加到Commit Log文件的末尾，并更新commitLogMaxOffset的值。消费者在消费消息时，可以根据commitLogMaxOffset来确定从哪个偏移量开始消费消息。 consumeQueueDiskRatio为消费队列存储的文件占用的磁盘空间比例。通过配置consumeQueueDiskRatio，可以在保证消费队列的性能的同时，控制磁盘空间的占用。较小的consumeQueueDiskRatio值可以提高消费队列的读写性能，但会增加内存的使用。较大的consumeQueueDiskRatio值可以降低内存的使用，但可能会降低消费队列的读写性能。根据实际需求，可以根据系统的内存和磁盘资源情况来调整consumeQueueDiskRatio的值，以获得更好的性能和资源利用率。 putMessageDistributeTime为消息写入commitLog的耗时分布。通过配置putMessageDistributeTime，可以了解消息从发送到最终被消费的整体时间。这对于监控和优化消息传递的性能和延迟非常有用。注意，putMessageDistributeTime是一个估计值，实际的消息传递时间可能会受到网络状况、消费者处理能力等多种因素的影响。因此，在配置putMessageDistributeTime时，需要根据实际情况进行调整，并结合其他指标进行综合分析。

本章节主要介绍如何快速创建Kafka流式集群。 本章节为您介绍如何快速创建一个Kafka流式集群，Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量，可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景，实现高效的流式数据采集，实时数据处理存储等。 快速创建Kafka流式集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息，参数详细信息请参考创建自定义集群。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20200321”。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：不同版本集群提供的组件有所不同，请根据需要选择集群版本。 组件选择：选择“Kafka流式集群”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 集群高可用：默认即可。MRS 3.x版本暂时不支持该参数。 LVM：默认即可。MRS 3.x版本暂时不支持该参数。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权，通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态部分 集群列表参数中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

是否支持跨Region访问？ Kafka可以跨Region访问，但是跨Region目前只能通过公网访问或者拉专线的方式。 Kafka实例是否支持跨VPC访问？ Kafka实例支持跨VPC访问，您可以通过以下方式实现跨VPC访问： 创建VPC对等连接，将两个VPC的网络打通，实现跨VPC访问。具体步骤请参考《虚拟私有云用户指南》的“VPC对等连接”章节。 Kafka实例是否支持不同的子网？ 支持。 客户端与实例在相同VPC内，可以跨子网段访问。同一个VPC内的子网默认可以进行通信。 Kafka是否支持Kerberos认证，如何开启认证？ Kafka支持SASL客户端认证、调用接口支持Token和AK/SK两种认证，Kerberos认证目前不支持。 如果使用SASL认证方式，则在开源客户端基础上使用分布式消息服务Kafka提供的证书文件。具体操作参考连接已开启SASL的Kafka实例。 Kafka实例是否支持无密码访问？ 支持，连接未开启SASL的Kafka实例时，无需密码。具体操作，请参考连接未开启SASL的Kafka实例。 开启公网访问后，在哪查看公网IP地址？ 在Kafka控制台，单击Kafka实例名称，进入实例详情页面。在“基本信息”页签，查看公网IP地址（即“公网连接地址”）。 如果您需要连接Kafka实例，请参考连接Kafka。

示例三：转换时变量为JSON形式 转换前的事件 转换类型 转换后的事件 plaintext { "id": "f36b49b668914b59b11cbf689xxxx712", "source": "ctyun:kafka", "type": "ctyun:kafka:Topic:Message", "specversion": "1.0", "datacontentype": "application/json;charsetutf8", "subject": "ctyun:kafka:75dcxx1eb5:topic:source1", "time": "20241203T09:48:00.696Z", "data": { "key": "test2", "value": "test1" } } 模板 变量： plaintext { "data": "$.data" } 模板： plaintext { "value": ${data} } plaintext { "value": { "key": "test2", "value": "test1" } } 示例四：转换时变量进行JSON转义 若希望转换的字符串保持JSON字符串格式，不破坏原有JSON的格式，可使用jsonEscape函数，如下所示： 转换前的事件 转换类型 转换后的事件 plaintext { "id": "f36b49b668914b59b11cbf689xxxx712", "source": "ctyun:kafka", "type": "ctyun:kafka:Topic:Message", "specversion": "1.0", "datacontentype": "application/json;charsetutf8", "subject": "ctyun:kafka:75dcxx1eb5:topic:source1", "time": "20241203T09:48:00.696Z", "data": { "key": "test2", "value": "test1" } } 模板 变量： plaintext { "data": "$.data" } 模板： plaintext { "value": "${jsonEscape(data)}" } plaintext { "value": "{"key": "test2","value": "test1"}" } 空 当转换类型为空时，事件总线EventBridge将事件路由到事件目标时，对应的属性为空。如希望分布式消息服务Kafka事件目标的Key、分布式消息服务RocketMQ事件目标的Tags为空时，可以将对应属性设置为空。

磁盘数目 存储磁盘的 IOPS（每秒输入/输出操作次数）和每秒读/写字节数有限制。创建新分区时，Kafka 会将每个新分区存储在现有分区最少的磁盘上，以便在可用磁盘之间平衡分区的数目。尽管有存储策略进行调节，但在处理每个磁盘上的数百个分区副本时，Kafka 很容易就会使可用磁盘吞吐量达到饱和。此时，需要在吞吐量与成本之间进行取舍。如果应用场景需要更大的吞吐量，请创建一个可为每个代理提供更多托管磁盘的群集。 主题和分区的数目 Kafka生产者将写入主题。Kafka 消费者读取主题。主题与日志相关联，该日志是磁盘上的数据结构。Kafka 将生产者中的记录追加到主题日志的末尾。主题日志包括分散在多个文件之间的多个分区。而这些文件又分散在多个 Kafka 群集节点之间。消费者可以按照自己的节奏从 Kafka 主题中读取内容，并可以在主题日志中选择自己的位置（偏移）。 每个 Kafka 分区是在系统上的一个日志文件，生产者线程可以同时写入到多个日志。同样，由于每个消费者线程从一个分区读取消息，因此也能并行处理从多个分区使用消息的操作。 提高分区密度（每个代理的分区数）会增大与元数据操作以及每个分区领先者及其后继者之间的分区请求/响应相关的开销。即使不存在流动的数据，分区副本也仍会从领先者提取数据，导致需要通过网络额外处理发送和接收请求。 对于 HDInsight 中的 Apache Kafka 群集 2.1 和 2.4 以及更高版本，我们建议最多为每个代理提供 2000 个分区（包括副本）。增加每个代理的分区数会降低吞吐量，并可能导致主题不可用。

事件目标是事件规则的一部分，负责消费经事件规则过滤与转换后的事件。 事件目标 事件总线EventBridge支持以下事件目标： 函数计算 分布式消息服务RocketMQ 分布式消息服务RabbitMQ 分布式消息服务Kafka HTTP、HTTPS地址

本节介绍了在RabbitMQ实例中如何创建和删除交换器。 背景信息 生产者将消息发送到交换器，由交换器将消息路由到一个或多个队列中（或者丢弃）。交换器根据Routing Key和Binding Key将消息路由到Queue。不同类型的交换器的路由规则不同。 操作步骤 新建交换器 1.登录管理控制台。 2.进入RabbitMQ管理控制台。 3.在实例列表页在操作列，目标实例行点击“管理”。 4.点击“交换器管理”后，点击“新建”按钮。 5.点击“新建”后出现以下窗口，选择虚拟主机，添加交换器名字，选择交换器类型和其他参数，然后点击“确定”即可新建交换器。 各参数说明如下 参数 描述 虚拟主机 选择创建交换器所属的虚拟主机 名称 交换器名称。以amq.开头的为保留字段，因此不能使用。例如：。 类型 Exchange类型。 是否持久化 交换器是否持久化到磁盘 是否自动删除 如果是，交换器将在至少一个队列或交换器绑定到该交换器，然后所有队列或交换器都已解除绑定时删除。 是否内置 如果是，客户端不能直接发布到这个交换器。它只能与其他交换器绑定使用。 其他参数 Alternate exchange：备份交换器是为了实现没有路由到队列的消息，声明交换机的时候添加属性alternateexchange，声明一个备用交换机，一般声明为fanout类型，这样交换机收到路由不到队列的消息就会发送到备用交换机绑定的队列中。 其中交换机类型如下表所示 交换机类型 说明 Direct 完全根据key进行投递的叫做Direct交换机。如果Routing key匹配, 那么Message就会被传递到相应的queue中。其实在queue创建时，它会自动的以queue的名字作为routing key来绑定那个exchange。例如，绑定时设置了Routing key为”abc”，那么客户端提交的消息，只有设置了key为”abc”的才会投递到队列。 Fanout 不需要key的叫做Fanout交换机。它采取广播模式，一个消息进来时，投递到与该交换机绑定的所有队列。 Topic 对key进行模式匹配后进行投递的叫做Topic交换机。比如符号”

结果验证 1. 使用事件总线发布消息功能，发送一个自定义事件。 2. 您可以在分布式消息RabbitMQ 控制台确认是否接收到事件，如图2所示。 1. 登录分布式消息服务RabbitMQ控制台，然后在左侧导航栏选择实例列表。 2. 在实例列表页面单击目标实例名称。 3. 在选择队列管理，进入目标队列详情，进入消息消费拨测页面。 4. 在消息查询页面，点击消费即可查看消息内容。 图2 在分布式消息服务RabbitMQ管理控制台中查看消息详情

您可以通过事件规则过滤事件，将事件路由到自建Apache Kafka服务。本文以自定义事件为例介绍将事件路由到自建Apache Kafka的前提条件、操作步骤和结果验证。 前提条件 开通事件总线EventBridge并委托授权 创建自定义总线服务 操作步骤 1. 登录事件总线EventBridge控制台，在左侧导航栏，单击事件总线。 2. 选择目标总线，在左侧导航栏，单击事件规则，然后单击添加事件规则。 3. 在添加事件规则页面，完成以下操作。 1. 在配置基本信息配置向导，在名称文本框输入规则名称，在描述文本框输入规则的描述，然后单击下一步。 2. 在配置事件模式配置向导，选择匹配全部事件，然后单击下一步。 3. 在配置事件目标 配置向导，配置事件目标，事件目标服务类型选择自建Apache Kafka，目标参数描述如下，然后单击创建。 参数说明 参数 说明 示例 接入点 Apache Kafka集群broker接入点，由IP与端口号拼接而成，以逗号分隔。 172.17.0.25:9092,192.17.0.26:9092,172.17.0.27:9092 Topic topic名称。 topic1 网络配置 根据业务场景选择对应配置。 专有网络 公网网络 专有网络 VPC 网络配置选择专有网络时必填，选择集群所在的VPC。 vpc 子网 网络配置选择专有网络时必填，选择集群所在的子网。 subnet 认证模式 选择认证模式。 PLAINTEXT SASLPLAINTEXT 用户名：填写SASL用户名 密码：填写SASL密码 SASL鉴权方式：可选PLAIN和SCRAMSHA512 PLAINTEXT 消息体 选择消息体（Body）的内容，更多信息请参考事件内容转换。 完整事件 消息键值 选择消息键值（Key）的内容，更多信息请参考事件内容转换。 空

本文介绍如何在事件总线EventBridge管理控制台添加自建Apache Kafka作为事件流中的事件目标。 前提条件 开通事件总线EventBridge并委托授权。 创建事件流 1. 登录事件总线EventBridge管理控制台，在左侧导航栏，单击事件流。 2. 在创建事件流面板，设置任务名称和描述，配置以下参数，然后单击创建，如图1所示。 1. 在Source（源） 、Filtering（过滤） 、Transform（转换）配置向导，设置事件提供方、事件过滤、转换规则，单击下一步。 2. 在Sink（目标） 配置向导，选择服务类型自建Apache Kafka，配置参数，详见下方参数说明。 3. 创建事件流后，会有30秒~60秒的延迟时间，您可以在事件流 页面的状态 栏查看启动进度。 参数说明 参数 说明 示例 接入点 Apache Kafka集群broker接入点，由IP与端口号拼接而成，以逗号分隔。 172.17.0.25:9092,192.17.0.26:9092,172.17.0.27:9092 Topic topic名称。 topic1 网络配置 根据业务场景选择对应配置。 专有网络 公网网络 专有网络 VPC 网络配置选择专有网络时必填，选择集群所在的VPC。 vpc 子网 网络配置选择专有网络时必填，选择集群所在的子网。 subnet 认证模式 选择认证模式。 PLAINTEXT SASLPLAINTEXT 用户名：填写SASL用户名 密码：填写SASL密码 SASL鉴权方式：可选PLAIN和SCRAMSHA512 PLAINTEXT 消息体 选择消息体（Body）的内容，更多信息请参考事件内容转换。 完整事件 消息键值 选择消息键值（Key）的内容，更多信息请参考事件内容转换。 空

灵活及时 队列处理能力支持按需自动扩展，及时且方便地完成系统扩展，消息投递时间可至毫秒级，从而保证消息及时性。分布式消息服务RocketMQ具有很高的灵活性，可以满足各种不同的业务需求。主要体现： 支持多种消息模型：RocketMQ支持多种消息模型，包括消息队列模型和发布/订阅模型。在消息队列模型中，消息发送方将消息发送到一个队列，消息接收方从队列中读取消息。这种模型适用于顺序消息和事务性消息等场景。而在发布/订阅模型中，消息发送方将消息发布到一个主题，所有订阅该主题的消费者都会收到消息。这种模型适用于实时通知、数据分发等场景。 支持灵活的消息过滤机制：RocketMQ可以通过对消息的属性进行过滤，只有满足条件的消息才会被消费者接收。这样可以实现消息的动态路由和选择性消费，提升系统的灵活性和效率。 支持消息延迟发送和定时消费：RocketMQ可以设置消息的延迟时间，使消息在指定的时间后才能被消费者接收。这对于实现定时任务和延迟处理非常有用。 良好的可扩展性：RocketMQ采用了分布式架构，并且支持主从复制和消息分区机制。可以根据业务需求，动态扩展消息生产者、消息消费者和消息存储节点的数量，以满足大规模消息处理和高并发访问的要求。 高可靠 集群节点采用主备模式，具有主备故障自动切换功能；并且提供对消息的持久化能力，多副本冗余；提供消息数据自动删除功能。分布式消息服务RocketMQ具有高可靠性的特点，以下是RocketMQ实现高可靠性的关键特性： 主从复制：RocketMQ采用了主从复制的架构，在生产者发送消息时，消息会首先写入主节点，并异步复制到多个从节点。这样即使主节点发生故障，从节点也能够接管并继续提供服务。 可靠消息存储：RocketMQ使用Write Ahead Log (WAL)技术来保证消息的可靠存储。在消息写入之前，会先将消息写入磁盘的顺序文件中，然后再写入内存。当RocketMQ重启时，可以通过检查磁盘上的文件来恢复之前未被消费的消息。 消息可重复存储：RocketMQ使用消息的唯一ID来确保消息的幂等性。如果一条消息因为网络问题或其他原因发送失败，RocketMQ可以根据消息的ID判断是否已经成功发送过，并避免消息的重复发送。 容灾备份：RocketMQ支持Broker集群模式和多数据中心的部署方式，可以将消息数据进行容灾备份。当某个Broker节点发生故障时，其他节点可以继续提供服务，确保系统的可用性。 高可用性设计：RocketMQ采用了多个Broker节点组成的集群，并通过主从复制和故障切换来实现高可用性。当某个Broker节点发生故障时，其他节点会自动接管其工作，保证消息的正常处理。

系统策略 Kafka默认提供三种系统策略供用户选择，策略仅包括管理控制台内的相关功能权限，涉及订单下单等非管理控制台的权限还需进行相应的权限配置。Kafka的三种默认策略分别是管理员策略（admin），使用者策略（user），浏览者策略（reviewer），三种策略的权限模型具体如下： 功能模块 权限名称 IAM角色 功能模块 权限名称 KAFKA admin KAFKA user KAFKA viewer 实例管理 实例列表 Y Y Y 实例管理 操作审计 Y Y Y 实例管理 集群迁移 Y Y 实例列表 创建实例 Y 实例列表 磁盘扩容 Y 实例列表 节点扩容 Y 实例列表 规格扩容 Y 实例列表 规格缩容 Y 实例列表 续订 Y 实例列表 退订 Y 实例列表 到期转按需 Y 实例列表 重启 Y 实例列表 设置公网IP Y 管理 实例详情 Y Y Y 管理 集群信息 Y Y Y 管理 主题管理 Y Y Y 管理 消费组管理 Y Y Y 管理 应用用户管理 Y Y Y 管理 命名空间管理 Y Y Y 管理 监控信息 Y Y Y 管理 消息查询 Y Y Y 管理 配置管理 Y Y Y 管理 告警管理 Y Y 主题管理 新建Topic Y Y 主题管理 删除Topic Y Y 主题管理 分区状态 Y Y Y 主题管理 生产拨测 Y Y 主题管理 删除消息 Y Y 主题管理 分区平衡 Y Y 主题管理 批量创建主题 Y Y 主题管理 修改 Y Y 消费组管理 新建消费组 Y Y 消费组管理 删除消费组 Y Y 消费组管理 消费拨测 Y Y 消费组管理 批量创建消费组 Y Y 消费组管理 添加主题 Y Y 消费组管理 批量订阅 Y Y 消费组管理 重置消费位置 Y Y 消费组管理 消息堆积 Y Y Y 命名空间管理 获取用户Token Y Y Y 命名空间管理 新建命名空间 Y Y 命名空间管理 修改命名空间 Y Y 应用用户管理 新建用户 Y Y 应用用户管理 删除用户 Y Y 应用用户管理 批量创建用户 Y Y 应用用户管理 添加消费者权限 Y Y 应用用户管理 添加生产者权限 Y Y 应用用户管理 修改用户 Y Y 实例管理 offset查询 Y Y Y 实例管理 时间戳查询 Y Y Y 配置管理 查询配置 Y Y Y 配置管理 修改配置 Y

本文主要介绍分布式消息服务RabbitMQ的消息持久化最佳实践。 使用场景 默认情况下，RabbitMQ生产者生产的消息存储在内存中，当节点宕机或重启时，如何确保消息不丢失呢？RabbitMQ通过持久化机制实现，持久化包括Exchange持久化、Queue持久化和Message持久化。持久化是将内存中的消息写入到磁盘中，以防异常情况导致内存中的消息丢失。但是磁盘的读写速度远不如内存，开启消息持久化后，RabbitMQ的性能会下降。与惰性队列不同，持久化消息会在磁盘和内存中各存储一份，只有在内存空间不够时，才会将内存中的消息删除，存储到磁盘中。 说明 非持久化队列、Exchange在重启之后会丢失。 非持久化消息在重启之后会丢失（经过持久化队列/Exchange的消息不会自动变为持久化消息）。 持久化消息在尚未完成持久化时，如果服务器重启，消息会丢失。 设置Exchange持久化 在RabbitMQ的Web界面创建Exchange时，设置“durable”为“true”，如图1所示，设置成功后如图2所示。 图1 设置Exchange持久化 图2 持久化的Exchange

视频 天翼云媒体存储服务等级协议 容器与企业中间件 云容器引擎服务等级协议 微服务云应用平台服务等级协议 分布式消息服务RabbitMQ服务等级协议 分布式消息服务RocketMQ服务等级协议 分布式消息服务Kafka服务等级协议 天翼云软件开发生产线CodeArts服务等级协议 天翼云应用性能监控APM服务等级协议 天翼云容器安全卫士服务等级协议 天翼云应用服务网格服务等级协议 天翼云微服务引擎服务等级协议 天翼云容器镜像服务等级协议 天翼云函数计算服务等级协议 安全 Web应用防火墙（边缘云版）服务等级协议 天翼云高防（边缘云版）服务等级协议 天翼云网站安全监测服务等级协议 天翼云爬虫管理平台服务等级协议 天翼云容器安全平台服务等级协议 天翼云托管检测与响应服务（原生版）服务等级协议 天翼云密评专区服务等级协议 天翼云日志审计服务等级协议 天翼云证书管理服务等级协议 天翼云云堡垒机服务等级协议 天翼云密钥管理服务等级协议 天翼云云安全中心服务等级协议 天翼云Web应用防火墙（原生版）服务等级协议 天翼云云防火墙（原生版）服务等级协议 天翼云Web应用防火墙（独享版）服务等级协议 天翼云漏洞扫描（专业版）服务等级协议 天翼云企业主机安全服务等级协议 天翼云态势感知（专业版）服务等级协议 天翼云云防火墙服务等级协议 天翼云运维安全中心（云堡垒机）服务等级协议

本节介绍Kafka业务过载最佳实践 方案概述 Kafka业务过载，一般表现为CPU使用率高、磁盘写满的现象。 当CPU使用率过高时，系统的运行速度会降低，并有加速硬件损坏的风险。 当磁盘写满时，相应磁盘上的Kafka日志目录会出现offline问题。此时，该磁盘上的分区副本不可读写，降低了分区的可用性和容错能力。同时由于Leader分区迁移到其他节点，会增加其他节点的负载。 CPU使用率高的原因 数据操作相关线程数（num.io.threads、num.network.threads、num.replica.fetchers）过多，导致CPU繁忙。 分区设置不合理，所有的生产和消费都集中在某个节点上，导致CPU利用率高。 磁盘写满的原因 业务数据增长较快，已有的磁盘空间不能满足业务数据需要。 节点内磁盘使用率不均衡，生产的消息集中在某个分区，导致分区所在的磁盘写满。 Topic的数据老化时间设置过大，保存了过多的历史数据，容易导致磁盘写满。 实施步骤 CPU使用率高的处理措施： 优化线程参数num.io.threads、num.network.threads和num.replica.fetchers的配置。 num.io.threads和num.network.threads建议配置为磁盘个数的倍数，但不能超过CPU核数。 num.replica.fetchers建议配置不超过5。 合理设置Topic的分区，分区一般设置为节点个数的倍数。 生产消息时，给消息Key加随机后缀，使消息均衡分布到不同分区上。 磁盘写满的处理措施： 扩容磁盘，使磁盘具备更大的存储空间。 迁移分区，将已写满的磁盘中的分区迁移到本节点的其他磁盘中。 合理设置Topic的数据老化时间，减少历史数据的容量大小。 在CPU资源情况可控的情况下，使用压缩算法对数据进行压缩。 常用的压缩算法包括：ZIP，GZIP，SNAPPY，LZ4等。选择压缩算法时，需考虑数据的压缩率和压缩耗时。通常压缩率越高的算法，压缩耗时也越高。对于性能要求高的系统，可以选择压缩速度快的算法，比如LZ4；对于需要更高压缩比的系统，可以选择压缩率高的算法，比如GZIP。 可以在生产者端配置“compression.type”参数来启用指定类型的压缩算法。 Properties props new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("acks", "all"); props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); // 开启GZIP压缩 props.put("compression.type", "gzip"); Producer producer new KafkaProducer<>(props);

分布式消息服务Kafka服务协议，请点击这里

关闭Topic日志 1. 登录管理控制台。 2. 在管理控制台左上角单击，选择Kafka实例所在的区域。 3. 在管理控制台左上角单击，选择“应用服务 > 分布式消息服务Kafka”，进入Kafka总览页面。 4. 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。 5. 单击Kafka实例的名称，进入实例详情页面。 6. 在左侧导航栏选择“日志管理 > Topic日志”，进入“Topc日志”页面。 7. 在页面右上角单击“关闭日志”，弹出确认关闭对话框。 8. 单击“确定”，自动跳转到“后台任务管理”页面，“状态”为“成功”时，表示关闭Topic日志成功。 关闭Topic日志只是停止Topic日志上报功能，LTS控制台的日志组和日志流仍然保留，还会继续收费，如不需要保留该日志，可以在LTS控制台删除对应的日志组和日志流。

介绍分布式消息服务RabbitMQ查看虚拟主机操作内容。 场景描述 在RabbitMQ中，虚拟主机（Virtual Host）是一个逻辑隔离的消息代理环境，用于分隔不同应用或不同团队之间的消息流。当需要查看虚拟主机的信息时，可能有以下场景描述： 管理员查看虚拟主机配置：管理员需要查看虚拟主机的配置信息，包括虚拟主机的名称、权限设置、连接数限制等。这可以帮助管理员了解当前系统的虚拟主机情况，进行配置管理和优化。 开发人员查看虚拟主机队列信息：开发人员需要查看虚拟主机中队列的信息，包括队列的名称、消息数量、消费者数量等。这可以帮助开发人员了解当前队列的状态，监控消息的流动情况，进行故障排查和性能调优。 运维人员查看虚拟主机连接信息：运维人员需要查看虚拟主机的连接信息，包括连接的客户端IP、连接数、协议等。这可以帮助运维人员监控连接的使用情况，检测异常连接，进行资源管理和安全审计。 操作步骤 （1）在虚拟主机管理页面，点击目标虚拟主机名称，即可参看虚拟主机详情。 （2）查看虚拟主机概览，主要展示最近时间段各类型消息数量和消息tps统计。 （3）参看用户配置权限及读写权限信息。 （4）查看用户主题权限信息。