本节介绍分布式消息服务Kafka实例常见问题 为什么可用区不能选择2个？ Kafka 通常选择三个可用区而不是两个的原因在于数据的容错性和高可用性。通过将副本分布在三个可用区中，Kafka 能够实现更高级别的容错性和可用性，即使一个可用区发生故障，系统仍然可以继续正常运行。这种三个可用区的配置是为了提供更强大的冗余和容错能力，确保 Kafka 集群在面对故障时仍能保持数据的可靠性和可用性。 创建实例时为什么无法查看子网和安全组等信息？ 创建实例时，如果无法查看虚拟私有云、子网、安全组、弹性IP，可能原因是该用户还没创建相关网络实例，需要到对应天翼云网络产品购买相应的网络产品实例。 如何选择实例硬盘大小？ 磁盘大小：流量均值×存储时长×3（备份），建议在迁移上云过程中优化Topic以降低成本。 Kafka实例的超高IO和高IO如何选择？ 选择Kafka磁盘类型主要取决于应用的需求和预算。通常，对于Kafka来说，高IO磁盘是更常见的选择，因为它提供了更好的性能和吞吐量。更多信息请参考计费及购买类问题Kafka磁盘选择超高IO还是高IO？ Kafka服务端支持版本是多少？ 分布式消息服务Kafka支持2.132.8.2版本和2.133.6.2版本服务端。 Kafka实例是否支持修改访问端口？ 分布式消息服务Kafka支持在实例创建时指定访问端口。

步骤三：在控制台中发布事件 1. 登录事件总线EventBridge管理控制台，在左侧导航栏，单击事件总线。 2. 在事件总线页面，找到步骤一中选中的总线，在其右侧操作列单击发布事件。 3. 在发送事件面板，事件源下拉列表选择已创建的自定义事件源，在事件体代码框输入事件内容，然后单击确定 。事件包含的参数规范，请参见事件概述。 4. （可选项）亦可选择通过SDK发送事件，详见SDK概述。 注意 仅自定义事件总线支持通过管理控制台发布事件。 步骤四：结果验证 1. 登录分布式消息服务Kafka管理控制台。 2. 在左侧导航栏，单击实例列表，选择目标实例。 3. 在左侧导航栏点击消息查询页面，点击按位点查询，验证主题刚才收到的消息是否与步骤三发送的事件内容一致，详见图2。 图2 在分布式消息Kafka管理控制台消息查询页面查询消息

本文介绍分布式消息服务MQTT的API请求状态码。 正常状态码 描述 800 成功 900 失败

本文主要介绍分布式消息服务RabbitMQ所需的环境准备。 创建RabbitMQ实例前，您需要提前准备相关依赖资源，包括虚拟私有云（Virtual Private Cloud，以下简称VPC）、子网和安全组，并配置安全组策略。每个RabbitMQ实例都部署在某个VPC中，并绑定具体的子网和安全组，通过这样的方式为RabbitMQ提供一个隔离的、用户自主配置和管理的虚拟网络环境以及安全保护策略，提升实例的安全性。 如果用户已有VPC，可重复使用，不需要多次创建。 创建VPC 1、登录管理控制台。 2、在管理控制台右上角单击，选择区域。 说明 此处请选择与您的应用服务相同的区域。 3、在管理控制台左上角单击，选择“网络 > 虚拟私有云”。 4、单击“创建虚拟私有云”，进入“创建虚拟私有云”界面。 5、根据界面提示创建虚拟私有云。如无特殊需求，界面参数均可保持默认。关于创建VPC的详细信息可以参考《虚拟私有云用户指南》。 创建虚拟私有云时，会同时创建子网，若需要额外创建子网，请参考6。如果不需要额外创建子网，请执行7。 6、在左侧导航栏，单击“子网”，进入“子网”界面。单击“创建子网”。根据界面提示创建子网。如无特殊需求，界面参数均可保持默认。 关于创建子网的详细信息可以参考《虚拟私有云用户指南》。 7、在左侧导航栏，选择“访问控制 > 安全组”，进入“安全组”界面。根据界面提示创建安全组。如无特殊需求，界面参数均可保持默认。 关于创建安全组的详细信息可以参考《虚拟私有云用户指南》。 使用RabbitMQ实例前，添加表1所示安全组规则，其他规则请根据实际需要添加。 说明 创建安全组后，系统默认添加入方向“允许安全组内的弹性云主机彼此通信”规则和出方向“放通全部流量”规则，此时使用内网通过同一个VPC访问RabbitMQ实例，无需添加表1的规则。 表1 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 5672 0.0.0.0/0 访问RabbitMQ实例（关闭SSL） 入方向 TCP 5671 0.0.0.0/0 访问RabbitMQ实例（开启SSL） 入方向 TCP 15672 0.0.0.0/0 访问Web界面UI地址（关闭SSL加密） 入方向 TCP 15671 0.0.0.0/0 访问Web界面UI地址（开启SSL加密）

本文主要介绍 修改Topic老化时间。 老化时间即消息的最长保留时间，消费者必须在此时间结束前消费消息，否则消息将被删除。删除的消息，无法被消费。 创建Topic成功之后，您可以根据业务需要修改Topic的老化时间。修改老化时间，不会影响业务。Topic老化时间，默认为72小时。 修改老化时间可以通过以下方式实现： 在“Topic管理”中，修改老化时间。 在“配置参数”中，修改“log.retention.hours”参数值，具体步骤请参考修改配置参数。 说明 如果Topic已经设置了老化时间，此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时，“配置参数”中的log.retention.hours值才会对此Topic生效。例如：Topic01设置的老化时间为60小时，“配置参数”中的log.retention.hours值为72小时，此时Topic01实际的老化时间为60小时。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 选择“Topic管理”页签，显示已创建的Topic详情。 步骤 6 通过以下任意一种方法，修改Topic老化时间。 勾选Topic名称左侧的方框，可选一个或多个，单击信息栏左上侧的“编辑Topic”。 在待修改老化时间的Topic所在行，单击“编辑”。 步骤 7 在“编辑Topic”对话框中，输入老化时间，单击“确定”。

本章节主要介绍如何创建Vhost。 操作场景 每个Vhost（Virtual Hosts）相当于一个相对独立的RabbitMQ服务器。Vhost用作逻辑隔离，分别管理Exchange、Queue和Binding，使得应用安全地运行在不同的Vhost上，相互之间不会干扰。一个实例下可以有多个Vhost，一个Vhost里可以有若干个Exchange和Queue。生产者和消费者连接RabbitMQ实例时，需要指定一个Vhost。Vhost的相关介绍，请参考官网文档Virtual Hosts。 本章节主要介绍创建Vhost的操作，有以下几种方式，您可以根据实际情况选择任意一种方式： 方式一：在控制台创建 方式二：使用RabbitMQ WebUI创建 方式三：调用API创建 方式一：在控制台创建 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 此处请选择RabbitMQ实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”>“分布式消息服务”>“RabbitMQ专享版”，进入分布式消息服务RabbitMQ专享版页面。 步骤 4 单击实例名称，进入实例详情页面。 步骤 5 在左侧导航栏选择“Vhost列表”，进入Vhost列表页面。 步骤 6 单击“创建Vhost”，弹出“创建Vhost”对话框。 步骤 7 设置Vhost的名称，单击“确定”。 创建成功后，在Vhost列表页面显示创建成功的Vhost。 图1 Vhost列表（控制台） “tracing”表示是否开启消息追踪功能。开启消息追踪后，您可以跟踪消息的转发路径。 说明 Vhost创建成功后，无法修改名称。 实例创建后，会自动创建一个名为“/”的Vhost。

本章节介绍注册配置中心RCC子产品应用场景 分布式协同 提供分布式系统中服务注册发现及协同调度能力，确保系统状态一致性并完成预期的功能请求，包括状态管理，分布式锁，服务发现，监控检查等。助力用户轻松构建稳定、高可用的分布式服务。 分布式系统中一个绕不过去的问题是如何协同系统中各个分布的模块，确保系统状态的一致性并完成预期的功能，包括状态管理，分布式锁，服务发现等；将分布式系统这一核心必备能力抽象成为组件对外提供服务，使得开发者不用过多了解分布式细节，即可基于这列组件轻松构建稳定、高可用的分布式服务。 分布式配置管理 提供分布式应用配置集中管理能力，包括配置热生效、配置历史查看、配置数据回滚等，支持主流的Nacos 配置中心，支持原生数据无缝迁移，帮助您高效解决分布式环境下多应用的配置管理问题。 在分布式服务架构中，当系统从一个单体应用，被拆分成分布式系统上一个个服务节点后，配置文件也必须跟着迁移分割，这样配置就分散了，不仅如此，分散中还包含着冗余，而配置中心将配置从各应用中剥离出来，对配置进行统一管理，应用自身不需要自己去管理配置。

介绍分布式消息服务Kafka删除消息功能操作内容。 场景描述 在以下场景中，可以考虑删除Kafka中的消息： 错误消息：当Kafka中的消息存在错误或异常时，需要将这些消息删除。这可能是由于消息格式错误、消息内容不完整或者其他数据质量问题导致的。删除错误消息可以保持数据的一致性和准确性。 保留策略变更：Kafka中可以设置消息的保留时间或者大小，即消息在主题中的保留期限。当需要更改消息的保留策略时，可能需要删除旧的消息以应用新的策略。例如，如果要缩短消息的保留时间，则需要删除超过新保留期限的旧消息。 清理测试数据：在测试环境中，经常需要清理旧的测试数据，以确保环境的可用空间和性能。当测试数据不再需要时，可以删除相应的消息来释放资源。 故障恢复：当Kafka发生故障或者数据丢失时，可能需要删除一些消息以进行数据恢复。在这种情况下，需要根据故障的范围和影响选择删除相应的消息，以恢复数据的完整性。 需要注意的是，在删除消息之前，需要确保删除的消息不再需要或者已经备份。删除消息是不可逆的操作，一旦删除就无法恢复。因此，在执行删除操作之前，建议先进行备份或者确认消息不再需要。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“Topic管理”后进入主题管理页面。 （5）在Topic所在行，点击其右侧“更多”，在下拉框中单击“消息删除”，并选择确认。

支持将分布式消息服务Kafka的重平衡日志接入LTS。重平衡日志记录了Rebalance的详情，包括Rebalance时间、原因和触发Rebalance的客户端等。重平衡日志存储在云日志服务中，由LTS提供查询功能。 接入操作说明 1. 登录分布式消息服务Kafka管理控制台。 2. 在实例列表中，点击目标Kafka实例名称。 3. 点击左侧菜单栏“智能运维”重平衡日志。点击【立即开启】按钮，即可将Kafka日志接入至云日志服务的grouprebalancelog日志项目中。 4. 等待若干分钟后，系统将自动生成可视化仪表大盘。 5. 点击页面上方“日志查询”页签，即可查询详细的重平衡日志信息。 6. 您也可以登录云日志服务控制台，在“grouprebalancelog”日志项目中，可查看所有已接入日志服务的Kafka重平衡日志的日志单元，并进行查询、分析或告警配置等操作。

本文主要介绍删除实例。 操作场景 分布式消息服务Kafka管理控制台支持删除Kafka实例，且可实现批量删除Kafka实例、一键式删除创建失败的Kafka实例、单个删除创建失败的实例记录。 说明 Kafka实例删除后，实例中原有的数据将被删除，且没有备份，请谨慎操作。 前提条件 Kafka实例状态为运行中、故障、已冻结的按需付费实例才能执行删除操作。 包年/包月类型的Kafka实例，不支持进行删除和批量删除操作。若不再使用，可单击“操作”栏下的“更多 > 退订”进行退订。 删除Kafka实例 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法，删除Kafka实例。 勾选Kafka实例名称左侧的方框，可选一个或多个，单击信息栏左上侧的“更多 > 删除”。 在待删除Kafka实例所在行，单击“更多 > 删除”。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 删除”。 说明 Kafka实例状态为创建中、启动中、变更中、变更失败、重启中时不允许执行删除操作。 步骤 5 在“删除实例”对话框中，单击“是”，完成删除Kafka实例。 删除Kafka实例大约需要1到60秒。

介绍分布式消息服务Kafka消费组详情功能操作内容。 场景描述 当需要查询以下信息时，可通过消费组详情页面操作： 查看在线消费者列表及其订阅的主题、分区。 查看消费组订阅的主题的消息堆积详细情况。 Kafka消息堆积的场景包括以下几个： 消费者处理延迟：当消费者的处理能力不足或出现故障时，无法及时消费Kafka中的消息，导致消息堆积。这可能是由于消费者的处理逻辑复杂、处理速度慢，或者消费者的资源不足等原因引起的。 网络故障：当Kafka集群与消费者之间的网络出现故障或不稳定时，可能导致消息传输延迟或中断。这会导致消息在Kafka中堆积，等待网络恢复后才能被消费。 生产者速度超过消费者：当生产者产生消息的速度超过消费者的处理速度时，会导致消息在Kafka中堆积。这可能是由于生产者的速度过快、消费者处理能力不足或者消费者故障等原因引起的。 消费者组调整：当消费者组中的消费者发生变化，如新增或退出消费者，会触发Kafka的重平衡操作。在重平衡期间，消费者无法消费消息，导致消息堆积。这通常发生在消费者扩展或故障恢复时。 高峰期消息涌入：在某些特定的时间段或事件发生时，可能会引发大量的消息涌入Kafka，超过消费者的处理能力。这会导致消息在Kafka中堆积，直到消费者能够跟上消息的处理速度。

（可选）删除Topic权限 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例名称，进入实例详情页面。 步骤 5 在导航栏单击“Topic管理”，进入Topic列表页面。 步骤 6 在待删除用户权限的Topic所在行，单击“设置用户权限”，弹出“设置用户权限”对话框。 步骤 7 在“已选择”区域，在待删除权限的SASLSSL用户所在行，单击“删除”，然后单击“确定”。

分布式消息服务Kafka在某些功能做了约束和限制，如下表： 限制项 约束和限制 描述 Kafka Zookeeper 不对外暴露 Kafka实例的Zookeeper目前仅处于自用，不对外提供服务，为Kafka内部使用。 版本 当前服务端版本为1.1.0和2.3.0 兼容0.10以上的客户端版本，推荐使用和服务端一致的版本。 消息大小 生产消息的最大长度为10M 消息长度不要超过10M，否则生产失败。 登录Kafka节点所在机器 不能登录 无 限制Kafka Topic总分区数 限制 Kafka以分区为粒度管理消息，分区多导致生产、存储、消费都碎片化，影响性能稳定性。在使用过程中，当Topic的总分区数达到上限后，用户就无法继续创建Topic。 是否支持自动创建Topic 支持 在创建实例时候，您可以选择是否开启。 当您选择开启，表示生产或消费一个未创建的Topic时，会自动创建一个包含3个分区和3个副本的Topic。 是否需要创建消费组、消费者、生产者 不需要 不需要单独创建消费组、生产者和消费者，在使用时自动生成，实例创建后，直接使用即可 减少分区数 不支持 按照开源Kafka现有逻辑，不支持减少分区数。

介绍分布式消息服务Kafka扩容相关内容。 场景描述 当需要处理大量消息时，Kafka实例的扩容是一种常见的解决方案。扩容可以增加Kafka集群的吞吐量、存储能力和高可用性。分布式消息服务Kafka提供三类扩容方案，分别为节点、规格和磁盘扩容，更好满足用户不同场景下的扩容需求。 ● 代理数量扩容：指向Kafka集群中添加更多的节点以增加系统的吞吐量和可靠性。通过扩容，可以将消息的发送和消费负载分摊到更多的节点上，从而提高系统的并发处理能力。 ● 规格扩容：指通过增加Kafka的资源配置来提升系统的处理能力和性能。 ● 磁盘扩容：指增加磁盘的存储容量，以满足更多消息的存储需求。 变更实例规格的影响 变更配置类型 影响 磁盘扩容 磁盘扩容不会影响业务。 代理数量扩容 1.代理数量扩容不会影响原来的代理，业务也不受影响（如果实例已配置分区自动重平衡，会触发重平衡，客户端会触发重连）。 2.新创建的Topic才会分布在新代理上，原有Topic还分布在原有代理上。通过修改Kafka分区平衡，实现将原有Topic分区的副本迁移到新代理上。 规格扩容缩容 1.若Topic为单副本，扩容/缩容期间会出现无法对该Topic生产消息或消费消息，会造成业务中断。 2.若Topic为多副本，代理会滚动重启，代理滚动重启造成分区Leader切换，会发生秒级连接闪断，Leader切换时长一般为1分钟以内。建议您在业务低峰期扩容/缩容，并且再生产客户端配置重试机制，方法如下： (1).生产客户端为Kafka开源客户端时，检查是否配置retries和retry.backoff.ms参数。建议参数值分别配置为：retries10，retry.backoff.ms1000。 (2).生产客户端为Flink客户端时，检查是否配置重启策略，配置重启策略可以参考如下代码。 StreamExecutionEnvironment env StreamExecutionEnvironment.getExecutionEnvironment(); env.setRestartStrategy(RestartStrategies.fixedDelayRestart(10, Time.seconds(20)));

本文主要介绍 Kafka相关概念。 云服务平台使用Kafka作为消息引擎，以下概念基于Kafka进行描述。 Topic 消息主题。消息的生产与消费，围绕消息主题进行生产、消费以及其他消息管理操作。 Topic也是消息队列的一种发布与订阅消息模型。生产者向消息主题发布消息，多个消费者订阅该消息主题的消息，生产者与消费者彼此并无直接关系。 生产者（Producer） 向Topic（消息主题）发布消息的一方。发布消息的最终目的在于将消息内容传递给其他系统/模块，使对方按照约定处理该消息。 消费者（Consumer） 从Topic（消息主题）订阅消息的一方。订阅消息最终目的在于处理消息内容，如日志集成场景中，监控告警平台（消费者）从主题订阅日志消息，识别出告警日志并发送告警消息/邮件。 代理（Broker） 即Kafka集群架构设计中的单个Kafka进程，一个Kafka进程对应一台服务器，因此手册中描述的代理，还包括对应的存储、带宽等服务器资源。 分区（Partition） 为了实现水平扩展与高可用，Kafka将Topic划分为多个分区，消息被分布式存储在分区中。 副本（Replica） 消息的备份存储。为了确保消息可靠，Kafka创建Topic时，每个分区会分别从代理中选择1个或多个，对消息进行冗余存储。 Topic的所有消息分布式存储在各个分区上，分区在每个副本存储一份全量数据，副本之间的消息数据保持同步，任何一个副本不可用，数据都不会丢失。 每个分区都随机挑选一个副本作为Leader，该分区所有消息的生产与消费都在Leader副本上完成，消息从Leader副本复制到其他副本（Follower）。 Kafka的主题和分区属于逻辑概念，副本与代理属于物理概念。下图通过消息的生产与消费流向，解释了Kafka的分区、代理与主题间的关系。 图 Kafka消息流

消费消息 import com.rabbitmq.client.; import java.io.IOException; import java.nio.charset.StandardCharsets; import java.util.concurrent.TimeoutException; public class RabbitmqConsumer { //队列名称 private final static String QUEUENAME "helloMQ"; public static void main(String[] args) throws IOException, TimeoutException { //创建连接工厂 ConnectionFactory factory new ConnectionFactory(); //设置主机ip factory.setHost("127.0.0.1"); //设置amqp的tcp端口号 factory.setPort(5672); //设置用户名密码 factory.setUsername("YOUR USERNAME"); factory.setPassword("YOUR PASSWORD"); //设置Vhost factory.setVirtualHost("/"); //基于网络环境合理设置超时时间 factory.setConnectionTimeout(30 1000); factory.setHandshakeTimeout(30 1000); factory.setShutdownTimeout(0); Connection connection factory.newConnection(); Channel channel connection.createChannel(); //声明队列，主要为了防止消息接收者先运行此程序，队列还不存在时创建队列。 channel.queueDeclare(QUEUENAME, false, false, false, null); System.out.println(" [] Waiting for messages. To exit press CTRL+C"); Consumer consumer new DefaultConsumer(channel) { @Override public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException { String message new String(body, StandardCharsets.UTF8); System.out.println("Received message: '" + message + "'"); } }; channel.basicConsume(QUEUENAME, true, consumer); } } SSL生产消息 import com.rabbitmq.client.Channel; import com.rabbitmq.client.Connection; import com.rabbitmq.client.ConnectionFactory; import com.rabbitmq.client.DefaultSaslConfig; import javax.net.ssl.KeyManagerFactory; import javax.net.ssl.SSLContext; import javax.net.ssl.TrustManagerFactory; import java.io.FileInputStream; import java.io.IOException; import java.nio.charset.StandardCharsets; import java.security.; import java.security.cert.CertificateException; import java.util.concurrent.TimeUnit; import java.util.concurrent.TimeoutException; public class RabbitmqProducerSsl { // private final static String EXCHANGENAME "exchangeTest"; private final static String QUEUENAME "helloMQ"; // private final static String ROUTINGKEY "test"; public static void main(String[] args) throws IOException, TimeoutException, InterruptedException { // 创建连接工厂 ConnectionFactory factory new ConnectionFactory(); // 设置主机ip factory.setHost("127.0.0.1"); // 设置amqp的ssl端口号 factory.setPort(5671); String ksFile "/sslpath/ssl/clientrabbitmqkey.p12"; String tksFile "/sslpath/ssl/truststore"; SSLContext c null; try { char[] keyPassphrase "YOUR PASSPHRASE".toCharArray(); KeyStore ks KeyStore.getInstance("PKCS12"); ks.load(new FileInputStream(ksFile), keyPassphrase); KeyManagerFactory kmf KeyManagerFactory.getInstance("SunX509"); kmf.init(ks, keyPassphrase); char[] trustPassphrase "YOUR PASSPHRASE".toCharArray(); KeyStore tks KeyStore.getInstance("JKS"); tks.load(new FileInputStream(tksFile), trustPassphrase); TrustManagerFactory tmf TrustManagerFactory.getInstance("SunX509"); tmf.init(tks); c SSLContext.getInstance("tlsv1.2"); c.init(kmf.getKeyManagers(), tmf.getTrustManagers(), null); } catch (KeyStoreException e) { throw new RuntimeException(e); } catch (NoSuchAlgorithmException e) { throw new RuntimeException(e); } catch (CertificateException e) { throw new RuntimeException(e); } catch (UnrecoverableKeyException e) { throw new RuntimeException(e); } catch (KeyManagementException e) { throw new RuntimeException(e); } factory.setSaslConfig(DefaultSaslConfig.EXTERNAL); factory.useSslProtocol(c); // 设置Vhost，需要在控制台先创建 factory.setVirtualHost("/"); // 基于网络环境合理设置超时时间 factory.setConnectionTimeout(30 1000); factory.setHandshakeTimeout(30 1000); factory.setShutdownTimeout(0); // 创建一个连接 Connection connection factory.newConnection(); // 创建一个频道 Channel channel connection.createChannel(); // 指定一个队列 channel.queueDeclare(QUEUENAME, false, false, false, null); for (int i 0; i < 100; i++) { // 发送的消息 String message "Hello rabbitMQ!" + i; // 往队列中发送一条消息，使用默认的交换器 channel.basicPublish("", QUEUENAME, null, message.getBytes(StandardCharsets.UTF8)); System.out.println(" Sent message: '" + message + "'"); TimeUnit.MILLISECONDS.sleep(100); } //关闭频道和连接 channel.close(); connection.close(); } }

步骤四：在Kafka控制台绑定弹性公网IP地址 步骤 1 在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 步骤 2 单击Kafka实例名称，进入实例详情页面。 步骤 3 在“基本信息”页面的“高级配置”区域，单击“修改”。 步骤 4 将“advertised.listeners IP/域名”改为DNAT规则中的弹性公网IP，内网连接地址和弹性公网IP的对应关系与添加DNAT规则中记录的对应关系保持一致，单击“保存”。 图修改advertised.listeners IP（使用DNAT访问） 步骤五：验证接口连通性 参考连接未开启SASL的Kafka实例或者连接已开启SASL的Kafka实例，测试是否可以生产和消费消息。 测试接口连通性时，注意以下几点： 连接Kafka实例的地址为“advertised.listeners IP:9011”，以上图为例，连接Kafka实例的地址为“124.xxx.xxx.167:9011,124.xxx.xxx.174:9011,124.xxx.xxx.57:9011”。 在Kafka实例安全组的入方向规则中放通9011端口。 连接Kafka实例的客户端已开启公网访问功能。

本文主要介绍 创建Topic。 Topic，即消息主题。创建Kafka实例成功后，如果没有开启“Kafka自动创建Topic”，需要手动创建Topic，然后才能进行生产消息和消费消息。如果实例开启了“Kafka自动创建Topic”，则该操作为可选。 “Kafka自动创建Topic”表示在生产或消费一个未创建的Topic时，会自动创建此Topic，此Topic的默认参数值如下：分区数为3，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。如果在“配置参数”中修改“log.retention.hours”、“default.replication.factor”或“num.partitions”的参数值，此后自动创建的Topic参数值为修改后的参数值。例如：“num.partitions”修改为“5”，自动创建的Topic参数值如下：分区数为5，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。 Kafka实例对Topic的总分区数设置了上限， 当Topic的总分区数达到上限后，用户就无法继续创建Topic 。不同规格配置的Topic总分区数不同，具体请参考Kafka产品规格说明。 本文主要介绍手动创建Topic的操作，有以下几种方式，您可以根据实际情况选择任意一种方式： 方式1：在控制台创建 方式2：在Kafka Manager创建 方式3：在Kafka客户端上创建 说明 实例节点出现故障的情况下，单副本Topic查询消息时可能会报“内部服务错误”，因此不建议使用单副本Topic。 方式1：在控制台创建 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 选择“Topic管理”页签，单击“创建Topic”。 弹出“创建Topic”对话框。 图 创建Topic 步骤 6 填写Topic名称和配置信息。 表 Topic参数说明 参考 说明 Topic名称 系统为您自动生成了Topic名称，您可以根据需要修改。 创建Topic后不能修改名称。 分区数 您可以设置Topic的分区数，分区数越大消费的并发度越大。 该参数设置为1时，消费消息时会按照先入先出的顺序进行消费。 取值范围：1~200 默认值：3 副本数 您可以为每个Topic设置副本的数量，Kafka会自动在每个副本上备份数据，当其中一个Broker故障时数据依然是可用的，副本数越大可靠性越高。 该参数设置为1时，表示只有一份数据。 默认值：3 说明 实例节点出现故障的情况下，单副本Topic查询消息时可能会报“内部服务错误”，因此不建议使用单副本Topic。 老化时间（小时） 消息的最长保留时间，消费者必须在此时间结束前消费消息，否则消息将被删除。删除的消息，无法被消费。 取值范围：1~720 默认值：72 同步复制 指后端收到生产消息请求并复制给所有副本后，才返回客户端。 开启同步复制后，需要在客户端配置acksall或者1，否则无效。 当副本数为1时，不能选择同步复制功能。 同步落盘 同步落盘是指生产的每条消息都会立即写入磁盘。 开启：生产的每条消息都会立即写入磁盘，可靠性更高。 关闭：生产的消息存在内存中，不会立即写入磁盘。 消息时间戳类型 定义消息中的时间戳类型，取值如下： CreateTime：生产者创建消息的时间。 LogAppendTime：broker将消息写入日志的时间。 批处理消息最大值 Kafka允许的最大批处理大小，如果启用消息压缩，则表示压缩后的最大批处理大小。 如果增加“max.message.bytes”的值，且存在消费者版本早于0.10.2，此时消费者的“fetch size”值也必须增加，以便消费者可以获取增加后的批处理大小。 描述 Topic的描述信息。 步骤 7 配置完成后，单击“确定”，完成创建Topic。

本文主要介绍 导出Topic。 本章节指导您在控制台导出Topic，支持批量导出。 前提条件 已创建Topic。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 选择“Topic管理”页签，显示已创建的Topic详情。 步骤 6 在页面右上角单击，导出Topic列表到本地。 Topic列表中包含如下信息：Topic名称、分区数、副本数、老化时间、是否同步复制或同步落盘。

本文主要介绍消息队列 Kafka 发布者的最佳实践，从而帮助您更好的使用该产品。 文中的最佳实践基于消息队列 Kafka 的 Java 客户端；对于其它语言的客户端，其基本概念与思想是通用的，但实现细节可能有差异，仅供参考。 Kafka 发送示例代码片段 Key 和 Value Kafka 0.10.0.0 的消息字段只有两个：Key 和 Value。Key 是消息的标识，Value 即消息内容。为了便于追踪，重要消息最好都设置一个唯一的 Key。通过 Key 追踪某消息，打印发送日志和消费日志，了解该消息的发送和消费情况。 失败重试 在分布式环境下，由于网络等原因，偶尔的发送失败是常见的。导致这种失败的原因有可能是消息已经发送成功，但是 Ack 失败，也有可能是确实没发送成功。 消息队列 Kafka 是 VIP 网络架构，会主动掐掉空闲连接（30 秒没活动），也就是说，不是一直活跃的客户端会经常收到 “connection rest by peer” 这样的错误，因此建议都考虑重试消息发送。 异步发送 发送接口是异步的；如果你想得到发送的结果，可以调用metadataFuture.get(timeout, TimeUnit.MILLISECONDS)。 线程安全 Producer 是线程安全的，且可以往任何 Topic 发送消息。通常情况下，一个应用对应一个 Producer 就足够了。 Acks Acks的说明如下： acks0，表示无需服务端的 Response，性能较高，丢数据风险较大； acks1，服务端主节点写成功即返回 Response，性能中等，丢数据风险中等，主节点宕机可能导致数据丢失； acksall，服务端主节点写成功，且备节点同步成功，才返回 Response，性能较差，数据较为安全，主节点和备节点都宕机才会导致数据丢失。 一般建议选择 acks1，重要的服务可以设置 acksall。

本节介绍了分布式消息服务RabbitMQ产品计费模式的区别。 包周期（包年/包月）、按需2种计费模式供您灵活选择，使用越久越便宜。 按包周期实例计费 天翼云提供包月和包年的购买模式。这种购买方式相对于按需付费则能够提供更大的折扣，对于长期使用者，推荐该方式。包周期计费按照订单的购买周期来进行结算。 按需实例计费 这种购买方式比较灵活，可以即开即停，支持秒级计费。实例从“开通”开启计费到“删除”结束计费，按实际购买时长（精确到秒）计费。 下表列出两种模式的区别： 计费模式 包年/包月 按需计费 付费方式 预付费按照订单的购买周期结算。 后付费按照云服务器实际使用时长计费。 计费周期 按订单的购买周期计费。 按小时结算。 实例升级 支持扩容，工单施工完生效，但是施工过程中服务不可用；不支持缩容 支持扩容，工单施工完生效，但是施工过程中服务不可用；不支持缩容 更改计费模式 支持变更为按需资源 支持变更为包周期资源。 变更规格 支持变更实例规格。 支持变更实例规格。 适用场景 适用于可预估资源使用周期的场景，价格比按需计费模式更优惠。对于长期使用者，推荐该方式。 适用于消息资源需求波动的场景，可以随时开通，随时删除。 变更配置：天翼云分布式消息服务支持计费模式变更，更多操作内容请参考按需转包周期。

本文主要介绍删除流控。 操作场景 本章节指导您在无需流控时，删除流控。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏单击“流控管理 > 流控列表”，进入流控列表页面。 步骤 6 在待删除的流控所在行，单击“删除”，弹出“删除流控”对话框。 步骤 7 单击“是”，跳转到“后台任务管理”页面，当流控任务的“状态”为“成功”时，表示成功删除流控。

本节介绍了RabbitMQ接入的代码示例。 安全接入点(PLAIN、AMQPLAIN授权机制) java import com.rabbitmq.client.; import java.io.IOException; public class RabbitmqAmqpDemo { public static void main(String[] args) throws Exception { String host "192.168.0.0"; //安全接入点ip Integer port 5672; //安全接入点port String username "xxx"; //集群管理用户列表的用户名 String password "xxx"; //集群管理用户列表的密码 String vhost "/"; String exchangeName "extest"; String queueName "qutest"; ConnectionFactory connectionFactory new ConnectionFactory(); connectionFactory.setHost(host); connectionFactory.setPort(port); connectionFactory.setUsername(username); connectionFactory.setPassword(password); connectionFactory.setVirtualHost(vhost); Connection connection connectionFactory.newConnection(); Channel channel connection.createChannel(); channel.exchangeDeclare(exchangeName, BuiltinExchangeType.DIRECT, true); channel.queueDeclare(queueName, true, false, false, null); channel.queueBind(queueName, exchangeName, "test"); String message "Hello Aop"; for (int i 0; i < 10; i++) { channel.basicPublish(exchangeName, "test", null, message.getBytes()); System.out.println("消息发送成功"); } Channel consumeChannel connection.createChannel(); Consumer consumer new DefaultConsumer(consumeChannel) { @Override public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException { String messageGet new String(body, "UTF8"); if (messageGet.equals(message)) { System.out.println("消息消费成功"); } } }; consumeChannel.setDefaultConsumer(consumer); consumeChannel.basicConsume(queueName, false, consumer); Thread.sleep(10000); } } SSL接入点(EXTERNAL授权机制) java import com.rabbitmq.client.; import javax.net.ssl.KeyManagerFactory; import javax.net.ssl.SSLContext; import javax.net.ssl.TrustManagerFactory; import java.io.FileInputStream; import java.io.IOException; import java.security.KeyStore; public class RabbitmqExternalDemo { public static void main(String[] args) throws Exception { String host "192.168.0.0"; //SSL接入点ip int port 5671; //SSL接入点port //以下2个ssl文件可通过控制台获取安装包, 具体的获取方式可以查看2.2.1接入步骤的第二小节 String ksFile "D:tmpsslclientrabbitmqkey.p12"; String tksFile "D:tmpssltruststore"; String vhost "/"; String exchangeName "extest"; String queueName "qutest"; char[] keyPassphrase "W3zT98Zz9Io".toCharArray(); KeyStore ks KeyStore.getInstance("PKCS12"); ks.load(new FileInputStream(ksFile), keyPassphrase); KeyManagerFactory kmf KeyManagerFactory.getInstance("SunX509"); kmf.init(ks, keyPassphrase); char[] trustPassphrase null; trustPassphrase "W3zT98Zz9Io".toCharArray(); KeyStore tks KeyStore.getInstance("JKS"); tks.load(new FileInputStream(tksFile), trustPassphrase); TrustManagerFactory tmf TrustManagerFactory.getInstance("SunX509"); tmf.init(tks); SSLContext c SSLContext.getInstance("tlsv1.2"); c.init(kmf.getKeyManagers(), tmf.getTrustManagers(), null); ConnectionFactory connectionFactory new ConnectionFactory(); connectionFactory.setHost(host); connectionFactory.setPort(port); connectionFactory.setVirtualHost(vhost); connectionFactory.setSaslConfig(DefaultSaslConfig.EXTERNAL); connectionFactory.useSslProtocol(c); Connection connection connectionFactory.newConnection(); Channel channel connection.createChannel(); channel.exchangeDeclare(exchangeName, BuiltinExchangeType.DIRECT, true); channel.queueDeclare(queueName, true, false, false, null); channel.queueBind(queueName, exchangeName, "test"); String message "Hello Aop"; for (int i 0; i < 10; i++) { channel.basicPublish(exchangeName, "test", null, message.getBytes()); System.out.println("消息发送成功"); } Channel consumeChannel connection.createChannel(); Consumer consumer new DefaultConsumer(consumeChannel) { @Override public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException { String messageGet new String(body, "UTF8"); if (messageGet.equals(message)) { System.out.println("消息消费成功"); } } }; consumeChannel.setDefaultConsumer(consumer); consumeChannel.basicConsume(queueName, false, consumer); Thread.sleep(10000); } }

介绍分布式消息服务Kafka计费模式互转的功能操作内容。 场景描述 Kafka的按需转包周期的场景描述如下： 在使用Kafka时，可能会遇到需要设置按需转包周期的场景，例如： 消息积压处理：当Kafka中的消息积压较多时，可能会导致消息的消费速度跟不K上消息的生产速度，进而影响系统的性能和稳定性。为了解决这个问题，可以设置按需转包周期，即将一定数量的消息打包成一个批次进行消费，以提高消费的效率和吞吐量。 业务流量波动：在某些业务场景下，业务流量可能会出现波动，即某个时间段内的消息产生速度较快，而另一个时间段内的消息产生速度较慢。为了更好地适应业务流量的波动，可以设置按需转包周期，以根据实际的消息产生情况进行灵活的批量消费。 系统资源优化：当Kafka的消费者资源有限时，可以通过设置按需转包周期来优化系统的资源利用。通过将一定数量的消息打包成一个批次进行消费，可以减少消费者的竞争和上下文切换，提高系统的并发处理能力。 消息处理延迟优化：在某些场景下，对消息的实时性要求较低，可以通过设置按需转包周期来优化消息的处理延迟。将一定数量的消息打包成一个批次进行消费，可以减少消息的处理次数，从而降低消息的处理延迟。 需要注意的是，在设置按需转包周期时，应根据实际业务需求和系统情况进行调整。同时，应考虑消息的重要性、消费者的处理能力、系统的资源限制等因素，以确保系统的稳定性和性能。

本文主要介绍删除消费组。 分布式消息服务Kafka支持通过以下两种方式删除消费组，您可以根据实际情况选择任意一种方式。 方法一：在管理控制台删除消费组 方法二：在Kafka客户端使用命令行工具删除消费组（确保Kafka实例版本与命令行工具版本相同） 前提条件 待删除消费组的状态为“EMPTY”。 方法一：在管理控制台删除消费组 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏选择“消费组管理”，进入消费组列表页面。 步骤 6 通过以下任意一种方法，删除消费组。 勾选消费组名称左侧的方框，可选一个或多个，单击信息栏左上侧的“删除消费组”。 在待删除消费组所在行，单击“删除”。 说明 仅在“消费组状态”为“EMPTY”时，支持删除。 消费组包含以下状态： DEAD：消费组内没有任何成员，且没有任何元数据。 EMPTY：消费组内没有任何成员，存在元数据。 PREPARINGREBALANCE：准备开启Rebalance。 COMPLETINGREBALANCE：所有成员加入消费组。 STABLE：消费组内成员可以正常消费。 步骤 7 弹出“删除消费组”对话框，单击“是”，完成消费组的删除。

本文主要介绍 查看流控监控。 本章节指导您在控制台查看每个代理上用户/客户端/Topic的流控使用量。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏单击“流控管理 > 流控监控”，进入流控监控页面。 步骤 6 设置查询流控的参数。 表查询流控的参数说明 参数 说明 :: 统计方式 设置流控的统计方式。 前n个：统计带宽使用量排名前x 个的用户/客户端/Topic，x由您自行输入 带宽速率：统计带宽速率大于x MB/s的用户/客户端/Topic，x由您自行输入 带宽使用量：统计带宽使用量超过x %的用户/客户端/Topic，x由您自行输入 统计类型 设置流控的统计类型。 生产：统计生产消息的流控 消费：统计消费消息的流控 统计维度 设置流控的统计维度。 User/Client：统计用户/客户端的流控 Topic：统计Topic的流控 图 查询流控的参数 步骤 7 单击“查询”，查看每个代理上用户/客户端/Topic的流控使用量。

验证数据是否同步 1、 在目标集群中查看Topic列表，确认是否有源集群Topic。 说明 目标集群中的Topic名称和源集群相比，多了前缀（如A.），这属于正常情况，是MirrorMaker 2为了防止Topic循环备份进行的设置。 2、 在源集群生产并消费消息，在目标集群查看消费进度，确认数据是否已从源集群同步到了目标集群。 如果目标集群为Kafka实例的话，在分布式消息服务Kafka控制台的“消费组管理 > 消费进度”中，查看消费进度。

本文为您介绍分布式消息服务MQTT的API参考如何调用API。 请求头header参数 参数名 示例值 参数类型 是否必填 参数描述 regionId 921d904cca2211e99aa20242ac110006 String 是 资源池编码

参数 参数说明 区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。 集群名称 集群名称不允许重复。 只能由字母、数字、中划线和下划线组成，并且长度为1～64个字符。 默认名称为mrsxxxx，xxxx为字母和数字的四位随机组合数，系统自动组合。 集群版本 当前版本为MRS 3.1.0。 集群类型 提供几种集群类型： 分析集群：用来做离线数据分析，提供的是Hadoop体系的组件。 流式集群：用来做流处理任务，提供的是流式处理组件。 混合集群：既可以用来做离线数据分析，也可以用来做流处理任务，提供的是Hadoop体系的组件和流式处理组件。建议同时需要做离线数据分析和流处理任务时使用混合集群。 自定义：用户可按照业务需求调整集群服务的部署方式，具体请参见 说明 MRS流式集群不支持“作业管理”和“文件管理”功能。如需在集群中安装全部组件，请选择“自定义”类型集群。 组件选择 MRS配套的组件如下： 分析集群组件 Presto：开源、分布式SQL查询引擎。 Hadoop：分布式系统基础架构。 Spark：内存分布式系统框架。（MRS 3.x版本不支持） Spark2x：Spark2x是一个对大规模数据处理的快速和通用引擎,基于开源Spark2.x版本开发。（仅MRS 3.x版本支持） Hive：建立在Hadoop上的数据仓库框架。 HBase：分布式列数据库。 Tez：提供有向无环图的分布式计算框架。 Hue：提供Hadoop UI能力，让用户通过浏览器分析处理Hadoop集群数据。 Loader：基于开源sqoop 1.99.7开发，专为Apache Hadoop和结构化数据库（如关系型数据库）设计的高效传输大量数据的工具。（MRS 3.x版本不支持） Hadoop为必选组件，且Spark与Hive组件需要配套使用。请根据业务选择搭配组件。 Flink：分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。 Oozie：Hadoop作业调度系统。（仅MRS 3.x版本支持） HetuEngine：HetuEngine是一个同异构大数据集的分布式SQL查询引擎。（仅MRS 3.1.x LTS版本支持） Ranger：一个基于Hadoop平台监控和管理数据安全的框架。 Impala：一种处理大量数据的SQL查询引擎。 ClickHouse：ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。CPU架构为鲲鹏计算的ClickHouse集群表引擎不支持使用HDFS和Kafka。 Kudu：一种列存储管理器。 流式集群组件 Kafka：提供分布式消息订阅的系统。 Flume：提供分布式、高可用、高可靠的海量日志采集、聚合和传输系统。 ZooKeeper：一个集中的服务，它用于维护配置信息、命名、提供分布式的同步和提供分组服务。（仅MRS 3.x版本支持） Ranger：一个基于Hadoop平台监控和管理数据安全的框架。（仅MRS 3.x版本支持） 元数据 是否使用外部数据源存储元数据。 本地元数据： 元数据存储在集群本地。 数据连接：使用外部数据源元数据，若集群异常或删除时将不影响元数据，适用于存储计算分离的场景。 支持Hive或Ranger组件的集群支持该功能。 组件名 当“元数据”选择“数据连接”时该参数有效。用于表示可以设置外部数据源的组件类型。 Hive Ranger 数据连接类型 当“元数据”选择“数据连接”时该参数有效。用于表示外部数据源的类型。 Hive组件支持的数据连接类型： − RDS服务MySQL数据库− 本地数据库 Ranger组件支持的数据连接类型： − RDS服务MySQL数据库− 本地数据库 数据连接实例 当“数据连接类型”选择“RDS服务MySQL数据库”时，该参数有效。用于表示MRS集群与RDS服务数据库连接的名称，该实例必选先创建才能在此处引用。可单击“创建数据连接”进行创建，具体请参考

本文为您介绍创建数据订阅任务的操作场景、前提条件和操作步骤。 操作场景 场景一：数据实时分析 使用云监控数据订阅功能，将业务进行异步解耦，在不影响源库业务的情况下，实时同步监控数据（指标、事件）或告警数据到客户自有分析系统中，帮助企业用户进行实时数据分析。 场景二：数据归档存储 使用云监控数据订阅功能，您可将资源监控或告警数据的增量更新数据，实时地推送到归档数据库或数据仓库。 说明 数据订阅功能当前为受限开放，如有需求可以联系客户经理为您开放此功能。 资源池下单个用户最多可创建10个数据订阅任务。 前提条件 注册天翼云账号，并完成实名认证。具体操作，请参见天翼云账号注册流程。 注意 数据订阅功能数据类型支持指标数据、事件数据，订阅方式支持分布式消息服务及API方式。 指标数据订阅支持分布式消息服务（kafka）及remotewriteapi方式。 事件数据订阅支持分布式消息服务（kafka）及apipush方式。（事件订阅入口为：云监控服务>事件监控>事件订阅） 创建订阅任务需提前创建订阅渠道。 操作步骤 1. 登录控制中心。 2. 在控制中心页面左上角点击，选择区域，本文我们选择华东1。 3. 依次选择“管理与部署”，单击“云监控”，进入监控概览页面。 4. 单击左侧“数据订阅”菜单，进入数据订阅任务列表。 5. 单击“创建订阅任务”功能，进入数据订阅任务创建二级页面。 6. 创建订阅任务参数配置如下： 模块 参数 参数说明 配置示例 备注 选择订阅对象 服务维度 选择需要订阅数据的服务维度信息，支持多选 云主机云主机 选择订阅对象 监控对象类型 具体实例 选择订阅对象 选择对象 选择资源实例对象 具体实例 定义订阅方式 订阅通道 选择公网/内网 分布式消息服务 定义订阅方式 发送渠道 Kafka Kafka 定义订阅方式 订阅失败缓存时间 输入用户客户端地址 基础信息 订阅任务名称 填写自定义订阅任务名称 testtask 基础信息 描述 填写订阅任务描述信息 说明 关于告警数据订阅全部资源的场景，涉及两个周期： 订阅服务subscription同步订阅配置的周期，预计上线配置2分钟。 数据订阅配置全部资源，也需要周期同步全量的实例资源，预计线上配置3分钟。 因此，考虑极限情况，告警订阅服务在周期1 + 周期2之后产生的告警，订阅服务才能匹配消费到。

介绍分布式消息服务Kafka按时间查询消息功能操作内容。 场景描述 Kafka按时间查询是指通过指定时间范围来查询Kafka主题中的消息。以下是一些常见的按时间查询的场景描述： 数据分析和报告：在数据分析和报告生成的场景中，经常需要按时间查询Kafka主题中的消息。通过指定起始时间和结束时间，可以获取在特定时间范围内产生的消息，用于进一步的数据分析和报告生成。 故障排查：当出现故障或问题时，按时间查询可以帮助定位问题的发生时间和相关的消息。通过指定故障发生的时间范围，可以获取相关的消息，用于故障排查和问题分析。 监控和警报：按时间查询还可以用于监控和警报系统。通过定期按时间查询Kafka主题中的消息，可以检查是否有异常或异常事件发生，并触发相应的警报机制。 数据回溯和重播：按时间查询功能还可以用于数据回溯和重播。通过指定特定的时间范围，可以获取过去某个时间段内的消息，并进行数据回溯或重播操作。 数据同步和复制：在数据同步和复制的场景中，按时间查询可以帮助确保数据的一致性。通过按时间查询源和目标主题中的消息，可以比较不同时间段内的消息，并进行数据同步和复制操作。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消息查询”后默认就是按点位查询。 （5）选择按时间查询，选择需要查询的Topic，输入分区号以及时间段，点击”查询“按钮，会返回时间段内的所有消息。 （6）点击消息列表的“消息详情”可查看消息详情信息。

介绍分布式消息服务Kafka使用MirrorMaker跨集群数据同步。 应用场景 使用MirrorMaker进行跨集群数据同步是Kafka中常见的场景之一。MirrorMaker是Kafka提供的一个工具，用于将一个Kafka集群中的消息复制到另一个Kafka集群，实现跨数据中心、跨地域或跨集群的数据同步。 以下是一些常见的使用MirrorMaker进行跨集群数据同步的场景： 1. 备份和灾备： MirrorMaker可用于将生产环境中的消息复制到备份集群，以实现数据的备份和灾备。当主集群发生故障或不可用时，可以切换到备份集群，确保数据的可用性和连续性。 2. 数据复制和分发： 如果有多个数据中心或地理位置，可以使用MirrorMaker将消息从一个集群复制到另一个集群，实现数据的复制和分发。这样可以将数据从一个地区或数据中心传输到另一个地区或数据中心，以满足不同地区或数据中心的业务需求。 3. 跨云厂商数据同步： 当使用多个云厂商的Kafka服务时，MirrorMaker可以用于将消息从一个云厂商的Kafka集群复制到另一个云厂商的Kafka集群，实现跨云厂商的数据同步和迁移。 4. 数据聚合和分析： 当需要将多个Kafka集群中的消息聚合到一个集群中进行分析时，可以使用MirrorMaker将消息从多个集群复制到目标集群，以实现数据的聚合和分析。 需要注意的是，MirrorMaker在进行数据同步时，会引入一定的延迟，并且在网络传输和资源消耗方面会有一定的开销。因此，在使用MirrorMaker进行跨集群数据同步时，需要根据实际情况进行配置和调优，以满足业务需求和性能要求。