本章节主要介绍如何运行Kafka作业。 用户可将自己开发的程序提交到MRS中，执行程序并获取结果。本章节教您在Kafka主题中产生和消费消息。 暂不支持通过界面提交Kafka作业，请通过后台功能来提交作业。 通过后台提交作业 先查询ZooKeeper和Kafka的实例地址，再运行Kafka作业。 查询实例地址（3.x版本） 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 3.请参考访问FusionInsight Manager（MRS 3.x及之后版本），跳转至FusionInsight Manager页面。然后选择“服务 > ZooKeeper > 实例”，查看ZooKeeper角色实例的IP地址。记录ZooKeeper角色实例中任意一个的IP地址即可。 4.选择“服务 > Kafka > 实例”，查看Kafka角色实例的IP地址。记录Kafka角色实例中任意一个的IP地址即可。 查询实例地址（3.x之前版本） a. 登录MRS管理控制台。 b. 选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 c. 在MRS集群详情页面，选择“组件管理 > ZooKeeper > 实例”，查看ZooKeeper角色实例的IP地址。记录ZooKeeper角色实例中任意一个的IP地址即可。 d. 选择“组件管理 > Kafka > 实例”，查看Kafka角色实例的IP地址。记录Kafka角色实例中任意一个的IP地址即可。 运行Kafka作业 MRS 3.x及之后版本客户端默认安装路径为“/opt/Bigdata/client”，MRS 3.x之前版本为“/opt/client”。具体以实际为准。 1.在集群信息页面的“节点管理”页签中单击Master2节点名称，进入弹性云主机管理控制台。 2.单击页面右上角的“远程登录”。 3.根据界面提示，输入Master节点的用户名和密码，用户名、密码分别为root和创建集群时设置的密码。 4.执行如下命令初始化环境变量。 source /opt/Bigdata/client/bigdataenv 5.如果当前集群已开启Kerberos认证，执行以下命令认证当前用户。如果当前集群未开启Kerberos认证，则无需执行该步骤。 kinit MRS集群用户 例如, kinit admin 6.执行如下命令，创建kafka topic。 kafkatopics.sh create zookeeper ZooKeeper角色实例IP:2181/kafkapartitions 2 replicationfactor 2 topic 7.在topic test中产生消息。 首先执行命令kafkaconsoleproducer.sh brokerlist Kafka角色实例IP:9092 topic producer.config /opt/Bigdata/client/Kafka/kafka/config/producer.properties 。 然后输入指定的内容作为生产者产生的消息，输入完成后按回车发送消息。如果需要结束产生消息，使用“Ctrl + C”退出任务。 8.消费topic test中的消息。 kafkaconsoleconsumer.sh topic bootstrapserver Kafka角色实例IP:9092 consumer.config/opt/Bigdata/client/Kafka/kafka/config/consumer.properties 说明 如果集群开启Kerberos认证，则执行如上两个命令时请修改端口号9092为21007，详见

介绍分布式消息服务Kafka按位点查询的功能操作内容。 场景描述 Kafka按位点查询是指通过指定偏移量或时间戳来查询Kafka主题中的消息。以下是一些常见的按位点查询的场景描述： 数据回溯：当需要回溯到过去的某个时间点或特定的消息偏移量时，可以使用按位点查询功能。这在故障排查、数据分析和报告生成等场景中非常有用，可以准确地获取特定时间点或消息的数据。 数据恢复：在某些情况下，如果由于意外情况导致数据丢失或损坏，可以使用按位点查询来恢复丢失的数据。通过指定偏移量或时间戳，可以定位到丢失数据之前的位置，然后将数据重新消费或导出。 数据验证：按位点查询还可以用于数据验证和一致性检查。通过指定特定的偏移量或时间戳，可以比较不同主题或分区之间的消息，以确保数据的一致性和正确性。 数据分析：按位点查询对于数据分析和统计也非常有用。通过指定特定的时间戳或偏移量范围，可以获取所需的数据子集，并对其进行进一步的分析和处理。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消息查询”后默认就是按位点查询。 （5）下拉选择topic可以切换要查询的topic，填写offset消息位置，partition分区编号，可查询该分区offset位置开始的10条消息。 （6）点击消息列表的“消息详情”可查看消息详情信息

如何选择磁盘空间？ Kafka支持多副本存储，副本数量为3。存储空间包含所有副本存储空间总和，因此，您在创建Kafka实例，选择初始存储空间时，建议根据业务消息体积预估以及副本数量选择合适的存储空间。 例如：业务消息体积预估100GB，则磁盘容量最少应为100GB3+ 预留磁盘大小100GB。 如何选择实例带宽？ Kafka实例的网络带宽指单向（读或写）最大带宽。一般建议选择带宽时建议预留30%，确保您的应用运行更稳定。 100MB/s，业务流量为70M以内时推荐选用。 300MB/s，业务流量为210M以内时推荐选用。 Kafka支持磁盘加密吗？ 分布式消息服务Kafka不支持磁盘加密。 Kafka扩容会影响业务吗？ Kafka的扩容过程可能会对业务产生一定的影响，具体取决于您的扩容策略和实施方式。以下是一些可能的影响： 重分区和重新分配：当您需要扩容Kafka集群时，可能需要进行重分区和重新分配。这涉及到数据的重新分布和重新平衡，可能会导致一段时间内的性能下降和延迟增加。在重分区和重新分配期间，Kafka会重新分配副本、重新分区数据，并且可能需要重新加载和重新平衡消费者群组。 网络和磁盘负载增加：扩容Kafka集群意味着增加了更多的节点和副本，这可能会增加网络和磁盘的负载。数据的复制和同步可能会导致网络带宽的消耗，而新增的节点和副本可能会增加磁盘的写入和读取负载。

本章节介绍Kafka Broker节点主机宕机故障演练。 背景介绍 高性能高可靠的分布式消息服务 Kafka 在复杂分布式环境中仍可能因 Broker 节点宕机引发数据丢失、集群可用性下降、请求延迟升高、副本同步滞后等严重问题，本演练可测试业务系统应对此类核心组件故障的响应能力、高可用切换机制及数据一致性保障效果。 基本原理 指定或随机一个Broker节点进行关机。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker宕机动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 故障节点：可选择随机一个节点或者特定的节点。

扩容/缩容代理规格的过程 在扩容/缩容代理规格的过程中，代理采用滚动重启的方式进行实例变更，具体过程如下（以3个代理为例介绍）： 1. 停止Broker 0的Kafka进程 2. 扩容/缩容Broker 0的规格 3. 重启Broker 0的Kafka进程 4. 重复1~3，扩容/缩容Broker 1的规格。 5. 重复1~3，扩容/缩容Broker 2的规格。 图 扩容/缩容代理规格过程 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 在实例所在行，单击“更多 > 变更规格”，进入“分布式消息服务Kafka变更规格”页面。 步骤 5 根据实际情况选择扩容存储空间、代理数量、代理规格、基准带宽，或者缩容代理规格。 老规格实例扩容步骤如下： 扩容基准带宽。 在“规格”中，选择扩容后的带宽，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“规格”中查看扩容后的带宽大小。 说明 扩容带宽是通过扩容代理实现的，原来代理不受影响，业务也不受影响。 新创建的Topic才会分布在新代理上，原有Topic还分布在原有代理上，造成分区分布不均匀。通过 已开启公网访问的实例，在扩容基准带宽时，需要为新扩容的代理设置弹性IP地址。 扩容基准带宽，可以扩大总分区数。 扩容存储空间。 在“存储空间”中，选择扩容后的存储空间大小，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“可用存储空间”中查看扩容后的存储空间大小。 说明 扩容存储空间不会影响业务。 可用存储空间实际存储空间用于存储日志和ZK的数据的存储空间格式化磁盘的损耗。 例如，实际扩容存储空间到700GB，用于存储日志和ZK的数据的存储空间为100GB，格式化磁盘损耗7GB，那么扩容后的可用存储空间为593GB。 新规格实例扩容步骤如下： 扩容存储空间。 在“变更配置”中，选择“存储空间”，在“单个代理存储空间”中，选择扩容后的单个代理的存储空间大小，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“可用存储空间”中查看扩容后的总存储空间大小（即扩容后的单个代理的存储空间代理个数）。 说明 扩容存储空间不会影响业务。 可用存储空间实际存储空间用于存储日志和ZK的数据的存储空间格式化磁盘的损耗。 例如，实际扩容存储空间到700GB，用于存储日志和ZK的数据的存储空间为100GB，格式化磁盘损耗7GB，那么扩容后的可用存储空间为593GB。 扩容代理数量。 在“变更配置”中，选择“代理数量”，在“代理数量”中，选择扩容后的代理个数，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“规格”中查看扩容后的代理个数。 说明 扩容代理数量不会影响原来的代理，业务也不受影响。 新创建的Topic才会分布在新代理上，原有Topic还分布在原有代理上，造成分区分布不均匀。通过 已开启公网访问的实例，在扩容代理数量时，需要为新扩容的代理设置弹性IP地址。 扩容代理数量，可以扩大总分区数。 扩容/缩容代理规格。 在“变更配置”中，选择“代理规格”，在“代理规格”中，选择扩容/缩容后的代理规格，单击“下一步”。确认扩容/缩容信息无误后，单击“提交”。 在实例列表页面的“规格”中查看扩容/缩容后的代理规格。 说明 扩容/缩容代理规格的过程中，节点会重启，可能造成闪断，生产客户端需要配置重试机制。 若Topic为单副本，扩容/缩容期间无法对该Topic生产消息或消费消息。

本章节介绍Kafka Broker节点磁盘IO高负载故障演练。 背景介绍 分布式消息服务 Kafka 集群的性能与稳定性高度依赖底层磁盘 IO 能力，高并发写入、集群数据复制、海量消息存储检索及磁盘故障恢复等场景易导致 Broker 节点磁盘 IO 触达瓶颈，引发消息持久化延迟等问题，本演练可测试业务系统的响应与恢复能力。 基本原理 指定或随机一个Broker节点先通过dd命令将数据写入文件中，然后再通过循环读写文件占用磁盘带宽。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker 磁盘IO高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 读负载：开启读压力模式，创建一个临时文件并对其进行持续的读取操作。 写负载：开启写压力模式，持续向一个临时文件写入数据。 块大小：控制单次读写操作的数据块大小，单位为MB。增大此值可以提升单次操作的 IO 压力。通常保持默认值即可。

本节介绍了如何实现RabbitMQ的高性能。 使用较小的队列长度 队列中存在大量消息时，会给内存使用带来沉重的负担，为了释放内存，RabbitMQ会将消息刷新到磁盘。这个过程通常需要时间，由于需要重建索引，重启包含大量消息的集群非常耗时。当刷盘的消息过多时，会阻塞队列处理消息，从而降低队列速度，对RabbitMQ节点的性能产生负面影响。 要获得最佳性能，应尽可能缩短队列。建议始终保持队列消息堆积的数量在0左右。 对于经常受到消息峰值影响的应用程序，和对吞吐量要求较高的应用程序，建议在队列上设置最大长度。这样可以通过丢弃队列头部的消息来保持队列长度，队列长度永远不会大于最大长度设置。 在队列声明时使用对应参数设置。 java //创建队列 HashMap map new HashMap<>(); //设置队列最大长度 map.put("xmaxlength",10 ); //设置队列溢出方式保留前10 map.put("xoverflow","rejectpublish" ); channel.queueDeclare(queueName,false,false,false,map); 当队列长度超过设置的最大长度时，RabbitMQ的默认做法是将队列头部的信息（队列中最老的消息）丢弃或变成死信。可以通过设置不同的overflow值来改变这种方式，如果overflow值设置为drophead，表示从队列前面丢弃或deadletter消息，保存后n条消息。如果overflow值设置为rejectpublish，表示最近发布的消息将被丢弃，即保存前n条消息。 自动删除不再使用的队列 客户端可能连接失败导致队列被残留，大量的残留队列会影响实例的性能。RabbitMQ提供三种自动删除队列的方法： 在队列中设置TTL策略：例如TTL策略设置为28天，当持续28天队列未被使用时，此队列将被删除。 使用autodelete队列：当最后一个消费者退出或通道/连接关闭（或与服务器的TCP连接丢失）时，autodelete队列会被删除。 使用exclusive queue：exclusive queue只能在创建它的连接中使用，当此连接关闭或消失时，exclusive queue会被删除。 设置方法如下： java boolean exclusive true; boolean autoDelete true; channel.queueDeclare(QUEUENAME, durable, exclusive, autoDelete, arguments);

其他建议 连接数限制：3000 消息大小：不能超过10MB 使用saslssl协议访问Kafka：确保DNS具有反向解析能力，或者在hosts文件配置kafka所有节点ip和主机名映射，避免Kafka client做反向解析，阻塞连接建立。 磁盘容量申请超过业务量 副本数的2倍，即保留磁盘空闲50%左右。 业务进程JVM内存使用确保无频繁FGC，否则会阻塞消息的生产和消费。

本文主要介绍如何转储日志数据至分布式消息服务Kafka。 云日志服务采集到数据后，支持将数据转储至对天翼云分布式消息服务kafka，用于实时流计算等场景。 前提条件 已创建日志项目和日志单元 已开通天翼云分布式消息服务kafka 已采集到日志 创建日志转储任务 1. 登录云日志服务控制台。 2. 左侧点击【日志转储】菜单，进入日志转储页面。 3. 在页面上方选择“kafka”。 4. 点击【创建转储任务】。 5. 在创建转储任务功能面板，配置如下参数，然后单击确定，完成转储任务创建。 参数 说明 日志项目名称 选择源日志所在的日志项目。 日志单元名称 选择源日志所在的日志单元。 转储任务名称 转储任务的名称。 kafka实例 选择转出目标的kafka实例。 Topic 选择当前kafka的topic。（当前仅支持转储至公有 Topic） 转储时间范围 1、某时间开始：指定转储任务的开始时间，从该时间点开始进行数据转储，直到您手动停止转储任务。(开始时间不得早于当前时间，早于当前时间则以当前时间为准) 2、特定时间范围：指定转储任务的起止时间，转储任务将执行到您指定的结束时间后自动停止。(开始时间不得早于当前时间，早于当前时间则以当前时间为准)

操作场景 天翼云分布式消息Kafka自集成了一整套监控方案，对Kafka实例的运行状态进行日常监控，可以通过管理控制台查看Kafka实例各项监控指标。 操作前提 已开通天翼云Kafka实例，且实例状态为“运行中” 实例有进行生产消费行为，实例中存在可消费的消息 Kafka 实例是天翼云Ⅱ类资源池实例，目前Ⅱ类资源池包括：华东1、上海36、华北2、长沙42、武汉41、西安7、杭州7、青岛20、西南1、西南2、广州4、郑州5、华南2等 操作步骤 1. 登录管理控制台。 2. 进入Kafka管理控制台。 3. 在实例列表页的操作列，目标实例行点击“管理”。 4. 点击“可观测”后，选择“监控信息”，默认展示实例监控，除此之外，监控信息还包括实例节点监控、Topic监控、消费组监控和Connect监控，Connect监控只有开启Kafka Connect才展示。

介绍分布式消息服务RabbitMQ惰性队列能力。 使用场景 RabbitMQ从3.6.0版本开始引入了惰性队列（Lazy Queue）的概念。惰性队列会尽可能的将消息存入磁盘中，而在消费者消费到相应的消息时才会被加载到内存中，它的一个重要的设计目标是能够支持更长的队列，即支持更多的消息存储。当消费者由于各种各样的原因（比如消费者下线、宕机亦或者是由于维护而关闭等）而致使长时间内不能消费消息造成堆积时，惰性队列就很有必要了 默认情况下，当生产者将消息发送到RabbitMQ的时候，队列中的消息会尽可能的存储在内存之中，这样可以更加快速的将消息发送给消费者。即使是持久化的消息，在被写入磁盘的同时也会在内存中驻留一份备份。当RabbitMQ需要释放内存的时候，会将内存中的消息换页至磁盘中，这个操作会耗费较长的时间，也会阻塞队列的操作，进而无法接收新的消息。虽然RabbitMQ的开发者们一直在升级相关的算法，但是效果始终不太理想，尤其是在消息量特别大的时候 惰性队列会将接收到的消息直接存入文件系统中，而不管是持久化的或者是非持久化的，这样可以减少了内存的消耗，但是会增加I/O的使用，如果消息是持久化的，那么这样的I/O操作不可避免，惰性队列和持久化消息可谓是“最佳拍档”。注意如果惰性队列中存储的是非持久化的消息，内存的使用率会一直很稳定，但是重启之后消息一样会丢失。

本文主要介绍了自动续订规则及操作流程。 为避免由于未及时对资源采取续订操作，资源被到期冻结或超期释放，客户购买包月包年产品后，可设置开通自动续订。开通自动续订后，系统将在资源到期前自动续订，无需客户再手动操作。 适用范围 自动续订仅针对采用包月、包年计费模式的资源。 已到期资源不支持设置/修改自动续订。 自动续订仅适于 付费用户 ，不适用于非付费用户。 目前支持设置自动续订的产品有：弹性云主机、GPU云主机、物理机、云桌面、云硬盘、对象存储经典版、云主机备份、专属云计算独享型、专属云存储独享型、弹性IP、共享带宽、天翼云SDWAN、云间高速、关系数据库MySQL版、关系数据库Postgre SQL版、分布式关系数据库、分布式缓存服务Redis版、分布式缓存服务Memcache、文档数据库服务、云HBASE数据库、分布式消息服务RocketMQ、分布式消息服务RabbitMQ、分布式消息服务Kafka、Web应用防火墙、服务器安全卫士、域名无忧、DDos高防IP、云解析、登录保护、网站安全监测、内容安全。 单次最多支持20个资源实例批量续订。 开通、变更、关闭自动续订 用户在续订管理页可开通自动续订功能，变更自动续约周期，或关闭自动续订。 不关闭自动续订的情况下，只要预付费账户余额充足，或为后付费客户，系统将持续按设定的周期自动续订下去。 预付费用户可在官网自主控制自动续订功能的开通、变更、关闭。后付费用户需要客户经理协助开启自动续订权限后才可以自主管理。

介绍分布式消息服务Kafka的数据保护技术 天翼云分布式消息服务Kafka通过多种数据保护手段和措施，保障您在Kafka实例上的数据的安全性。 容灾 根据数据和服务的不同可靠性需求，您有多种选择。您可以选择在一个可用区（即单个机房）内部署Kafka实例，或者选择跨多个可用区（即同城灾备）进行部署。目前跨可用区在华东1、华南2支持跨可用区部署。具体请参考容灾策略。 副本冗余 通过配置适当数量的副本和分布在不同的节点上，Kafka可以提供高可用性和数据冗余，以保护数据免受节点故障的影响。同时，副本机制还可以提高读取性能，因为客户端可以从就近的副本中读取数据，而不必从远程节点获取数据。 数据持久化 Kafka中数据的持久化是通过将消息写入磁盘上的日志文件来实现的。这种设计使得Kafka能够提供高吞吐量和持久性，即使在发生故障或重启时也能够保留数据。此外，Kafka还提供了数据复制和故障转移机制，以确保数据的可用性和可靠性。

步骤四：购买客户端服务器 购买3台ECS服务器（资源池、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致，带宽要大于等于Kafka实例带宽） 购买完成后需要进行如下操作： 安装JDK yum install y java1.8.0openjdkdevel.x8664 下载Kafka命令行工具并解压 tar zxvf kafka2.132.8.2.tar.gz 步骤五：测试命令 ./kafkaproducerperftest.sh producerprops bootstrap.servers${连接地址} acks1 batch.size16384 topic ${Topic名称} numrecords 5000000 recordsize 1024 throughput 1 producer.config ../config/producer.properties bootstrap.servers：购买Kafka实例后，获取的Kafka实例的地址。 acks：消息主从同步策略，acks1表示异步复制消息，acks1表示同步复制消息。 batch.size：每次批量发送消息的大小（单位为字节）。 topic：创建Topic中设置的Topic名称。 numrecords：总共需要发送的消息数。 recordsize：每条消息的大小。 throughput：每秒发送的消息数，1表示不作限制。 测试结果 测试场景一（实例是否开启SASL）：相同的Topic（30分区，3副本，异步复制） 实例规格 磁盘类型 节点数量 TPS（使用SASL） TPS（不使用SASL） 计算增强型4核8GB 超高IO 3 170000 500000 计算增强型8核16GB 超高IO 3 200000 730000 计算增强型16核32GB 超高IO 3 360000 886000 测试场景二（同步/异步复制）：相同的实例（超高I/O、3个节点、不使用SASL） 实例规格 分区数 副本数 TPS（同步复制） TPS（异步复制） 计算增强型4核8GB 30 3 238000 500000 计算增强型8核16GB 30 3 315000 730000 计算增强型16核32GB 30 3 375000 886000 测试场景三（不同磁盘类型）：相同的Topic（30分区，3副本，异步复制） 实例规格 是否使用SASL 节点数量 TPS（高IO） TPS（超高IO） 计算增强型4核8GB 不使用 3 135000 500000 计算增强型8核16GB 不使用 3 240000 730000 计算增强型16核32GB 不使用 3 280000 886000 测试场景四（不同分区数）：相同的实例（超高I/O、3个节点、不使用SASL） 实例规格 是否同步复制 副本数 TPS（3分区） TPS（12分区） TPS（100分区） 计算增强型4核8GB 否 3 330000 280000 260000 计算增强型8核16GB 否 3 480000 410000 340000 计算增强型16核32GB 否 3 534000 744000 630000

本节介绍了分布式消息服务RabbitMQ的定义和主要产品优势。 分布式消息服务RabbitMQ是基于高可用、分布式集群技术，完全兼容RabbitMQ开源社区，支持消息路由、事务消息、优先级队列、延迟队列、死信队列、镜像队列等功能的消息云服务。用户可开箱即用，无需部署免运维，从而实现快速上云。 产品示意图 分布式消息服务RabbitMQ发布订阅基本流程如下： 1、生产者生产的消息，通过TCP连接的信道首先发布到指定的交换机上； 2、交换机通过路由键(RoutingKey)的匹配，选择对应的队列进行投递； 3、消费者订阅队列，消费队列的消息。 核心概念 对照产品示意图，分布式消息服务RabbitMQ的核心概念如下： Producer：消息生产者，即消息的发布方, 生产者生产的消息，首先发布到指定的交换机上，交换机通过路由键(RoutingKey)的匹配，选择对应的队列进行投递。消费者订阅队列，消费队列的消息。 Connection：客户端与Broker间的TCP连接。 Channel：信道，每个连接采用多路复用，包含多个信道。Producer与Broker间采用信道传递数据。 Broker：RabbitMQ服务节点，集群由多个节点组成。 Vhost：虚拟机，一个节点下包含多个Vhost，Vhost间的Exchange，Queue相互隔离。就好比一台物理机上(Broker)部署多台虚拟机(Vhost)，虚拟机采用不同的用户名密码登录，实现多租户。 Exchange：交换机，消息首先会传递到交换机，由交换机匹配路由键(RoutingKey)决定投递到哪个Queue。 Queue：队列，存储消息的数据结构。类比小区的快递柜。 Binding：绑定，交换机与队列间通过路由键(RoutingKey)进行绑定起来。 Consumer，消费者，即消息的接受方。 更多信息请参见名词解释。

参数 描述 虚拟主机 选择创建队列所属的虚拟主机 名称 队列的名称。以amq.开头的为保留字段，因此不能使用。例如：amq.test。 存储节点 队列数据存储节点 是否持久化 队列元数据是否持久化到磁盘 是否自动删除 最后一个Consumer取消订阅后，Queue是否自动删除。 其他参数 Message TTL消息过期时间：number型(单位:ms) Auto expire队列过期时间，过期后队列自动删除：number型(单位:ms) Max length队列能保存的最大消息数：number型(单位:个) Max length bytes队列能保存的最大消息量：number型(单位:字节) Overflow behaviour 超过队列的最大设定值后消息接收策略：drophead,rejectpublish drophead：删除头部消息,一般就是最早发送的消息，保证队列可用 rejectpublish：拒绝接受新的消息，保证消息不丢失 Dead letter exchange死信交换器名称 Dead letter routing key死信路由键 Maximum priority队列最大优先级：要开启消息的优先级，必须设置消息所在队列的优先级 Lazy mode队列惰性模式：default、lazy default：默认值，普通队列 lazy：惰性队列，尽可能将消息存到磁盘中，会引起I/O操作比较多，内存消耗极少（有大量堆积的持久化消息建议使用） Master Locator 队列保存位置：clientlocal、minmasters、random clientlocal：队列创建时所用连接的节点 minmasters： 集群中节点主数量最少的节点 random：由rabbitmq服务器随机指定一个节点

本文主要介绍权限管理。 如果您需要对云服务平台上购买的DMS for Kafka资源，给企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全的控制云服务资源的访问。 通过IAM，您可以在帐号中给员工创建IAM用户，并使用策略来控制他们对云服务资源的访问范围。例如您的员工中有负责软件开发的人员，您希望他们拥有DMS for Kafka的使用权限，但是不希望他们拥有删除Kafka实例等高危操作的权限，那么您可以使用IAM为开发人员创建用户，通过授予仅能使用Kafka实例，但是不允许删除Kafka实例的权限策略，控制他们对DMS for Kafka资源的使用范围。 如果帐号已经能满足您的要求，不需要创建独立的IAM用户进行权限管理，您可以跳过本章节，不影响您使用DMS for Kafka的其它功能。 IAM是云服务平台提供权限管理的基础服务，无需付费即可使用，您只需要为您帐号中的资源进行付费。 关于IAM的详细介绍，请参见《IAM产品介绍》。 说明 DMS for Kafka的权限与策略基于分布式消息服务DMS，因此在IAM服务中为Kafka分配用户与权限时，请选择并使用“DMS”的权限与策略。 DMS for Kafka权限 默认情况下，管理员创建的IAM用户没有任何权限，需要将其加入用户组，并给用户组授予策略或角色，才能使得用户组中的用户获得对应的权限，这一过程称为授权。授权后，用户就可以基于被授予的权限对云服务进行操作。 DMS for Kafka部署时通过物理区域划分，为项目级服务。授权时，“作用范围”需要选择“区域级项目”，然后在指定区域对应的项目中设置相关权限，并且该权限仅对此项目生效；如果在“所有项目”中设置权限，则该权限在所有区域项目中都生效。访问DMS for Kafka时，需要先切换至授权区域。 权限根据授权精细程度分为角色和策略。 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度，提供有限的服务相关角色用于授权。由于云服务平台各服务之间存在业务依赖关系，因此给用户授予角色时，可能需要一并授予依赖的其他角色，才能正确完成业务。角色并不能满足用户对精细化授权的要求，无法完全达到企业对权限最小化的安全管控要求。 策略：IAM最新提供的一种细粒度授权的能力，可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式，能够满足企业对权限最小化的安全管控要求。例如：针对DMS for Kafka服务，管理员能够控制IAM用户仅能对实例进行指定的管理操作。多数细粒度策略以API接口为粒度进行权限拆分，DMS for Kafka支持的API授权项请参见《分布式消息服务Kafka API参考》的“权限策略和授权项”章节。 如下表所示，包括了DMS for Kafka的所有系统权限。 表 DMS for Kafka系统权限 系统角色/策略名称 描述 类别 依赖关系 DMS FullAccess 分布式消息服务管理员权限，拥有该权限的用户可以操作所有分布式消息服务的功能。 系统策略 无 DMS UserAccess 分布式消息服务普通用户权限（没有实例创建、修改、删除、扩容）。 系统策略 无 DMS ReadOnlyAccess 分布式消息服务的只读权限，拥有该权限的用户仅能查看分布式消息服务数据。 系统策略 无 DMS VPCAccess 分布式消息服务租户委托时需要授权的VPC操作权限。 系统策略 无 DMS KMSAccess 分布式消息服务租户委托时需要授权的KMS操作权限。 系统策略 无 DMS Administrator 分布式消息服务的管理员权限。 系统角色 依赖Tenant Guest和VPC Administrator。 说明 系统策略有包含OBS授权项，由于缓存的存在，对用户、用户组以及企业项目授予OBS相关的系统策略后，大概需要等待5分钟系统策略才能生效。 下表列出了DMS for Kafka常用操作与系统策略的授权关系，您可以参照该表选择合适的系统策略。 表常用操作与系统策略的关系 操作 DMS FullAccess DMS UserAccess DMS ReadOnlyAccess 创建实例 √ × × 修改实例 √ × × 删除实例 √ × × 变更实例规格 √ × × 重启实例 √ √ × 查询实例信息 √ √ √

本文介绍Kafka业务数据不均衡最佳实践 方案概述 Kafka将Topic划分为多个分区，所有消息分布式存储在各个分区上。每个分区有一个或多个副本，分布在不同的Broker节点上，每个副本存储一份全量数据，副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示： 在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况，业务数据不均衡会降低Kafka集群的性能，降低资源使用率。 业务数据不均衡原因： 业务中部分Topic的流量远大于其他Topic，会导致节点间的数据不均衡。 生产者发送消息时指定了分区，未指定的分区没有消息，会导致分区间的数据不均衡。 生产者发送消息时指定了消息Key，按照对应的Key发送消息至对应的分区，会导致分区间的数据不均衡。 系统重新实现了分区分配策略，但策略逻辑有问题，会导致分区间的数据不均衡。 Kafka扩容了Broker节点，新增的节点没有分配分区，会导致节点间的数据不均衡。 业务使用过程中随着集群状态的变化，多少会发生一些Leader副本的切换或迁移，会导致个别Broker节点上的数据更多，从而导致节点间的数据不均衡。 实施步骤 业务数据不均衡的处理措施： 优化业务中Topic的设计，对于数据量特别大的Topic，可对业务数据做进一步的细分，并分配到不同的Topic上。 生产者生产消息时，尽量把消息均衡发送到不同的分区上，确保分区间的数据均衡。 创建Topic时，使分区的Leader副本分散到各个Broker节点中，以保障整体的数据均衡。 Kafka提供了分区重平衡的功能，可以把分区的副本重新分配到不同的Broker节点上，解决节点间负载不均衡的问题。具体分区重平衡的操作请参考修改分区平衡。

为了让更多客户享受到分布式消息Kafka产品服务，我们致力于为客户提供更具竞争力的价格，并持续提升服务质量。 分布式消息服务KafkaⅡ类资源池从7月15日开始启用新资费计价，老资费计算增强型同规格对比新费用降幅达19%27%，更多资费信息请参见产品资费。 规格名称 计费单位 实例包月标准价格 降幅 规格名称 计费单位 20240715前价格 新价格 降幅 kafka.4u8g.cluster 元/代理 1726 1260 27% kafka.8u16g.cluster 元/代理 3122 2430 22% kafka.16u32g.cluster 元/代理 5555 4500 19% 注意 通用型规格已经调整为白名单特性，如需了解相关资费请联系技术支持。 本次降价适用于Ⅱ类资源池。

本文主要介绍自动续订规则及操作流程。 为避免由于未及时对资源采取续订操作，资源被到期冻结或超期释放，客户购买包月包年产品后，可设置开通自动续订。开通自动续订后，系统将在资源到期前自动续订，无需客户再手动操作。 适用范围 自动续订仅针对采用包月、包年计费模式的资源。 已到期资源不支持设置/修改自动续订。 自动续订仅适于 付费用户 ，不适用于非付费用户。 目前支持设置自动续订的产品有：弹性云主机、GPU云主机、物理机、云桌面、云硬盘、对象存储经典版、云主机备份、专属云计算独享型、专属云存储独享型、弹性IP、共享带宽、天翼云SDWAN、云间高速、关系数据库MySQL版、关系数据库Postgre SQL版、分布式关系数据库、分布式缓存服务Redis版、分布式缓存服务Memcache、文档数据库服务、云HBASE数据库、分布式消息服务RocketMQ、分布式消息服务RabbitMQ、分布式消息服务Kafka、Web应用防火墙、服务器安全卫士、域名无忧、DDos高防IP、云解析、登录保护、网站安全监测、内容安全。 单次最多支持20个资源实例批量续订。 开通、变更、关闭自动续订 用户在续订管理页可开通自动续订功能，变更自动续约周期，或关闭自动续订。 不关闭自动续订的情况下，只要预付费账户余额充足，或为后付费客户，系统将持续按设定的周期自动续订下去。 预付费用户可在官网自主控制自动续订功能的开通、变更、关闭。后付费用户需要客户经理协助开启自动续订权限后才可以自主管理。

本节介绍分布式消息服务Kafka实例常见问题 为什么可用区不能选择2个？ Kafka 通常选择三个可用区而不是两个的原因在于数据的容错性和高可用性。通过将副本分布在三个可用区中，Kafka 能够实现更高级别的容错性和可用性，即使一个可用区发生故障，系统仍然可以继续正常运行。这种三个可用区的配置是为了提供更强大的冗余和容错能力，确保 Kafka 集群在面对故障时仍能保持数据的可靠性和可用性。 创建实例时为什么无法查看子网和安全组等信息？ 创建实例时，如果无法查看虚拟私有云、子网、安全组、弹性IP，可能原因是该用户还没创建相关网络实例，需要到对应天翼云网络产品购买相应的网络产品实例。 如何选择实例硬盘大小？ 磁盘大小：流量均值×存储时长×3（备份），建议在迁移上云过程中优化Topic以降低成本。 Kafka实例的超高IO和高IO如何选择？ 选择Kafka磁盘类型主要取决于应用的需求和预算。通常，对于Kafka来说，高IO磁盘是更常见的选择，因为它提供了更好的性能和吞吐量。更多信息请参考计费及购买类问题Kafka磁盘选择超高IO还是高IO？ Kafka服务端支持版本是多少？ 分布式消息服务Kafka支持2.132.8.2版本和2.133.6.2版本服务端。 Kafka实例是否支持修改访问端口？ 分布式消息服务Kafka支持在实例创建时指定访问端口。

配置项 说明 名称 日志外送接口的名称。必须为中文字符、字母、数字、“”、“.”或“”，长度不超过 64 字符。 Kafka节点地址 Kafka服务器的IP（域名）及端口号。例如：192.168.0.1:9200。 Kafka主题 消息投放到Kafka服务器的主题。 Kafka分区 消息投放到的Kafka服务器的分区。Kafka服务器通过主题（topic）、分区（partition）和消费组（consumergroup）三个概念灵活适应各种消息场合，通过提升硬件资源利用率提高系统吞吐量。 以上Kafka相关配置与服务器端保持一致即可。 审计日志模板 设置发送审计日志的模板，具体字段请依据填写说明编辑。 操作日志模板 设置发送操作日志的模板，具体字段请依据填写说明编辑。 告警日志模板 设置发送告警日志的模板，具体字段请依据填写说明编辑。 流量控制日志模板 设置发送流量控制日志的模板，具体字段请依据填写说明编辑。

导出死信消息 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在左侧导航栏，单击“死信队列”，进入“死信队列”页面。 4. 在待导出的死信消息所在行，单击“导出消息”。 导出JSON格式的文件。 说明：如果需要批量导出死信消息，勾选待导出的多条死信消息，单击“批量导出消息”。 导出的消息字段说明如表1所示。 表1 消息字段说明 消息字段 字段说明 msgid 消息ID。 instanceid 实例ID。 topic Topic名称。 storetimestamp 存储消息的时间。 borntimestamp 产生消息的时间。 reconsumetimes 重试次数。 body 消息体。 bodycrc 消息体校验和。 storesize 存储大小。 propertylist 消息属性列表。lname：属性名称。lvalue：属性值。 bornhost 产生消息的主机IP。 storehost 存储消息的主机IP。 queueid 队列ID。 queueoffset 在队列中的偏移量。 重新投递死信消息 死信消息由于某些原因无法正常被消费者消费，请排查相关原因并解决，然后在控制台重新投递死信消息给消费者消费。 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在左侧导航栏，单击“死信队列”，进入“死信队列”页面。 4. 选择以下任意一种方法重新投递死信消息。 在待重新投递的死信消息所在行，单击“重投”。 如需批量重新投递死信消息，勾选待重新投递的死信消息，单击“批量重投”。 须知： 死信消息重新投递成功后，此死信消息依然存在死信队列中，不会被删除。避免多次重复投递，造成重复消费。

本文介绍分布式消息服务Kafka入门指引的环境准备内容。 概述 在创建天翼云分布式消息服务Kafka实例之前，您需要做一些准备工作。 首先，您需要设置一个虚拟私有云（VPC），这是一个隔离的网络环境，用于托管Kafka实例。 接下来，您需要创建一个子网，它是VPC内部的一个子网络，用于划分不同的部分和区域。 最后，您需要配置一个安全组，用于控制入站和出站的流量规则，以保证Kafka实例的安全性。 每个分布式消息服务Kafka实例都会被部署在特定的VPC中，并与特定的子网和安全组相关联。这种方式可以让您自主配置和管理Kafka实例的网络环境，并提供安全保护策略。如果您已经有了现成的VPC、子网和安全组，可以重复使用它们，无需重复创建。这样可以节省时间和资源，并确保一致性和可靠性。 VPC和子网 VPC和子网可重复使用，您也可以使用不同的VPC和子网来配置Kafka实例，您可根据实际需要进行配置。在创建VPC和子网时应注意如下要求： ● VPC与使用的天翼云分布式消息服务Kafka服务应在相同的区域。 ● 如无特殊需求，创建VPC和子网的配置参数使用默认配置即可。 创建VPC和子网的操作请参考虚拟私有云创建VPC、子网搭建私有网络。 若需要在已有VPC上创建和使用新的子网，请参考虚拟私有云子网管理创建子网。

本文介绍如何应用事件总线EventBridge的事件流功能实现消息路由至函数计算。 前提条件 开通事件总线EventBridge并授权。 开通函数计算并创建对应函数。 开通分布式消息服务Kafka并创建最少两个主题。 背景信息 事件流作为更轻量、实时端到端的流式事件通道，提供轻量级的流式数据的过滤和转换的能力，在不同的数据仓库之间、数据处理程序之间、数据分析和处理系统之间进行数据同步。源端分布式消息服务Kafka生产的消息可以通过事件流这个通道被路由到目标端的函数计算，并触发函数。 步骤一：创建事件流 1. 登录事件总线EventBridge控制台。 2. 在左侧导航栏，单击事件流。 3. 在事件流页面，单击创建事件流。 4. 在创建事件流面板，设置任务名称和描述，配置以下参数，然后单击保存。 a.在Source（源）配置向导，选择数据提供方为分布式消息服务Kafka ，设置以下参数，然后单击下一步。 参数 说明 示例 Kafka实例 选择Kafka实例。 instancexxx Kafka Topic 选择Kafka topic。 topicxxx Group 选择消费组。 快速创建 消费位点 选择消费位点。 最新位点 b.在Filtering（过滤）配置向导，设置事件过滤规则，单击下一步。 c.在Sink（目标）配置向导，选择服务类型为函数计算，配置以下参数，单击保存。 参数 说明 示例 函数 选择函数。 funxxx 函数版本或别名 选择函数版本或别名。 版本/LATEST 执行方式 选择执行函数的方式：同步或异步。 同步 事件 选择调用到函数的事件内容，更多内容请参考事件内容转换。 完整事件 5. 创建事件流后，会有30秒~60秒的延迟时间，您可以在事件流页面的状态栏查看启动进度。

介绍分布式消息服务Kafka重置消费位置功能操作内容。 场景描述 Kafka重置消费位置的场景包括以下几个： 初次消费：当一个新的消费者加入到Kafka集群时，它需要从某个位置开始消费消息。在这种情况下，可以将消费位置重置为最早的消息或最新的消息。 消费者组重置：当消费者组中的消费者发生变化，如新增或退出消费者，可能需要重置消费位置。在这种情况下，可以将消费位置重置为最早的消息或最新的消息。 消费者出现故障：当消费者发生故障，并且需要将其替换或修复时，可能需要重置消费位置。在这种情况下，可以将消费位置重置为最早的消息或最新的消息，以确保新的消费者能够从正确的位置开始消费。 消费者重新处理消息：在某些情况下，消费者可能需要重新处理之前已经消费过的消息。这可能是由于消费者的处理逻辑发生变化，或者需要重新计算之前的结果。在这种情况下，可以将消费位置重置为指定的消息位置，以便消费者重新处理消息。 消费者消费速度过慢：当消费者的处理能力不足，无法及时消费消息时，可能需要重置消费位置。在这种情况下，可以将消费位置重置为最新的消息，以便消费者能够跳过堆积的消息，从最新的消息开始消费。 操作步骤 Tips：目前消费只能重置72小时内的消息，可选择72小时内时间点重置。 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消费组管理”后进入消费组管理页面。 （5）在目标消费组所在行，点击其右侧的“更多”，在下拉框中单击“重置消费位置”。 （6）出现重置消费位置窗口后，可以选择从最新点位开始消费、从最旧点位开始消费、按时间点进行消费位置重置、重置消费点位到附近n条。 四种重置方式试用场景如下： 从最新点位开始消费：将消费者的消费位置重置为最新的消息。这意味着消费者将从当前Kafka主题的最新消息开始消费，忽略之前已经产生的消息。这种方式适用于只关注最新消息的场景，如实时监控或日志记录。 从最旧点位开始消费：将消费者的消费位置重置为最早的消息。这意味着消费者将从当前Kafka主题的最早消息开始消费，包括之前已经产生的消息。这种方式适用于需要处理全部消息历史记录的场景，如数据重播或数据分析。 按时间点进行消费位置重置：将消费者的消费位置重置为指定的时间点。这意味着消费者将从指定时间点之后的消息开始消费，可以精确地选择消费的起始位置。这种方式适用于需要从特定时间点开始消费的场景，如数据回溯或重新处理。 重置消费点位到附近n条：将消费者的消费位置重置到指定的消费位点上，这个是分区级别的，因此可以更加精确地选择消费的起始位置。这种方式适用于需要从特定位点开始消费的场景，如数据回溯或重新处理。

sectionaf1f4cd067bf253e)。 Kafka实例的SSL证书有效期多长？ Kafka实例开启SASL时，需进行单向认证，证书有效期足够长（超过15年），客户端不需要关注证书过期风险。 如何将Kafka实例中的数据同步到另一个Kafka实例中？ Kafka实例之间没有好的实时同步方案，如果需要做实例迁移，可以同时向两个实例生产消息，源实例中的消息可继续消费，待源实例的消息数据全部被消费完或老化后，业务可迁移到新的Kafka实例。 Kafka实例的SASLSSL开关如何修改？ Kafka SASLSSL开关不支持购买实例后修改，在购买时，请慎重选择，如果购买后需要修改，需要重新购买实例。 开启IPv6的实例不支持动态修改SASLSSL开关。 SASL认证机制如何修改？ 实例创建后，不支持修改SASL认证机制。如果需要修改，请重新购买实例。 修改企业项目，是否会导致Kafka重启？ 修改企业项目不会导致Kafka重启。 Kafka服务和ZK是部署在相同的虚拟机中，还是分开部署？ Kafka服务和ZK部署在相同的虚拟机中。 Kafka包周期实例不支持删除吗？ 可以删除。登录Kafka控制台，在包周期实例所在行，单击“更多 > 退订”，完成实例的删除。 Kafka支持哪些加密套件？ 由于安全问题，支持的加密套件为TLSECDHEECDSAWITHAES128CBCSHA256，TLSECDHERSAWITHAES128CBCSHA256和TLSECDHERSAWITHAES128GCMSHA256。 购买实例时选择的单AZ，怎样可以扩展为多AZ？ 已购买的实例无法扩展AZ，请重新购买多AZ的实例。

resourceKey 是否必传 form value template instanceId 是 CONSTANT 分布式消息服务Kafka实例Id。 说明 实例Id可在分布式消息服务Kafka管理控制台实例详情页获取。 无 topic 是 CONSTANT Kafka主题。 无 value 是 CONSTANT ORIGINAL JSONPATH TEMPLATE 消息体。 如果form选择TEMPLATE，则在此处配置模板。详见 key 是 CONSTANT EMPTY JSONPATH TEMPLATE 消息键值。 如果form选择TEMPLATE，则在此处配置模板。详见

本章介绍函数工作流如何使用开源Kafka（OPENSOURCEKAFKA）触发器。 使用开源Kafka触发器后，FunctionGraph会定期轮询开源Kafka指定Topic下的新消息，FunctionGraph将轮询得到的消息作为参数传递来调用函数。 前提条件 进行操作之前，需要做好以下准备。 已经创建函数。 创建Kafka触发器，必须开启函数工作流VPC访问，请参见配置网络。 创建开源Kafka触发器 1、登录函数工作流控制台，在左侧的导航栏选择“函数 > 函数列表”。 2、选择待配置的函数，单击进入函数详情页。 3、选择“设置 > 触发器”，单击“创建触发器”，弹出“创建触发器”对话框。 4、设置以下信息。 触发器类型：选择“开源Kafka（OPENSOURCEKAFKA）”。 连接地址：搭建kafka的broker地址列表，以逗号分隔。 主题：用户自建的topic。 批处理大小：单次函数拉取最大数据量。 5、单击“确定”，完成开源kafka触发器的创建。 说明 函数网络配置需要和创建kafka的ecs节点网络配置一样，包括vpc和子网。 激活kafka触发器 开源Kafka触发器创建完成后默认是停用状态，需要在触发器界面上单击“启动”。 说明 如果启动失败可以联系技术支持工程师。 配置Kafka事件触发函数 1、返回函数工作流控制台，在左侧的导航栏选择“函数 > 函数列表”。 2、选择待配置的函数，单击进入函数详情页。 3、在函数详情页，选择函数版本。 4、在“代码”页签下，单击“测试”，弹出“配置测试事件”对话框。 5、填写如下所示测试信息后，单击“保存”。 表 测试信息 参数 说明 配置测试事件 可创建新的测试事件也可编辑已有的测试事件。选择默认值：“创建新的测试事件”。 事件模板 选择"kafkaeventtemplate"模板，使用系统内置Kafka事件模板。 事件名称 事件名称必须以大写或小写字母开头，支持字母（大写或小写），数字和下划线“”（或中划线“”），并以字母或数字结尾，长度为125个字符，例如kafka123test。 测试事件 自动加载系统内置kafka事件模板，本例不做修改。 6、单击“测试”，可以得到函数运行结果，函数会返回输入kafka消息数据。

介绍分布式消息服务RabbitMQ连接实例操作内容。 场景描述 连接RabbitMQ实例的场景包括： 1. 消息队列通信：连接RabbitMQ实例可以用于构建分布式系统中的消息队列通信。不同的应用程序或服务可以通过RabbitMQ实例发送和接收消息，实现解耦和异步通信。 2. 任务队列：连接RabbitMQ实例可以用于构建任务队列，将任务提交到RabbitMQ中，然后由消费者从队列中获取任务并进行处理。这样可以实现任务的分发和负载均衡，提高系统的处理能力和可伸缩性。 3. 发布/订阅模式：连接RabbitMQ实例可以用于实现发布/订阅模式，其中发布者将消息发布到交换器，然后订阅者可以从交换器中订阅感兴趣的消息。这样可以实现消息的广播和多个消费者的并行处理。 4. 日志收集：连接RabbitMQ实例可以用于实现日志收集系统，应用程序可以将日志消息发送到RabbitMQ中，然后由日志消费者从队列中获取日志消息并进行处理和存储。 5. 系统集成：连接RabbitMQ实例可以用于实现不同系统之间的集成，通过将消息发送到RabbitMQ中，其他系统可以从队列中获取消息并进行处理，实现系统之间的数据交换和通信。 总之，连接RabbitMQ实例可以应用于各种场景，包括消息队列通信、任务队列、发布/订阅模式、日志收集和系统集成，提供了一种可靠和灵活的消息传递机制。 操作步骤 RabbitMQ是一个开源的消息队列中间件，支持生产者和消费者之间的异步通信。在上述资源准备完成后，接下来需要编译工程生产消费，主要分以下几个步骤： 1、编写生产者代码：使用编程语言编写一个生产者程序。该程序将连接到RabbitMQ服务器，并将消息发送到队列中。 2、编写消费者代码：同样使用编程语言编写一个消费者程序。该程序将连接到RabbitMQ服务器，并从队列中接收消息。 3、运行生产者和消费者：运行生产者程序，它将发送消息到队列中。然后运行消费者程序，它将从队列中接收并处理消息。 4、验证结果：检查生产者和消费者程序的输出，确保消息被正确发送和接收。

参数 描述 Topic 选择目标端需要同步到的Topic。 投送到kafka的数据格式 选择Oracle投送到kafka的数据格式。 Avro：可以显示Avro二进制编码，高效获取数据。 Json：为Json消息格式。详细格式可参考Kafka消息格式。 同步对象 同步对象支持表级同步，您可以根据业务场景选择对应的数据进行同步。 选择对象的时候支持搜索，以便您快速选择需要的数据库对象。

开源对比 相较于开源自建RocketMQ，分布式消息服务RocketMQ在自动化部署、运维监控、增强能力、延迟消息/定时消息、ACL访问控制等方面更具优势。更多信息请参见开源对比。 支持的消息类型 分布式消息服务RocketMQ支持的消息类型包括普通消息、顺序消息、事务消息与延时消息。 普通消息：RocketMQ中无特性的消息，普通消息主要包含同步消息和异步消息两种。 顺序消息：指消费消息的顺序要同发送消息的顺序一致，在RocketMQ中，主要有两种有序消息：全局有序消息和局部有序消息（又叫普通有序消息、分区有序消息）。 事务消息：提供类似X/Open XA的分布式事务功能来确保业务发送方和MQ消息的最终一致性，其本质是通过半消息(prepare消息和commit消息)的方式把分布式事务放在MQ端来处理。 延时消息：生产者将消息发送到消息队列RocketMQ服务端，设计消费时延，在预设的时间后才可以被消费者消费。 更多信息请参见功能特性。 功能特性 分布式消息服务RocketMQ的功能特性主要体现在以下几个方面： 访问接口 支持通过API调用，创建队列、查询消息监控指标、查询消息内容等。 队列能力 支持多种消息类型，包括普通队列（高并发场景）、FIFO有序队列（顺序消息场景）、严格有序队列。 消息能力 支持消息过滤、消息复用、消息重试、消息回溯、消息数据主动删除以及消息广播等能力。 安全防护 提供云审计进行租户管理操作的记录。 运维监控 提供主题、订阅组、生产者、消费者、队列的管理；同时支持集群、主题、队列多维度指标监控。 更多信息请参见功能特性。