本文主要介绍查看示例代码。 本章节指导您在控制台查看Java、Go和Python生产消费消息的示例代码。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 选择“Topic管理”页签，显示已创建的Topic详情。 步骤 6 单击“查看示例代码”，弹出“生产消费示例代码”对话框。 查看Java、Go和Python生产消费消息的示例代码。示例代码区分是否开启SASLSSL认证，“接入类型”为“PLAINTEXT”时，表示未开启SASLSSL认证。“接入类型”为“SASLSSL”时，表示已开启SASLSSL认证。

介绍分布式消息服务Kafka 如何提高消息处理效率。 要提高Kafka的消息处理效率，可以考虑以下几个方面： 分区和副本设置：合理设置分区和副本数量，可以提高并行处理能力和容错性。较大的分区数可以增加并行处理的能力，而较多的副本数可以提高数据的冗余和可用性。 优化消息生产者：在消息生产者端，可以采取一些措施来提高效率。例如，使用批量发送来减少网络开销，使用异步发送来提高吞吐量，设置适当的缓冲区大小来避免频繁的IO操作等。 优化消息消费者：在消息消费者端，可以通过增加消费者实例来提高并行处理能力。同时，可以使用多线程或多进程方式来并行处理消息，提高处理效率。 合理设置Kafka参数：根据实际情况，可以调整Kafka的一些参数来提高性能。例如，调整消息的最大大小、网络缓冲区大小、批量发送的大小等。 使用分区和消费者组：合理使用分区和消费者组可以提高消息的负载均衡和并行处理能力。分区可以将消息分散到多个消费者实例上，而消费者组可以将消息分发给不同的消费者组成的消费者实例。 监控和调优：定期监控Kafka集群的性能指标，如吞吐量、延迟等，并进行调优。可以通过调整参数、增加资源、优化代码等方式来提高性能。 总之，提高Kafka的消息处理效率需要综合考虑多个因素，包括分区和副本设置、优化生产者和消费者、调整参数、硬件优化等。根据实际情况进行优化，可以提高Kafka的性能和吞吐量。 对使用分布式消息服务kafka的生产者和消费者有如下的使用建议：

本节主要介绍分布式消息服务Kafka的计费项 分布式消息服务Kafka的计费项由实例费用和存储费用组成，具体费用详情可参考产品资费。 计费项 计费项说明 使用的计费模式 计费公式 实例费用 计费因子：代理规格和代理数量 包年/包月、按需计费 实例规格单价 代理数量 购买时长 存储空间费用 计费因子：云硬盘类型、容量大小 包年/包月、按需计费 云硬盘规格单价 单个代理存储大小 代理数量 购买时长

本文介绍分布式消息服务Kafka入门指引的环境准备内容。 概述 在创建天翼云分布式消息服务Kafka实例之前，您需要做一些准备工作。 首先，您需要设置一个虚拟私有云（VPC），这是一个隔离的网络环境，用于托管Kafka实例。 接下来，您需要创建一个子网，它是VPC内部的一个子网络，用于划分不同的部分和区域。 最后，您需要配置一个安全组，用于控制入站和出站的流量规则，以保证Kafka实例的安全性。 每个分布式消息服务Kafka实例都会被部署在特定的VPC中，并与特定的子网和安全组相关联。这种方式可以让您自主配置和管理Kafka实例的网络环境，并提供安全保护策略。如果您已经有了现成的VPC、子网和安全组，可以重复使用它们，无需重复创建。这样可以节省时间和资源，并确保一致性和可靠性。 VPC和子网 VPC和子网可重复使用，您也可以使用不同的VPC和子网来配置Kafka实例，您可根据实际需要进行配置。在创建VPC和子网时应注意如下要求： ● VPC与使用的天翼云分布式消息服务Kafka服务应在相同的区域。 ● 如无特殊需求，创建VPC和子网的配置参数使用默认配置即可。 创建VPC和子网的操作请参考虚拟私有云创建VPC、子网搭建私有网络。 若需要在已有VPC上创建和使用新的子网，请参考虚拟私有云子网管理创建子网。

本节介绍Kafka 判断和处理消息堆积 判断消息堆积是否属于正常情况 登录“分布式消息服务Kafka”控制台，在“消费组管理”页面，找到目标消费组，进入“消息堆积”页面。 （1）堆积量保持在一个稳定的数值之间波动，没有持续扩大。说明客户端一直在拉取最新消息，没有消息堆积，属于正常情况。 （2）堆积量逐步扩大，并且当前位点一直不变。客户端的消费线程因为某些原因卡住，没有继续消费，也没有继续向服务端提交位点，属于异常情况，即消息的确堆积了。 （3）堆积量逐步扩大，同时当前位点在前进。说明客户端还在消费中，但是消息的消费速度慢于消息的发送速度。消息堆积大多是消费速度过慢或者消费线程阻塞造成的，建议不要在消费逻辑中有太多耗时的操作。 消息堆积的处理方式 经过上述判断，确认消息的确存在堆积情况时，建议打印消息的消费耗时，或者根据堆栈信息查看线程执行情况，适当调整以加快消息的消费速度，避免出现消息堆积。

本文介绍如何创建内网数据订阅渠道。 操作场景 内网数据订阅适用于企业内部网络环境中，对数据实时性、传输安全性等有较高要求的场景，可在不暴露公网、不影响源端性能的前提下，实现低延迟、高可靠的数据分发与消费。目前已支持内网消息队列（kafka）、内网普罗米修斯（APM实例、自建）方式。 前提条件 注册天翼云账号，并完成实名认证。具体操作，请参见天翼云账号注册流程。 说明 1、内网数据订阅功能：内网消息队列（kafka）、内网普罗米修斯（APM实例、自建实例）三种方式当前分别受限开放，如有需求可以联系客户经理为您开放此功能。 2、如需使用内网消息队列（kafka）方式数据订阅功能，需先开通天翼云分布式消息服务Kafka实例。 3、如需使用内网普罗米修斯（APM实例）方式数据订阅功能，需先在天翼云应用性能监控（APM）平台>Prometheus监控>实例列表创建实例。 创建内网消息队列（kafka）方式订阅渠道 1. 登录控制中心。 2. 在控制中心页面左上角点击，选择区域，本文我们选择华东1。 3. 依次选择“迁移与部署”，单击“云监控服务”，进入监控概览页面。 4. 单击“数据订阅”，切换至订阅渠道页签。 5. 点击"创建订阅渠道"按钮，进入订阅渠道创建页面。 6. “网络通道”选择“VPC内网”，订阅类型选择“分布式消息服务”。 配置参数如下： 参数 参数说明 是否必填 取值样例 实例选择 选择天翼云分布式消息服务Kafka实例 是 用户名 填写目标实例的访问用户名 否 注意 如目标实例已启用用户名及密码认证方式，请按实际信息填写 密码 填写目标实例的访问用户名 否 注意 如目标实例已启用用户名及密码认证方式，请按实际信息填写 TOPIC 填写数据订阅的kafka实例的主题 是

本节介绍如何管理Smart Connect任务。 在创建Smart Connect任务后，可以在控制台对任务进行管理操作，包括查看任务、删除任务、启动/暂停任务、重启任务等。 前提条件 已创建Smart Connect任务。 查看Smart Connect任务 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、单击Kafka实例名称，进入实例详情页面。 5、在左侧导航栏单击“Smart Connect”，进入Smart Connect任务列表页面。 6、单击Smart Connect任务名称，进入Smart Connect任务详情页面。 7、查看Smart Connect任务的基本信息、源端信息和目标端信息。 说明 如果Smart Connect任务没有配置源端信息/目标端信息，在Smart Connect任务详情页面不显示源端信息/目标端信息。 结束 删除Smart Connect任务 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、单击Kafka实例名称，进入实例详情页面。 5、在左侧导航栏单击“Smart Connect”，进入Smart Connect任务列表页面。 6、在待删除的Smart Connect任务所在行，单击“删除”，弹出“删除任务”对话框。 7、单击“确定”，完成Smart Connect任务的删除。 结束

本节主要介绍分布式消息服务Kafka的创建Topic说明 背景信息 Kafka的主题（Topic）是对消息进行分类和组织的概念。主题是Kafka中最基本的逻辑单元，用于区分不同类型的消息。 每个主题可以有多个分区（Partition），每个分区都是一个有序的消息日志。分区允许消息在集群中进行并行处理，提高了吞吐量和并发性能。 主题的特点包括： 逻辑分类：主题可以根据业务需求或数据类型进行逻辑分类，例如订单主题、日志主题、用户行为主题等。 多分区：主题可以被分成多个分区，每个分区都有自己的消息顺序。分区可以在不同的节点上进行存储和处理，实现了水平扩展和负载均衡。 副本复制：每个分区可以有多个副本（Replica），副本用于提供高可用性和容错性。副本可以分布在不同的节点上，当节点故障时可以自动进行故障转移。 持久化存储：主题中的消息被持久化存储在磁盘上，确保消息的可靠性和持久性。消费者可以随时消费主题中的历史消息，而不仅仅是最新的消息。 通过使用主题，Kafka能够有效地组织和管理大规模的消息流。主题的分区和副本机制提供了高可用性和容错性，使得Kafka成为处理大规模实时数据流的理想选择。 前提条件 已购买并部署分布式消息服务Kafka 操作步骤 创建Topic （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“Topic管理”后、点击“创建Topic”。 （5）点击“创建Topic”后，输入Topic名称、分区数等参数。 （6）创建好Topic后，可以点击“更多”按钮中的“生产消息”来测试其是否正常。

数据源类型 简介 数据仓库服务（DWS） DWS是基于Sharednothing分布式架构，具备MPP大规模并行处理引擎，兼容标准ANSI SQL 99和SQL 2003，同时兼容PostgreSQL/Oracle数据库生态，为各行业PB级海量大数据分析提供有竞争力的解决方案。 数据湖探索（DLI） DLI是完全兼容Apache Spark和Apache Flink生态，实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎，企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等，挖掘和探索数据价值。 MapReduce服务（MRS HBase） HBase是一个开源的、面向列（ColumnOriented）、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。 使用MRS HBase可实现海量数据存储，并实现毫秒级数据查询。选择MRS HBase可以实现物流数据毫秒级实时入库更新，并支持百万级时序数据查询分析。 MapReduce服务（MRS Hive） Hive是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HiveQL，它允许熟悉SQL的用户查询数据。 使用MRS Hive可实现TB/PB级的数据分析，快速将线下Hadoop大数据平台（CDH、HDP等）迁移上云，业务迁移 “0”中断，业务代码 “0”改动。 MapReduce服务（MRS Kafka） MapReduce服务可提供专属MRS Kafka集群。Kafka是一个分布式的、分区的、多副本的消息发布订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。 MapReduce服务（MRS Ranger） Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限。 MySQL MySQL是目前最受欢迎的开源数据库之一，其性能卓越，架构成熟稳定，支持流行应用程序，适用于多领域多行业，支持各种WEB应用，成本低，中小企业首选。 MapReduce服务（MRS Spark） Spark是一个开源的，并行数据处理框架，能够帮助用户简单的开发快速、统一的大数据应用，对数据进行协处理、流式处理、交互式分析等等。 Spark提供了一个快速的计算、写入以及交互式查询的框架。相比于Hadoop，Spark拥有明显的性能优势。Spark提供类似SQL的Spark SQL语言操作结构化数据。 云数据库RDS RDS是一种基于云计算平台的即开即用、稳定可靠、弹性伸缩、便捷管理的在线关系型数据库服务。 注意，DataArts Studio平台目前仅支持RDS中的MySQL和PostgreSQL数据库。 主机连接 通过主机连接，用户可以在DataArts Studio数据开发中连接到指定的主机，通过脚本开发和作业开发在主机上执行Shell或Python脚本。主机连接保存连接某个主机的连接信息，当主机的连接信息有变化时，只需在主机连接管理中编辑修改，而不需要到具体的脚本或作业中逐一修改。 MapReduce服务（MRS Presto） Presto是一个开源的用户交互式分析查询的SQL查询引擎，用于针对各种大小的数据源进行交互式分析查询。其主要应用于海量结构化数据/半结构化数据分析、海量多维数据聚合/报表、ETL、AdHoc查询等场景。 Presto允许查询的数据源包括Hadoop分布式文件系统（HDFS），Hive，HBase，Cassandra，关系数据库甚至专有数据存储。一个Presto查询可以组合不同数据源，执行跨数据源的数据分析。

本文主要介绍如何在控制台删除消息。 操作场景 说明 消息删除后无法恢复，请谨慎操作。 前提条件 删除消息前，请先在客户端中设置“auto.offset.reset”参数。“auto.offset.reset”用来指定当Kafka中没有初始偏移量或者当前偏移量不存在（例如当前偏移量已被删除）时，消费者的消费策略。取值如下： latest：偏移量自动被重置到最晚偏移量。 earliest：偏移量自动被重置到最早偏移量。 none：向消费者抛出异常。 操作步骤 1. 登录管理控制台。 2. 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 3. 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 4. 单击Kafka实例名称，进入实例详情页面。 5. 在左侧导航栏选择“Topic管理”，进入Topic列表页面。 6. 在待删除消息的Topic所在行，单击“消息删除”，弹出“消息删除”对话框。 7. 设置消息删除参数，如下表所示。 图消息删除 表 消息删除参数说明 参数 说明 分区 选择消息所在的分区编号。 偏移量 输入偏移量，此偏移量之前的数据将被删除。 说明 如果“偏移量”设置为“1”，表示删除分区中所有的消息。 如果您输入的偏移量不在指定分区的最早偏移量和最晚偏移量之间，消息将不会被删除。 如果需要删除多个分区的消息，单击“添加分区”，设置需要删除消息的分区和偏移量。每次最多可选择10个分区。 8. 单击“确定”，弹出“清理结果”对话框，单击“确定”，完成消息的删除。 图 清理结果

本节主要介绍分布式消息服务Kafka常用术语解释。 代理（Broker） kafka集群包含一个或多个消息处理服务器，该服务器成为Broker，提供数据刷盘等核心功能。可以横向扩展、在线扩容以提高集群性能。 主题（Topic） 每条发布到Kafka 集群的消息都有一个主题，这个主题被称为 Topic。通过 Topic 可以对消息进行分类。每个 Topic 可以由一个或多个分区（Partition）组成，存储于一个或多个Broker 上。 分区（partition） 消息分区是物理上的概念，一个Topic可以分为多个partition，每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id（offset）。 生产者（Producer） 消息和数据生成者，一般为应用调用API进行消息生产，并向Kafka的一个Topic发布消息。 消费者（Consumer） 消息订阅者，也成为消息消费者，负责向 Kafka Broker 读取消息并进行消费。 消费组（Consumer Group） 一类Consumer的集合名称，这类Consumer通常消费一类消息，且消费逻辑一致，Consumer Group 和 Topic 的关系是 N：N，同一个 Consumer Group 可以订阅多个 Topic，同一个 Topic 也可以被多个 Consumer Group 订阅。

本章节将为您介绍分布式消息服务Kafka入门的基本流程，主要包括环境准备、购买实例、创建Topic以及编译运行Demo Java工程，帮助您快速上手Kafka。 操作流程 操作流程如下： 1. 环境准备 创建Kafka实例先要准备好虚拟私有云、子网和安全组，可选弹性公网IP。 2. 创建实例 在订购分布式消息Kafka填写和确认实例名称、计费模式等信息，确认费用后点击下一步，等待开通流程结果通知成功后完成创建实例。 3. 创建Topic 开通实例后，在控制台相关页面按照指引创建主题，用于发送消息。点击“生产消息”来测试Topic是否正常。 4. 编译运行Demo Java工程 以上工作完成后，在客户端应用编译工程进行生产消费，包括引入依赖，生产消息和消费消息。

本节主要介绍分布式消息服务Kafka产品的API中资源池ID列表。 分布式消息服务Kafka的资源池列表。 资源池 资源池ID(Region ID) 华东1 bb9fdb42056f11eda1610242ac110002 华北2 200000001852 西南1 200000002368 华南2 200000002530 上海36 200000001790 青岛20 200000001703 长沙42 200000002401 南昌5 200000002527 武汉41 200000001781 杭州7 200000003329 太原4 200000002689 郑州5 200000002586 西安7 200000001851 芜湖4 200000003327 呼和浩特3 200000003573 乌鲁木齐7 200000004098 庆阳2 200000003664 西南2贵州 200000002927

本文主要介绍如何转储日志数据至分布式消息服务Kafka。 云日志服务采集到数据后，支持将数据转储至对天翼云分布式消息服务kafka，用于实时流计算等场景。 前提条件 已创建日志项目和日志单元 已开通天翼云分布式消息服务kafka 已采集到日志 创建日志转储任务 1. 登录云日志服务控制台。 2. 左侧点击【日志转储】菜单，进入日志转储页面。 3. 在页面上方选择“kafka”。 4. 点击【创建转储任务】。 5. 在创建转储任务功能面板，配置如下参数，然后单击确定，完成转储任务创建。 参数 说明 日志项目名称 选择源日志所在的日志项目。 日志单元名称 选择源日志所在的日志单元。 转储任务名称 转储任务的名称。 kafka实例 选择转出目标的kafka实例。 Topic 选择当前kafka的topic。（当前仅支持转储至公有 Topic） 转储时间范围 1、某时间开始：指定转储任务的开始时间，从该时间点开始进行数据转储，直到您手动停止转储任务。(开始时间不得早于当前时间，早于当前时间则以当前时间为准) 2、特定时间范围：指定转储任务的起止时间，转储任务将执行到您指定的结束时间后自动停止。(开始时间不得早于当前时间，早于当前时间则以当前时间为准)

本文主要介绍重启实例。 操作场景 分布式消息服务Kafka管理控制台支持重启运行中的Kafka实例，且可实现批量重启Kafka实例。 说明 在Kafka实例重启过程中，客户端的生产与消费消息等请求会被拒绝。 前提条件 只有当Kafka实例处于“运行中”或“故障”状态，才能执行重启操作。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法，重启Kafka实例。 勾选Kafka实例名称左侧的方框，可选一个或多个，单击信息栏左上侧的“重启”。 在待重启Kafka实例所在行，单击“重启”。 单击Kafka实例名称，进入实例详情页面。单击右上角的“重启”。 步骤 5 在“重启实例”对话框中，单击“是”，完成重启Kafka实例。 重启Kafka实例大约需要3到15分钟。Kafka实例重启成功后，实例状态切换为“运行中”。 说明 重启Kafka实例只会重启实例进程，不会重启实例所在虚拟机。

本文介绍Kafka消费端从服务端拉取不到消息或拉取消息缓慢原因及解决方案 问题现象 Topic中有消息并且Consumer未消费到最新的位置，出现消费端从服务端拉取不到消息或拉取消息缓慢的情况（特别是公网消费时）。 可能原因 消费流量达到网络带宽。 单个消息大小超过网络带宽。 Consumer每次拉取的消息量超过网络带宽。 说明 Consumer每次消息的拉取量受以下参数影响： max.poll.records：每次拉取的最多消息数。 fetch.max.bytes：每次拉取的最大总byte数。 max.partition.fetch.bytes：每个Partition每次拉取的最大总byte数。 解决方案 （1）登录分布式消息服务Kafka控制台查询消息。 如果能查询到消息，请继续尝试以下步骤。 （2）在实例详情页面，单击左侧导航栏的监控信息，查看消费流量是否已达到网络带宽。 如果消费流量已经达到网络带宽，您需要扩充网络带宽。 （3）检查Topic中是否存在单个消息的大小超过网络带宽。 如果存在单个消息的大小超过网络带宽，请提高网络带宽，或者减小单个消息的大小。 （4）检查Consumer每次拉取的消息量是否超过网络带宽。 说明 如果每次拉取的消息量超过网络带宽，您需要调整以下参数。 网络带宽>fetch.max.bytes 网络带宽>max.partition.fetch.bytes总订阅Partition数

介绍分布式消息服务Kafka生产拨测功能操作内容。 场景描述 通过生产消息，确保Kafka集群能够稳定接收并传递生产者发送的消息，同时消费者能够成功订阅并处理这些消息，以此确认集群的基本功能和网络连接均处于正常状态。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“Topic管理”后进入主题管理页面。 （5）选择需要生产消息的Topic，点击其右侧“更多”，在下拉框中点击“生产消息”按钮。 （6）在弹窗中，输入消息内容、消息条数等信息，点击确认即可发送。

参数 说明 示例 规则名称 订阅规则名称 输入：aomkafkatest。 订阅内容 支持“指标”和“告警”。 选择：指标。 订阅目标类型 选择“自定义Kafka”或“分布式消息服务DMS”。 分布式消息服务DMS 实例 选择DMS实例，如没有DMS实例，请单击“创建DMS实例”，创建DMS实例。 kafkaaom7160

本文介绍如何创建内网数据订阅渠道。 操作场景 内网数据订阅适用于企业内部网络环境中，对数据实时性、传输安全性等有较高要求的场景，可在不暴露公网、不影响源端性能的前提下，实现低延迟、高可靠的数据分发与消费。目前已支持内网消息队列（kafka）、内网普罗米修斯（APM实例、自建）方式。 前提条件 注册天翼云账号，并完成实名认证。具体操作，请参见天翼云账号注册流程。 说明 1、内网数据订阅功能：内网消息队列（kafka）、内网普罗米修斯（APM实例、自建实例）三种方式当前分别受限开放，如有需求可以联系客户经理为您开放此功能。 2、如需使用内网消息队列（kafka）方式数据订阅功能，需先开通天翼云分布式消息服务Kafka实例。 3、如需使用内网普罗米修斯（APM实例）方式数据订阅功能，需先在天翼云应用性能监控（APM）平台>Prometheus监控>实例列表创建实例。 创建内网消息队列（kafka）方式订阅渠道 1. 登录控制中心。 2. 在控制中心页面左上角点击，选择区域，本文我们选择华东1。 3. 依次选择“迁移与部署”，单击“云监控服务”，进入监控概览页面。 4. 单击“数据订阅”，切换至订阅渠道页签。 5. 点击"创建订阅渠道"按钮，进入订阅渠道创建页面。 6. “网络通道”选择“VPC内网”，订阅类型选择“分布式消息服务”。 配置参数如下： 参数 参数说明 是否必填 取值样例 实例选择 选择天翼云分布式消息服务Kafka实例 是 用户名 填写目标实例的访问用户名 否 注意 如目标实例已启用用户名及密码认证方式，请按实际信息填写 密码 填写目标实例的访问用户名 否 注意 如目标实例已启用用户名及密码认证方式，请按实际信息填写 TOPIC 填写数据订阅的kafka实例的主题 是

本文主要介绍 创建SASLSSL用户。 分布式消息服务Kafka支持对Topic进行ACL（Access Control List）权限管理，您可以在Topic中为不同的SASLSSL用户设置不同的权限，以达到SASLSSL用户之间的权限隔离。 本章节主要介绍Kafka实例开启SASLSSL后，如何创建SASLSSL用户。创建用户后，对Topic进行SASLSSL用户授权的操作，请参见设置Topic权限。 一个Kafka实例最多创建20个用户。 前提条件 创建Kafka实例时，已开启SASLSSL功能。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例名称，进入实例详情页面。 步骤 5 在“用户管理”页签，单击“创建用户”。 步骤 6 在弹出的“创建用户”对话框中，设置用户名和密码，单击“确定”，完成用户的创建。 SASLSSL用户创建成功后，参考设置Topic权限为SASLSSL用户授权。

本文介绍如何应用事件总线EventBridge的事件流功能实现消息路由至函数计算。 前提条件 开通事件总线EventBridge并授权。 开通函数计算并创建对应函数。 开通分布式消息服务Kafka并创建最少两个主题。 背景信息 事件流作为更轻量、实时端到端的流式事件通道，提供轻量级的流式数据的过滤和转换的能力，在不同的数据仓库之间、数据处理程序之间、数据分析和处理系统之间进行数据同步。源端分布式消息服务Kafka生产的消息可以通过事件流这个通道被路由到目标端的函数计算，并触发函数。 步骤一：创建事件流 1. 登录事件总线EventBridge控制台。 2. 在左侧导航栏，单击事件流。 3. 在事件流页面，单击创建事件流。 4. 在创建事件流面板，设置任务名称和描述，配置以下参数，然后单击保存。 a.在Source（源）配置向导，选择数据提供方为分布式消息服务Kafka ，设置以下参数，然后单击下一步。 参数 说明 示例 Kafka实例 选择Kafka实例。 instancexxx Kafka Topic 选择Kafka topic。 topicxxx Group 选择消费组。 快速创建 消费位点 选择消费位点。 最新位点 b.在Filtering（过滤）配置向导，设置事件过滤规则，单击下一步。 c.在Sink（目标）配置向导，选择服务类型为函数计算，配置以下参数，单击保存。 参数 说明 示例 函数 选择函数。 funxxx 函数版本或别名 选择函数版本或别名。 版本/LATEST 执行方式 选择执行函数的方式：同步或异步。 同步 事件 选择调用到函数的事件内容，更多内容请参考事件内容转换。 完整事件 5. 创建事件流后，会有30秒~60秒的延迟时间，您可以在事件流页面的状态栏查看启动进度。

事件源是事件的来源，负责将生产的事件发布到事件总线。 事件总线EventBridge支持以下事件源： 天翼云官方事件源 作为事件源接入时，只要开通相应的天翼云服务，就可以自动接入事件总线EventBridge。通过配置预定义的事件源与事件规则，实现从事件源发布事件到云服务专用总线，经过事件模式过滤后把事件路由到事件目标。 自定义事件源 作为事件源接入时，您可以配置自定义应用事件源，使用SDK接入事件总线EventBridge。通过创建自定义总线、配置事件规则，把自定义应用产生的事件发布到自定义总线，经过事件模式过滤后把事件路由到事件目标。 作为事件源接入时，您可以配置消息类事件提供方，把事件主动拉取到事件总线EventBridge。例如，当您配置事件提供方为分布式消息服务Kafka时，事件总线EventBridge会把分布式消息服务Kafka对应资源产生的消息主动拉取到自定义总线中，经过事件模式过滤后把事件路由到事件目标。

为了让更多客户享受到分布式消息Kafka产品服务，我们致力于为客户提供更具竞争力的价格，并持续提升服务质量。 分布式消息服务KafkaⅡ类资源池从7月15日开始启用新资费计价，老资费计算增强型同规格对比新费用降幅达19%27%，更多资费信息请参见产品资费。 规格名称 计费单位 实例包月标准价格 降幅 规格名称 计费单位 20240715前价格 新价格 降幅 kafka.4u8g.cluster 元/代理 1726 1260 27% kafka.8u16g.cluster 元/代理 3122 2430 22% kafka.16u32g.cluster 元/代理 5555 4500 19% 注意 通用型规格已经调整为白名单特性，如需了解相关资费请联系技术支持。 本次降价适用于Ⅱ类资源池。

分布式消息服务RabbitMQ的产品优势主要包括以下几个方面： 高可用性 分布式消息服务RabbitMQ主要通过以下三种方式保证服务的连续性和可靠性： 支持生产消费自动负载均衡 多个消费者：在RabbitMQ中，可以创建多个消费者来同时消费同一个队列中的消息。RabbitMQ会将消息平均地分配给这些消费者，从而实现负载均衡。 发布/订阅模式：使用RabbitMQ的发布/订阅模式可以实现自动负载均衡。在这种模式下，生产者将消息发送到交换机，然后交换机将消息广播给绑定到它的所有队列。每个队列上都可以有多个消费者，它们会共享接收到的消息负载。 优先级队列：RabbitMQ支持创建优先级队列，可以根据消息的优先级进行排序和传递。通过使用优先级队列，可以确保高优先级的消息能够更快地被处理，从而实现负载均衡。 lvs节点故障时的自动主备切换 配置镜像队列：首先，你需要在RabbitMQ集群的各个节点之间配置镜像队列。镜像队列会将消息复制到备用节点上，在主节点发生故障时，备用节点会接管主节点的工作。 心跳检测：RabbitMQ会通过心跳机制监测节点之间的连接状态。如果主节点无法进行正常通信（比如网络故障或节点崩溃），备用节点会被选举为新的主节点。 节点选举：当主节点无法通信时，RabbitMQ集群中的其他节点会开始进行选举，选择一个备用节点来替代主节点。选举过程中，节点会相互通信并比较彼此的状态和能力。最终，一个节点会被选举为新的主节点。 自动切换：一旦新的主节点被选举出来，RabbitMQ集群就会自动切换到新的主节点，并开始处理消息。客户端可以通过相同的连接重新连接到新的主节点，并继续发送和接收消息。 镜像队列安全备份 数据复制: RabbitMQ的镜像队列通过在多个节点之间复制队列的消息来提供冗余备份。每个节点都维护自己的完整队列副本，这样当一个节点发生故障时，其他节点将能够接管并继续处理消息。 同步复制: 镜像队列支持同步复制和异步复制两种模式。在同步复制模式下，所有的写入操作都会等待所有镜像节点都完成相同的操作，这样可以确保数据的一致性。但是这会增加写入操作的延迟。 容错机制: 当一个节点失效时，RabbitMQ会自动将该节点上的队列重新分配给其他正常工作的节点。这个过程是自动的，无需人工干预。因此，即使整个节点失效，消息也不会丢失。 高可用性: 镜像队列提供了高可用性的保证。如果一个节点故障，其他节点将自动接管该节点上的队列并继续处理消息，从而确保系统的可靠性和可用性。 故障恢复: 当一个节点失效后重新启动时，RabbitMQ会自动将该节点上的队列重新同步到新的镜像节点上，以确保数据的完整性和一致性。

本文主要介绍分布式消息服务RabbitMQ所需的环境准备。 创建RabbitMQ实例前，您需要提前准备相关依赖资源，包括虚拟私有云（Virtual Private Cloud，以下简称VPC）、子网和安全组，并配置安全组策略。每个RabbitMQ实例都部署在某个VPC中，并绑定具体的子网和安全组，通过这样的方式为RabbitMQ提供一个隔离的、用户自主配置和管理的虚拟网络环境以及安全保护策略，提升实例的安全性。 如果用户已有VPC，可重复使用，不需要多次创建。 创建VPC 1、登录管理控制台。 2、在管理控制台右上角单击，选择区域。 说明 此处请选择与您的应用服务相同的区域。 3、在管理控制台左上角单击，选择“网络 > 虚拟私有云”。 4、单击“创建虚拟私有云”，进入“创建虚拟私有云”界面。 5、根据界面提示创建虚拟私有云。如无特殊需求，界面参数均可保持默认。关于创建VPC的详细信息可以参考《虚拟私有云用户指南》。 创建虚拟私有云时，会同时创建子网，若需要额外创建子网，请参考6。如果不需要额外创建子网，请执行7。 6、在左侧导航栏，单击“子网”，进入“子网”界面。单击“创建子网”。根据界面提示创建子网。如无特殊需求，界面参数均可保持默认。 关于创建子网的详细信息可以参考《虚拟私有云用户指南》。 7、在左侧导航栏，选择“访问控制 > 安全组”，进入“安全组”界面。根据界面提示创建安全组。如无特殊需求，界面参数均可保持默认。 关于创建安全组的详细信息可以参考《虚拟私有云用户指南》。 使用RabbitMQ实例前，添加表1所示安全组规则，其他规则请根据实际需要添加。 说明 创建安全组后，系统默认添加入方向“允许安全组内的弹性云主机彼此通信”规则和出方向“放通全部流量”规则，此时使用内网通过同一个VPC访问RabbitMQ实例，无需添加表1的规则。 表1 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 5672 0.0.0.0/0 访问RabbitMQ实例（关闭SSL） 入方向 TCP 5671 0.0.0.0/0 访问RabbitMQ实例（开启SSL） 入方向 TCP 15672 0.0.0.0/0 访问Web界面UI地址（关闭SSL加密） 入方向 TCP 15671 0.0.0.0/0 访问Web界面UI地址（开启SSL加密）

本章节主要介绍如何创建Vhost。 操作场景 每个Vhost（Virtual Hosts）相当于一个相对独立的RabbitMQ服务器。Vhost用作逻辑隔离，分别管理Exchange、Queue和Binding，使得应用安全地运行在不同的Vhost上，相互之间不会干扰。一个实例下可以有多个Vhost，一个Vhost里可以有若干个Exchange和Queue。生产者和消费者连接RabbitMQ实例时，需要指定一个Vhost。Vhost的相关介绍，请参考官网文档Virtual Hosts。 本章节主要介绍创建Vhost的操作，有以下几种方式，您可以根据实际情况选择任意一种方式： 方式一：在控制台创建 方式二：使用RabbitMQ WebUI创建 方式三：调用API创建 方式一：在控制台创建 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 此处请选择RabbitMQ实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”>“分布式消息服务”>“RabbitMQ专享版”，进入分布式消息服务RabbitMQ专享版页面。 步骤 4 单击实例名称，进入实例详情页面。 步骤 5 在左侧导航栏选择“Vhost列表”，进入Vhost列表页面。 步骤 6 单击“创建Vhost”，弹出“创建Vhost”对话框。 步骤 7 设置Vhost的名称，单击“确定”。 创建成功后，在Vhost列表页面显示创建成功的Vhost。 图1 Vhost列表（控制台） “tracing”表示是否开启消息追踪功能。开启消息追踪后，您可以跟踪消息的转发路径。 说明 Vhost创建成功后，无法修改名称。 实例创建后，会自动创建一个名为“/”的Vhost。

步骤三：在控制台中发布事件 1. 登录事件总线EventBridge管理控制台，在左侧导航栏，单击事件总线。 2. 在事件总线页面，找到步骤一中选中的总线，在其右侧操作列单击发布事件。 3. 在发送事件面板，事件源下拉列表选择已创建的自定义事件源，在事件体代码框输入事件内容，然后单击确定 。事件包含的参数规范，请参见事件概述。 4. （可选项）亦可选择通过SDK发送事件，详见SDK概述。 注意 仅自定义事件总线支持通过管理控制台发布事件。 步骤四：结果验证 1. 登录分布式消息服务Kafka管理控制台。 2. 在左侧导航栏，单击实例列表，选择目标实例。 3. 在左侧导航栏点击消息查询页面，点击按位点查询，验证主题刚才收到的消息是否与步骤三发送的事件内容一致，详见图2。 图2 在分布式消息Kafka管理控制台消息查询页面查询消息

支持将分布式消息服务Kafka的重平衡日志接入LTS。重平衡日志记录了Rebalance的详情，包括Rebalance时间、原因和触发Rebalance的客户端等。重平衡日志存储在云日志服务中，由LTS提供查询功能。 接入操作说明 1. 登录分布式消息服务Kafka管理控制台。 2. 在实例列表中，点击目标Kafka实例名称。 3. 点击左侧菜单栏“智能运维”重平衡日志。点击【立即开启】按钮，即可将Kafka日志接入至云日志服务的grouprebalancelog日志项目中。 4. 等待若干分钟后，系统将自动生成可视化仪表大盘。 5. 点击页面上方“日志查询”页签，即可查询详细的重平衡日志信息。 6. 您也可以登录云日志服务控制台，在“grouprebalancelog”日志项目中，可查看所有已接入日志服务的Kafka重平衡日志的日志单元，并进行查询、分析或告警配置等操作。

步骤二：替换证书 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 此处请选择与您的应用服务相同的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击待替换证书的实例名称，进入实例详情页面。 步骤 5 在“连接信息 > SSL证书”后，单击“替换”，弹出“替换SSL证书”对话框。 图 连接信息 步骤 6 参考下表，设置替换SSL证书的参数。 图 替换SSL证书 表 替换SSL证书参数说明 参数名称 说明 Key密码 输入制作证书中设置的keystore密码 Keystore密码 输入制作证书中设置的keystore密码 Keystore文件 导入“server.keystore.jks”证书 Truststore密码 输入服务端证书的Truststore密码 Truststore文件 导入“server.truststore.jks”证书 步骤 7 单击“确定”，弹出“替换SSL证书”对话框。 步骤 8 单击“确认”，完成证书的替换。 在“后台任务管理”页签，替换SSL证书任务的“状态”为“成功”时，表示替换证书成功。 说明 证书替换成功后，在实例详情页单击“下载”，下载的证书为分布式消息服务Kafka提供的证书，并非您自己制作的证书。

删除创建失败的Kafka实例 步骤 1 登录管理控制台。 步骤 2 在管理控制台左上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 步骤 4 若当前存在创建失败的Kafka实例，界面信息栏会显示“创建失败任务”及失败数量信息。 说明 创建失败的实例，不会占用其他资源。 步骤 5 单击“创建失败任务”或者此参数后图标/数量，弹出“创建失败任务”对话框。 步骤 6 在“创建失败任务”界面删除创建失败的Kafka实例。 单击“清理失败任务”，一键式删除所有创建失败的Kafka实例。 单击需要删除的Kafka实例右侧的“删除任务”，依次删除创建失败的Kafka实例。

（可选）删除Topic权限 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例名称，进入实例详情页面。 步骤 5 在导航栏单击“Topic管理”，进入Topic列表页面。 步骤 6 在待删除用户权限的Topic所在行，单击“设置用户权限”，弹出“设置用户权限”对话框。 步骤 7 在“已选择”区域，在待删除权限的SASLSSL用户所在行，单击“删除”，然后单击“确定”。

介绍分布式消息服务Kafka的数据保护技术 天翼云分布式消息服务Kafka通过多种数据保护手段和措施，保障您在Kafka实例上的数据的安全性。 容灾 根据数据和服务的不同可靠性需求，您有多种选择。您可以选择在一个可用区（即单个机房）内部署Kafka实例，或者选择跨多个可用区（即同城灾备）进行部署。目前跨可用区在华东1、华南2支持跨可用区部署。具体请参考容灾策略。 副本冗余 通过配置适当数量的副本和分布在不同的节点上，Kafka可以提供高可用性和数据冗余，以保护数据免受节点故障的影响。同时，副本机制还可以提高读取性能，因为客户端可以从就近的副本中读取数据，而不必从远程节点获取数据。 数据持久化 Kafka中数据的持久化是通过将消息写入磁盘上的日志文件来实现的。这种设计使得Kafka能够提供高吞吐量和持久性，即使在发生故障或重启时也能够保留数据。此外，Kafka还提供了数据复制和故障转移机制，以确保数据的可用性和可靠性。