本节主要介绍分布式消息服务Kafka的计费项 分布式消息服务Kafka的计费项由实例费用和存储费用组成，具体费用详情可参考产品资费。 计费项 计费项说明 使用的计费模式 计费公式 实例费用 计费因子：代理规格和代理数量 包年/包月、按需计费 实例规格单价 代理数量 购买时长 存储空间费用 计费因子：云硬盘类型、容量大小 包年/包月、按需计费 云硬盘规格单价 单个代理存储大小 代理数量 购买时长

介绍分布式消息服务Kafka使用MirrorMaker跨集群数据同步。 应用场景 使用MirrorMaker进行跨集群数据同步是Kafka中常见的场景之一。MirrorMaker是Kafka提供的一个工具，用于将一个Kafka集群中的消息复制到另一个Kafka集群，实现跨数据中心、跨地域或跨集群的数据同步。 以下是一些常见的使用MirrorMaker进行跨集群数据同步的场景： 1. 备份和灾备： MirrorMaker可用于将生产环境中的消息复制到备份集群，以实现数据的备份和灾备。当主集群发生故障或不可用时，可以切换到备份集群，确保数据的可用性和连续性。 2. 数据复制和分发： 如果有多个数据中心或地理位置，可以使用MirrorMaker将消息从一个集群复制到另一个集群，实现数据的复制和分发。这样可以将数据从一个地区或数据中心传输到另一个地区或数据中心，以满足不同地区或数据中心的业务需求。 3. 跨云厂商数据同步： 当使用多个云厂商的Kafka服务时，MirrorMaker可以用于将消息从一个云厂商的Kafka集群复制到另一个云厂商的Kafka集群，实现跨云厂商的数据同步和迁移。 4. 数据聚合和分析： 当需要将多个Kafka集群中的消息聚合到一个集群中进行分析时，可以使用MirrorMaker将消息从多个集群复制到目标集群，以实现数据的聚合和分析。 需要注意的是，MirrorMaker在进行数据同步时，会引入一定的延迟，并且在网络传输和资源消耗方面会有一定的开销。因此，在使用MirrorMaker进行跨集群数据同步时，需要根据实际情况进行配置和调优，以满足业务需求和性能要求。

支持将分布式消息服务Kafka的重平衡日志接入LTS。重平衡日志记录了Rebalance的详情，包括Rebalance时间、原因和触发Rebalance的客户端等。重平衡日志存储在云日志服务中，由LTS提供查询功能。 接入操作说明 1. 登录分布式消息服务Kafka管理控制台。 2. 在实例列表中，点击目标Kafka实例名称。 3. 点击左侧菜单栏“智能运维”重平衡日志。点击【立即开启】按钮，即可将Kafka日志接入至云日志服务的grouprebalancelog日志项目中。 4. 等待若干分钟后，系统将自动生成可视化仪表大盘。 5. 点击页面上方“日志查询”页签，即可查询详细的重平衡日志信息。 6. 您也可以登录云日志服务控制台，在“grouprebalancelog”日志项目中，可查看所有已接入日志服务的Kafka重平衡日志的日志单元，并进行查询、分析或告警配置等操作。

结果验证 1. 使用事件总线事件发布功能，发送一个自定义事件。 2. 您可以在分布式消息服务Kafka管理控制台确认是否接收到事件，如图2所示。 1. 登录分布式消息服务Kafka管理控制台，然后在左侧导航栏选择实例列表。 2. 在实例列表页面单击目标实例名称。 3. 在消息查询页面，进行对应消息查询即可查看消息内容。 图2 在分布式消息服务Kafka管理控制台消息查询界面查询消息

结果验证 1. 使用事件源触发一个事件。 2. 您可以在分布式消息服务Kafka管理控制台确认是否接收到事件，如图2所示。 1. 登录分布式消息服务Kafka管理控制台，然后在左侧导航栏选择实例列表。 2. 在实例列表页面单击目标实例名称。 3. 在消息查询页面，进行对应消息查询即可查看消息内容。 图2 在分布式消息服务Kafka管理控制台中查看消息详情

高安全性 利用SASL机制对用户身份进行认证，并利用SSL对通道进行加密传输，确保数据在传输过程中不被窃取或篡改，保证您的数据安全。还借助虚拟私有云（VPC）和安全组等加强网络访问控制。 Kafka是一个分布式流处理平台，为了保证数据的高安全性，它提供了以下几个方面的功能和特性： 认证与授权：Kafka支持基于SSL认证，可以验证客户端和服务器之间的身份。同时也支持基于ACL（访问控制列表）的细粒度授权，可以控制哪些用户可以读写指定的topic。 SSL加密传输：Kafka可以通过SSL对消息进行加密传输，确保数据在网络传输过程中的机密性和完整性。 完全控制数据的访问：对于每个topic，可以定义不同的ACL，限制不同用户或者用户组的读写权限。这样可以确保只有授权的用户能够访问指定的数据。 可靠性 Kafka通过持久化存储、复制机制、可配置的数据保留策略、故障检测和自动恢复、缓存机制以及节点间数据同步等功能，提供了高度可靠的消息传递和存储机制。 持久化存储：Kafka使用日志数据结构来存储消息，并将消息写入磁盘上的文件中。这种持久化存储方式确保了消息在发生故障或崩溃时不会丢失。一份消息多份落盘存储，允许海量消息堆积。 复制机制：Kafka通过复制机制提供高可用性和容错能力。它使用主题分区的副本来在多个服务器上复制消息。当其中一个服务器出现故障时，副本可以继续为消费者提供服务。 可配置的数据保留策略：Kafka允许根据特定的需求配置数据保留策略。您可以设置消息在特定时间段或特定大小后删除，或者保留所有消息。这使得您可以根据存储资源和业务需求来管理数据。 故障检测和自动恢复：Kafka具有内置的故障检测和自动恢复机制。当发生故障时，Kafka可以自动检测到并尝试重新连接断开的节点，确保整个集群的正常运行。 缓存机制：Kafka使用缓存来提高读写性能。消息首先被写入内存中的缓存，然后批量写入磁盘。这种缓存机制可以提高吞吐量，并减少对磁盘的频繁访问。 节点间数据同步：Kafka使用分布式的数据同步协议来保证消息在副本之间的一致性。这确保了在故障和服务恢复期间的数据完整性。

本文介绍如何在事件总线EventBridge管理控制台添加分布式消息Kafka类型的自定义事件源。 前提条件 事件总线EventBridge 开通事件总线EventBridge并委托授权。 创建自定义总线。 分布式消息服务Kafka 开通分布式消息服务Kafka。 创建实例、主题与消费组。 操作步骤 1. 登录事件总线管理控制台。 2. 在左侧导航栏，单击事件总线。 3. 在事件总线页面，单击目标总线名称。 4. 在左侧导航栏，单击事件源。 5. 在事件源 页面，单击添加事件源。 6. 在添加自定义事件源 面板，输入名称 和描述 ，事件提供方 选择分布式消息服务Kafka，选择实例、主题等配置然后单击确认，详见图1。 图1 添加事件提供方为分布式消息服务Kafka的事件源 参数说明 参数 说明 示例 名称 事件源名。 source1 实例名称 选择前提条件中已创建的分布式消息服务Kafka版实例。 KAFKAxxx Topic 选择当前实例中的Topic。 topic1 Group 快速创建：自动创建以GIDEVENTBRIDGExxx命名的Group ID。 使用已有：选择当前实例中已创建的Group，请不要与已有业务的Group混用，以免影响已有的消息收发。 group1 消费位点 开始消费的位置。 最新位点：从最新位点开始消费。 最早位点：从最初位点开始消费。 最新位点

本文主要介绍日志处理工具Logstash接入Kafka。 最佳实践概述 场景描述 Kafka与Logstash互联，可实现将Kafka作为inputs把消息传递给Logstash进行处理、或者是作为outputs将Kafka用作消息目的地。 技术架构图 暂无。 方案优势 可以异步处理数据：防止突发流量。 解耦：当发生异常的时候不会影响上游工作。 前提条件 需已购买Kafka实例、创建Topic，并且已成功消费消息。 资源规划 本实践方案内容仅涉及Kafka专享版实例和Logstash。 分布式消息服务 Figure 分布式消息服务 资源类型 配置项 配置明细 说明 :::: 企业中间件 DMS Kafka专享实例 需已购买kafka专享实例，创建好Topic，并成功消费消息。 Logstash下载与安装 下载并安装Logstash，验证运行成功。 方案正文 配置Kafka 1、登录分布式消息服务Kafka版控制台，按需要单击“实例名称”，进入实例基本信息页面。 图 Kafka控制台实例列表 2、在“连接地址”模块，获取Kafka连接IP地址。 图 连接IP地址与端口 3、创建Logstashtest的Topic。 图 创建Topic

本节介绍客户端首次接入分布式消息服务Kafka时出现异常的排查方法 客户端首次接入分布式消息服务Kafka时如果出现异常，您可以通过以下三个方面进行排查： 网络连通问题：通常有如下几种情况可能会导致网络不通，客户端无法连接分布式消息服务Kafka的服务端。 （1）ECS实例（客户端）与分布式消息服务Kafka实例不在同一个VPC内。关于如何通过VPC网络接入服务端，请参见VPC接入。 （2）本地客户端访问非公网的分布式消息服务Kafka实例。您可以通过公网接入服务端。 客户端版本问题：客户端版本太低可能会出现异常，建议升级到与服务端匹配的客户端版本。 配置问题：默认接入点配置错误等都可能导致接入失败。您可以参见快速入门进行配置检查。

本文主要介绍流数据实时处理框架Flink接入Kafka 。 最佳实践概述 场景描述 如果您想要在流数据实时处理场景下，使用Kafka作为流数据的源或者使用Kafka作为流数据的目的，需要将Kafka与Flink对接，可以参考本实践方案。 技术架构图 暂无。 方案优势 用户可按业务需要，参考设置Kafka与Flink框架对接，实现流数据的消息消费。 前提条件 需已购买Kafka实例、创建Topic，并且已成功消费消息。 资源规划 本实践方案内容仅涉及Kafka专享版实例和Flink的安装配置。 分布式消息服务 Figure 分布式消息服务 资源类型 配置项 配置明细 说明 :::: 企业中间件 DMS Kafka专享实例 需已购买kafka专享实例，创建好Topic，并成功消费消息。 Flink流数据处理框架 Figure Flink框架 资源类型 配置项 配置明细 说明 :::: 应用软件 Flink框架 Flink 1.14 使用开源Apache Flink 方案正文 获取Kafka访问地址 1、登录分布式消息服务Kafka版控制台，按需要单击“实例名称”，进入实例基本信息页面。 图 Kafka控制台实例列表 2、在“连接地址”模块，获取Kafka连接IP地址。 图 连接IP地址与端口

本文主要介绍权限管理。 如果您需要对云服务平台上购买的DMS for Kafka资源，给企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全的控制云服务资源的访问。 通过IAM，您可以在帐号中给员工创建IAM用户，并使用策略来控制他们对云服务资源的访问范围。例如您的员工中有负责软件开发的人员，您希望他们拥有DMS for Kafka的使用权限，但是不希望他们拥有删除Kafka实例等高危操作的权限，那么您可以使用IAM为开发人员创建用户，通过授予仅能使用Kafka实例，但是不允许删除Kafka实例的权限策略，控制他们对DMS for Kafka资源的使用范围。 如果帐号已经能满足您的要求，不需要创建独立的IAM用户进行权限管理，您可以跳过本章节，不影响您使用DMS for Kafka的其它功能。 IAM是云服务平台提供权限管理的基础服务，无需付费即可使用，您只需要为您帐号中的资源进行付费。 关于IAM的详细介绍，请参见《IAM产品介绍》。 说明 DMS for Kafka的权限与策略基于分布式消息服务DMS，因此在IAM服务中为Kafka分配用户与权限时，请选择并使用“DMS”的权限与策略。 DMS for Kafka权限 默认情况下，管理员创建的IAM用户没有任何权限，需要将其加入用户组，并给用户组授予策略或角色，才能使得用户组中的用户获得对应的权限，这一过程称为授权。授权后，用户就可以基于被授予的权限对云服务进行操作。 DMS for Kafka部署时通过物理区域划分，为项目级服务。授权时，“作用范围”需要选择“区域级项目”，然后在指定区域对应的项目中设置相关权限，并且该权限仅对此项目生效；如果在“所有项目”中设置权限，则该权限在所有区域项目中都生效。访问DMS for Kafka时，需要先切换至授权区域。 权限根据授权精细程度分为角色和策略。 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度，提供有限的服务相关角色用于授权。由于云服务平台各服务之间存在业务依赖关系，因此给用户授予角色时，可能需要一并授予依赖的其他角色，才能正确完成业务。角色并不能满足用户对精细化授权的要求，无法完全达到企业对权限最小化的安全管控要求。 策略：IAM最新提供的一种细粒度授权的能力，可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式，能够满足企业对权限最小化的安全管控要求。例如：针对DMS for Kafka服务，管理员能够控制IAM用户仅能对实例进行指定的管理操作。多数细粒度策略以API接口为粒度进行权限拆分，DMS for Kafka支持的API授权项请参见《分布式消息服务Kafka API参考》的“权限策略和授权项”章节。 如下表所示，包括了DMS for Kafka的所有系统权限。 表 DMS for Kafka系统权限 系统角色/策略名称 描述 类别 依赖关系 DMS FullAccess 分布式消息服务管理员权限，拥有该权限的用户可以操作所有分布式消息服务的功能。 系统策略 无 DMS UserAccess 分布式消息服务普通用户权限（没有实例创建、修改、删除、扩容）。 系统策略 无 DMS ReadOnlyAccess 分布式消息服务的只读权限，拥有该权限的用户仅能查看分布式消息服务数据。 系统策略 无 DMS VPCAccess 分布式消息服务租户委托时需要授权的VPC操作权限。 系统策略 无 DMS KMSAccess 分布式消息服务租户委托时需要授权的KMS操作权限。 系统策略 无 DMS Administrator 分布式消息服务的管理员权限。 系统角色 依赖Tenant Guest和VPC Administrator。 说明 系统策略有包含OBS授权项，由于缓存的存在，对用户、用户组以及企业项目授予OBS相关的系统策略后，大概需要等待5分钟系统策略才能生效。 下表列出了DMS for Kafka常用操作与系统策略的授权关系，您可以参照该表选择合适的系统策略。 表常用操作与系统策略的关系 操作 DMS FullAccess DMS UserAccess DMS ReadOnlyAccess 创建实例 √ × × 修改实例 √ × × 删除实例 √ × × 变更实例规格 √ × × 重启实例 √ √ × 查询实例信息 √ √ √

案例背景 某电商平台订单处理系统采用分布式微服务架构，其概要结构图如下，核心流程通过分布式消息服务Kafka集群实现异步解耦： 订单创建：用户在前端提交订单，请求经过负载均衡器转发至订单服务集群。订单服务处理业务逻辑，生成包含订单详情的消息数据，并将该消息可靠地发送至Kafka集群的特定Topic。 下游处理：库存服务（负责扣减库存）、支付服务（负责发起支付请求）和物流服务（负责生成物流配送单）是主要的下游消费者。它们各自订阅Kafka集群中的相应Topic，并行地拉取并处理消息。 Kafka集群作为异步通信的核心，其稳定性和性能对整个订单系统的可用性至关重要。在高并发的场景下，Kafka Broker可能会面临各种异常情况，其中CPU负载过高是常见的一种，可能由突发流量洪峰、JVM垃圾回收或底层基础设施瓶颈等原因引起。Kafka Broker的CPU高负载会直接影响消息的处理速度，导致生产和消费的延迟，甚至引发整个系统的不稳定。 故障演练服务提供了分布式消息服务KafkaBroker节点CPU高负载演练动作，通过模拟这种真实的故障场景，我们可以量化分析Kafka集群在Broker节点CPU受限时的表现，验证订单处理系统及其下游服务对Kafka异常的容忍度和应对能力，并提升团队在真实故障发生时的异常响应与恢复能力。

进行分布式消息服务Kafka与开源自建对比。 分布式消息服务Kafka相对开源自建的Kafka提供更多功能服务，具备如下优势： 对比项 开源自建 分布式消息服务Kafka 低成本运维 需要专业人员资源规划、部署、运维。 一键开通，全托管。提供多种规格，按需使用，支持一键式节点数、磁盘存储空间和节点规格扩容。 分区规模 千级分区稳定性下降。 支持万级分区稳定写入。 消息查询 命令行可以消费，但无法根据位点或者时间直接定位到具体的消息。 控制台可视化按时间或者位点直接查看消息。 ACL访问控制 命令行，配置复杂。 灵活配置，一键生效。 可视化配置 命令行，配置复杂。 控制台全方位可视化配置管理。 运维监控 缺乏配套的监控运维能力。 提供全引擎指标可视化监控，告警及时发现问题。 集群巡检 命令行，配置复杂。 引擎状态、主题一键健康检测、启停。 稳定可靠 需要自己开发或基于开源实现，开发成本高昂，无法保证业务可靠运行。 支持跨AZ部署，提升可靠性。 安全保证 需要自行进行安全加固。 VPC隔离，支持SSL通道加密。 简单易用 无，需要自己开发。 提供简单的实例管理RESTful API，使用门槛低。

本节主要介绍分布式消息服务Kafka的续费、到期与欠费说明 到期前续费 手动续订：对于包年/包月订购的分布式消息服务Kafka实例，用户在资源到期前进行续费操作，可以延长原有资源到期时间，避免资源到期后冻结或超过保留期后被系统回收。详细操作请参考费用中心续订管理手动续订。 自动续订：自动续订仅针对采用包月、包年计费模式的资源，详细操作请参考费用中心续订管理自动续订。 到期处理 到期后，分布式消息服务Kafka进入保留期，您将不能正常访问及使用天翼云分布式消息服务Kafka服务，已开通的实例资源将予以保留。 若您在到期后15天内续费，自资源续订解冻开始，计算新的服务有效期，按照新的服务有效期计算费用； 若到期15天后您仍未续费，Kafka实例资源将被释放。 欠费原因 在按需计费的模式下帐号的余额不足。 按需欠费资源冻结规则 欠费后，资源进入保留期，您将不能正常访问及使用分布式消息服务Kafka，已开通的实例资源将予以保留。 若您在保留期内充值，充值后系统会自动扣减欠费金额。 若保留期到期您仍未充值，Kafka实例资源将被释放。

本文主要介绍如何通过kafka导入日志。 本文主要介绍如何将天翼云分布式消息服务Kafka的数据导入到云日志服务，实现数据的查询分析、加工等操作。 注意 当前功能为试用阶段，仅在华北2资源池开放。 创建数据导入任务 1. 登录云日志服务控制台。 2. 左侧菜单栏点击“日志接入”，进入接入管理页面 3. 在“数据导入”模块中，点击“分布式消息服务Kafka数据导入” 4. 选择目标日志项目和日志单元，单击下一步。 5. 设置接入配置，配置如下参数，确认无误后，单击下一步。 参数 说明 接入配置名称 导入任务的唯一标识 Kafka 实例 选择kafka实例作为数据源 Topic 列表 选择Kafka主题，当前仅支持导入公有Topic 消费组 选择kafka中的消费组， 起始位置 选择开始导入数据的位置。 最早：从已有的第一条Kafka数据开始导入 最晚：从最近生成的Kafka数据开始导入 数据格式 待导入数据的格式。若您选择JSON字符串，导入任务会将原始数据解析为keyvalue对格式，只解析到第一层。 编码格式 选择导入数据的编码格式（即字符集），目前仅支持UTF8和GBK。 6. 创建索引。默认开启全文索引，您也可以根据需要手动创建字段索引用于字段查询。 7. 点击完成，即可完成导入任务创建。等待1分钟左右，在查询日志界面能查询到日志，则说明导入成功。

介绍分布式消息服务Kafka退订操作内容。 场景描述 分布式消息服务kafka为用户提供全面周到的服务，支持用户退订的需求。用户如不需要继续使用该分布式消息服务Kafka实例，可进行删除实例操作，即退订操作。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“更多”，点击“退订”。 （4）点击“退订”后，会打开新页面，点击“确定” 注意 退订的实例处于冻结状态，请务必在实例退订前停止全部的应用。 在申请退订前，请做好数据备份工作，退订后数据将保留15个自然日，15天后相关数据将不予保留，且不会进行备份，务必谨慎操作。

介绍分布式消息服务Kafka续订操作内容。 场景描述 分布式消息服务Kafka为用户提供全面周到的服务，支持用户续订的需求。针对包周期消息实例服务，用户可在到期前进行服务周期延长操作，即续订操作。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“更多”，点击“续订”。 （4）点击“续订”后，会打开新页面，选择续订时长，会计算出对应价格，点击“确定”，后可到我的订单中支付。

分类 云产品 支持审计的关键操作列表 容器与中间件 云容器引擎 容器与中间件 容器镜像服务 容器与中间件 分布式消息服务Kafka 容器与中间件 弹性容器实例

云服务名称 区域 支持IAM 支持企业项目 支持IAM 支持企业项目 系统策略 分布式消息服务Kafka 全局 是 是 是 是 有 分布式消息服务RabbitMQ 全局 是 是 是 是 有 分布式消息服务RocketMQ 全局 是 是 是 是 有 微服务云应用平台 全局 是 是 是 是 有 云容器引擎 全局 是 是 是 是 有 弹性容器实例 全局 是 是 是 是 有 函数计算 全局 是 是 是 是 有 云日志服务LTS 全局 是 是 是 是 有 容器镜像服务 全局 是 是 是 是 有 分布式消息服务MQTT 全局 是 是 是 是 有 应用服务网格 全局 是 是 是 是 有 微服务引擎 全局 是 是 是 是 有

本文主要介绍 Kafka相关概念。 云服务平台使用Kafka作为消息引擎，以下概念基于Kafka进行描述。 Topic 消息主题。消息的生产与消费，围绕消息主题进行生产、消费以及其他消息管理操作。 Topic也是消息队列的一种发布与订阅消息模型。生产者向消息主题发布消息，多个消费者订阅该消息主题的消息，生产者与消费者彼此并无直接关系。 生产者（Producer） 向Topic（消息主题）发布消息的一方。发布消息的最终目的在于将消息内容传递给其他系统/模块，使对方按照约定处理该消息。 消费者（Consumer） 从Topic（消息主题）订阅消息的一方。订阅消息最终目的在于处理消息内容，如日志集成场景中，监控告警平台（消费者）从主题订阅日志消息，识别出告警日志并发送告警消息/邮件。 代理（Broker） 即Kafka集群架构设计中的单个Kafka进程，一个Kafka进程对应一台服务器，因此手册中描述的代理，还包括对应的存储、带宽等服务器资源。 分区（Partition） 为了实现水平扩展与高可用，Kafka将Topic划分为多个分区，消息被分布式存储在分区中。 副本（Replica） 消息的备份存储。为了确保消息可靠，Kafka创建Topic时，每个分区会分别从代理中选择1个或多个，对消息进行冗余存储。 Topic的所有消息分布式存储在各个分区上，分区在每个副本存储一份全量数据，副本之间的消息数据保持同步，任何一个副本不可用，数据都不会丢失。 每个分区都随机挑选一个副本作为Leader，该分区所有消息的生产与消费都在Leader副本上完成，消息从Leader副本复制到其他副本（Follower）。 Kafka的主题和分区属于逻辑概念，副本与代理属于物理概念。下图通过消息的生产与消费流向，解释了Kafka的分区、代理与主题间的关系。 图 Kafka消息流

本文主要介绍重启实例。 操作场景 分布式消息服务Kafka管理控制台支持重启运行中的Kafka实例，且可实现批量重启Kafka实例。 说明 在Kafka实例重启过程中，客户端的生产与消费消息等请求会被拒绝。 前提条件 只有当Kafka实例处于“运行中”或“故障”状态，才能执行重启操作。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法，重启Kafka实例。 勾选Kafka实例名称左侧的方框，可选一个或多个，单击信息栏左上侧的“重启”。 在待重启Kafka实例所在行，单击“重启”。 单击Kafka实例名称，进入实例详情页面。单击右上角的“重启”。 步骤 5 在“重启实例”对话框中，单击“是”，完成重启Kafka实例。 重启Kafka实例大约需要3到15分钟。Kafka实例重启成功后，实例状态切换为“运行中”。 说明 重启Kafka实例只会重启实例进程，不会重启实例所在虚拟机。

分布式消息服务Kafka在某些功能做了约束和限制，如下表： 限制项 约束和限制 描述 Kafka Zookeeper 不对外暴露 Kafka实例的Zookeeper目前仅处于自用，不对外提供服务，为Kafka内部使用。 版本 当前服务端版本为1.1.0和2.3.0 兼容0.10以上的客户端版本，推荐使用和服务端一致的版本。 消息大小 生产消息的最大长度为10M 消息长度不要超过10M，否则生产失败。 登录Kafka节点所在机器 不能登录 无 限制Kafka Topic总分区数 限制 Kafka以分区为粒度管理消息，分区多导致生产、存储、消费都碎片化，影响性能稳定性。在使用过程中，当Topic的总分区数达到上限后，用户就无法继续创建Topic。 是否支持自动创建Topic 支持 在创建实例时候，您可以选择是否开启。 当您选择开启，表示生产或消费一个未创建的Topic时，会自动创建一个包含3个分区和3个副本的Topic。 是否需要创建消费组、消费者、生产者 不需要 不需要单独创建消费组、生产者和消费者，在使用时自动生成，实例创建后，直接使用即可 减少分区数 不支持 按照开源Kafka现有逻辑，不支持减少分区数。

模块 参数 参数说明 配置示例 备注 配置订阅渠道 网络通道 公网/vpc内网 公网 配置订阅渠道 订阅类型 公网：分布式消息服务/remotewriteAPI/API vpc内网:分布式消息服务 分布式消息服务 配置订阅渠道 类型 对应订阅类型下选择支持的类型 分布式消息服务Kafka 配置订阅渠道 地址 填写分布式消息服务/remotewriteAPI/API目标地址 配置订阅渠道 实例选择 下拉选择所创建的kafka实例（前提：“网络通道”选择“vpc内网”） 配置订阅渠道 用户名 目标地址用户名信息 test 配置订阅渠道 密码 目标地址用户名对应密码信息 配置订阅渠道 TOPIC 目标地址主题（TOPIC） 配置订阅渠道 kafka版本 选择目标客户端kafka版本，2.0.0/2.1.0 2.1.0 2.0.0及以下版本，请选择2.0.0 2.0.0以上版本，请选择2.1.0 基本信息 名称 填写订阅渠道名称 test 基本信息 描述 填写订阅渠道描述信息

模块 参数 参数说明 配置示例 备注 配置订阅渠道 网络通道 公网/vpc内网 公网 配置订阅渠道 订阅类型 公网：分布式消息服务/remotewriteAPI/API vpc内网:分布式消息服务 分布式消息服务 配置订阅渠道 类型 对应订阅类型下选择支持的类型 分布式消息服务Kafka 配置订阅渠道 地址 填写分布式消息服务/remotewriteAPI/API目标地址 配置订阅渠道 实例选择 下拉选择所创建的kafka实例（前提：“网络通道”选择“vpc内网”） 配置订阅渠道 用户名 目标地址用户名信息 test 配置订阅渠道 密码 目标地址用户名对应密码信息 配置订阅渠道 TOPIC 目标地址主题（TOPIC） 配置订阅渠道 kafka版本 选择目标客户端kafka版本，2.0.0/2.1.0 2.1.0 2.0.0及以下版本，请选择2.0.0 2.0.0以上版本，请选择2.1.0 基本信息 名称 填写订阅渠道名称 test 基本信息 描述 填写订阅渠道描述信息

介绍分布式消息服务Kafka的数据保护技术 天翼云分布式消息服务Kafka通过多种数据保护手段和措施，保障您在Kafka实例上的数据的安全性。 容灾 根据数据和服务的不同可靠性需求，您有多种选择。您可以选择在一个可用区（即单个机房）内部署Kafka实例，或者选择跨多个可用区（即同城灾备）进行部署。目前跨可用区在华东1、华南2支持跨可用区部署。具体请参考容灾策略。 副本冗余 通过配置适当数量的副本和分布在不同的节点上，Kafka可以提供高可用性和数据冗余，以保护数据免受节点故障的影响。同时，副本机制还可以提高读取性能，因为客户端可以从就近的副本中读取数据，而不必从远程节点获取数据。 数据持久化 Kafka中数据的持久化是通过将消息写入磁盘上的日志文件来实现的。这种设计使得Kafka能够提供高吞吐量和持久性，即使在发生故障或重启时也能够保留数据。此外，Kafka还提供了数据复制和故障转移机制，以确保数据的可用性和可靠性。

本章节介绍Kafka Broker节点主机宕机故障演练。 背景介绍 高性能高可靠的分布式消息服务 Kafka 在复杂分布式环境中仍可能因 Broker 节点宕机引发数据丢失、集群可用性下降、请求延迟升高、副本同步滞后等严重问题，本演练可测试业务系统应对此类核心组件故障的响应能力、高可用切换机制及数据一致性保障效果。 基本原理 指定或随机一个Broker节点进行关机。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker宕机动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 故障节点：可选择随机一个节点或者特定的节点。

本文主要介绍计费项。 计费说明 分布式消息服务Kafka的计费项由实例费用和存储空间费用组成。 表 分布式消息服务Kafka计费项 计费项 计费项说明 适用的计费模式 计费公式 实例费用 计费因子：代理规格和代理数量 包年/包月、按需计费 实例规格单价 购买时长 实例规格单价请参考产品价格。 存储空间费用 计费因子：云硬盘类型、容量 包年/包月、按需计费 存储规格单价 购买时长 存储规格单价请参考产品价格。 Smart Connect Smart Connect用于异构系统间的数据同步，开启Smart Connect后，设置Smart Connect任务可以实现Kafka实例和其他云服务（如OBS）之间的数据同步，或者两个Kafka实例之间的数据同步。 包年/包月、按需计费 开启Smart Connect后，实例会另外创建2个同规格、用于Smart Connect的代理，并收取相应的代理费用。例如：规格为kafka.4u8g.cluster的实例，会另外创建2个规格为kafka.4u8g的代理，用于Smart Connect，所以需要收取相应代理费用。 计费示例 计费场景 假如某用户于2023/03/18 15:30:00在“广州4”区域购买了一个按需计费的Kafka实例，规格配置如下： 规格：kafka.2u4g.cluster3 总存储空间：高I/O 300GB 用了一段时间后，用户发现Kafka实例当前规格无法满足业务需要，于2023/03/20 9:00:00升配为kafka.4u8g.cluster3。因为该Kafka实例打算长期使用下去，于2023/03/20 10:30:00将Kafka实例转为包年/包月计费，购买时长为1个月。那么在3~4月份，该Kafka实例总共产生多少费用呢？

后续操作 开启Smart Connect后，您可以配置Kafka间的数据复制、配置Kafka数据转储至OBS，实现分布式消息服务Kafka和其他云服务之间的数据同步。

云服务名称 是否支持条件键 云通信短信 否 弹性文件服务 否 分布式消息服务Kafka 否 账务 是 分布式消息服务RabbitMQ 否 分布式消息服务RocketMQ 否 云硬盘 是 天翼云电脑（政企版） 是 内网DNS 否 CRM业务中台 是 分布式缓存服务Redis版 否 弹性云主机 是 弹性负载均衡 否 镜像服务 是 云监控 否 弹性伸缩服务 否 虚拟私有云 是 物理机 否 云硬盘备份 否 云主机备份 否 服务器安全卫士（原生版） 否 密钥管理 否 云间高速 否 统一身份认证 是 客服工单 是 容器云服务引擎CCSE 是 微服务应用平台MSAP 否 活动与券 是 消息管理 是 Web应用防火墙（原生版） 否 云审计 否 企业组织 是 VPC终端节点 否 NAT网关 是

本文主要介绍查看监控数据。 操作场景 云监控对Kafka实例的运行状态进行日常监控，可以通过控制台直观的查看Kafka实例各项监控指标。 前提条件 已创建Kafka实例，且实例中有可消费的消息。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法，查看监控数据。 在Kafka实例名称后，单击。跳转到云监控页面，查看实例、节点、队列和消费组的监控数据，数据更新周期为1分钟。 单击Kafka实例名称，进入实例详情页。在左侧导航栏单击“监控”，进入监控页面，查看实例、节点、队列和消费组的监控数据，数据更新周期为1分钟。

本章节介绍Kafka Broker节点磁盘IO高负载故障演练。 背景介绍 分布式消息服务 Kafka 集群的性能与稳定性高度依赖底层磁盘 IO 能力，高并发写入、集群数据复制、海量消息存储检索及磁盘故障恢复等场景易导致 Broker 节点磁盘 IO 触达瓶颈，引发消息持久化延迟等问题，本演练可测试业务系统的响应与恢复能力。 基本原理 指定或随机一个Broker节点先通过dd命令将数据写入文件中，然后再通过循环读写文件占用磁盘带宽。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker 磁盘IO高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 读负载：开启读压力模式，创建一个临时文件并对其进行持续的读取操作。 写负载：开启写压力模式，持续向一个临时文件写入数据。 块大小：控制单次读写操作的数据块大小，单位为MB。增大此值可以提升单次操作的 IO 压力。通常保持默认值即可。

Kafka触发器 Kafka触发器可以订阅天翼云提供的分布式消息队列Kafka实例，并根据消息触发关联的工作流，借此能力，使得工作流可以消费指定topic的消息，执行特定工作流处理逻辑。 注意事项 Kafka触发器订阅的Kafka实例必须和工作流在相同地域。 前提条件 已创建工作流。 已开通分布式消息Kafka实例（KAFKA引擎版），详情请参考创建分布式消息服务Kafka实例。 已创建Topic，创建GroupID（可选） 触发消息格式 Kafka触发器有两种消息格式：RawData和CloudEvent格式，可在触发器配置里选择。 CloudEvent格式： plaintext [ { "id": "eca534636baf4d568f86cbdb748208ed", "source": "ctyun.faas.trigger.kafka", "specversion": "1.0", "type": "kafka:topic:sendmessage", "datacontenttype": "application/json", "subject": "kafkatriggermqbjvsezbpdialtest:testforfaas", "time": "20250522T02:04:16Z", "data": { "headers": {}, "timestamp": 1747879456, "topic": "testforfaas", "partition": 0, "offset": 15280, "key": "", "value": "msg[9]: 154b2a0e2c3d4b03ae9ec225b5370c3b, ts20250522 02:04:16" } } ] 参数 类型 示例值 描述 id string eca534636baf4d568f86cbdb748208ed 事件ID。标识事件的唯一值。 source string ctyun.faas.trigger.kafka 事件源。Kafka触发器固定为ctyun.faas.trigger.kafka。 specversion string 1.0 CloudEvents协议版本。 type string kafka:topic:sendmessage 事件类型。 datacontenttype string application/json 参数data的内容形式。 subject string kafkatriggermqbjvsezbpdialtest:testforfaas 事件主体。格式为[SourceName]:[消息topic]。 time string 20250522T02:04:16Z 消息被触发的时间。 data object Kafka触发器独有消息格式，详细参见下文RawData描述。 RawData格式是CloudEvent格式的子集，只包含原始kafka消息的信息，消息结构相当于CloudEvent的data字段 plaintext [ { "offset" : 15280, "partition" : 0, "headers" : {}, "topic" : "testforfaas", "key" : "testkey", "timestamp" : 1747879456, "value" : "msg[9]: 154b2a0e2c3d4b03ae9ec225b5370c3b, ts20250522 02:04:16" } ] 参数 类型 示例值 描述 offset int 15280 消息偏移量。 partition int 0 分区信息。 headers map 消息携带的header。 topic string testforfaas topic的名称。 key string testkey 消息的key。 timestamp int 1747879456 Unix时间戳（秒）。 value string hello，kafka 消息的内容。