本文主要介绍查看磁盘使用量。 本章节指导您在控制台查看每个代理上磁盘的使用量。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例的“基本信息”页签。 步骤 5 在“磁盘存储统计”页签，查看磁盘的使用量。 图 查看磁盘的使用量 页面支持从以下三个方面对代理中的Topic磁盘使用量进行查询：使用量排名前xx 个、使用量达到xx GB和使用占比达 xx %。 在页面右上角，单击“查看监控数据”，跳转到云监控服务的监控指标页面。在监控指标页面，您可以查看Kafka实例的各项监控指标。

本节介绍Kafka 发送给Topic的消息在分区中分布不均衡原因 问题现象 发送消息到某个Topic后，该Topic下部分分区消息比较多，部分分区消息少，甚至没有。 可能原因 发送消息时指定了分区，导致未指定的分区没有消息。 发送消息时指定了消息Key，按照对应的Key发送消息至对应的分区，导致分区消息不均衡。 通过代码重新实现了分区分配策略，但策略逻辑有问题，导致分区消息不均衡。

本文介绍事件源中的请求参数。 请求参数 参数 类型 是否必选 示例值 描述 eventBusName String 是 test 事件总线的名称。 eventSourceName String 是 source1 事件源的名称。 desc String 否 test 事件源描述。 type String 是 simple 事件源类型，更多信息请参考下文关于事件源的格式。 eventSourceParams Arrays of Object 是 事件源参数，详见表 EventSourceParams，更多信息请参考下文关于事件源的格式。 表 EventSourceParams 参数 是否必填 参数类型 说明 resourceKey 是 String 事件源参数名。 value 是 String 事件源参数值。 form 是 String 事件源参数格式。 template 否 String 事件源参数模板样式。 分布式消息服务Kafka 当事件源的事件提供方选择分布式消息服务Kafka时，请求参数中的type为kafka，eventSourceParams 中的resourceKey 字段含义如下表所示： resourceKey 是否必传 form value template instanceId 是 CONSTANT 分布式消息服务Kafka实例ID。 无 topic 是 CONSTANT 主题名称。 无 groupName 是 CONSTANT 消费组名。 无 initialOffset 是 CONSTANT 消息位点。 最新位点：latest 最早位点：earliest 无 dataFormat 否 CONSTANT 数据格式,不填时默认为JSON编码格式： JSON格式编码：JSON 文本格式编码：Text 二进制格式编码：Binary 无 请求示例如下： plaintext { "eventSourceName": "source", "eventBusName": "test", "desc": "dddesc", "type": "kafka", "eventSourceParams": [ { "resourceKey": "instanceId", "value": "b16b04cf0776xxxxxfa31a001a5c48b6", "form": "constant" }, { "resourceKey": "topic", "value": "ebsource", "form": "constant" }, { "resourceKey": "groupName", "value": "ebgroup", "form": "constant" }, { "resourceKey": "initialOffset", "value": "latest", "form": "constant" }, { "resourceKey": "dataFormat", "value": "JSON", "form": "CONSTANT" } ] }

本文主要介绍 重置Kafka Manager密码。 操作场景 如果您忘记了创建实例时设置的Kafka Manager密码，通过重置Manager密码功能，重新设置一个新的密码，可使用新密码登录Kafka Manager。 前提条件 已创建Kafka实例，且实例处于“运行中”。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法，重置Kafka Manager密码。 在待重置Manager密码的Kafka实例所在行，单击“更多 > 重置Manager密码”。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 重置Manager密码”。 单击Kafka实例名称，进入实例详情页面。在“基本信息”页签，在“连接信息 > Manager用户名”后，单击“重置Manager密码”。 步骤 5 输入“新密码”和“确认密码”，单击“确定”，完成密码重置。 重置Manager密码成功，界面提示重置实例的密码成功。 重置Manager密码失败，界面提示重置实例的密码失败，请重新尝试重置密码操作。如果多次重置失败，请联系客服处理。 说明 只有所有代理都重置密码成功，系统才会提示重置密码成功，否则会提示重置失败。

天翼云OpenAPI门户提供了产品的API 文档、API调试、SDK中心等。 关于用户如何使用分布式消息服务Kafka产品API的详细介绍，请参见使用API（默认Ⅱ类资源池接口）。您可以在OpenAPI门户可以了解到具体的调用前必知、API概览、如何调用API以及具体的API的接口详细说明。 说明 Ⅱ类资源池版本：适用于 华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3、芜湖4、乌鲁木齐7 资源池，详情请参照 Ⅰ类资源池版本：适用于 芜湖2、上海7、贵州3、昆明2、重庆2、乌鲁木齐27、保定、石家庄20、内蒙6、北京5 资源池，详情请参照

事件目标是事件规则的一部分，负责消费经事件规则过滤与转换后的事件。 事件目标 事件总线EventBridge支持以下事件目标： 函数计算 分布式消息服务RocketMQ 分布式消息服务RabbitMQ 分布式消息服务Kafka HTTP、HTTPS地址

本文主要介绍步骤三：创建Topic。 Topic，即消息主题。创建Kafka实例成功后，如果没有开启“Kafka自动创建Topic”，需要手动创建Topic，然后才能进行生产消息和消费消息。如果实例开启了“Kafka自动创建Topic”，则该操作为可选，在进行生产时，会自动创建一个Topic，此Topic的默认参数值如下：分区数为3，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。 本文主要介绍手动创建Topic的操作，有以下三种方式，您可以根据实际情况选择任意一种方式： 方式1：在控制台创建 方式2：在Kafka Manager创建 方式3：在Kafka客户端上创建 方式1：在控制台创建 步骤 1 登录分布式消息服务Kafka控制台，选择Kafka实例所在的区域。 步骤 2 在“Kafka专享版”页面，单击Kafka实例的名称，进入实例详情页面。 步骤 3 在“Topic管理”页签，单击“创建Topic”，弹出“创建Topic”对话框。 步骤 4 填写Topic名称和配置信息，单击“确定”，完成创建Topic。 方式2：在Kafka Manager创建 登录Kafka Manager后，在页面顶部选择“Topic > Create”，然后按照界面参数填写即可。 注意 Topic名称开头包含特殊字符，例如下划线“”、 号“ ”时，监控数据无法展示。 方式3：在Kafka客户端上创建 仅在Kafka客户端版本为2.2以上 时，支持通过kafkatopics.sh创建Topic，以及管理Topic的各类参数。 注意 Topic名称开头包含特殊字符，例如下划线“”、

本章节介绍如何在控制台创建消费组。 如果在“配置参数”中开启了“auto.create.groups.enable”，则该操作为可选。“auto.create.groups.enable”表示在消费者进入未创建的消费组时，会自动创建此消费组。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏选择“消费组管理”，进入消费组列表页面。 步骤 6 单击“创建消费组”，弹出“创建消费组”对话框。 步骤 7 输入消费组名称，单击“确定”。 在消费组列表页面，查看新创建的消费组。

本文介绍事件流中事件源的元数据参数。 请求参数 参数 类型 是否必选 描述 eventStreamName String 是 事件流名。 streamSource Object 是 事件源项。详见表StreamSource，更多信息请参考下文事件源的格式。 desc String 否 事件源描述。 filterPattern String 是 事件过滤项。 transform Object 是 事件转换项。 streamSink Object 是 事件目标项。详见事件目标参数。 表 StreamSource 参数 类型 是否必选 描述 type String 是 事件源类型。 params Array of Objects 是 事件源参数，详见表Params。 表 Params 参数 是否必填 参数类型 说明 resourceKey 是 String 事件源参数名。 value 是 String 事件源参数值。 form 是 String 事件源参数格式。 template 否 String 事件源参数模板样式。 分布式消息服务Kafka 当事件源的事件提供方选择分布式消息服务Kafka时，请求参数中的type为kafka，params 中的resourceKey 字段含义如下表所示： resourceKey 是否必传 form value template instanceId 是 CONSTANT 分布式消息服务Kafka实例ID。 无 topic 是 CONSTANT 主题名称。 无 groupName 是 CONSTANT 消费组名。 无 initialOffset 是 CONSTANT 消息位点。 最新位点：latest 最早位点：earliest 无 dataFormat 否 CONSTANT 数据格式,不填时默认为JSON编码格式： JSON格式编码：JSON 文本格式编码：Text 二进制格式编码：Binary 无 事件源部分的参数示例如下： plaintext { "type": "kafka", "params": [ { "resourceKey": "instanceId", "value": "b16b04cf0776xxxxxfa31a001a5c48b6", "form": "constant" }, { "resourceKey": "topic", "value": "ebsource", "form": "constant" }, { "resourceKey": "groupName", "value": "ebgroup", "form": "constant" }, { "resourceKey": "initialOffset", "value": "latest", "form": "constant" }, { "resourceKey": "dataFormat", "value": "JSON", "form": "CONSTANT" } ] }

每个 Topic 会有多个分区，每个分区会统计当前消息的总条数，这个称为最大位点 MaxOffset。Kafka Consumer 会按顺序依次消费分区内的每条消息，记录已经消费了的消息条数，称为ConsumerOffset。 剩余的未消费的条数（也称为消息堆积量） MaxOffset ConsumerOffset

本文主要介绍修改同步复制和同步落盘。 同步复制指后端收到生产消息请求并复制给所有副本后，才返回客户端。 同步落盘指生产的每条消息都会立即写入磁盘。 开启：生产的每条消息都会立即写入磁盘，可靠性更高。 关闭：生产的消息存在内存中，不会立即写入磁盘。 本章节指导您在控制台修改同步复制和同步落盘。 说明 修改同步复制/同步落盘，不会重启实例。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 选择“Topic管理”页签，显示已创建的Topic详情。 步骤 6 通过以下任意一种方法，修改同步复制和同步落盘。 勾选Topic名称左侧的方框，可选一个或多个，单击信息栏左上侧的“编辑Topic”。 在待修改同步复制和同步落盘的Topic所在行，单击“编辑”。 步骤 7 在“编辑Topic”对话框中，开启或关闭同步复制和同步落盘，单击“确定”。 开启：单击。 关闭：单击。 说明 当副本数为1时，不能开启同步复制功能。 开启同步复制后，需要在客户端配置acksall或者1，否则无效。

Kafka 消费的语义是 “at least once”， 也就是至少投递一次，保证消息不丢，但是不会保证消息不重复。在出现网络问题、客户端重启时均有可能出现少量重复消息，此时应用消费端如果对消息重复比较敏感（比如说订单交易类），则应该做到消息幂等。 以数据库类应用为例，常用做法是： 发送消息时，传入 key 作为唯一流水号ID； 消费消息时，判断 key 是否已经消费过，如果已经消费过了，则忽略，如果没消费过，则消费一次； 当然，如果应用本身对少量消息重复不敏感，则不需要做此类幂等检查。

Kafka的消费机制是由客户端主动去服务端拉取消息进行消费的。因此，一般来说，如果客户端能够及时消费，则不会产生较大延迟。如果产生了较大延迟，请先关注是否有堆积，并注意提高消费速度。

本文主要介绍 按需转包周期。 选择按需付费的用户，可以选择“转包周期”，变更实例计费模式为包年/包月。 说明 实例从按需变为包周期计费时，不影响应用，只是计费方式变了。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法，实现按需实例转包周期。 勾选Kafka实例名称左侧的方框，可选一个或多个，单击信息栏左上侧的“转包周期”，弹出“转包周期”对话框，单击“是”，跳转到“按需转包年/包月”页面。 在待转包周期的Kafka实例所在行，单击“更多 > 转包周期”，跳转到“按需转包年/包月”页面。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 转包周期”，跳转到“按需转包年/包月”页面。 步骤 5 选择续费时长，然后单击“去支付”，根据界面提示信息，支付费用，完成实例转包周期操作。

参数 说明 触发事件类型 选择触发作业运行的事件类型。 “KAFKA” “KAFKA”触发事件类型的参数 连接名称 选择数据连接，需先在“管理中心”创建kafka数据连接。 Topic 选择需要发往kafka的消息Topic。 事件处理并发数 选择作业并行处理的数量，最大并发数为128。 事件检测间隔 配置时间间隔，检测通道下是否有新的消息。时间间隔单位可以配置为秒或分钟。 读取策略 选择数据的读取位置： 从上次位置读取：首次启动时，从最新的位置读取数据。后续启动时，则从前一次记录的位置读取数据。 从最新位置读取：每次启动都会从最新的位置读取数据。 失败策略 选择调度失败后的策略： 挂起 忽略失败，读取下一个

本章介绍函数工作流如何使用Kafka触发器。 使用Kafka触发器后，FunctionGraph会定期轮询Kafka实例指定Topic下的新消息，FunctionGraph将轮询得到的消息作为参数传递来调用函数。 前提条件 进行操作之前，需要做好以下准备。 已经创建函数。 创建Kafka触发器，必须开启函数工作流VPC访问，请参见配置网络。 已经创建Kafka实例。 在Kafka实例下创建主题。 创建Kafka触发器 1、登录函数工作流控制台，在左侧的导航栏选择“函数 > 函数列表”。 2、选择待配置的函数，单击进入函数详情页。 3、选择“设置 > 触发器”，单击“创建触发器”，弹出“创建触发器”对话框。 4、设置以下信息。 触发器类型：选择“分布式消息服务（Kafka）”。 实例：选择已创建专享版Kafka实例。 主题：选择专享版Kafka实例的Topic。 批处理大小：每次从Topic消费的消息数量。 用户名：Kafka实例开启SSL时需要填写。连接Kafka专享版实例的用户名。 密码：Kafka实例开启SSL时需要填写。连接Kafka专享版实例的密码。 5、单击“确定”，完成kafka触发器的创建。 说明 开启函数流VPC访问后，需要在Kafka服务安全组配置对应子网的权限。如何开启VPC访问请参见 Kafka触发器当前支持选择多个Topic主题，从而避免Topic过多导致创建的触发器数量被限制。 配置Kafka事件触发函数。 1、返回函数工作流控制台，在左侧的导航栏选择“函数 > 函数列表”。 2、选择待配置的函数，单击进入函数详情页。 3、在函数详情页，选择函数版本。 4、在“代码”页签下，单击“测试”，弹出“配置测试事件”对话框。 5、填写如下表示测试信息后，单击“保存”。 测试信息 参数 说明 配置测试事件 可创建新的测试事件也可编辑已有的测试事件。选择默认值：“创建新的测试事件”。 事件模板 选择"kafkaeventtemplate"模板，使用系统内置Kafka事件模板。 事件名称 事件名称必须以大写或小写字母开头，支持字母（大写或小写），数字和下划线“”（或中划线“”），并以字母或数字结尾，长度为125个字符，例如kafka123test。 测试事件 自动加载系统内置kafka事件模板，本例不做修改。 6、单击“测试”，可以得到函数运行结果，函数会返回输入kafka消息数据。

本文主要介绍 修改Topic老化时间。 老化时间即消息的最长保留时间，消费者必须在此时间结束前消费消息，否则消息将被删除。删除的消息，无法被消费。 创建Topic成功之后，您可以根据业务需要修改Topic的老化时间。修改老化时间，不会影响业务。Topic老化时间，默认为72小时。 修改老化时间可以通过以下方式实现： 在“Topic管理”中，修改老化时间。 在“配置参数”中，修改“log.retention.hours”参数值，具体步骤请参考修改配置参数。 说明 如果Topic已经设置了老化时间，此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时，“配置参数”中的log.retention.hours值才会对此Topic生效。例如：Topic01设置的老化时间为60小时，“配置参数”中的log.retention.hours值为72小时，此时Topic01实际的老化时间为60小时。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 选择“Topic管理”页签，显示已创建的Topic详情。 步骤 6 通过以下任意一种方法，修改Topic老化时间。 勾选Topic名称左侧的方框，可选一个或多个，单击信息栏左上侧的“编辑Topic”。 在待修改老化时间的Topic所在行，单击“编辑”。 步骤 7 在“编辑Topic”对话框中，输入老化时间，单击“确定”。

专属云（计算独享型） 该服务为专属云Kafka开通前必选服务，在开通了专属云计算独享后，才能在控制台中节点选择此专属云标识的环境，再进入控制台的分布式消息服务，来操作专属云Kafka的开通。 专属云（存储独享型） 该服务为专属云Kafka开通时的可选服务，在进如专属云Kafka的开通过程中，队列实例规格必须在专属云计算独享型，而队列存储的部分支持选择公有云的云盘承载，也可选择已经购买的专属云存储独享型，可根据需求灵活选择。

本文主要介绍 删除Topic。 本章节指导您删除Topic，请根据实际情况选择以下任意一种方式： 在控制台删除 在Kafka客户端上删除 前提条件 已创建Kafka实例，并且已创建Topic。 只有运行中的实例才可以删除Topic。 在控制台删除 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 选择“Topic管理”页签，显示已创建的Topic详情。 步骤 6 通过以下任意一种方法，删除Topic。 勾选Topic名称左侧的方框，可选一个或多个，单击信息栏左上侧的“删除Topic”。 在待删除Topic所在行，单击“更多 > 删除”。 步骤 7 在“删除Topic”对话框中，单击“是”，确认删除Topic。 在Kafka客户端上删除 Kafka客户端版本为2.2以上 时，支持通过kafkatopics.sh删除Topic。 未开启SASL的Kafka实例，在“/{命令行工具所在目录}/kafka{version}/bin/”目录下，通过以下命令删除Topic。 ./kafkatopics.sh bootstrapserver {brokerip}:{port} delete topic {topicname} 已开启SASL的Kafka实例，通过以下步骤删除Topic。 （可选）如果已经设置了SSL证书配置，请跳过此步骤。否则请执行以下操作。在Kafka客户端的“/config”目录中创建“ssluserconfig.properties”文件，参考步骤3增加SSL证书配置。 在“/{命令行工具所在目录}/kafka{version}/bin/”目录下，通过以下命令删除Topic。 ./kafkatopics.sh bootstrapserver {brokerip}:{port} delete topic {topicname} commandconfig ./config/ssluserconfig.properties

磁盘数目 存储磁盘的 IOPS（每秒输入/输出操作次数）和每秒读/写字节数有限制。创建新分区时，Kafka 会将每个新分区存储在现有分区最少的磁盘上，以便在可用磁盘之间平衡分区的数目。尽管有存储策略进行调节，但在处理每个磁盘上的数百个分区副本时，Kafka 很容易就会使可用磁盘吞吐量达到饱和。此时，需要在吞吐量与成本之间进行取舍。如果应用场景需要更大的吞吐量，请创建一个可为每个代理提供更多托管磁盘的群集。 主题和分区的数目 Kafka生产者将写入主题。Kafka 消费者读取主题。主题与日志相关联，该日志是磁盘上的数据结构。Kafka 将生产者中的记录追加到主题日志的末尾。主题日志包括分散在多个文件之间的多个分区。而这些文件又分散在多个 Kafka 群集节点之间。消费者可以按照自己的节奏从 Kafka 主题中读取内容，并可以在主题日志中选择自己的位置（偏移）。 每个 Kafka 分区是在系统上的一个日志文件，生产者线程可以同时写入到多个日志。同样，由于每个消费者线程从一个分区读取消息，因此也能并行处理从多个分区使用消息的操作。 提高分区密度（每个代理的分区数）会增大与元数据操作以及每个分区领先者及其后继者之间的分区请求/响应相关的开销。即使不存在流动的数据，分区副本也仍会从领先者提取数据，导致需要通过网络额外处理发送和接收请求。 对于 HDInsight 中的 Apache Kafka 群集 2.1 和 2.4 以及更高版本，我们建议最多为每个代理提供 2000 个分区（包括副本）。增加每个代理的分区数会降低吞吐量，并可能导致主题不可用。

本文主要介绍重置SASLSSL密码。 操作场景 在“用户管理”页签创建的SASLSSL用户，如果忘记了SASLSSL密码，通过重置SASLSSL密码功能，重新设置一个新的密码，可使用新密码连接Kafka实例。 如果忘记了创建实例时设置的SASLSSL密码，请参考重置Kafka密码，重置密码。 说明 仅开启Kafka SASLSSL认证的Kafka实例才可以重置SASLSSL密码。 只有处于“运行中”状态的Kafka实例支持重置SASLSSL密码。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击待重置SASLSSL密码的Kafka实例名称，进入实例详情页面。 步骤 5 在“用户管理”页签，在待重置SASLSSL密码的用户所在行，单击“重置密码”。 步骤 6 输入“新密码”，单击“确定”，完成密码重置。 如果重置密码成功，界面提示重置实例的密码成功。 如果重置密码失败，界面提示重置实例的密码失败，请重新尝试重置密码操作。如果多次重置失败，请联系客服处理。 说明 只有所有代理都重置密码成功，系统才会提示重置密码成功，否则会提示重置失败。

本节介绍如何关闭Smart Connect。 如果不再使用Smart Connect相关功能，您可以关闭Smart Connect，释放资源。 关闭Smart Connect不会影响业务。 约束与限制 关闭Smart Connect后，实例会停止收取用于Smart Connect的代理费用，并自动删除用于Smart Connect的代理。 关闭Smart Connect后，再重新开启Smart Connect，已删除的Smart Connect任务无法找回，需要重新创建。 前提条件 已创建Kafka实例，且实例状态为“运行中”。 关闭Smart Connect前，请先删除所有的Smart Connect任务，否则无法关闭Smart Connect。此操作是为了防止关闭Smart Connect导致正在运行的Smart Connect任务丢失。 关闭Smart Connect 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、通过以下任意一种方法，关闭Smart Connect。 在待关闭Smart Connect的Kafka实例所在行，单击“更多 > 关闭Smart Connect”。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 关闭Smart Connect”。 5、单击，将Smart Connect设置为关闭，单击“下一步”。 6、确认“Smart Connect”为关闭状态，单击“提交”。 结束

步骤二：替换证书 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 此处请选择与您的应用服务相同的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击待替换证书的实例名称，进入实例详情页面。 步骤 5 在“连接信息 > SSL证书”后，单击“替换”，弹出“替换SSL证书”对话框。 图 连接信息 步骤 6 参考下表，设置替换SSL证书的参数。 图 替换SSL证书 表 替换SSL证书参数说明 参数名称 说明 Key密码 输入制作证书中设置的keystore密码 Keystore密码 输入制作证书中设置的keystore密码 Keystore文件 导入“server.keystore.jks”证书 Truststore密码 输入服务端证书的Truststore密码 Truststore文件 导入“server.truststore.jks”证书 步骤 7 单击“确定”，弹出“替换SSL证书”对话框。 步骤 8 单击“确认”，完成证书的替换。 在“后台任务管理”页签，替换SSL证书任务的“状态”为“成功”时，表示替换证书成功。 说明 证书替换成功后，在实例详情页单击“下载”，下载的证书为分布式消息服务Kafka提供的证书，并非您自己制作的证书。

分类 云产品 支持审计的关键操作列表 容器与中间件 云容器引擎 容器与中间件 容器镜像服务 容器与中间件 分布式消息服务Kafka 容器与中间件 弹性容器实例

./kafkaconsoleproducer.sh brokerlist 10.3.196.45:9095,10.78.42.127:9095,10.4.49.103:9095 topic topicdemo producer.config ../config/producer.properties >Hello >DMS >Kafka! >^C[root@ecskafka bin] 如需停止生产使用Ctrl+C命令退出。 步骤 6 执行如下命令消费消息。 ./kafkaconsoleconsumer.sh bootstrapserver ${连接地址} topic ${Topic名称} group ${消费组名称} frombeginning consumer.config ../config/consumer.properties 参数说明如下： 连接地址：从前提条件获取的连接地址，如果是公网访问，请使用“公网连接地址”，如果是VPC内访问，请使用“内网连接地址”，请根据实际情况选择。 Topic名称：Kafka实例下创建的Topic名称。 消费组名称：根据您的业务需求，设定消费组名称。 如果已经在配置文件中指定了消费组名称，请确保命令行中的消费组名称与配置文件中的相同，否则可能消费失败。 消费组名称开头包含特殊字符，例如下划线“”、 号“ ”时，监控数据无法展示。 示例如下： [root@ecskafka bin] ./kafkaconsoleconsumer.sh bootstrapserver 10.3.196.45:9095,10.78.42.127:9095,10.4.49.103:9095 topic topicdemo group ordertest frombeginning consumer.config ../config/consumer.properties Hello DMS Kafka! ^CProcessed a total of 3 messages [root@ecskafka bin] 如需停止消费使用Ctrl+C命令退出。

本文主要介绍 查看流控监控。 本章节指导您在控制台查看每个代理上用户/客户端/Topic的流控使用量。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏单击“流控管理 > 流控监控”，进入流控监控页面。 步骤 6 设置查询流控的参数。 表查询流控的参数说明 参数 说明 :: 统计方式 设置流控的统计方式。 前n个：统计带宽使用量排名前x 个的用户/客户端/Topic，x由您自行输入 带宽速率：统计带宽速率大于x MB/s的用户/客户端/Topic，x由您自行输入 带宽使用量：统计带宽使用量超过x %的用户/客户端/Topic，x由您自行输入 统计类型 设置流控的统计类型。 生产：统计生产消息的流控 消费：统计消费消息的流控 统计维度 设置流控的统计维度。 User/Client：统计用户/客户端的流控 Topic：统计Topic的流控 图 查询流控的参数 步骤 7 单击“查询”，查看每个代理上用户/客户端/Topic的流控使用量。

本文主要介绍编辑流控。 操作场景 本章节指导您在流控创建成功后，修改生产上限速率或者消费上限速率。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏单击“流控管理 > 流控列表”，进入流控列表页面。 步骤 6 在待修改的流控所在行，单击“编辑”，弹出“编辑流控”对话框。 步骤 7 修改生产上限速率或者消费上限速率，单击“确定”，跳转到“后台任务管理”页面，当流控任务的“状态”为“成功”时，表示流控修改成功。 进入“流控管理 > 流控列表”页面，查看修改后流控的生产上限速率或者消费上限速率。 说明 “生产上限速率”和“消费上限速率”不可同时为空。

使用javaagent，可追踪kafka消息从生产到消费的整条链路。 依赖引入 c org.springframework.boot springbootstarterparent 2.7.18 org.springframework.boot springbootstarter org.springframework.boot springbootstarterweb org.springframework.kafka springkafka org.projectlombok lombok true com.fasterxml.jackson.core jacksondatabind com.fasterxml.jackson.datatype jacksondatatypejsr310 kafka 配置 c spring: kafka: Kafka 服务器地址 bootstrapservers: localhost:9092 生产者配置 producer: keyserializer: org.apache.kafka.common.serialization.StringSerializer valueserializer: org.apache.kafka.common.serialization.StringSerializer acks: all retries: 3 properties: max.request.size: 10485760 消费者配置 consumer: groupid: mygroup autooffsetreset: earliest keydeserializer: org.apache.kafka.common.serialization.StringDeserializer valuedeserializer: org.apache.kafka.common.serialization.StringDeserializer enableautocommit: false maxpollrecords: 500 监听器配置 listener: type: batch concurrency: 3 c @Configuration public class KafkaConfig { / 批量消费配置 / @Bean public ConcurrentKafkaListenerContainerFactory batchFactory( ConsumerFactory consumerFactory) { ConcurrentKafkaListenerContainerFactory factory new ConcurrentKafkaListenerContainerFactory<>(); factory.setConsumerFactory(consumerFactory); factory.setBatchListener(true); // 开启批量监听 factory.getContainerProperties().setAckMode(ContainerProperties.AckMode.MANUAL); return factory; } }

验证数据是否同步 1、 在目标集群中查看Topic列表，确认是否有源集群Topic。 说明 目标集群中的Topic名称和源集群相比，多了前缀（如A.），这属于正常情况，是MirrorMaker 2为了防止Topic循环备份进行的设置。 2、 在源集群生产并消费消息，在目标集群查看消费进度，确认数据是否已从源集群同步到了目标集群。 如果目标集群为Kafka实例的话，在分布式消息服务Kafka控制台的“消费组管理 > 消费进度”中，查看消费进度。

使用javaagent，可追踪kafka消息从生产到消费的整条链路。 依赖引入 c org.springframework.boot springbootstarterparent 2.7.18 org.springframework.boot springbootstarter org.springframework.boot springbootstarterweb org.springframework.kafka springkafka org.projectlombok lombok true com.fasterxml.jackson.core jacksondatabind com.fasterxml.jackson.datatype jacksondatatypejsr310 kafka 配置 c spring: kafka: Kafka 服务器地址 bootstrapservers: localhost:9092 生产者配置 producer: keyserializer: org.apache.kafka.common.serialization.StringSerializer valueserializer: org.apache.kafka.common.serialization.StringSerializer acks: all retries: 3 properties: max.request.size: 10485760 消费者配置 consumer: groupid: mygroup autooffsetreset: earliest keydeserializer: org.apache.kafka.common.serialization.StringDeserializer valuedeserializer: org.apache.kafka.common.serialization.StringDeserializer enableautocommit: false maxpollrecords: 500 监听器配置 listener: type: batch concurrency: 3 c @Configuration public class KafkaConfig { / 批量消费配置 / @Bean public ConcurrentKafkaListenerContainerFactory batchFactory( ConsumerFactory consumerFactory) { ConcurrentKafkaListenerContainerFactory factory new ConcurrentKafkaListenerContainerFactory<>(); factory.setConsumerFactory(consumerFactory); factory.setBatchListener(true); // 开启批量监听 factory.getContainerProperties().setAckMode(ContainerProperties.AckMode.MANUAL); return factory; } }

方案概述 Kafka将Topic划分为多个分区，消息被存储在不同的分区中。在同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积，从而会造成消息消费延迟。 导致消息堆积的常见原因如下： 生产者短时间内生产大量消息到Topic，消费者无法及时消费。 消费者的消费能力不足（消费者并发低、消息处理时间长），导致消费效率低于生产效率。 消费者异常（如消费者故障、消费者网络异常等）导致无法消费消息。 Topic分区设置不合理（leader副本都集中在部分Broker中、分区数太少），或新增分区无消费者消费。 Topic频繁重平衡导致性能下降，消费效率降低。 实施步骤 从消息堆积的原因看，消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 消费者端 根据实际业务需求，合理增加消费者个数（消费并发度），建议消费者数量和分区数保持一致。 提高消费者的消费速度，通过优化消费者处理逻辑（减少复杂计算、第三方接口调用和读库操作），减少消费时间。 增加消费者每次拉取消息的数量：拉取数据/处理时间 > 生产速度。 生产者端 生产消息时，给消息Key加随机后缀，使消息均衡分布到不同分区上。（在实际业务场景中，为消息Key加随机后缀，会导致消息全局不保序，需根据实际业务判断是否适合给消息Key加随机后缀。） 服务端 合理设置Topic的分区数，在不影响业务处理效率的情况下，调大Topic的分区数量。 当服务端出现消息堆积时，对生产者进行熔断，或将生产者的消息转发到其他Topic。

本文主要介绍查看实例后台任务。 . 对实例的一些操作，如修改公网访问开关、修改容量阈值策略等，会启动一个后台任务，您可以在后台任务页，查看该操作的状态等信息，同时可通过删除操作，清理任务信息。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例的“基本信息”页签。 步骤 5 单击“后台任务管理”页签，进入后台任务管理页面。 界面显示任务列表。 步骤 6 在右上角单击系统默认时间，选择开始时间和结束时间，单击“确定”，界面显示相应时间段内启动的任务。 在后台任务管理页面，您还可以执行以下操作： 单击，刷新任务状态。 单击“删除”，弹出“删除任务记录”对话框，单击“是”，清理任务信息。 说明 您只能在任务已经执行完成，即任务状态为成功或者失败时，才能执行删除操作。