本文介绍事件流中事件源的元数据参数。 请求参数 参数 类型 是否必选 描述 eventStreamName String 是 事件流名。 streamSource Object 是 事件源项。详见表StreamSource，更多信息请参考下文事件源的格式。 desc String 否 事件源描述。 filterPattern String 是 事件过滤项。 transform Object 是 事件转换项。 streamSink Object 是 事件目标项。详见事件目标参数。 表 StreamSource 参数 类型 是否必选 描述 type String 是 事件源类型。 params Array of Objects 是 事件源参数，详见表Params。 表 Params 参数 是否必填 参数类型 说明 resourceKey 是 String 事件源参数名。 value 是 String 事件源参数值。 form 是 String 事件源参数格式。 template 否 String 事件源参数模板样式。 分布式消息服务Kafka 当事件源的事件提供方选择分布式消息服务Kafka时，请求参数中的type为kafka，params 中的resourceKey 字段含义如下表所示： resourceKey 是否必传 form value template instanceId 是 CONSTANT 分布式消息服务Kafka实例ID。 无 topic 是 CONSTANT 主题名称。 无 groupName 是 CONSTANT 消费组名。 无 initialOffset 是 CONSTANT 消息位点。 最新位点：latest 最早位点：earliest 无 dataFormat 否 CONSTANT 数据格式,不填时默认为JSON编码格式： JSON格式编码：JSON 文本格式编码：Text 二进制格式编码：Binary 无 事件源部分的参数示例如下： plaintext { "type": "kafka", "params": [ { "resourceKey": "instanceId", "value": "b16b04cf0776xxxxxfa31a001a5c48b6", "form": "constant" }, { "resourceKey": "topic", "value": "ebsource", "form": "constant" }, { "resourceKey": "groupName", "value": "ebgroup", "form": "constant" }, { "resourceKey": "initialOffset", "value": "latest", "form": "constant" }, { "resourceKey": "dataFormat", "value": "JSON", "form": "CONSTANT" } ] }

本文主要介绍 按需转包周期。 选择按需付费的用户，可以选择“转包周期”，变更实例计费模式为包年/包月。 说明 实例从按需变为包周期计费时，不影响应用，只是计费方式变了。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法，实现按需实例转包周期。 勾选Kafka实例名称左侧的方框，可选一个或多个，单击信息栏左上侧的“转包周期”，弹出“转包周期”对话框，单击“是”，跳转到“按需转包年/包月”页面。 在待转包周期的Kafka实例所在行，单击“更多 > 转包周期”，跳转到“按需转包年/包月”页面。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 转包周期”，跳转到“按需转包年/包月”页面。 步骤 5 选择续费时长，然后单击“去支付”，根据界面提示信息，支付费用，完成实例转包周期操作。

本文主要介绍修改同步复制和同步落盘。 同步复制指后端收到生产消息请求并复制给所有副本后，才返回客户端。 同步落盘指生产的每条消息都会立即写入磁盘。 开启：生产的每条消息都会立即写入磁盘，可靠性更高。 关闭：生产的消息存在内存中，不会立即写入磁盘。 本章节指导您在控制台修改同步复制和同步落盘。 说明 修改同步复制/同步落盘，不会重启实例。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 选择“Topic管理”页签，显示已创建的Topic详情。 步骤 6 通过以下任意一种方法，修改同步复制和同步落盘。 勾选Topic名称左侧的方框，可选一个或多个，单击信息栏左上侧的“编辑Topic”。 在待修改同步复制和同步落盘的Topic所在行，单击“编辑”。 步骤 7 在“编辑Topic”对话框中，开启或关闭同步复制和同步落盘，单击“确定”。 开启：单击。 关闭：单击。 说明 当副本数为1时，不能开启同步复制功能。 开启同步复制后，需要在客户端配置acksall或者1，否则无效。

分类 云产品 支持审计的关键操作列表 容器与中间件 云容器引擎 容器与中间件 容器镜像服务 容器与中间件 分布式消息服务Kafka 容器与中间件 弹性容器实例

本章介绍函数工作流如何使用Kafka触发器。 使用Kafka触发器后，FunctionGraph会定期轮询Kafka实例指定Topic下的新消息，FunctionGraph将轮询得到的消息作为参数传递来调用函数。 前提条件 进行操作之前，需要做好以下准备。 已经创建函数。 创建Kafka触发器，必须开启函数工作流VPC访问，请参见配置网络。 已经创建Kafka实例。 在Kafka实例下创建主题。 创建Kafka触发器 1、登录函数工作流控制台，在左侧的导航栏选择“函数 > 函数列表”。 2、选择待配置的函数，单击进入函数详情页。 3、选择“设置 > 触发器”，单击“创建触发器”，弹出“创建触发器”对话框。 4、设置以下信息。 触发器类型：选择“分布式消息服务（Kafka）”。 实例：选择已创建专享版Kafka实例。 主题：选择专享版Kafka实例的Topic。 批处理大小：每次从Topic消费的消息数量。 用户名：Kafka实例开启SSL时需要填写。连接Kafka专享版实例的用户名。 密码：Kafka实例开启SSL时需要填写。连接Kafka专享版实例的密码。 5、单击“确定”，完成kafka触发器的创建。 说明 开启函数流VPC访问后，需要在Kafka服务安全组配置对应子网的权限。如何开启VPC访问请参见 Kafka触发器当前支持选择多个Topic主题，从而避免Topic过多导致创建的触发器数量被限制。 配置Kafka事件触发函数。 1、返回函数工作流控制台，在左侧的导航栏选择“函数 > 函数列表”。 2、选择待配置的函数，单击进入函数详情页。 3、在函数详情页，选择函数版本。 4、在“代码”页签下，单击“测试”，弹出“配置测试事件”对话框。 5、填写如下表示测试信息后，单击“保存”。 测试信息 参数 说明 配置测试事件 可创建新的测试事件也可编辑已有的测试事件。选择默认值：“创建新的测试事件”。 事件模板 选择"kafkaeventtemplate"模板，使用系统内置Kafka事件模板。 事件名称 事件名称必须以大写或小写字母开头，支持字母（大写或小写），数字和下划线“”（或中划线“”），并以字母或数字结尾，长度为125个字符，例如kafka123test。 测试事件 自动加载系统内置kafka事件模板，本例不做修改。 6、单击“测试”，可以得到函数运行结果，函数会返回输入kafka消息数据。

本节介绍如何关闭Smart Connect。 如果不再使用Smart Connect相关功能，您可以关闭Smart Connect，释放资源。 关闭Smart Connect不会影响业务。 约束与限制 关闭Smart Connect后，实例会停止收取用于Smart Connect的代理费用，并自动删除用于Smart Connect的代理。 关闭Smart Connect后，再重新开启Smart Connect，已删除的Smart Connect任务无法找回，需要重新创建。 前提条件 已创建Kafka实例，且实例状态为“运行中”。 关闭Smart Connect前，请先删除所有的Smart Connect任务，否则无法关闭Smart Connect。此操作是为了防止关闭Smart Connect导致正在运行的Smart Connect任务丢失。 关闭Smart Connect 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、通过以下任意一种方法，关闭Smart Connect。 在待关闭Smart Connect的Kafka实例所在行，单击“更多 > 关闭Smart Connect”。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 关闭Smart Connect”。 5、单击，将Smart Connect设置为关闭，单击“下一步”。 6、确认“Smart Connect”为关闭状态，单击“提交”。 结束

本文主要介绍 修改Topic老化时间。 老化时间即消息的最长保留时间，消费者必须在此时间结束前消费消息，否则消息将被删除。删除的消息，无法被消费。 创建Topic成功之后，您可以根据业务需要修改Topic的老化时间。修改老化时间，不会影响业务。Topic老化时间，默认为72小时。 修改老化时间可以通过以下方式实现： 在“Topic管理”中，修改老化时间。 在“配置参数”中，修改“log.retention.hours”参数值，具体步骤请参考修改配置参数。 说明 如果Topic已经设置了老化时间，此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时，“配置参数”中的log.retention.hours值才会对此Topic生效。例如：Topic01设置的老化时间为60小时，“配置参数”中的log.retention.hours值为72小时，此时Topic01实际的老化时间为60小时。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 选择“Topic管理”页签，显示已创建的Topic详情。 步骤 6 通过以下任意一种方法，修改Topic老化时间。 勾选Topic名称左侧的方框，可选一个或多个，单击信息栏左上侧的“编辑Topic”。 在待修改老化时间的Topic所在行，单击“编辑”。 步骤 7 在“编辑Topic”对话框中，输入老化时间，单击“确定”。

专属云（计算独享型） 该服务为专属云Kafka开通前必选服务，在开通了专属云计算独享后，才能在控制台中节点选择此专属云标识的环境，再进入控制台的分布式消息服务，来操作专属云Kafka的开通。 专属云（存储独享型） 该服务为专属云Kafka开通时的可选服务，在进如专属云Kafka的开通过程中，队列实例规格必须在专属云计算独享型，而队列存储的部分支持选择公有云的云盘承载，也可选择已经购买的专属云存储独享型，可根据需求灵活选择。

磁盘数目 存储磁盘的 IOPS（每秒输入/输出操作次数）和每秒读/写字节数有限制。创建新分区时，Kafka 会将每个新分区存储在现有分区最少的磁盘上，以便在可用磁盘之间平衡分区的数目。尽管有存储策略进行调节，但在处理每个磁盘上的数百个分区副本时，Kafka 很容易就会使可用磁盘吞吐量达到饱和。此时，需要在吞吐量与成本之间进行取舍。如果应用场景需要更大的吞吐量，请创建一个可为每个代理提供更多托管磁盘的群集。 主题和分区的数目 Kafka生产者将写入主题。Kafka 消费者读取主题。主题与日志相关联，该日志是磁盘上的数据结构。Kafka 将生产者中的记录追加到主题日志的末尾。主题日志包括分散在多个文件之间的多个分区。而这些文件又分散在多个 Kafka 群集节点之间。消费者可以按照自己的节奏从 Kafka 主题中读取内容，并可以在主题日志中选择自己的位置（偏移）。 每个 Kafka 分区是在系统上的一个日志文件，生产者线程可以同时写入到多个日志。同样，由于每个消费者线程从一个分区读取消息，因此也能并行处理从多个分区使用消息的操作。 提高分区密度（每个代理的分区数）会增大与元数据操作以及每个分区领先者及其后继者之间的分区请求/响应相关的开销。即使不存在流动的数据，分区副本也仍会从领先者提取数据，导致需要通过网络额外处理发送和接收请求。 对于 HDInsight 中的 Apache Kafka 群集 2.1 和 2.4 以及更高版本，我们建议最多为每个代理提供 2000 个分区（包括副本）。增加每个代理的分区数会降低吞吐量，并可能导致主题不可用。

本文主要介绍 删除Topic。 本章节指导您删除Topic，请根据实际情况选择以下任意一种方式： 在控制台删除 在Kafka客户端上删除 前提条件 已创建Kafka实例，并且已创建Topic。 只有运行中的实例才可以删除Topic。 在控制台删除 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 选择“Topic管理”页签，显示已创建的Topic详情。 步骤 6 通过以下任意一种方法，删除Topic。 勾选Topic名称左侧的方框，可选一个或多个，单击信息栏左上侧的“删除Topic”。 在待删除Topic所在行，单击“更多 > 删除”。 步骤 7 在“删除Topic”对话框中，单击“是”，确认删除Topic。 在Kafka客户端上删除 Kafka客户端版本为2.2以上 时，支持通过kafkatopics.sh删除Topic。 未开启SASL的Kafka实例，在“/{命令行工具所在目录}/kafka{version}/bin/”目录下，通过以下命令删除Topic。 ./kafkatopics.sh bootstrapserver {brokerip}:{port} delete topic {topicname} 已开启SASL的Kafka实例，通过以下步骤删除Topic。 （可选）如果已经设置了SSL证书配置，请跳过此步骤。否则请执行以下操作。在Kafka客户端的“/config”目录中创建“ssluserconfig.properties”文件，参考步骤3增加SSL证书配置。 在“/{命令行工具所在目录}/kafka{version}/bin/”目录下，通过以下命令删除Topic。 ./kafkatopics.sh bootstrapserver {brokerip}:{port} delete topic {topicname} commandconfig ./config/ssluserconfig.properties

步骤二：替换证书 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 此处请选择与您的应用服务相同的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击待替换证书的实例名称，进入实例详情页面。 步骤 5 在“连接信息 > SSL证书”后，单击“替换”，弹出“替换SSL证书”对话框。 图 连接信息 步骤 6 参考下表，设置替换SSL证书的参数。 图 替换SSL证书 表 替换SSL证书参数说明 参数名称 说明 Key密码 输入制作证书中设置的keystore密码 Keystore密码 输入制作证书中设置的keystore密码 Keystore文件 导入“server.keystore.jks”证书 Truststore密码 输入服务端证书的Truststore密码 Truststore文件 导入“server.truststore.jks”证书 步骤 7 单击“确定”，弹出“替换SSL证书”对话框。 步骤 8 单击“确认”，完成证书的替换。 在“后台任务管理”页签，替换SSL证书任务的“状态”为“成功”时，表示替换证书成功。 说明 证书替换成功后，在实例详情页单击“下载”，下载的证书为分布式消息服务Kafka提供的证书，并非您自己制作的证书。

./kafkaconsoleproducer.sh brokerlist 10.3.196.45:9095,10.78.42.127:9095,10.4.49.103:9095 topic topicdemo producer.config ../config/producer.properties >Hello >DMS >Kafka! >^C[root@ecskafka bin] 如需停止生产使用Ctrl+C命令退出。 步骤 6 执行如下命令消费消息。 ./kafkaconsoleconsumer.sh bootstrapserver ${连接地址} topic ${Topic名称} group ${消费组名称} frombeginning consumer.config ../config/consumer.properties 参数说明如下： 连接地址：从前提条件获取的连接地址，如果是公网访问，请使用“公网连接地址”，如果是VPC内访问，请使用“内网连接地址”，请根据实际情况选择。 Topic名称：Kafka实例下创建的Topic名称。 消费组名称：根据您的业务需求，设定消费组名称。 如果已经在配置文件中指定了消费组名称，请确保命令行中的消费组名称与配置文件中的相同，否则可能消费失败。 消费组名称开头包含特殊字符，例如下划线“”、 号“ ”时，监控数据无法展示。 示例如下： [root@ecskafka bin] ./kafkaconsoleconsumer.sh bootstrapserver 10.3.196.45:9095,10.78.42.127:9095,10.4.49.103:9095 topic topicdemo group ordertest frombeginning consumer.config ../config/consumer.properties Hello DMS Kafka! ^CProcessed a total of 3 messages [root@ecskafka bin] 如需停止消费使用Ctrl+C命令退出。

本文主要介绍编辑流控。 操作场景 本章节指导您在流控创建成功后，修改生产上限速率或者消费上限速率。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏单击“流控管理 > 流控列表”，进入流控列表页面。 步骤 6 在待修改的流控所在行，单击“编辑”，弹出“编辑流控”对话框。 步骤 7 修改生产上限速率或者消费上限速率，单击“确定”，跳转到“后台任务管理”页面，当流控任务的“状态”为“成功”时，表示流控修改成功。 进入“流控管理 > 流控列表”页面，查看修改后流控的生产上限速率或者消费上限速率。 说明 “生产上限速率”和“消费上限速率”不可同时为空。

本文主要介绍重置SASLSSL密码。 操作场景 在“用户管理”页签创建的SASLSSL用户，如果忘记了SASLSSL密码，通过重置SASLSSL密码功能，重新设置一个新的密码，可使用新密码连接Kafka实例。 如果忘记了创建实例时设置的SASLSSL密码，请参考重置Kafka密码，重置密码。 说明 仅开启Kafka SASLSSL认证的Kafka实例才可以重置SASLSSL密码。 只有处于“运行中”状态的Kafka实例支持重置SASLSSL密码。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击待重置SASLSSL密码的Kafka实例名称，进入实例详情页面。 步骤 5 在“用户管理”页签，在待重置SASLSSL密码的用户所在行，单击“重置密码”。 步骤 6 输入“新密码”，单击“确定”，完成密码重置。 如果重置密码成功，界面提示重置实例的密码成功。 如果重置密码失败，界面提示重置实例的密码失败，请重新尝试重置密码操作。如果多次重置失败，请联系客服处理。 说明 只有所有代理都重置密码成功，系统才会提示重置密码成功，否则会提示重置失败。

本文主要介绍 查看流控监控。 本章节指导您在控制台查看每个代理上用户/客户端/Topic的流控使用量。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏单击“流控管理 > 流控监控”，进入流控监控页面。 步骤 6 设置查询流控的参数。 表查询流控的参数说明 参数 说明 :: 统计方式 设置流控的统计方式。 前n个：统计带宽使用量排名前x 个的用户/客户端/Topic，x由您自行输入 带宽速率：统计带宽速率大于x MB/s的用户/客户端/Topic，x由您自行输入 带宽使用量：统计带宽使用量超过x %的用户/客户端/Topic，x由您自行输入 统计类型 设置流控的统计类型。 生产：统计生产消息的流控 消费：统计消费消息的流控 统计维度 设置流控的统计维度。 User/Client：统计用户/客户端的流控 Topic：统计Topic的流控 图 查询流控的参数 步骤 7 单击“查询”，查看每个代理上用户/客户端/Topic的流控使用量。

Messaging（消息传递）是指在分布式系统中，通过消息传递实现不同组件之间的通信。 System （消息系统）：是指消息传递所使用的消息系统，如Apache Kafka、RabbitMQ、ActiveMQ等。它是一个软件系统，用于实现异步消息传递。 Operation （操作）：是指对消息执行的操作，包括发送、接收、确认等。它是一个字符串，用于表示当前执行的操作。 DestinationKind （目标类型）：是指消息的目标类型，包括队列（Queue）和主题（Topic）两种。队列用于点对点的消息传递，主题用于发布订阅模式的消息传递。它是一个字符串，用于表示当前消息的目的地类型。 目标服务（Target Service）是指客户端需要访问的远程服务。 名称 （Name）：是指目标服务的名称，用于唯一标识服务。它是一个字符串，通常由服务提供方指定，并在服务注册中心中注册。 类型 （Type）：是指目标服务的类型，用于表示服务的功能类别。例如，Web服务、消息队列服务、数据库服务等。它是一个字符串，通常由服务提供方指定。 实例 （Instance）：是指目标服务的实例，用于标识不同的服务实例。在分布式系统中，通常会有多个服务实例提供相同的服务。它是一个字符串，通常由服务注册中心分配。

验证数据是否同步 1、 在目标集群中查看Topic列表，确认是否有源集群Topic。 说明 目标集群中的Topic名称和源集群相比，多了前缀（如A.），这属于正常情况，是MirrorMaker 2为了防止Topic循环备份进行的设置。 2、 在源集群生产并消费消息，在目标集群查看消费进度，确认数据是否已从源集群同步到了目标集群。 如果目标集群为Kafka实例的话，在分布式消息服务Kafka控制台的“消费组管理 > 消费进度”中，查看消费进度。

方案概述 Kafka将Topic划分为多个分区，消息被存储在不同的分区中。在同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积，从而会造成消息消费延迟。 导致消息堆积的常见原因如下： 生产者短时间内生产大量消息到Topic，消费者无法及时消费。 消费者的消费能力不足（消费者并发低、消息处理时间长），导致消费效率低于生产效率。 消费者异常（如消费者故障、消费者网络异常等）导致无法消费消息。 Topic分区设置不合理（leader副本都集中在部分Broker中、分区数太少），或新增分区无消费者消费。 Topic频繁重平衡导致性能下降，消费效率降低。 实施步骤 从消息堆积的原因看，消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 消费者端 根据实际业务需求，合理增加消费者个数（消费并发度），建议消费者数量和分区数保持一致。 提高消费者的消费速度，通过优化消费者处理逻辑（减少复杂计算、第三方接口调用和读库操作），减少消费时间。 增加消费者每次拉取消息的数量：拉取数据/处理时间 > 生产速度。 生产者端 生产消息时，给消息Key加随机后缀，使消息均衡分布到不同分区上。（在实际业务场景中，为消息Key加随机后缀，会导致消息全局不保序，需根据实际业务判断是否适合给消息Key加随机后缀。） 服务端 合理设置Topic的分区数，在不影响业务处理效率的情况下，调大Topic的分区数量。 当服务端出现消息堆积时，对生产者进行熔断，或将生产者的消息转发到其他Topic。

参数 说明 示例 名称 事件源名。 source1 接入点 Apache Kafka集群broker接入点，由IP与端口号拼接而成，以逗号分隔。 172.17.0.25:9092,192.17.0.26:9092,172.17.0.27:9092 Topic topic名称。 topic1 Group ID 填入当前Apache Kafka集群中已创建的Group，请不要与已有业务的Group混用，以免影响已有的消息收发。 group1 网络配置 根据业务场景选择对应配置。 专有网络 公网网络 专有网络 VPC 网络配置选择专有网络时必填，选择集群所在的VPC。 vpc 子网 网络配置选择专有网络时必填，选择集群所在的子网。 subnet 认证模式 选择认证模式。 PLAINTEXT SASLPLAINTEXT 用户名 ：填写SASL用户名 密码 ：填写SASL密码 SASL鉴权方式 ：可选PLAIN和SCRAMSHA512 PLAINTEXT 消费位点 消费消息的位点。 最新位点 最早位点 最新位点 数据格式 消息value数据编码格式。 JSON Text Binary JSON

介绍连接Kafka编译运行Demo Java工程 kafkaclients引入依赖 在使用Kafka时，你需要在你的项目中引入相应的依赖。具体的依赖项可能会因你的项目和需求而有所不同。在使用Kafka之前，请确保查阅官方文档以获取最新的依赖项和使用说明。 以Java编程语言为例，可以使用Kafka的Java客户端库。你可以在Maven或Gradle构建工具中添加以下依赖项： org.apache.kafka kafkaclients 示例代码 1. 从控制台获取以下信息 连接地址 实例连接地址从控制台实例详情菜单处获取，在实例详情页面的接入点信息一栏。 Topic名称 在Topic管理页面，选择需要的Topic名称。 消费组名称 在消费组管理页面，选择需要的消费组名称。 2. 在实例代码中替换以上信息即可实现消息。 import org.apache.kafka.clients.producer.Callback; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.clients.producer.ProducerRecord; import org.apache.kafka.clients.producer.RecordMetadata; import org.apache.kafka.common.serialization.StringSerializer; import java.util.Properties; public class Producer { private final KafkaProducer producer; public final static String TOPIC "testtopic"; public final static String BROKERADDR "192.168.0.11:8090,192.168.0.9:8090,192.168.0.10:8090"; public Producer() { Properties props new Properties(); props.put(ProducerConfig.BOOTSTRAPSERVERSCONFIG, BROKERADDR); props.put(ProducerConfig.VALUESERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.KEYSERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.ACKSCONFIG, "all"); props.put("retries",3); producer new KafkaProducer<>(props); } public void produce() { try { for (int i 0; i (TOPIC, data), new Callback() { public void onCompletion(RecordMetadata metadata, Exception exception) { if (exception ! null) { // TODO: 异常处理 exception.printStackTrace(); return; } System.out.println("produce msg completed, partition id " + metadata.partition()); } }); } } catch (Exception e) { // TODO: 异常处理 e.printStackTrace(); } producer.flush(); producer.close(); } public static void main(String[] args) { Producer producer new Producer(); producer.produce(); } } 3. 同样在实例代码中替换以上信息即可消费消息。 import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.clients.consumer.KafkaConsumer; import java.util.Arrays; import java.util.Properties; public class Consumer { private org.apache.kafka.clients.consumer.Consumer consumer; private static final String GROUPID "testgroup"; private static final String TOPIC "testtopic"; public final static String BROKERADDR "192.168.0.11:8090,192.168.0.9:8090,192.168.0.10:8090"; public Consumer() { Properties props new Properties(); props.put(ConsumerConfig.BOOTSTRAPSERVERSCONFIG, BROKERADDR); props.put(ConsumerConfig.GROUPIDCONFIG, GROUPID); props.put(ConsumerConfig.AUTOOFFSETRESETCONFIG, "earliest"); props.put(ConsumerConfig.ENABLEAUTOCOMMITCONFIG, "false"); props.put(ConsumerConfig.KEYDESERIALIZERCLASSCONFIG, "org.apache.kafka.common.serialization.StringDeserializer"); props.put(ConsumerConfig.VALUEDESERIALIZERCLASSCONFIG, "org.apache.kafka.common.serialization.StringDeserializer"); consumer new KafkaConsumer<>(props); } public void consume() { consumer.subscribe(Arrays.asList(TOPIC)); while (true){ try { ConsumerRecords records consumer.poll(1000); System.out.println("the numbers of topic:" + records.count()); for (ConsumerRecord record : records) { System.out.println("the data is " + record.value()); } }catch (Exception e){ // TODO: 异常处理 e.printStackTrace(); } } } public static void main(String[] args) { new Consumer().consume(); } }

本文主要介绍查看实例后台任务。 . 对实例的一些操作，如修改公网访问开关、修改容量阈值策略等，会启动一个后台任务，您可以在后台任务页，查看该操作的状态等信息，同时可通过删除操作，清理任务信息。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例的“基本信息”页签。 步骤 5 单击“后台任务管理”页签，进入后台任务管理页面。 界面显示任务列表。 步骤 6 在右上角单击系统默认时间，选择开始时间和结束时间，单击“确定”，界面显示相应时间段内启动的任务。 在后台任务管理页面，您还可以执行以下操作： 单击，刷新任务状态。 单击“删除”，弹出“删除任务记录”对话框，单击“是”，清理任务信息。 说明 您只能在任务已经执行完成，即任务状态为成功或者失败时，才能执行删除操作。

示例三：转换时变量为JSON形式 转换前的事件 转换类型 转换后的事件 plaintext { "id": "f36b49b668914b59b11cbf689xxxx712", "source": "ctyun:kafka", "type": "ctyun:kafka:Topic:Message", "specversion": "1.0", "datacontentype": "application/json;charsetutf8", "subject": "ctyun:kafka:75dcxx1eb5:topic:source1", "time": "20241203T09:48:00.696Z", "data": { "key": "test2", "value": "test1" } } 模板 变量： plaintext { "data": "$.data" } 模板： plaintext { "value": ${data} } plaintext { "value": { "key": "test2", "value": "test1" } } 示例四：转换时变量进行JSON转义 若希望转换的字符串保持JSON字符串格式，不破坏原有JSON的格式，可使用jsonEscape函数，如下所示： 转换前的事件 转换类型 转换后的事件 plaintext { "id": "f36b49b668914b59b11cbf689xxxx712", "source": "ctyun:kafka", "type": "ctyun:kafka:Topic:Message", "specversion": "1.0", "datacontentype": "application/json;charsetutf8", "subject": "ctyun:kafka:75dcxx1eb5:topic:source1", "time": "20241203T09:48:00.696Z", "data": { "key": "test2", "value": "test1" } } 模板 变量： plaintext { "data": "$.data" } 模板： plaintext { "value": "${jsonEscape(data)}" } plaintext { "value": "{"key": "test2","value": "test1"}" } 空 当转换类型为空时，事件总线EventBridge将事件路由到事件目标时，对应的属性为空。如希望分布式消息服务Kafka事件目标的Key、分布式消息服务RocketMQ事件目标的Tags为空时，可以将对应属性设置为空。

Kafka 自身没有消息过滤的语义。实践中可以采取以下两个办法： 如果过滤的种类不多，可以采取多个 Topic 的方式达到过滤的目的； 如果过滤的种类多，则最好在客户端业务层面自行过滤。 实践中请根据业务具体情况进行选择，也可以综合运用上面两种办法。

事件源是事件的来源，负责将生产的事件发布到事件总线。 事件总线EventBridge支持以下事件源： 天翼云官方事件源 作为事件源接入时，只要开通相应的天翼云服务，就可以自动接入事件总线EventBridge。通过配置预定义的事件源与事件规则，实现从事件源发布事件到云服务专用总线，经过事件模式过滤后把事件路由到事件目标。 自定义事件源 作为事件源接入时，您可以配置自定义应用事件源，使用SDK接入事件总线EventBridge。通过创建自定义总线、配置事件规则，把自定义应用产生的事件发布到自定义总线，经过事件模式过滤后把事件路由到事件目标。 作为事件源接入时，您可以配置消息类事件提供方，把事件主动拉取到事件总线EventBridge。例如，当您配置事件提供方为分布式消息服务Kafka时，事件总线EventBridge会把分布式消息服务Kafka对应资源产生的消息主动拉取到自定义总线中，经过事件模式过滤后把事件路由到事件目标。

本文介绍如何在事件总线EventBridge管理控制台接入自定义事件。 前提条件 开通事件总线EventBridge并委托授权。 开通分布式消息服务Kafka并创建主题。 步骤一：添加自定义事件源 1. 登录事件总线EventBridge管理控制台，在左侧导航栏，单击事件总线。 2. 在左侧导航栏，单击对应自定义事件总线的事件源 ，或点击右上角快速创建按钮创建自定义事件总线。 3. 单击添加事件源 ，在添加自定义事件源面板，输入名称 和描述 ，事件提供方 选择自定义应用，然后单击确定。 步骤二：创建事件规则 1. 在左侧导航栏，单击事件总线。 2. 在事件总线页面，单击步骤一中选中的事件总线，单击目标总线名称。 3. 在左侧导航栏，单击事件规则。 4. 在事件规则页面，单击添加创建规则。 5. 在创建规则页面，完成以下操作，详见图1： a.在配置基本信息 配置向导，在事件规则名称 文本框输入规则名称，在描述 文本框输入规则的描述，然后单击下一步。 b.在配置事件模式 配置向导，匹配模式 选择匹配所有事件，然后单击下一步。 c.在配置事件目标 配置向导，服务类型 选择分布式消息服务Kafka，选择对应Kafka实例，选择主题，消息体 选择完整事件，消息键值选择空，然后单击创建。 图1 创建事件规则

本章节主要介绍配置Kafka/DMS Kafka源端参数。 作业中源连接为配置Kafka连接或配置DMS Kafka连接时，源端作业参数如下表所示。 表 Kafka作为源端时的作业参数 参数 说明 取值样例 Topics 支持单个或多个topic。 est1,est2 偏移量参数 从Kafka拉取数据时的初始偏移量： 最新：最大偏移量，即拉取最新的数据。 最早：最小偏移量，即拉取最早的数据。 已提交：拉取已提交的数据。 时间范围：拉取时间范围内的数据。 最新 是否持久运行 用户自定义是否永久运行。 是 消费组ID 用户指定消费组ID。 如果是从DMS Kafka导出数据，专享版请任意输入，标准版请输入有效的消费组ID。 sumergroup 数据格式 解析数据时使用的格式： 二进制格式：适用于文件迁移场景，不解析数据内容原样传输。 CSV格式：以CSV格式解析源数据。 l JSON：以JSON格式解析源数据。 CDC（DRSJSON）：以DRSJSON格式解析源数据。 二进制格式 字段分隔符 默认为空格，使用Tab键作为分隔符请输入“t”。 , 最大消息数/poll 可选参数，每次向Kafka请求数据限制最大请求记录数。 100 最大时间间隔/poll 可选参数，向Kafka请求数据的最大时间间隔。 100

步骤二：产生对象存储事件 1. 登录对象存储管理控制台。 2. 单击前提条件中您已打开的桶名，点击文件管理，点击上传文件，等待文件上传完成，如图1。 图1 在对象存储管理控制台上传文件 步骤三：查看官方事件源事件示例 1. 登陆事件总线EventBridge管理控制台。 2. 点击default 总线，进入云服务专用事件总线详情页，单击左侧事件源按钮。 3. 单击名为ctyun.zos的事件源，查看事件示例，如图2。 图2 查看对象存储官方事件源的事件列表 步骤四：结果验证 1. 登录分布式消息服务Kafka管理控制台。 2. 在左侧导航栏，单击实例列表，选择目标实例。 3. 在左侧导航栏点击消息查询页面，点击按位点查询，查看事件内容与步骤三中查看的示例是否相符。 图3 查看分布式消息服务Kafka管理控制台中的消息详情

介绍分布式消息产品选型对比项。 特性 Kafka RabbitMQ RocketMQ 功能 支持功能较少，不支持延迟发送，消息重试等功能 功能丰富，支持多个队列种类（优先级队列、延迟队列、死信队列镜像队列等），提供丰富的策略分配 功能完善，支持事务消息、定时消息、事务消息等 单机吞吐量 十万级 万级 几万级 稳定性 队列/分区多时性能不稳定 消息堆积时，性能不稳定 队列较多、消息堆积时性能保持稳定 可用性 非常高（分布式）具有主备故障自动切换 较高，基于主从架构实现高可用性 非常高（分布式）具有主备故障自动切换 选型建议 性能要求高，数据量大，适合产生大量数据的互联网服务的数据收集业务，如日志采集处理、需对接大数据应用等，kafka是首选 数据量少，吞吐量需求不大；数据可靠性要求较高，对功能丰富性极高 可靠性要求很高且性能要求较高的场景以及业务削峰场景，如电商、订单处理等

本节介绍如何配置Kafka数据转储至OBS。 本章节介绍如何创建转储的Smart Connect任务，通过Smart Connect任务可以将Kafka实例中的数据转储至OBS中，实现消息数据的备份。 源Kafka实例中的数据会实时同步到转储文件中。 约束与限制 一个实例最多创建18个Smart Connect任务。 Smart Connect任务创建成功后，不支持修改任务参数。 前提条件 已开启Smart Connect。 已创建Kafka实例，且实例状态为“运行中”。 已创建的OBS桶和Kafka实例需要在同一个区域。 配置Kafka数据转储至OBS 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、单击Kafka实例名称，进入实例详情页面。 5、在左侧导航栏单击“Smart Connect”，进入Smart Connect任务列表页面。 6、单击“创建Smart Connect任务”，进入“创建smart connect”页面。 7、在“connect任务名称”中，输入Smart Connect任务的名称，用于区分不同的Smart Connect任务。任务名称需要符合命名规则：长度为4~64个字符，只能由英文字母、数字、中划线、下划线组成。 8、在“预置类型”中，选择“转储”。 9、在“源端配置”中，保持默认设置。 10、在“Topic配置”中，设置以下参数。 表11 Topic配置参数说明 参数 参数说明 正则表达式 表示以正则表达式的方式订阅Topic，并进行转储。 输入/选择 输入/选择待转储的Topic名称，支持选择多个Topic，以逗号“,”分隔。最多输入/选择20个Topic。 11、在“目标端配置”中，设置以下参数。 表12 目标端参数说明 参数 参数说明 转储启动偏移量 支持以下两种转储启动偏移量： 最早：最小偏移量，即读取最早的数据。 最新：最大偏移量，即获取最新的数据。 数据转储周期 两次转储的时间间隔，单位：秒，默认配置为300秒。 若某个时间段内无数据，则此时间段不会生成打包文件 AK 访问密钥ID。 SK 与访问密钥ID结合使用的密钥。 转储地址 设置存储Topic数据的OBS桶的名称。 选择：在下拉列表中选择已创建的OBS桶名称，或者单击“创建转储地址”，新创建一个OBS桶。 输入：输入已创建的OBS桶名称，或者单击“创建转储地址”，新创建一个OBS桶。输入的OBS桶必须和Kafka实例在同一个区域。 转储目录 OBS中存储Topic的目录，多级目录可以用“/”进行分隔。 时间目录格式 数据将存储在转储目录下的时间目录中，时间目录是按时间格式作为层级的目录。例如，当选择的时间目录格式精确到日时，存储目录为：“桶名称/转储目录/年/月/日”。 记录分隔符 在下拉列表中选择一种分隔符，分隔不同的转储记录 存储Key 是否转储Key，开启表示转储Key，关闭表示不转储Key。 说明 消息进行转储时，不支持以Key作为文件名。 12、单击“立即创建”，跳转到Smart Connect任务列表页面，页面右上角显示“创建xxx任务成功”。 结束

本文主要介绍修改Topic分区数。 说明 修改分区数，不会影响业务。 修改Topic分区数的方法如下： 方法1：在控制台修改 方法2：在Kafka Manager上修改 方式3：在Kafka客户端上修改 方法1：在控制台修改 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 选择“Topic管理”页签，显示已创建的Topic详情。 步骤 6 通过以下任意一种方法，修改Topic分区数。 勾选Topic名称左侧的方框，可选一个或多个，单击信息栏左上侧的“编辑Topic”。 在待修改分区数的Topic所在行，单击“编辑”。 步骤 7 在“编辑Topic”对话框中，输入分区数，单击“确定”。 说明 分区数只支持增加，不支持减少。 出于性能考虑，Kafka控制台限定单个Topic的分区数上限为100。 所有Topic分区数总和不能超过实例允许的分区上限。 方法2：在Kafka Manager上修改 步骤 1 登录Kafka Manager。 步骤 2 在Kafka Manager中，单击“Topic > List”，进入Topic列表界面。 步骤 3 单击Topic名称，进入Topic详情界面。 步骤 4 单击“Add Partitions”，进入增加分区界面。 图 Topic详情界面 步骤 5 输入分区数，单击“Add Partitions”。 图 增加分区数量 显示“Done”，表示分区增加成功。 图分区增加成功 说明 分区数只支持增加，不支持减少。 所有Topic分区数总和不能超过实例允许的分区上限。

本文主要介绍管理实例标签。 标签是Kafka实例的标识，为Kafka实例添加标签，可以方便用户识别和管理拥有的Kafka实例资源。 您可以在创建Kafka实例时添加标签，也可以在Kafka实例创建完成后，在“标签”页面添加标签，您最多可以给实例添加20个标签。另外，您还可以进行修改和删除标签。 标签共由两部分组成：“标签键”和“标签值”，其中，“标签键”和“标签值”的命名规则如下表所示。 表 标签命名规则 参数名称 规则 标签键 不能为空。 对于同一个实例，Key值唯一。 长度不超过36个字符。 不能包含“”,“”,“ ”,“”,“,”,“ 标签值 不能为空。 长度不超过43个字符。 不能包含“”,“”,“ ”,“”,“,”,“ 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 在实例所在行，单击实例名称，进入实例详情页面。 步骤 5 单击“标签”页签，进入标签管理页面。 界面显示该实例的标签列表。 步骤 6 您可以根据实际需要，执行以下操作： 添加标签 单击“创建/删除标签”，弹出“创建/删除标签”对话框。 在“标签键”和“标签值”中，输入标签的键/值，单击“添加”。如果您已经预定义了标签，在“标签键”和“标签值”中选择已经定义的标签键/值，单击“添加”。 单击“确定”，成功为实例添加标签。 删除标签 通过以下任意一种方法，删除标签。 在待删除的标签所在行，单击“删除”，弹出“删除标签”对话框。单击“是”，完成标签的删除。 单击“创建/删除标签”，弹出“创建/删除标签”对话框。在待删除的标签后，单击，然后单击“确定”，完成标签的删除。

操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 在Kafka实例名称后，单击。 进入云监控该实例的监控指标页面。 步骤 5 在实例监控指标页面中，找到需要创建告警的指标项，鼠标移动到指标区域，然后单击指标右上角的，创建告警规则，跳转到创建告警规则页面。 步骤 6 在告警规则页面，设置告警信息。 创建告警规则操作，请查看《云监控服务用户指南》的“创建告警规则和告警通知”章节。 1. 设置告警名称和告警的描述。 2. 设置告警策略和告警级别。 如下图所示，在进行指标监控时，如果连续3个周期，磁盘容量使用率原始值超过85%，则产生告警，如果未及时处理，则产生告警通知。 图设置告警策略和告警级别 3. 设置“发送通知”开关。当开启时，设置告警生效时间、产生告警时通知的对象以及触发的条件。 4. 单击“立即创建”，等待创建告警规则成功。