本节介绍分布式消息服务Kafka的产品规格，以便您正确理解和使用。 Kafka实例规格 （1）以下规格适用于 华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3 节点 注意 通用型规格已调整为白名单特性，如需了解该规格参数请联系技术支持。 单机版实例面向用户体验和业务测试场景，无法保证性能和高可用。如果需要在生产环境使用Kafka实例，建议购买集群版实例。 集群版 Intel计算增强型 实例规格 代理个数 单个代理TPS 单个代理分区上限 单个代理建议主题数 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围 单个代理流量规格（MB/S） kafka.2u4g.cluster 350 30000 250 250 20 2000 300500000GB 100 kafka.4u8g.cluster 350 100000 500 500 100 4000 300500000GB 200 kafka.8u16g.cluster 350 150000 1000 1000 150 4000 300500000GB 375 kafka.12u24g.cluster 350 200000 1500 1500 200 4000 300500000GB 625 kafka.16u32g.cluster 350 250000 2000 2000 200 4000 300500000GB 750 kafka.24u48g.cluster 350 250000 2000 2000 200 4000 300500000GB 1125 kafka.32u64g.cluster 350 250000 2000 2000 200 4000 300500000GB 1500 kafka.48u96g.cluster 350 250000 2000 2000 200 4000 300500000GB 2250 kafka.64u128g.cluster 350 250000 2000 2000 200 4000 300500000GB 3000

Kafka的消费者示例代码片段如下： 每个 Consumer Group 可以包含多个消费实例，即可以启动多个 Kafka Consumer，并把参数 group.id 设置成相同的值。属于同一个 Consumer Group 的消费实例会负载消费订阅的 Topic。 举例：Consumer Group A 订阅了 Topic A，并开启三个消费实例 C1、C2、C3，则发送到 Topic A 的每条消息最终只会传给 C1、C2、C3 的某一个。Kafka 默认会均匀地把消息传给各个消息实例，以做到消费负载均衡。 Kafka 负载消费的内部原理是，把订阅的 Topic 的分区，平均分配给各个消费实例。因此，消费实例的个数不要大于分区的数量，否则会有实例分配不到任何分区而处于空跑状态。这个负载均衡发生的时间，除了第一次启动上线之外，后续消费实例发生重启、增加、减少等变更时，都会触发一次负载均衡。 消息队列 Kafka 的每个 Topic 的分区数量默认是 16 个，已经足够满足大部分场景的需求，且云上服务会根据容量调整分区数。

本文介绍Kafka业务数据不均衡最佳实践 方案概述 Kafka将Topic划分为多个分区，所有消息分布式存储在各个分区上。每个分区有一个或多个副本，分布在不同的Broker节点上，每个副本存储一份全量数据，副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示： 在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况，业务数据不均衡会降低Kafka集群的性能，降低资源使用率。 业务数据不均衡原因： 业务中部分Topic的流量远大于其他Topic，会导致节点间的数据不均衡。 生产者发送消息时指定了分区，未指定的分区没有消息，会导致分区间的数据不均衡。 生产者发送消息时指定了消息Key，按照对应的Key发送消息至对应的分区，会导致分区间的数据不均衡。 系统重新实现了分区分配策略，但策略逻辑有问题，会导致分区间的数据不均衡。 Kafka扩容了Broker节点，新增的节点没有分配分区，会导致节点间的数据不均衡。 业务使用过程中随着集群状态的变化，多少会发生一些Leader副本的切换或迁移，会导致个别Broker节点上的数据更多，从而导致节点间的数据不均衡。 实施步骤 业务数据不均衡的处理措施： 优化业务中Topic的设计，对于数据量特别大的Topic，可对业务数据做进一步的细分，并分配到不同的Topic上。 生产者生产消息时，尽量把消息均衡发送到不同的分区上，确保分区间的数据均衡。 创建Topic时，使分区的Leader副本分散到各个Broker节点中，以保障整体的数据均衡。 Kafka提供了分区重平衡的功能，可以把分区的副本重新分配到不同的Broker节点上，解决节点间负载不均衡的问题。具体分区重平衡的操作请参考修改分区平衡。

步骤一：创建Kafka实例（3.6.x版本或以上） 需订购好3.6.x引擎版本或以上的分布式消息Kafka实例，具体操作可参考创建实例。 步骤二：开启实例弹性存储 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”，进入实例详情。 （4）在实例详情页打开“弹性存储”开关按钮，选择用于存储远端数据的对象存储Bucket和填写对应具备读写权限的ak、sk。点击提交。 （5）等待集群开启变更完成，集群会发生轮训重启，等待重启完成即可。 步骤三：配置Topic的弹性存储属性与本地保留时长 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“Topic管理”后，选择指定的Topic点击其右侧“编辑”按钮。 （5）打开“是否开启弹性存储”开关，点击“修改”保存。 计费说明 该功能本地存储使用订购实例时的磁盘存储，具体费用可参考“分布式消息Kafka资费”， 远端存储费用为对象存储费用。该功能无额外收取其他费用。

操作步骤 步骤 1 登录分布式消息服务Kafka控制台，选择Kafka实例所在的区域。 步骤 2 在Kafka实例名称后，单击，进入云监控该实例的监控指标页面。 步骤 3 在实例监控指标页面中，找到需要创建告警的指标项，鼠标移动到指标区域，然后单击指标右上角的，创建告警规则，跳转到创建告警规则页面。 步骤 4 在告警规则页面，设置告警信息。 创建告警规则操作，请查看《云监控服务用户指南》的“创建告警规则和告警通知”章节。 1. 设置告警名称和告警的描述。 2. 设置告警策略和告警级别。 如下图所示，在进行指标监控时，如果连续3个周期，磁盘容量使用率原始值超过85%，则产生告警，如果未及时处理，则产生告警通知。 图设置告警策略和告警级别 3. 设置“发送通知”开关。当开启时，设置告警生效时间、产生告警时通知的对象以及触发的条件。 4. 单击“立即创建”，等待创建告警规则成功。

本文主要介绍监控告警问题。 云监控无法展示Kafka监控数据 Topic监控数据无法展示，可能原因如下： Topic名称开头包含特殊字符，例如下划线“”、号“”。 Kafka实例中没有创建Topic。 解决方法如下： 删除带特殊字符的Topic。 创建Topic。 消费组监控数据无法展示，可能原因如下： 消费组名称开头包含特殊字符，例如下划线“”、号“”。 此消费组从未有消费者连接。 Kafka监控显示消息堆积数跟实例里的消息数不一致？ 问题现象 ：监控显示消息堆积数为8.1亿+，Kafka控制台显示实例中6个Topic的消息数总和为1亿+，两者不一致。 问题结论 ：两者统计方式不同，Kafka控制台显示的消息数为实例中未消费的消息个数，而监控显示的消息堆积数Topic中的消息积压数消费组数。 Kafka的消费组删除了，怎么监控页面还可以看到这个消费组？ 监控数据是每分钟进行采集上报，上报的数据经过整理后才会显示在监控页面上，此过程大约需要几分钟到十几分钟，建议您在删除消费组后，过一段时间再去监控页面查看。

迁移方案一：先迁生产，再迁消费 先将生产消息的业务迁移到新的Kafka，原Kafka不会有新的消息生产。待原有Kafka实例的消息全部消费完成后，再将消费消息业务迁移到新的Kafka，开始消费新Kafka实例的消息。 本方案为业界通用的迁移方案，操作步骤简单，迁移过程由业务侧自主控制，整个过程中消息不会存在乱序问题， 适用于对消息顺序有要求的场景 。但是该方案中需要等待消费者业务直至消费完毕，存在一个时间差的问题，部分数据可能存在较大的端到端时延。 1、将生产客户端的Kafka连接地址修改为新Kafka实例的连接地址。 2、重启生产业务，使得生产者将新的消息发送到新Kafka实例中。 3、观察各消费组在原Kafka的消费进度，直到原Kafka中数据都已经被消费完毕。 4、将消费客户端的Kafka连接地址修改为新Kafka实例的连接地址。 5、重启消费业务，使得消费者从新Kafka实例中消费消息。 6、观察消费者是否能正常从新Kafka实例中获取数据。 7、迁移结束。 结束 迁移方案二：同时消费，后迁生产 消费者业务启用多个消费客户端，分别向原Kafka和新Kafka实例消费消息，然后将生产业务切到新Kafka实例，这样能确保所有消息都被及时消费。 本方案中消费业务会在一段时间内同时消费原Kafka和新Kafka实例。由于在迁移生产业务之前，已经有消费业务运行在新Kafka实例上，因此不会存在端到端时延的问题。但在迁移生产的开始阶段，同时消费原Kafka与新Kafka实例，会导致部分消息之间的生产顺序无法保证，存在消息乱序的问题。此场景 适用于对端到端时延有要求，却对消息顺序不敏感的业务 。 1、启动新的消费客户端，配置Kafka连接地址为新Kafka实例的连接地址，消费新Kafka实例中的数据。 原有消费客户端需继续运行，消费业务同时消费原Kafka与新Kafka实例的消息。 2、修改生产客户端，Kafka连接地址改为新Kafka实例的连接地址。 3、重启生产客户端，将生产业务迁移到新Kafka实例中。 4、生产业务迁移后，观察连接新Kafka实例的消费业务是否正常。 5、等待原Kafka中数据消费完毕，关闭原有消费业务客户端。 6、迁移结束。 结束

本节介绍如何配置Kafka之间的数据复制。 本章节介绍如何创建Kafka数据复制的Smart Connect任务，通过Smart Connect任务可以在两个Kafka实例之间，实现数据的单向或双向复制。 源Kafka实例中的数据会实时同步到目标Kafka实例中。 约束与限制 一个实例最多创建18个Smart Connect任务。 使用Kafka数据复制时，两个Kafka实例间只能通过内网连接。如果两个Kafka实例处于不同的VPC中，请先打通网络。 Smart Connect任务创建成功后，不支持修改任务参数。 确保目标Kafka实例Topic的“批处理消息最大值”大于等于524288字节，否则会导致数据无法同步。如果目标Kafka实例没有创建Topic，在数据同步时会自动创建Topic，此Topic的“批处理消息最大值”和源Kafka实例Topic相同，此时需要确保源Kafka实例Topic的“批处理消息最大值”大于等于524288字节。修改“批处理消息最大值”的方法请参考修改Kafka Topic配置。 前提条件 已开启Smart Connect。 已创建Kafka实例，且实例状态为“运行中”。 配置Kafka间的数据复制 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、单击Kafka实例名称，进入实例详情页面。 5、在左侧导航栏单击“Smart Connect”，进入Smart Connect任务列表页面。 6、单击“创建Smart Connect任务”，进入“创建smart connect”页面。 7、在“connect任务名称”中，输入Smart Connect任务的名称，用于区分不同的Smart Connect任务。任务名称需要符合命名规则：长度为4~64个字符，只能由英文字母、数字、中划线、下划线组成。 8、在“预置类型”中，选择“Kafka数据复制”。 9、在“当前kafka”区域，设置实例别名。实例别名需要符合命名规则：长度为1~20个字符，只能由英文字母、数字、中划线、下划线组成。 实例别名用于以下两个场景中： 开启“重命名Topic”，且“同步方式”为“推送”/“双向”时，当前Kafka实例的别名作为前缀添加到对端Kafka实例的Topic名称前，形成Topic新的名称。例如当前Kafka实例别名为A，对端Kafka实例的Topic名称为test，重命名后的Topic为A.test。 Kafka数据复制的Smart Connect任务创建成功后，当前Kafka实例会自动创建“mm2offsetsyncs. 对端Kafka实例别名 .internal”的Topic。如果Smart Connect任务开启了“同步消费进度”功能，且“同步方式”为“拉取”/“双向”时，当前Kafka实例还会自动创建“ 对端Kafka实例别名 .checkpoints.internal”的Topic。这两个Topic用于存储内部数据，如果删除，会导致同步数据失败。 10、在“对端kafka”区域，设置以下参数。 表11 对端Kafka实例参数说明 参数 参数说明 实例别名 设置实例别名，实例别名需要符合命名规则：长度为1~20个字符，只能由英文字母、数字、中划线、下划线组成。 实例别名用于以下两个场景中： 开启“重命名Topic”，且“同步方式”为“拉取”/“双向”时，对端Kafka实例的别名作为前缀添加到当前Kafka实例的Topic名称前，形成Topic新的名称。例如对端Kafka实例别名为B，当前Kafka实例的Topic名称为test01，重命名后的Topic为B.test01。 Kafka数据复制的Smart Connect任务创建成功后，如果Smart Connect任务开启了“同步消费进度”功能，且“同步方式”为“推送”/“双向”时，对端Kafka实例会自动创建“当前Kafka实例别名 .checkpoints.internal”的Topic。此Topic用于存储内部数据，如果删除，会导致同步数据失败。 配置类型 支持以下两种配置类型： Kafka地址：输入Kafka实例的连接信息。对端Kafka实例和当前Kafka实例处于不同的VPC下时，请选择此配置类型。 实例名称：选择已创建的Kafka实例。对端Kafka实例和当前Kafka实例处于相同的VPC下时，建议选择此配置类型。 实例名称 “配置类型”为“实例名称”，且对端Kafka实例和当前Kafka实例处于相同的VPC下时，需要设置。 在下拉列表中，选择已创建的Kafka实例。 Kafka地址 “配置类型”为“Kafka地址”时，需要设置。 输入Kafka实例的连接地址和端口号。 使用Kafka数据复制时，两个Kafka实例间只能通过内网连接。如果两个Kafka实例处于不同的VPC中，请先打通网络。 认证方式 支持以下认证方式： SASLSSL：表示实例已开启SASLSSL认证，客户端连接Kafka实例时采用SASL认证，数据通过SSL证书进行加密传输。 SASLPLAINTEXT：表示实例开启SASLPLAINTEXT认证，客户端连接Kafka实例时采用SASL认证，数据通过明文传输。 PLAINTEXT：表示实例未开启认证。 认证机制 “认证方式”为“SASLSSL”/“SASLPLAINTEXT”时，需要设置。 SCRAMSHA512：采用哈希算法对用户名与密码生成凭证，进行身份校验的安全认证机制，比PLAIN机制安全性更高。 PLAIN：一种简单的用户名密码校验机制。 用户名 “认证方式”为“SASLSSL”/“SASLPLAINTEXT”时，需要设置。 首次开启密文接入时设置的用户名，或者创建用户时设置的用户名。 密码 “认证方式”为“SASLSSL”/“SASLPLAINTEXT”时，需要设置。 首次开启密文接入时设置的密码，或者创建用户时设置的密码。 Smart Connect任务创建成功后，如果您修改了对端实例的认证方式、认证机制或者密码，会导致同步任务失败。 您需要删除当前Smart Connect任务，然后重新创建新的Smart Connect任务。 11、在“规则配置”区域，设置以下参数。 表12 复制数据规则参数说明 参数 参数说明 同步方式 支持以下三种同步方式： 拉取：把对端Kafka实例数据复制到当前Kafka实例中。 推送：把当前Kafka实例数据复制到对端Kafka实例中。 双向：两端Kafka实例数据进行双向复制。 Topics 设置需要进行数据复制的Topic。 正则表达式：通过正则表达式匹配Topic。 输入/选择：输入Topic名称，如果需要输入多个Topic名称，先输入一个Topic名称，按“Enter”，然后再输入下一个，按“Enter”，依次输入。或者在下拉列表中，选择Topic。最多输入/选择20个Topic。 Topic名称以internal结尾时（例如：topic.internal），此Topic的数据不会被同步。 任务数 数据复制的任务数。默认值为2，建议保持默认值。 如果“同步方式”为“双向”，实际任务数设置的任务数2。 重命名 Topic 在目标Topic名称前添加源端Kafka实例的别名，形成目标Topic新的名称。例如源端实例别名为A，目标Topic名称为test，重命名后的目标Topic为A.test。 两端实例数据双向复制时，开启“重命名Topic”，防止循环复制。 添加来源header 目标Topic接收复制的消息，此消息header中包含消息来源。 两端实例数据双向复制时，默认开启“添加来源header”，防止循环复制。 同步消费进度 开启“同步消费进度”后，将消费者消费进度同步到目标Kafka实例。 开启“同步消费进度”后，您需要注意以下几点： 源端Kafka实例和目标端Kafka实例不能同时消费，否则会导致同步的消费进度异常。 同步消费进度的频率为每分钟一次，因此会导致目标端的消费进度可能会略小于源端，造成部分消息被重复消费，所以需要消费者客户端业务逻辑兼容重复消费的场景。 从源端同步的offset与目标端的offset并非一致关系，而是映射关系，如果消费进度由消费者客户端自行维护，消费者客户端从消费源端Kafka实例变为消费目标端Kafka实例后，不向目标端Kafka实例获取消费进度，可能会导致offset错误或消费进度重置。 副本数 在对端实例中自动创建Topic时，指定Topic的副本数，此参数值不能超过对端实例的代理数。 如果对端实例中设置了“default.replication.factor”，此参数的优先级高于“default.replication.factor”。 启动偏移量 支持两种偏移量： 最早：最小偏移量，即获取最早的数据。 最新：最大偏移量，即获取最新的数据。 压缩算法 复制消息所使用的压缩算法。 topic映射 通过Topic映射，您可以自定义目标端Topic名称。 最多新增20个Topic映射。不能同时设置“重命名Topic”和“topic映射”。 配置复制数据规则时需要注意以下几点： 创建双向数据复制任务时，为了防止循环复制，控制台限定必须开启“重命名Topic”或者“添加来源header”。如果您在两个实例间，对同一个Topic分别创建拉取和推送的任务，即形成双向数据复制，且两个任务都未开启“重命名Topic”和“添加来源header”，此时会导致数据循环复制。 如果创建两个或以上配置完全相同的任务，即重复创建任务，且任务已开启“同步消费进度”，此时会导致数据重复复制，且目标Topic消费进度异常。 12、（可选）在页面右下角单击“开始检测”，测试两端Kafka实例的连通性。 显示“连通性检测成功”时，表示两端Kafka实例可以正常连接。 13、单击“立即创建”，跳转到Smart Connect任务列表页面，页面右上角显示“创建xxx任务成功”。 Kafka数据复制的Smart Connect任务创建成功后，Kafka会自动创建以下Topic。 当前Kafka实例会自动创建“mm2offsetsyncs. 对端Kafka实例别名 .internal”的Topic。如果Smart Connect任务开启了“同步消费进度”功能，且“同步方式”为“拉取”/“双向”时，当前Kafka实例还会自动创建“ 对端Kafka实例别名 .checkpoints.internal”的Topic。这两个Topic用于存储内部数据，如果删除，会导致同步数据失败。 如果Smart Connect任务开启了“同步消费进度”功能，“同步方式”为“推送”/“双向”时，对端Kafka实例会自动创建“ 当前Kafka实例别名 .checkpoints.internal”的Topic。此Topic用于存储内部数据，如果删除，会导致同步数据失败。 结束

介绍分布式消息服务Kafka修改用户的功能操作内容。 场景描述 当前主要支持重置用户密码：当用户忘记密码或需要更改密码时，可以通过修改用户密码来实现。这有助于保护用户账户的安全性，防止未经授权的访问和操作。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入应用用户管理页面，点击“修改”。 （5）点击“修改”后，在弹窗中可以修改密码和对应描述。

Kafka 是按分区一条一条消息顺序向前推进消费的，如果消费端拿到某条消息后执行消费逻辑失败，比如应用服务器出现了脏数据，导致某条消息处理失败，等待人工干预，那么有以下两种处理方式： 失败后一直尝试再次执行消费逻辑。这种方式有可能造成消费线程阻塞在当前消息，无法向前推进，造成消息堆积。 由于 Kafka 自身没有处理失败消息的设计，实践中通常会打印失败的消息、或者存储到某个服务（比如创建一个 Topic 专门用来放失败的消息），然后定时 check 失败消息的情况，分析失败原因，根据情况处理。

本文介绍分布式消息服务Kafka产品功能的约束和限制。 实例 表实例约束与限制 限制项 约束与限制 :: Kafka ZooKeeper Kafka集群依赖ZooKeeper进行管理，开放ZooKeeper可能引发误操作导致业务受损，当前仅Kafka内部使用，不对外提供服务。 版本 当前服务端版本为1.1.0、2.3.0和2.7。实例创建后，服务端版本不支持升级。 兼容0.10以上的客户端版本，推荐使用和服务端一致的版本。 登录Kafka节点所在机器 不能登录 存储空间 只支持扩大存储空间，不支持减小存储空间。 扩容存储空间有次数限制，最多扩容20次。 基准带宽/代理个数 只支持增加基准带宽/代理个数，不支持减小基准带宽/代理个数。 代理规格 支持扩容/缩容代理规格。 修改VPC/子网/可用区 实例创建后，不支持修改VPC/子网/可用区。 是否支持Kerberos认证 不支持 Topic 表 Topic约束与限制 限制项 约束与限制 Topic总分区数 Topic总分区数和实例规格有关，具体请参考产品规格。Kafka以分区为粒度管理消息，分区多导致生产、存储、消费都碎片化，影响性能稳定性。在使用过程中，当Topic的总分区数达到上限后，用户就无法继续创建Topic。 单个Topic分区数 按照开源Kafka现有逻辑，单个Topic分区数只支持增加，不支持减少。 Topic数量 Topic数量和Topic总分区数、每个Topic的分区数有关，具体请参考产品规格。 是否支持自动创建Topic 支持。开启自动创建Topic表示生产或消费一个未创建的Topic时，系统会自动创建此Topic，此Topic的默认参数值如下：分区数为3，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。如果在“配置参数”中修改“log.retention.hours”、“default.replication.factor”或“num.partitions”的参数值，此后自动创建的Topic参数值为修改后的参数值。例如：“num.partitions”修改为“5”，自动创建的Topic参数值如下：分区数为5，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。 同步复制 Topic副本数为1时，不能选择同步复制功能。 副本数 不建议使用单副本。实例节点出现故障的情况下，单副本Topic查询消息时可能会报“内部服务错误”，因此不建议使用单副本Topic。 老化时间 如果Topic已经设置了老化时间，此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时，“配置参数”中的log.retention.hours值才会对此Topic生效。例如：Topic01设置的老化时间为60小时，“配置参数”中的log.retention.hours值为72小时，此时Topic01实际的老化时间为60小时。 批量导入/导出Topic 支持批量导出，不支持批量导入。 Topic名称 Topic名称开头包含特殊字符，例如下划线“”、

Kafka是否支持跨AZ容灾？已经购买的实例在哪里查看是否为跨AZ？ Kafka实例支持跨AZ容灾，在购买实例时，选择多个可用区即可实现跨AZ容灾。 已购买的实例，在实例详情页“基本信息”页面的“网络”区域，查看可用区数量。多于一个可用区时，表示已实现跨AZ容灾。 图实例基本信息 Kafka支持磁盘加密吗？ Kafka实例不支持磁盘加密。 Kafka实例创建后，能修改VPC和子网吗？ 不能修改VPC和子网。 有没有Kafka Stream的案例？ Kafka Stream的案例请参见Kafka Stream的官网。 Kafka实例版本可以升级吗？ Kafka实例创建成功后，实例版本不支持升级。您可以重新创建Kafka实例，实现升级Kafka实例的版本。 实例版本在控制台和Kafka Manager上显示不一致？ Kafka实例的版本以控制台为准。Kafka Manager使用了开源Kafka 2.2.0的公共信息配置，所以显示的版本是2.2.0，和购买的Kafka实例版本没有关系。 怎样重新绑定公网IP？ 首先在分布式消息服务Kafka控制台，单击Kafka实例名称，进入实例详情页。在“基本信息”页面的“连接信息”区域，关闭“公网访问”，然后重新打开“公网访问”，并选择需要绑定的公网IP地址。

消息超过老化时间，消息仍存在的原因 问题现象： 消息超过设置的老化时间（如果Topic已经设置了老化时间，此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时，“配置参数”中的log.retention.hours值才会对此Topic生效。），消息仍存在。 可能原因1： Topic的每个分区都是由多个大小相同的segment文件组成，每个segment文件的大小为500MB，当segment文件存储的消息大小到达500MB后，才会新建下一个segment文件。Kafka删除消息是删除segment文件，而不是删除一条消息。Kafka要求至少保留一个segment文件用来存储消息，如果正在使用的segment文件中包含超过老化时间的消息，由于此时segment文件不会被删除，所以超过老化时间的消息也不会被删除。 处理方法： 等待segment文件被使用完，或者删除超过老化时间的消息所在的Topic。 可能原因2： Topic中存在一条create time为未来时间的消息（例如当前时间为1月1日，create time设置成了2月1日），此消息在72小时后，并不会被老化，导致在此消息后创建的其他消息都不会被老化。 处理方法： 删除create time为未来时间的消息所在的Topic。 Kafka实例是否支持延迟消息？ 不支持延迟消息。 如何查看堆积消息数？ 通过以下任意一种方法，查看堆积消息数。 在Kafka控制台的“消费组管理”页面，单击待查看堆积消息的消费组名称，进入消费组详情页。在“消费进度”页签，查看消费组中每个Topic的总堆积数。具体步骤，请参考查询消费组信息。 在Kafka控制台的“监控”页面的“消费组”页签中，“消费组”选择待查看堆积消息数的消费组名称，“队列”选择“全部队列”，“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤，请参考查看监控数据。 在云监控页面的“消费组”页签中，“消费组”选择待查看堆积消息数的消费组名称，“队列”选择“全部队列”，“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤，请参考查看监控数据。 在Kafka客户端，在“/{命令行工具所在目录}/kafka{version}/bin/”目录下，通过 kafkaconsumergroups.sh bootstrapserver {kafka连接地址} describe group {消费组} 命令查看消费组中每个Topic的堆积消息数。“LAG”表示每个Topic的总堆积数。 图 查看每个Topic的总堆积数 说明 如果Kafka实例开启SASL认证，则以上命令还需要增加SASL认证的“consumer.properties”配置文件参数： commandconfig {SASL认证的consumer.properties配置文件} ，“consumer.properties”配置文件参考开启SASL认证的Kafka命令行连接说明。

本节主要介绍分布式消息服务Kafka的退订说明 如果您有退订的需求，可以进行登录天翼云管理中心或产品控制台进行退订操作。天翼云目前支持7天无理由全额退订和非七天无理由退订以及其他退订，详细规则请参考文档费用中心退订。

步骤二：测试验证 1. 登录分布式消息服务Kafka控制台。 2. 在左侧导航栏，单击实例列表，选择事件流的源实例。 3. 在主题管理页面，选择源的目标主题，操作列点击更多 ，然后点击生产消息。 4. 在生产消息对话框输入想要发送的消息，然后点击发送消息。 5. 发送消息后，登录函数计算管理控制台。 6. 在函数页面，单击目标函数名称。 7. 在目标函数详情页面，单击监控页签，查看函数是否被触发以及调用时延，如图1所示。 图1 在函数计算管理控制台中查看函数监控指标

操作场景 天翼云分布式消息Kafka自集成了一整套监控方案，对Kafka实例的运行状态进行日常监控，可以通过管理控制台查看Kafka实例各项监控指标。各项监控指标可以分为实例监控、实例节点监控、主题监控、消费组监控和Connect监控，各项监控指标的具体细节如下表所示。 操作前提 已开通天翼云Kafka实例，且实例状态为“运行中” Kafka 实例是天翼云Ⅱ类资源池实例，目前Ⅱ类资源池包括：华东1、上海36、华北2、长沙42、武汉41、西安7、杭州7、青岛20、西南1、西南2、广州4、郑州5、华南2等 监控指标 监控项的数据聚合周期为1分钟，即1分钟计算一次，计算出来每秒字节数。您可以将该数据理解为一分钟内的平均值。 1. 实例监控 指标ID 指标名称 指标含义 取值范围 单位 currentbrokers 存活节点数 该指标用于统计Kafka实例中正常运行的实例节点数 0~50 Count currenttopics 主题数 该指标用于统计Kafka实例中已经创建的主题数量。 0~2000 Count currentpartitions 分区数 该指标用于统计Kafka实例中已经使用的分区数量。 0~2000 Count groupmsgs 堆积消息数 该指标用于统计Kafka实例中所有消费组中总堆积消息数。 >0 Count instancebytesinrate 生产流量 该指标用于统计Kafka实例中每秒生产的字节数。 >0 MB/s instancebytesoutrate 消费流量 该指标用于统计Kafka实例中每秒生产的字节数。 >0 MB/s instancemessagesinrate 消息生产速率 该指标用于统计实例每秒生产的消息数。 >0 Count/s instancemessagesoutrate 消息消费速率 该指标用于统计实例每秒消费的消息数。 注意：2025年1月及以后购买的实例，支持此监控项。 >0 Count/s instancerequestqueuesize 实例请求队列长度 该指标用于统计实例请求队列长度。 >0 Count instanceresponsequeuesize 实例响应队列长度 该指标用于统计实例响应队列长度。 >0 Count instanceconnectionusage 实例连接数使用率 该指标用于统计实例连接数使用率 注意：2025年6月及以后购买的实例，支持此监控项。 0~100 % instancetopicusage 实例用户主题数使用率 该指标用于统计实例租户主题使用率 注意：2025年6月及以后购买的实例，支持此监控项。 0~100 % instancepartitionusage 实例用户主题分区数使用率 该指标用于统计实例租户主题分区使用率 注意：2025年6月及以后购买的实例，支持此监控项。 0~100 % instancegroupusage 实例用户消费组数使用率 该指标用于统计实例租户消费组使用率 注意：2025年6月及以后购买的实例，支持此监控项。 0~100 % instanceproducelimit 实例生产限流次数 该指标用于统计实例生产限流次数 注意：2025年6月及以后购买的实例，支持此监控项。 >0 Count instanceconsumelimit 实例消费限流次数 该指标用于统计实例消费限流次数 注意：2025年6月及以后购买的实例，支持此监控项。 >0 Count

介绍分布式消息服务Kafka消费组查看功能操作内容。 场景描述 在以下场景中，可以考虑查看Kafka的消费组列表： 监控消费组：通过查看消费组列表，可以监控和管理Kafka中的消费者。可以查看消费组的健康状态等信息，以确保消费者正常工作并及时发现潜在的问题。 动态调整消费者数量：通过查看消费组列表，可以了解当前的消费者数量和状态。根据实际需求，可以动态增加或减少消费者的数量，以适应不同的负载和流量变化。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理” （4）点击“消费组管理”后出现如下图列表 （5）右上角输入消费组名称，可查询对应消费组 消费组状态说明见下表： 状态 说明 Empty 消费组没有分配到任何分区进行消费。 PreparingRebalance 消费组中有新的消费者加入或者有消费者离开，正在进行重新分配分区的准备工作。 CompletingRebalance 1. 重新分配分区的过程已经完成，消费组即将开始消费。 Stable 消费组中的消费者正常消费消息，并且消费进度与分区分配是一致的。 Dead 消费组已经停止工作，没有任何活跃的消费者。 PreparingSync 消费组正在准备同步消费进度，以确保消费者之间的一致性。 AwaitingSync 消费组中的消费者正在等待同步消费进度的完成。 Rebalancing 消费组正在进行重新分配分区的操作。 DeadAndEmpty 消费组已经停止工作，且没有分配到任何分区进行消费。

Kafka服务端支持版本是多少？ Kafka 1.1.0和2.3.0版本。 创建的Kafka实例是集群模式么？ 创建一个Kafka实例即为一个集群实例。 Kafka实例是否支持修改访问端口？ Kafka实例的访问端口固定，不支持修改。 如果是访问未开启SASL的Kafka专享实例，访问端口为9092。 如果是访问开启SASL的Kafka专享实例，访问端口为9093。 在访问Kafka实例之前，需要确保安全组是否配置正确。 Kafka实例的SSL证书有效期多长？ Kafka实例开启SASL时，需进行单向认证，证书有效期足够长（超过15年），客户端不需要关注证书过期风险。 如何将Kafka实例中的数据同步到另一个Kafka实例中？ Kafka实例之间没有好的实时同步方案，如果需要做实例迁移，可以同时向两个实例生产消息，源实例中的消息可继续消费，待源实例的消息数据全部被消费完或老化后，业务可迁移到新的Kafka实例。 Kafka实例的SASLSSL开关如何修改？ Kafka SASLSSL开关不支持创建实例后修改，在创建时，请慎重选择，如果创建后需要修改，需要重新创建实例。 购买实例时选择的单AZ，怎样可以扩展为多AZ？ 已购买的实例无法扩展AZ，请重新购买多AZ的实例。 Kafka扩容会影响业务吗？ Kafka扩容带宽/存储空间，都不会影响业务的使用。 Kafka实例创建后，能修改VPC和子网吗？ 不能修改VPC和子网。 Kafka实例版本可以升级吗？ Kafka实例创建成功后，实例版本不支持升级。您可以重新创建Kafka实例，实现升级Kafka实例的版本。

指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 主题 (topic，kafka的topic监控数据。) id id clientid和ip信息 ENUM LAST 主题 (topic，kafka的topic监控数据。) topic topic kafka的topic名称 ENUM LAST 主题 (topic，kafka的topic监控数据。) bytesConsumedRate 每秒消费字节 每秒消费字节 Byte INT AVG 主题 (topic，kafka的topic监控数据。) fetchSizeAvg 请求获取平均字节 请求获取平均字节 Byte INT AVG 主题 (topic，kafka的topic监控数据。) fetchSizeMax 请求获取最大字节 请求获取最大字节 Byte INT MAX 主题 (topic，kafka的topic监控数据。) recordsConsumedRate 每秒消费消息数 每秒消费消息数 INT AVG 主题 (topic，kafka的topic监控数据。) recordsPerRequestAvg 单次请求平均消息数 单次请求平均消息数 INT AVG 主题 (topic，kafka的topic监控数据。) seqIds Producer生成序列号 Producer生成序列号 STRING LAST 主题 (topic，kafka的topic监控数据。) recordConsumedTotal 总消费次数 总消费次数 INT SUM 主题 (topic，kafka的topic监控数据。) bytesConsumedTotal 总消费字节数 总消费字节数 INT SUM fetch (fetch，kafka的fetch监控数据) id id clientid和ip信息 ENUM LAST fetch (fetch，kafka的fetch监控数据) bytesConsumedRate 每秒消费字节 每秒消费字节 Byte INT AVG fetch (fetch，kafka的fetch监控数据) fetchLatencyAvg 请求平均时延 请求平均时延 ms INT AVG fetch (fetch，kafka的fetch监控数据) fetchLatencyMax 请求最大时延 请求最大时延 ms INT MAX fetch (fetch，kafka的fetch监控数据) fetchRate 每秒请求数 每秒请求数 INT AVG fetch (fetch，kafka的fetch监控数据) fetchSizeAvg 请求获取平均字节 请求获取平均字节 Byte INT AVG fetch (fetch，kafka的fetch监控数据) fetchSizeMax 请求获取最大字节 请求获取最大字节 Byte INT MAX fetch (fetch，kafka的fetch监控数据) recordsConsumedRate 每秒消费消息数 每秒消费消息数 INT AVG fetch (fetch，kafka的fetch监控数据) recordsLagMax 最大堆积消息数 最大堆积消息数 INT MAX fetch (fetch，kafka的fetch监控数据) recordsPerRequestAvg 单次请求平均消息数 单次请求平均消息数 INT AVG fetch (fetch，kafka的fetch监控数据) seqIds Producer生成序列号 Producer生成序列号 STRING LAST fetch (fetch，kafka的fetch监控数据) recordConsumedTotal 总消费次数 总消费次数 INT SUM fetch (fetch，kafka的fetch监控数据) bytesConsumedTotal 总消费字节数 总消费字节数 INT SUM partition (partition，kafka的partition监控数据。) id id clientid和ip信息 ENUM LAST partition (partition，kafka的partition监控数据。) partition partition kafka的partition名称 ENUM LAST partition (partition，kafka的partition监控数据。) recordsLag 堆积消息数 堆积消息数 INT LAST partition (partition，kafka的partition监控数据。) recordsLagAvg 平均堆积消息数 平均堆积消息数 INT AVG partition (partition，kafka的partition监控数据。) recordsLagMax 最大堆积消息数 最大堆积消息数 INT MAX partition (partition，kafka的partition监控数据。) seqIds Producer生成序列号 Producer生成序列号 STRING LAST kafka消费方法监控 (consumer，kafka消费方法监控。) method method 消费方法 ENUM LAST kafka消费方法监控 (consumer，kafka消费方法监控。) concurrentMax 最大并发 最大并发 INT MAX kafka消费方法监控 (consumer，kafka消费方法监控。) errorCount 错误数 错误数 INT SUM kafka消费方法监控 (consumer，kafka消费方法监控。) invokeCount 调用次数 调用次数 INT SUM kafka消费方法监控 (consumer，kafka消费方法监控。) lastError 错误信息 发生错误时产生的错误信息 STRING LAST kafka消费方法监控 (consumer，kafka消费方法监控。) maxTime 最大响应时间 采集周期内最大响应时间 INT MAX kafka消费方法监控 (consumer，kafka消费方法监控。) range1 010ms 响应时间在010ms范围调用次数 INT SUM kafka消费方法监控 (consumer，kafka消费方法监控。) range2 10100ms 响应时间在10100ms范围调用次数 INT SUM kafka消费方法监控 (consumer，kafka消费方法监控。) range3 100500ms 响应时间在100500ms范围调用次数 INT SUM kafka消费方法监控 (consumer，kafka消费方法监控。) range4 5001000ms 响应时间在5001000ms范围调用次数 INT SUM kafka消费方法监控 (consumer，kafka消费方法监控。) range5 110s 响应时间在110s范围调用次数 INT SUM kafka消费方法监控 (consumer，kafka消费方法监控。) range6 10s以上 响应时间在10s以上调用次数 INT SUM kafka消费方法监控 (consumer，kafka消费方法监控。) totalTime 总响应时间 总响应时间 INT SUM KafkaConsumer汇总（total，KafkaConsumer汇总信息统计。） recordConsumedTotal 总消费次数 总消费次数 INT SUM KafkaConsumer汇总（total，KafkaConsumer汇总信息统计。） bytesConsumedTotal 总消费字节数 总消费字节数 INT SUM KafkaConsumer汇总（total，KafkaConsumer汇总信息统计。） recordsLag 总堆积消息数 总堆积消息数 INT LAST 异常 (exception，kafka消费异常信息。) causeType 异常发生类 异常发生类 ENUM LAST 异常 (exception，kafka消费异常信息。) exceptionType 异常类 异常类 ENUM LAST 异常 (exception，kafka消费异常信息。) count 数量 异常数量 INT SUM 异常 (exception，kafka消费异常信息。) message 异常消息 异常消息 STRING LAST 异常 (exception，kafka消费异常信息。) stackTrace 异常堆栈 异常堆栈 CLOB LAST

介绍Kafka消费者poll的优化。 优化背景 Kafka是一个高吞吐量、低延迟的分布式消息系统，常用于构建实时数据流处理和大规模数据集的消费。在Kafka中，消费者通过调用 poll()方法从Broker拉取消息进行消费。 优化Kafka消费者的 poll()方法可以带来以下几个方面的好处： 1. 提高消费者的吞吐量：通过调整 poll()方法的参数和优化策略，可以减少网络通信的次数和延迟，提高消费者的消息处理速度，从而提高整体的吞吐量。 2. 减少消费者的资源占用：消费者在调用 poll()方法时会占用一定的CPU、内存和网络资源。通过优化 poll()方法，可以减少消费者的资源占用，提高资源的利用率，从而节省成本和提高系统的可扩展性。 3. 提高消息的实时性：优化 poll()方法可以减少消息的处理延迟，使得消息能够更快地被消费和处理。这对于实时数据流处理和需要快速响应的应用场景非常重要。 4. 提高系统的稳定性：通过优化 poll()方法，可以减少消费者的阻塞时间和等待时间，减少消息堆积和延迟，从而提高系统的稳定性和可靠性。 总之，优化Kafka消费者的 poll()方法可以提高消费者的吞吐量、降低延迟、节省资源、提高实时性和增强系统的稳定性。这对于大规模数据处理和实时数据流应用非常重要，能够提升系统的性能和用户体验。 优化方案 优化Kafka消费者的 poll()方法可以通过以下几个方面来实现： 1. 批量拉取消息：通过调整 max.poll.records参数，一次性拉取更多的消息，减少网络通信的次数，提高消费者的吞吐量。需要根据实际场景和消费者的处理能力进行合理的调整。 2. 控制拉取间隔：通过调整 poll()方法的调用频率，控制消费者的拉取速度。拉取间隔过小会增加网络开销，间隔过大会导致消息堆积和延迟。根据实际场景和消费者的处理能力，找到合适的拉取间隔，平衡吞吐量和消息的实时性。 3. 并行处理：使用多线程或多进程方式并行处理拉取到的消息，提高消费者的并发处理能力，加快消息的处理速度。确保消息处理逻辑线程安全，避免并发访问问题。 4. 提前预取：通过设置 fetch.min.bytes参数，提前预取下一批消息，减少 poll()方法的等待时间。根据实际场景和消费者的处理能力，找到合适的预取大小，平衡吞吐量和内存开销。 5. 异步提交偏移量：将 enable.auto.commit参数设置为 false，手动异步提交偏移量，减少 poll()方法的阻塞时间。提高消费者的吞吐量和性能。 6. 使用消费者组：将多个消费者组绑定到同一个主题，实现消息的并行消费。每个消费者组可以独立地消费消息，提高整体的消费能力。 7. 合理配置消费者参数：根据实际需求和系统资源，合理配置消费者的参数，如 max.poll.interval.ms、session.timeout.ms等，以避免消费者在处理消息时出现超时或重平衡的情况。 需要根据具体的应用场景和需求，结合实际的性能测试和优化策略，选择合适的优化方案来提高Kafka消费者的 poll()方法的效率和性能。

数据源简介 数据源简介 数据源类型 简介 数据仓库服务（DWS） DWS是基于Sharednothing分布式架构，具备MPP大规模并行处理引擎，兼容标准ANSI SQL 99和SQL 2003，同时兼容PostgreSQL/Oracle数据库生态，为各行业PB级海量大数据分析提供有竞争力的解决方案。 数据湖探索（DLI） DLI是完全兼容Apache Spark和Apache Flink生态，实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎，企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等，挖掘和探索数据价值。 MapReduce服务（MRS HBase） HBase是一个开源的、面向列（ColumnOriented）、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。 使用MRS HBase可实现海量数据存储，并实现毫秒级数据查询。选择MRS HBase可以实现物流数据毫秒级实时入库更新，并支持百万级时序数据查询分析。 MapReduce服务（MRS Hive） Hive是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HiveQL，它允许熟悉SQL的用户查询数据。 使用MRS Hive可实现TB/PB级的数据分析，快速将线下Hadoop大数据平台（CDH、HDP等）迁移上云，业务迁移 “0”中断，业务代码 “0”改动。 MapReduce服务（MRS Kafka） MapReduce服务可提供专属MRS Kafka集群。Kafka是一个分布式的、分区的、多副本的消息发布订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。 MapReduce服务（MRS Ranger） Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限。 MySQL MySQL是目前最受欢迎的开源数据库之一，其性能卓越，架构成熟稳定，支持流行应用程序，适用于多领域多行业，支持各种WEB应用，成本低，中小企业首选。 MapReduce服务（MRS Spark） Spark是一个开源的，并行数据处理框架，能够帮助用户简单的开发快速、统一的大数据应用，对数据进行协处理、流式处理、交互式分析等等。 Spark提供了一个快速的计算、写入以及交互式查询的框架。相比于Hadoop，Spark拥有明显的性能优势。Spark提供类似SQL的Spark SQL语言操作结构化数据。 云数据库RDS RDS是一种基于云计算平台的即开即用、稳定可靠、弹性伸缩、便捷管理的在线关系型数据库服务。 注意，DataArts Studio平台目前仅支持RDS中的MySQL和PostgreSQL数据库。 主机连接 通过主机连接，用户可以在DataArts Studio数据开发中连接到指定的主机，通过脚本开发和作业开发在主机上执行Shell或Python脚本。主机连接保存连接某个主机的连接信息，当主机的连接信息有变化时，只需在主机连接管理中编辑修改，而不需要到具体的脚本或作业中逐一修改。 MapReduce服务（MRS Presto） Presto是一个开源的用户交互式分析查询的SQL查询引擎，用于针对各种大小的数据源进行交互式分析查询。其主要应用于海量结构化数据/半结构化数据分析、海量多维数据聚合/报表、ETL、AdHoc查询等场景。 Presto允许查询的数据源包括Hadoop分布式文件系统（HDFS），Hive，HBase，Cassandra，关系数据库甚至专有数据存储。一个Presto查询可以组合不同数据源，执行跨数据源的数据分析。

本节介绍Kafka分区平衡功能 场景描述 分区平衡是指将分区的副本重新分配到不同的节点上，解决Kafka节点负载不均衡问题。 需要进行分区平衡的场景如下： 实例扩容节点个数后，新节点没有任何负载，需要将原有Topic分区的副本迁移到新节点上。 将高负载节点上的Leader分区切换为Follower分区。 增加/减少副本数量。 分布式消息服务Kafka版控制台提供两种分区平衡的方法：自动平衡和手动平衡，建议选择自动平衡，确保分区Leader的均匀分布。 操作影响 对数据量大的Topic进行分区平衡，会占用大量的网络和存储带宽，业务可能会出现请求超时或者时延增大，建议在业务低峰期时操作。对Topic进行分区平衡前，根据Kafka实例规格对比当前实例负载情况，评估是否可以进行分区平衡，建议预留足够的带宽进行分区平衡，CPU使用率在90%以上时，不建议进行分区平衡。 带宽限制是指设定Topic进行副本同步的带宽上限，确保不会对该实例上的其他Topic造成流量冲击。但需要注意，带宽限制不会区分是正常的生产消息造成的副本同步还是分区平衡造成的副本同步，如果带宽限制设定过小，可能会影响正常的生产消息，且可能会造成分区平衡一直无法结束。 分区平衡任务启动后，不能删除正在进行分区平衡的Topic，否则会导致分区平衡任务无法结束。 分区平衡任务启动后，无法修改Topic的分区数。 分区平衡任务启动后，无法手动停止任务，需要等到任务完成。 分区平衡后Topic的metadata会改变，如果生产者不支持重试机制，会有少量的请求失败，导致部分消息生产失败。 数据量大的Topic进行分区平衡的时间会比较长，建议根据Topic的消费情况，适当调小Topic老化时间，使得Topic的部分历史数据被及时清理，加快迁移速度。

环境安装 1. 安装Python。（Python版本为2.7或3.X。） 2. 安装依赖库。（使用公网连接需要安装confluentkafka 1.9.2及以下版本的依赖库） pip install confluentkafka1.9.2 3. 下载Demo包kafkaconfluentpythondemo.zip。 配置修改 1. 如果是ssl连接，需要在控制台下载证书。并且解压压缩包得到ssl.client.truststore.jks，执行以下命令生成caRoot.pem文件。 keytool importkeystore srckeystore ssl.client.truststore.jks destkeystore caRoot.p12 deststoretype pkcs12 openssl pkcs12 in caRoot.p12 out caRoot.pem 2. 修改setting.py文件。（calocation仅在ssl连接时需要配置） kafkasetting { 'bootstrapservers': 'XXX', 'topicname': 'XXX', 'groupname': 'XXX' } 生产消息 发送以下命令发送消息。 python kafkaproducer.py 生产消息示例代码如下： from confluentkafka import Producer import setting conf setting.kafkasetting """初始化一个 Producer 对象""" p Producer({'bootstrap.servers': conf['bootstrapservers']}) def deliveryreport(err, msg): """ Called once for each message produced to indicate delivery result. Triggered by poll() or flush(). """ if err is not None: print('Message delivery failed: {}'.format(err)) else: print('Message delivered to {} [{}]'.format(msg.topic(), msg.partition())) """异步发送消息""" p.produce(conf['topicname'], "Hello".encode('utf8'), callbackdeliveryreport) p.poll(0) """在程序结束时，调用flush""" p.flush() 消费消息 发送以下命令消费消息。 python kafkaconsumer.py 消费消息示例代码如下： from confluentkafka import Consumer, KafkaError import setting conf setting.kafkasetting c Consumer({ 'bootstrap.servers': conf['bootstrapservers'], 'group.id': conf['groupname'], 'auto.offset.reset': 'latest' }) c.subscribe([conf['topicname']]) while True: msg c.poll(1.0) if msg is None: continue if msg.error(): if msg.error().code() KafkaError.PARTITIONEOF: continue else: print("Consumer error: {}".format(msg.error())) continue print('Received message: {}'.format(msg.value().decode('utf8'))) c.close()

生产消息 进入Kafka客户端文件的“/bin”目录下，执行如下命令进行生产消息： ./kafkaconsoleproducer.sh brokerlist ​{连接地址} topic 连接地址−−topic​{Topic名称} 参数说明如下： 连接地址：从前提条件中获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 示例如下，“10.3.196.45:9094,10.78.42.127:9094,10.4.49.103:9094”为获取的Kafka实例公网连接地址。 执行完命令后，输入需要生产的消息内容，按“Enter”发送消息到Kafka实例，输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin] ./kafkaconsoleproducer.sh brokerlist 10.3.196.45:9094,10.78.42.127:9094,10.4.49.103:9094 topic topicdemoHello DMS Kafka! ^C[root@ecskafka bin] 如需停止生产使用Ctrl+C命令退出。 消费消息 执行如下命令进行消费消息： ./kafkaconsoleconsumer.sh bootstrapserver ​{连接地址} topic 连接地址−−topic​{Topic名称} group ${消费组名称} frombeginning 参数说明如下： 连接地址：从前提条件中获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 消费组名称：根据您的业务需求，设定消费组名称。 如果已经在配置文件中指定了消费组名称，请确保命令行中的消费组名称与配置文件中的相同，否则可能消费失败。 消费组名称开头包含特殊字符，例如下划线“”、 号“ ”时，监控数据无法展示。 示例如下： [root@ecskafka bin] ./kafkaconsoleconsumer.sh bootstrapserver 10.3.196.45:9094,10.78.42.127:9094,10.4.49.103:9094 topic topicdemo group ordertest frombeginning Kafka! DMS Hello ^CProcessed a total of 3 messages [root@ecskafka bin]

操作场景 分布式消息服务 Kafka 版支持分区动态处理功能，当实例集群出现分区不平衡的情况时，可以手动进行分区均衡，重新分配分区在节点上的分布情况。也可以选择自动分区均衡 ，Kafka 会根据您设定的策略自动检查 Topic 的分区分布，自动分析选择业务低峰期发起分区均衡。 前提条件 自动分区均衡仅支持集群版实例。 自动分区均衡和Topic管理页面的分区平衡任务不能同时运行。 操作影响 分区均衡操作时可能引起流量抖动以及请求超时情况，建议在业务低峰期操作。 分区平衡后Topic的metadata会改变，如果生产者不支持重试机制，会有少量的请求失败，导致部分消息生产失败。 操作步骤 1. 进入Kafka实例管理控制台。 2. 在左侧菜单栏中选择智能运维中的弹性伸缩，进入弹性伸缩功能页面。 3. 在弹性伸缩页面的分区动态处理模块，可以选择开启或关闭自动化分区均衡。 4. 自动分区均衡支持两种策略，通过”配置“按钮可选择自定义时间或自动分析选择业务低峰期。 5. 单击”确定“，完成配置，再点击状态开关进行开启即可。 6. 可通过”查看“按钮或者直接进入智能运维中的后台任务管理功能页面查看自动化分区均衡调整记录详情。

本文主要介绍 DMS for Kafka自定义策略。 如果系统预置的DMS for Kafka权限，不满足您的授权要求，可以创建自定义策略。 目前云服务平台支持以下两种方式创建自定义策略： 可视化视图创建自定义策略：无需了解策略语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图创建自定义策略：可以在选择策略模板后，根据具体需求编辑策略内容；也可以直接在编辑框内编写JSON格式的策略内容。 具体创建步骤请参见：《统一身份认证服务用户指南》的“创建自定义策略”章节。本章为您介绍常用的DMS for Kafka自定义策略样例。 说明 DMS for Kafka的权限与策略基于分布式消息服务DMS，因此在IAM服务中为DMS for Kafka分配用户与权限时，请选择并使用“DMS”的权限与策略。 由于缓存的存在，对用户、用户组以及企业项目授予OBS相关的细粒度策略后，大概需要等待5分钟细粒度策略才能生效。 DMS自定义策略样例 示例1：授权用户删除实例和重启实例 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "dms:instance:modifyStatus", "dms:instance:delete" ] } ] } 示例2：拒绝用户删除实例 拒绝策略需要同时配合其他策略使用，否则没有实际作用。用户被授予的策略中，一个授权项的作用如果同时存在Allow和Deny，则遵循Deny优先。 如果您给用户授予DMS FullAccess的系统策略，但不希望用户拥有DMS FullAccess中定义的删除实例权限，您可以创建一条拒绝删除实例的自定义策略，然后同时将DMS FullAccess和拒绝策略授予用户，根据Deny优先原则，则用户可以对DMS for Kafka执行除了删除实例外的所有操作。拒绝策略示例如下： { "Version": "1.1", "Statement": [ { "Effect": "Deny", "Action": [ "dms:instance:delete" ] } ] }

可信云服务可以通过IAM委托的方式访问其他云服务的资源。可信实体为天翼云服务的IAM委托，包括普通云服务委托和云服务关联委托。本文介绍事件总线EventBridge的服务内联委托。 什么是服务内联委托 在某些场景下，事件总线EventBridge为了完成自身的某个功能，需要获取其他云服务的访问权限，因此，事件总线EventBridge创建了与云服务内联委托，即服务内联委托CtyunAssumeRoleForEventBridge。 使用事件总线EventBridge，系统提供的服务内联委托及其包含的系统权限策略如下： 服务内联委托：CtyunAssumeRoleForEventBridge 系统权限策略：CtyunAssumePolicyForEventBridge CtyunAssumeRoleForEventBridge 服务内联委托CtyunAssumeRoleForEventBridge具有获取访函数列表、函数详情以及调用函数的权限；具有对分布式消息服务Kafka、分布式消息服务RocketMQ、分布式消息服务MQTT与分布式消息服务RabbitMQ的管理员权限；具有专有网络VPC、VPCE的管理员权限。 服务内联委托CtyunAssumeRoleForEventBridge被授予权限策略CtyunAssumePolicyForEventBridge，该权限策略的内容如下： plaintext { "Version": "1.1", "Statement": [ { "Action": [ "cf:inst:InvokeFunction", "cf:inst:GetFunction", "cf:inst:ListFunctions", "KAFKA::", "MQ2::", "mqtt::", "AMQP::", "vpce::", "vpc::" ], "Resource": [ "" ], "Effect": "Allow" } ] } 以下是使用事件总线EventBridge时，需要使用服务内联委托的场景： 建立函数计算规则时，需要委托事件总线EventBridge具有获取访函数列表、函数详情以及调用函数的权限。 建立消息中间件事件源与事件目标时，需要委托事件总线EventBridge具有对分布式消息服务Kafka、分布式消息服务RocketMQ、分布式消息服务MQTT与分布式消息服务RabbitMQ的管理员权限。 建立网络端点时，需要委托事件总线EventBridge具有专有网络VPC、VPCE的管理员权限。

该页面主要介绍分布式消息服务Kafka版的SDK，您可以根据实际业务需求进行集成。 各语言SDK下载及使用 支持语言 SDK附件 Java ctyunctgkafkajavasdkv1.0.1.zip Go ctyunctgkafkagosdkv1.0.1.zip 说明 由于运行环境的多样性，部分接口在某些特定配置下可能存在适配差异，我们的技术团队将持续优化兼容性。如有问题，可提单咨询。

介绍分布式消息服务Kafka产品功能的使用限制。 限制项 使用说明 实例 开通后，不支持修改VPC/子网/可用区，不支持变更地域属性 扩缩容 当前只支持节点、规格、磁盘扩容，不支持缩容 版本 当前服务端版本为2.132.8.2。实例创建后，服务端版本不支持升级，不支持定制版本 弹性ip 支持对每个节点绑定弹性ip，可以在公网访问topic，弹性ip只能通过SASL连接访问 topic创建 默认不支持自动创建，需要在页面上创建，总数不超过100个 topic分区数 只能增加不能减少，总分区数不能超过2000个，分区数过多会导致磁盘碎片化，影响性能 私有主题 支持私有主题 消息大小 默认1MB，可自定义配置 批量导入/导出 支持topic、消费组、连接用户的批量导入 私有消费组 支持私有消费组，需要在页面上创建、订阅对应的私有主题，并对连接用户授权

本文主要介绍设置Topic权限。 分布式消息服务Kafka支持对Topic进行ACL（Access Control List）权限管理，您可以在Topic中为不同的SASLSSL用户设置不同的权限，以达到SASLSSL用户之间的权限隔离。 本章节主要介绍Kafka实例开启SASLSSL后，如何对Topic进行SASLSSL用户授权。创建SASLSSL用户的操作，请参见创建SASLSSL用户。 约束与限制 如果Topic并未授权任何SASLSSL用户，此时所有的SASLSSL用户都可以订阅/发布此Topic。 如果Topic已授权某一个或多个SASLSSL用户，此时只有授权的SASLSSL用户可以订阅/发布此Topic，其他未授权的SASLSSL用户不能订阅/发布此Topic。 如果Topic同时设置了“默认用户”权限和单个用户权限，取两者的并集。 前提条件 创建Kafka实例时，已开启SASLSSL功能。 （可选）已创建SASLSSL用户。 设置Topic权限 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例名称，进入实例详情页面。 步骤 5 在导航栏单击“Topic管理”，进入Topic列表页面。 步骤 6 在需要设置用户权限的Topic所在行，单击“设置用户权限”，弹出“设置用户权限”对话框。 在“设置用户权限”对话框顶部显示Topic的信息，包括Topic名称、分区数、老化时间、副本数和是否同步落盘。其次为默认用户选项，勾选此选项，为所有用户分配统一的权限。中间为用户名的搜索框，SASLSSL用户过多时，在搜索框中输入用户名，快速查找用户。在“用户列表”区域，展示已创建的SASLSSL用户列表。在“已选择”区域，为SASLSSL用户授权。 步骤 7 为用户设置Topic权限。 如果需要为所有用户设置相同的权限，勾选“默认用户”，并设置权限。如下图所示，所有用户都拥有发布此Topic的权限。 图 为所有用户设置相同的权限 如果需要为某个用户设置权限，不勾选“默认用户”，在“用户列表”区域，勾选需要订阅/发布/发布+订阅此Topic的用户名。在“已选择”区域，为用户设置不同的权限。如下图所示，此时只有“test”、“send”和“receive”用户可以订阅/发布此Topic，“sendreceive”用户无法订阅/发布此Topic。 图 为某个用户设置权限 同时设置了“默认用户”权限和单个用户权限时，取两者的并集。 如下图所示，“test”和“receive”用户可以订阅+发布此Topic，“send”用户只能发布此Topic。 图 为用户设置Topic权限 步骤 8 单击“确定”，完成为SASLSSL用户的授权。 完成授权后，进入Topic列表页面，在Topic名称前单击，查看已经授权的用户及其对应的权限。 图查看已经授权的用户及其对应的权限

生产消息 进入Kafka客户端文件的“/bin”目录下，执行如下命令进行生产消息。 ./kafkaconsoleproducer.sh brokerlist ​{连接地址} topic 连接地址−−topic​{Topic名称} producer.config ../config/producer.properties 参数说明如下： 连接地址：从前提条件获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 示例如下，“10.3.196.45:9095,10.78.42.127:9095,10.4.49.103:9095”为Kafka实例连接地址。 执行完命令后，输入需要生产的消息内容，按“Enter”发送消息到Kafka实例，输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin] ./kafkaconsoleproducer.sh brokerlist 10.3.196.45:9095,10.78.42.127:9095,10.4.49.103:9095 topic topicdemo producer.config ../config/producer.propertiesHello DMS Kafka! ^C[root@ecskafka bin] 如需停止生产使用Ctrl+C命令退出。 消费消息 执行如下命令消费消息。 ./kafkaconsoleconsumer.sh bootstrapserver ​{连接地址} topic 连接地址−−topic​{Topic名称} group ${消费组名称} frombeginning consumer.config ../config/consumer.properties 参数说明如下： 连接地址：从前提条件获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 消费组名称：根据您的业务需求，设定消费组名称。 如果已经在配置文件中指定了消费组名称，请确保命令行中的消费组名称与配置文件中的相同，否则可能消费失败 。 消费组名称开头包含特殊字符，例如下划线“”、 号“ ”时，监控数据无法展示。 示例如下： [root@ecskafka bin]

本文主要介绍 修改配置参数。 操作场景 分布式消息服务Kafka为实例、Topic、消费者提供了几个常用配置参数的默认值，您可以根据实际业务需求，在控制台自行修改参数值。其他在控制台未列出的配置参数，请参考Kafka配置进行修改。 1.1.0版本实例的参数都为静态参数，2.3.0/2.7版本实例的参数分为动态参数和静态参数： 动态参数：动态参数修改成功后，无需重启实例，立即生效。 静态参数：静态参数修改成功后，需要手动重启实例才能生效。 说明 部分老实例不支持修改配置参数，具体以控制台为准，此时请联系客服解决。 前提条件 Kafka实例的状态为“运行中”时，才能修改配置参数。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在“配置参数”页签，在待修改参数所在行，单击“编辑”，修改配置参数。1.1.0版本实例的参数说明如下表所示，2.3.0/2.7版本实例的参数说明如下表所示。 表动态参数说明（1.1.0版本） 参数 参数说明 参数范围 默认值 auto.create.groups.enable 是否开启自动创建消费组功能。 true/false true 表 静态参数说明（1.1.0版本） 参数 参数说明 参数范围 默认值 min.insync.replicas 当producer将acks设置为“all”(或“1”)时，此配置指定必须确认写入才能被认为成功的副本的最小数量。 1 ~ 3 1 message.max.bytes 单条消息的最大长度（单位：字节）。 0 ~ 10485760 10485760 unclean.leader.election.enable 指示是否启用不在ISR集合中的副本选为领导者作为最后的手段，即使这样做可能导致数据丢失。 true/false true connections.max.idle.ms 此参数用来指定在多少毫秒之后，关闭空闲的连接。 5000 ~ 600000 600000 log.retention.hours 日志文件最大保存时间。单位为小时。如果Topic已经设置了老化时间，则此参数对此Topic不生效。仅在Topic未设置老化时间时，此参数才对此Topic生效。 1 ~ 168 72 max.connections.per.ip 每个IP允许的最大连接数。超过此连接数的连接请求将被丢弃。 100 ~ 20000 1000 group.max.session.timeout.ms consumer允许的最大会话超时时间，单位为ms。超时时间越长，consumer就能在心跳探测周期内有更多时间处理消息，但也会使故障检测花费更长时间。 6000 ~ 1800000 1800000 default.replication.factor 自动创建Topic时的默认副本个数。 1 ~ 3 3 num.partitions 自动创建Topic时的默认分区数。 1 ~ 100 3 group.min.session.timeout.ms consumer允许的最小会话超时时间，单位为ms。超时时间越短，consumer的心跳探测越频繁，可以使故障检测更快，但会导致broker被抢占更多的资源。 6000 ~ 300000 6000 表动态参数说明（2.3.0/2.7版本） 参数 参数说明 参数范围 默认值 min.insync.replicas 当producer将acks设置为“all”(或“1”)时，此配置指定必须确认写入才能被认为成功的副本的最小数量。 1 ~ 3 1 message.max.bytes 单条消息的最大长度（单位：字节）。 0 ~ 10485760 10485760 auto.create.groups.enable 是否开启自动创建消费组功能。 true/false true max.connections.per.ip 每个IP允许的最大连接数。超过此连接数的连接请求将被丢弃。 100 ~ 20000 1000 unclean.leader.election.enable 指示是否启用不在ISR集合中的副本选为领导者作为最后的手段，即使这样做可能导致数据丢失。 true/false true 表静态参数说明（2.3.0/2.7版本） 参数 参数说明 参数范围 默认值 connections.max.idle.ms 此参数用来指定在多少毫秒之后，关闭空闲的连接。 5000 ~ 600000 600000 log.retention.hours 日志文件最大保存时间。单位为小时。如果Topic已经设置了老化时间，则此参数对此Topic不生效。仅在Topic未设置老化时间时，此参数才对此Topic生效。 1 ~ 168 72 group.max.session.timeout.ms consumer允许的最大会话超时时间，单位为ms。超时时间越长，consumer就能在心跳探测周期内有更多时间处理消息，但也会使故障检测花费更长时间。 6000 ~ 1800000 1800000 default.replication.factor 自动创建Topic时的默认副本个数。 1 ~ 3 3 num.partitions 自动创建Topic时的默认分区数。 1 ~ 100 3 group.min.session.timeout.ms consumer允许的最小会话超时时间，单位为ms。超时时间越短，consumer的心跳探测越频繁，可以使故障检测更快，但会导致broker被抢占更多的资源。 6000 ~ 300000 6000 说明 如果需要批量修改参数，单击“批量编辑”，可以一次性编辑多个动态参数或静态参数的运行值。 如果需要恢复默认值，在待修改参数后，单击“恢复默认”。 步骤 6 单击“保存”，完成参数的修改。 说明 动态参数修改成功后，无需重启实例，立即生效。 静态参数修改成功后，需要手动重启实例才能生效。