分类 服务 命名空间 维度 监控指标参考文档 企业中间件 分布式消息服务 SYS.DMS 请参考右侧相关文档链接页面。

本文主要介绍 支持的监控指标。 功能说明 本章节定义了分布式消息服务Kafka上报云监控服务的监控指标的命名空间，监控指标列表和维度定义，您可以通过云监控服务的管理控制台或API接口来检索Kafka实例产生的监控指标和告警信息，也可以通过分布式消息服务Kafka控制台提供的“监控”页面来检索Kafka实例产生的监控指标。 命名空间 SYS.DMS 实例监控指标 表 实例支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） currentpartitions 分区数 该指标用于统计Kafka实例中已经使用的分区数量。单位：Count 0~1800 Kafka实例 1分钟 currenttopics 主题数 该指标用于统计Kafka实例中已经创建的主题数量。单位：Count 0~1800 Kafka实例 1分钟 groupmsgs 堆积消息数 该指标用于统计Kafka实例中所有消费组中总堆积消息数。单位：Count 0~1000000000 Kafka实例 1分钟 节点监控指标 表 节点支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） brokerdatasize 节点数据容量 该指标用于统计节点当前的消息数据大小。单位：Byte、KB、MB、GB、TB、PB 0~5000000000000 Kafka实例节点 1分钟 brokermessagesinrate 消息生产速率 该指标用于统计每秒生产的消息数量。单位：Count/s 0~500000 Kafka实例节点 1分钟 brokerbytesoutrate 消费流量 该指标用于统计每秒消费的字节数。单位：Byte/s、KB/s、MB/s、GB/s 0~500000000 Kafka实例节点 1分钟 brokerbytesinrate 生产流量 该指标用于统计每秒生产的字节数。单位：Byte/s、KB/s、MB/s、GB/s 0~500000000 Kafka实例节点 1分钟 brokerpublicbytesinrate 公网入流量 统计Broker节点每秒公网访问流入流量。单位：Byte/s、KB/s、MB/s、GB/s 说明 已开启公网访问，并且设置了弹性IP地址的实例，请在弹性公网IP服务中查看此监控指标。 0~500000000 Kafka实例节点 1分钟 brokerpublicbytesoutrate 公网出流量 统计Broker节点每秒公网访问流出流量。单位：Byte/s、KB/s、MB/s、GB/s 说明 已开启公网访问，并且设置了弹性IP地址的实例，请在弹性公网IP服务中查看此监控指标。 0~500000000 Kafka实例节点 1分钟 brokerfetchmean 消费请求平均处理时长 统计Broker节点处理消费请求平均时长。单位：ms 0~10000 Kafka实例节点 1分钟 brokerproducemean 生产请求平均处理时长 统计Broker节点处理生产请求平均时长。单位：ms 0~10000 Kafka实例节点 1分钟 brokercpucoreload CPU核均负载 该指标为从Kafka节点虚拟机层面采集的CPU每个核的平均负载。单位：% 0~20 Kafka实例节点 1分钟 brokerdiskusage 磁盘容量使用率 该指标为从Kafka节点虚拟机层面采集的磁盘容量使用率。单位：% 0~100% Kafka实例节点 1分钟 brokermemoryusage 内存使用率 该指标为Kafka节点虚拟机层面采集的内存使用率。单位：% 0~100% Kafka实例节点 1分钟 brokerheapusage Kafka进程JVM堆内存使用率 该指标从Kafka节点Kafka进程JVM中采集的堆内存使用率。单位：% 0~100% Kafka实例节点 1分钟 brokeralive 节点存活状态 表示Kafka节点是否存活。 1：存活 0：离线 Kafka实例节点 1分钟 brokerconnections 连接数 统计Kafka节点当前所有TCP连接数量。单位：Count 0~65535 Kafka实例节点 1分钟 brokercpuusage CPU使用率 统计Kafka节点虚拟机的CPU使用率。单位：% 0~100% Kafka实例节点 1分钟 brokerdiskreadawait 磁盘平均读操作耗时 该指标用于统计磁盘在测量周期内平均每个读IO的操作时长。单位：ms >0 Kafka实例节点 1分钟 brokerdiskwriteawait 磁盘平均写操作耗时 该指标用于统计磁盘在测量周期内平均每个写IO的操作时长。单位：ms >0 Kafka实例节点 1分钟 brokertotalbytesinrate 网络入流量 统计Broker节点每秒网络访问流入流量。单位：Byte/s 0~1000000000 Kafka实例节点 1分钟 brokertotalbytesoutrate 网络出流量 统计Broker节点每秒网络访问流出流量。单位：Byte/s 0~1000000000 Kafka实例节点 1分钟 brokerdiskreadrate 磁盘读流量 磁盘读操作流量。单位：Byte/s、KB/s、MB/s、GB/s >0 Kafka实例节点 1分钟 brokerdiskwriterate 磁盘写流量 磁盘写操作流量。单位：Byte/s、KB/s、MB/s、GB/s >0 Kafka实例节点 1分钟

介绍分布式消息服务Kafka主题列表功能操作内容。 场景描述 Kafka主题列表是Kafka消息队列中的一个重要概念，用于列出所有可用的主题。以下是一些Kafka主题列表的应用场景的描述： 监控和管理：通过查看Kafka主题列表，管理员可以了解当前系统中存在的所有主题。他们可以监控主题的状态、分区数量和副本分布，并进行必要的管理操作，如创建、删除和修改主题。 数据消费者选择：Kafka主题列表可以帮助数据消费者选择他们感兴趣的主题。消费者可以浏览主题列表，找到包含他们需要的数据的主题，并订阅这些主题以接收数据。 数据集成和数据流转：Kafka主题列表可以帮助数据集成和数据流转的过程。数据源可以查看主题列表，确定将数据写入哪些主题。而数据接收方可以查看主题列表，选择他们需要的主题来消费数据。 监控数据流：通过查看Kafka主题列表，监控系统可以了解当前系统中的所有数据流。监控系统可以根据主题列表中的信息，监控每个主题的数据流量、延迟和健康状况，并进行实时的监控和报警。 系统调试和故障排查：Kafka主题列表可以帮助开发人员进行系统调试和故障排查。他们可以查看主题列表，确定消息是否正确地写入和消费，并检查主题的状态和分区情况，以解决潜在的问题。 总之，Kafka主题列表提供了对Kafka消息队列中所有主题的全局视图，帮助管理员、数据消费者和开发人员进行监控、管理和调试。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“Topic管理”后即可查看所有Topic的信息。 （5）右上角输入Topic名称，可查询对应Topic。

本章节介绍了分布式消息服务RocketMQ与Kafka和RabbitMQ的差异。 功能项 RocketMQ Kafka RabbitMQ 优先级队列 不支持 不支持 支持。建议优先级大小设置在010之间。 延迟队列 支持 不支持 不支持 死信队列 支持 不支持 支持 消息重试 支持 不支持 不支持 消费模式 支持客户端主动拉取和服务端推送两种方式 客户端主动拉取 支持客户端主动拉取以及服务端推送两种模式 广播消费 支持 支持 支持 消息回溯 支持 支持。Kafka支持按照offset和timestamp两种维度进行消息回溯。 不支持。RabbitMQ中消息一旦被确认消费就会被标记删除。 消息堆积 支持 支持。考虑吞吐因素，Kafka的堆积效率比RabbitMQ总体上要高。 支持 持久化 支持 支持 支持 消息追踪 支持 不支持 支持。RabbitMQ中可以采用Firehose或者rabbitmqtracing插件实现，但开启rabbitmqtracing插件会影响性能，建议只在定位问题过程中开启。 消息过滤 支持 支持 不支持，但可以自行封装。 多租户 支持 不支持 支持 多协议支持 兼容RocketMQ协议 只支持Kafka自定义协议。 RabbitMQ基于AMQP协议实现，同时支持MQTT、STOMP等协议。 跨语言支持 支持多语言的客户端 采用Scala和Java编写，支持多种语言的客户端。 采用Erlang编写，支持多种语言的客户端。 流量控制 待规划 支持client和user级别，通过主动设置可将流控作用于生产者或消费者。 RabbitMQ的流控基于CreditBased算法，是内部被动触发的保护机制，作用于生产者层面。 消息顺序性 单队列（queue）内有序 支持单分区（partition）级别的顺序性。 不支持。需要单线程发送、单线程消费并且不采用延迟队列、优先级队列等一些高级功能整体配合，才能实现消息有序。 安全机制 支持SSL认证 支持SSL、SASL身份认证和读写权限控制。 与Kafka相似 事务性消息 支持 支持 支持

本节介绍Kafka 判断和处理消息堆积 判断消息堆积是否属于正常情况 登录“分布式消息服务Kafka”控制台，在“消费组管理”页面，找到目标消费组，进入“消息堆积”页面。 （1）堆积量保持在一个稳定的数值之间波动，没有持续扩大。说明客户端一直在拉取最新消息，没有消息堆积，属于正常情况。 （2）堆积量逐步扩大，并且当前位点一直不变。客户端的消费线程因为某些原因卡住，没有继续消费，也没有继续向服务端提交位点，属于异常情况，即消息的确堆积了。 （3）堆积量逐步扩大，同时当前位点在前进。说明客户端还在消费中，但是消息的消费速度慢于消息的发送速度。消息堆积大多是消费速度过慢或者消费线程阻塞造成的，建议不要在消费逻辑中有太多耗时的操作。 消息堆积的处理方式 经过上述判断，确认消息的确存在堆积情况时，建议打印消息的消费耗时，或者根据堆栈信息查看线程执行情况，适当调整以加快消息的消费速度，避免出现消息堆积。

介绍分布式消息服务Kafka按位点查询的功能操作内容。 场景描述 Kafka按位点查询是指通过指定偏移量或时间戳来查询Kafka主题中的消息。以下是一些常见的按位点查询的场景描述： 数据回溯：当需要回溯到过去的某个时间点或特定的消息偏移量时，可以使用按位点查询功能。这在故障排查、数据分析和报告生成等场景中非常有用，可以准确地获取特定时间点或消息的数据。 数据恢复：在某些情况下，如果由于意外情况导致数据丢失或损坏，可以使用按位点查询来恢复丢失的数据。通过指定偏移量或时间戳，可以定位到丢失数据之前的位置，然后将数据重新消费或导出。 数据验证：按位点查询还可以用于数据验证和一致性检查。通过指定特定的偏移量或时间戳，可以比较不同主题或分区之间的消息，以确保数据的一致性和正确性。 数据分析：按位点查询对于数据分析和统计也非常有用。通过指定特定的时间戳或偏移量范围，可以获取所需的数据子集，并对其进行进一步的分析和处理。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消息查询”后默认就是按位点查询。 （5）下拉选择topic可以切换要查询的topic，填写offset消息位置，partition分区编号，可查询该分区offset位置开始的10条消息。 （6）点击消息列表的“消息详情”可查看消息详情信息

介绍分布式消息服务Kafka修改主题功能的操作内容。 场景描述 Kafka修改主题的场景描述如下： 数据分区调整：当数据负载不均衡或者需要重新分配数据分区时，可以通过修改主题来调整数据分区的数量和分布。管理员可以根据实际情况修改主题的配置，重新分配分区，以实现更好的负载均衡和性能优化。 副本分配策略调整：Kafka的主题可以配置多个副本以实现数据冗余和高可用性。当需要调整副本的分配策略时，可以修改主题的配置，更改副本的分布方式，以满足不同的需求，如提高数据的可靠性或者减少网络传输的开销。 数据保留策略变更：Kafka支持根据时间或者大小等条件来设置数据的保留策略。当需要修改主题的数据保留策略时，可以修改主题的配置，调整数据的保留时间或者保留的数据大小，以便根据实际需求来管理数据的存储和清理。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“Topic管理”后，选择指定的Topic点击其右侧“编辑”按钮。 （5）点击“编辑”后，在弹窗中修改具体参数，详见下表：Topic参数说明。 表：Topic参数说明 参数 参数说明 分区数 您可以设置Topic的分区数，分区数越大消费的并发度越大。该参数设置为1时，消费消息时会按照先入先出的顺序进行消费。取值范围：1100，默认值：6 分区容量 每个分区的数据量的最大值，超过这个值后前面生产的消息将会被删除，保证了数据不会无限上涨挤爆磁盘。 是否同步刷盘 同步刷盘即确保消息被写入磁盘才会被认定为生产成功，该参数可提高可靠性，但是会影响性能。 消息保留时长 当消息生存时间超过该时长后，将会被清理，可用于控制存储成本。 最小同步副本数 该参数使得消息必须写入设定值个数的副本后，才能被认定生产成功，该参数可提高可靠性，但是过大会影响性能，且必须不大于副本数。 批处理消息最大值 每个批次中最大允许的消息大小，这影响了每次请求中能包含的消息总量和大小。 消息时间戳类型 CreateTime: 这是消息被生产者发送到Kafka时的时间戳，它表示消息创建的实际时间；LogAppendTime: 这是消息被Kafka日志接收并写入到日志文件时的时间戳，它表示消息写入 Kafka 的实际时间。 描述 topic的描述字段，可用作标记和说明。

介绍分布式消息产品选型对比项。 特性 Kafka RabbitMQ RocketMQ 功能 支持功能较少，不支持延迟发送，消息重试等功能 功能丰富，支持多个队列种类（优先级队列、延迟队列、死信队列镜像队列等），提供丰富的策略分配 功能完善，支持事务消息、定时消息、事务消息等 单机吞吐量 十万级 万级 几万级 稳定性 队列/分区多时性能不稳定 消息堆积时，性能不稳定 队列较多、消息堆积时性能保持稳定 可用性 非常高（分布式）具有主备故障自动切换 较高，基于主从架构实现高可用性 非常高(分布式)具有主备故障自动切换 选型建议 性能要求高，数据量大，适合产生大量数据的互联网服务的数据收集业务，如日志采集处理、需对接大数据应用等，kafka是首选。 数据量少，吞吐量需求不大；数据可靠性要求较高，对功能丰富性极高 可靠性要求很高且性能要求较高的场景以及业务削峰场景，如电商、订单处理等。

本文主要介绍 计费模式。 分布式消息服务Kafka支持按需和包周期两种付费模式。 包年包月 Kafka当前支持包年、包月的计费方式。 且按天翼云的包年订购优惠策略享受相关的一次性包年订购优惠。 按需 Kafka当前支持按需的计费方式，按小时计费。 具体价格，请详见产品价格。

Kafka作为一款热门的消息队列中间件，具备高效可靠的消息异步传递机制，主要用于不同系统间的数据交流和传递，在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 异步通信 将业务中属于非核心或不重要的流程部分，使用消息异步通知的方式发给目标系统，这样主业务流程无需同步等待其他系统的处理结果，从而达到系统快速响应的目的。 如网站的用户注册场景，在用户注册成功后，还需要发送注册邮件与注册短信，这两个流程使用Kafka消息服务通知邮件发送系统与短信发送系统，从而提升注册流程的响应速度。 图 串行发送注册邮件与短信流程 图 借助消息队列异步发送注册邮件与短信流程 错峰流控与流量削峰 在电子商务系统或大型网站中，上下游系统处理能力存在差异，处理能力高的上游系统的突发流量可能会对处理能力低的某些下游系统造成冲击，需要提高系统的可用性的同时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时，可以通过队列服务堆积缓存订单等信息，在下游系统有能力处理消息的时候再处理，避免下游订阅系统因突发流量崩溃。消息队列提供亿级消息堆积能力，3天的默认保留时长，消息消费系统可以错峰进行消息处理。 另外，在商品秒杀、抢购等流量短时间内暴增场景中，为了防止后端应用被压垮，可在前后端系统间使用Kafka消息队列传递请求。 图 消息队列应对秒杀大流量场景 日志同步 在大型业务系统设计中，为了快速定位问题，全链路追踪日志，以及故障及时预警监控，通常需要将各系统应用的日志集中分析处理。 Kafka设计初衷就是为了应对大量日志传输场景，应用通过可靠异步方式将日志消息同步到消息服务，再通过其他组件对日志做实时或离线分析，也可用于关键日志信息收集进行应用监控。 日志同步主要有三个关键部分：日志采集客户端，Kafka消息队列以及后端的日志处理应用。 1. 日志采集客户端，负责用户各类应用服务的日志数据采集，以消息方式将日志“批量”“异步”发送Kafka客户端。 Kafka客户端批量提交和压缩消息，对应用服务的性能影响非常小。 2. Kafka将日志存储在消息文件中，提供持久化。 3. 日志处理应用，如Logstash，订阅并消费Kafka中的日志消息，最终供文件搜索服务检索日志，或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。 图 日志同步示意图 上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具，Hadoop表示大数据分析系统。

天翼云分布式消息服务Kafka 用户使用指南.pdf

介绍分布式消息服务Kafka用户列表功能操作内容。 场景描述 Kafka用户管理的场景描述如下： 访问控制：Kafka用户管理可以用于实现访问控制，限制对Kafka集群和主题的访问权限。通过创建不同的用户和角色，并为其分配合适的权限，可以确保只有经过授权的用户能够访问和操作Kafka集群。 安全认证：Kafka用户管理可以用于实现安全认证，确保只有合法用户能够登录和使用Kafka集群。通过设置用户名和密码，以及使用TLS/SSL证书等安全机制，可以保护Kafka集群免受未经授权的访问和攻击。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后即可查看所有的用户信息。 （5）右上角输入用户名称，可查询对应用户。

本文主要介绍设置实例公网访问。 当业务不再使用公网访问功能时，也可以关闭实例的公网访问功能。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例的“基本信息”页签。 步骤 5 设置公网访问。 说明 只有处于“运行中”状态的Kafka实例支持修改公网访问配置。 Kafka实例只支持绑定IPv4弹性IP地址。 开启公网访问。 在“公网访问”后，单击，开启公网访问。在“弹性IP地址”中，为每个代理设置对应的弹性IP地址，单击。 您可以在实例的“后台任务管理”页面，查看当前任务的操作进度。任务状态为“成功”，表示操作成功。 图 公网访问 开启公网访问后，需要设置对应的安全组规则，才能成功连接Kafka。连接Kafka的具体操作请参考连接Kafka。 表安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9094 0.0.0.0/0 通过公网访问Kafka（关闭SSL加密）。 入方向 TCP 9095 0.0.0.0/0 通过公网访问Kafka（开启SSL加密）。 关闭公网访问。 在“公网访问”后，单击，完成公网访问的关闭。 您可以在实例的“后台任务管理”页面，查看当前任务的操作进度。任务状态为“成功”，表示操作成功。

介绍分布式消息产品选型对比项。 特性 Kafka RabbitMQ RocketMQ 功能 支持功能较少，不支持延迟发送，消息重试等功能 功能丰富，支持多个队列种类（优先级队列、延迟队列、死信队列镜像队列等），提供丰富的策略分配 功能完善，支持事务消息、定时消息、事务消息等 单机吞吐量 十万级 万级 几万级 稳定性 队列/分区多时性能不稳定 消息堆积时，性能不稳定 队列较多、消息堆积时性能保持稳定 可用性 非常高（分布式）具有主备故障自动切换 较高，基于主从架构实现高可用性 非常高（分布式）具有主备故障自动切换 选型建议 性能要求高，数据量大，适合产生大量数据的互联网服务的数据收集业务，如日志采集处理、需对接大数据应用等，kafka是首选 数据量少，吞吐量需求不大；数据可靠性要求较高，对功能丰富性要求极高 可靠性要求很高且性能要求较高的场景以及业务削峰场景，如电商、订单处理等

本节介绍分布式消息服务Kafka磁盘类型 选择Kafka磁盘类型主要取决于应用的需求和预算。通常，对于Kafka来说，高IO磁盘是更常见的选择，因为它提供了更好的性能和吞吐量。 高IO磁盘具有更快的随机读写速度和更低的访问延迟。这对于Kafka来说非常重要，因为Kafka的性能和吞吐量受限于磁盘的读写速度。高IO磁盘适用于需要处理大量读写操作的场景，例如高频率的消息传递和数据写入。它可以提供更快的消息处理和更低的延迟，从而提高系统的响应性能。 超高IO磁盘也是一个可选的方案，它提供了更高的随机读写速度和更低的延迟，相对于传统的高IO磁盘来说性能更好。超高IO磁盘适用于对性能要求非常高的场景，例如大规模的实时数据处理和高吞吐量的消息队列。它可以提供更高的IOPS（每秒输入/输出操作数）和更低的延迟，从而支持更快的数据处理和更高的系统吞吐量。 综上所述，对于Kafka来说，一般情况下选择高IO磁盘是比较常见的选择，因为它提供了良好的性能和吞吐量。但如果预算允许，超高IO磁盘可以提供更高的性能和吞吐量，适用于对性能要求非常高的场景。

自2021年11月11日起，新版分布式消息服务Kafka服务等级协议（SLA）生效。详情请参见这里。

本节介绍分布式消息服务Kafka连接常见问题 接入地址出现不足三个ip+端口？ 集群三台机器正常运作的情况下，接入点会出现三个ip:port连起来，当出现不足三个时候，说明其中一台机器不正常工作（没出现在接入点的机器），请尽快联系管理人员查看不正常工作的节点，尽快恢复。 实例是否支持跨VPC访问？ 实例支持跨VPC访问，可以通过创建VPC对等连接，将两个VPC的网络打通，实现跨VPC访问实例。 如何通过代理访问Kafka实例 暂不支持通过代理访问Kafka实例。 原因：客户端通过bootstrap.servers随机访问服务器获取元数据，通过元数据里的IP地址进行后续的消息收发。配置代理后，第一步正常，但在第二步时，客户端仍然通过元数据中的IP地址进行访问，导致访问不通。因此，必须保证网络全连通。 生产者会建立多少个连接到Broker？ 每个生产者通常会建立2个到Broker的TCP连接，一个TCP连接用于更新元数据，一个TCP连接用于发送消息。 VPC实例和公网/VPC实例的区别是什么？ VPC实例：仅提供VPC接入点，只能通过VPC访问。 公网/VPC实例：提供公网接入点和VPC接入点，可以通过公网访问，也可以通过VPC访问。 Kafka实例是否支持公网访问？ Kafka实例支持公网访问。使用公网访问Kafka实例的具体操作，请参考设置公网ip。

云服务名称 区域 支持IAM 支持企业项目 支持IAM 支持企业项目 系统策略 分布式消息服务Kafka 全局 是 是 是 是 有 分布式消息服务RabbitMQ 全局 是 是 是 是 有 分布式消息服务RocketMQ 全局 是 是 是 是 有 微服务云应用平台 全局 是 是 是 是 有 云容器引擎 全局 是 是 是 是 有 弹性容器实例 全局 是 是 是 是 有 函数计算 全局 是 是 是 是 有 云日志服务LTS 全局 是 是 是 是 有 容器镜像服务 全局 是 是 是 是 有 分布式消息服务MQTT 全局 是 是 是 是 有 应用服务网格 全局 是 是 是 是 有 微服务引擎 全局 是 是 是 是 有

操作场景 天翼云分布式消息服务Kafka为实例、主题、消费组的几个常用配置提供了默认值，在实例开通时默认配置，并支持在控制台手动修改，您可以根据具体的业务需求，自行修改。这几种常用的配置参数，根据是否需要重启Kafka实例，可以分为动态参数和静态参数： 动态参数：修改成功后，无需重启实例，立即生效 静态参数：修改成功后，只有重启实例才能生效 自定义参数 使用限制 已开通天翼云Kafka集群版实例，实例的运行状态为“运行中”。 单机版不支持修改配置参数。 操作步骤 1. 登陆管理控制台 2. 进入Kafka管理控制台 3. 在实例列表页的操作列，目标实例行点击“管理” 4. 点击“配置参数”，在待修改参数所在行，单击“编辑”，修改配置参数。 5. 单击“保存”，完成参数的修改。 参数说明 动态参数 参数 参数说明 参数范围 默认值 log.flush.interval.messages 消息条数刷盘阈值，当实例 broker 接收的消息条数达到阈值时，将触发消息刷盘 1~9223372036854775807 9223372036854775807 min.insync.replicas 当 producer 将 acks 设置为 “all” (或“1”) 时，此配置指定必须确认写入才能被认为成功的副本的最小数量 1~3 1 message.max.bytes kafka 允许的 topic 最大单条消息大小（单位：字节） 0~10485760 10485760 max.connections.per.ip 每个 ip 允许的最大连接数。超过此连接数的连接请求将被丢弃 100~20000 1000 unclean.leader.election.enable 是否能够使不在 ISR 中 replicas 设置用来作为 leader true,false false

日志同步 在大型业务系统设计中，为了快速定位问题，全链路追踪日志，以及故障及时预警监控，通常需要将各系统应用的日志集中分析处理。 Kafka设计初衷就是为了应对大量日志传输场景，应用通过异步方式将日志消息同步到消息服务，再通过其他组件对日志做实时或离线分析，也可用于关键日志信息收集进行应用监控。 日志同步主要有三个关键部分：日志采集客户端，Kafka消息队列以及后端的日志处理应用。 1. 日志采集客户端，负责用户各类应用服务的日志数据采集，以消息方式将日志“批量”、“异步”发送Kafka客户端。 Kafka客户端批量提交和压缩消息，对应用服务的性能影响非常小。 2. Kafka将日志存储在消息文件中，提供持久化。 3. 日志处理应用，如Logstash，订阅并消费Kafka中的日志消息，最终供文件搜索服务检索日志，或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。 图 日志同步示意图 上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具，Hadoop表示大数据分析系统。

本文介绍Kafka消费端从服务端拉取不到消息或拉取消息缓慢原因及解决方案 问题现象 Topic中有消息并且Consumer未消费到最新的位置，出现消费端从服务端拉取不到消息或拉取消息缓慢的情况（特别是公网消费时）。 可能原因 消费流量达到网络带宽。 单个消息大小超过网络带宽。 Consumer每次拉取的消息量超过网络带宽。 说明 Consumer每次消息的拉取量受以下参数影响： max.poll.records：每次拉取的最多消息数。 fetch.max.bytes：每次拉取的最大总byte数。 max.partition.fetch.bytes：每个Partition每次拉取的最大总byte数。 解决方案 （1）登录分布式消息服务Kafka控制台查询消息。 如果能查询到消息，请继续尝试以下步骤。 （2）在实例详情页面，单击左侧导航栏的监控信息，查看消费流量是否已达到网络带宽。 如果消费流量已经达到网络带宽，您需要扩充网络带宽。 （3）检查Topic中是否存在单个消息的大小超过网络带宽。 如果存在单个消息的大小超过网络带宽，请提高网络带宽，或者减小单个消息的大小。 （4）检查Consumer每次拉取的消息量是否超过网络带宽。 说明 如果每次拉取的消息量超过网络带宽，您需要调整以下参数。 网络带宽>fetch.max.bytes 网络带宽>max.partition.fetch.bytes总订阅Partition数

继7月价格下调后，天翼云分布式消息服务Kafka收到许多新老用户的积极反馈，为进一步回馈用户支持，我们决定增加包年折扣优惠和进行第二轮降价！ 9月25日起订购分布式消息服务Kafka产品将享受1年83折 优惠，1011月将陆续开放2年7折，3年5折优惠选项，具体开放时间敬请关注产品公告。 针对现网主推的Intel、海光、鲲鹏计算增强型规格产品单价进行全面下调，相对7月价格最高降幅可达30%，详细降价情况如下： 注意 通用型规格已经调整为白名单特性，如需了解相关资费请联系技术支持。 本次包年优惠及降价适用于产品新资费范围，具体支持资源池请参阅 主机类型 规格名称 计费单位 实例包月标准价格 降幅 主机类型 规格名称 计费单位 20240925前价格 新价格 降幅 Intel计算增强型 kafka.2u4g.cluster 元/代理 630 441 30% Intel计算增强型 kafka.4u8g.cluster 元/代理 1260 1008 20% Intel计算增强型 kafka.8u16g.cluster 元/代理 2430 2187 10% Intel计算增强型 kafka.12u24g.cluster 元/代理 3690 3321 10% Intel计算增强型 kafka.16u32g.cluster 元/代理 4500 4050 10% Intel计算增强型 kafka.24u48g.cluster 元/代理 7560 6804 10% Intel计算增强型 kafka.32u64g.cluster 元/代理 10080 9072 10% Intel计算增强型 kafka.48u96g.cluster 元/代理 15120 13608 10% Intel计算增强型 kafka.64u128g.cluster 元/代理 20160 18144 10% 海光计算增强型 kafka.hg.2u4g.cluster 元/代理 781.2 546.84 30% 海光计算增强型 kafka.hg.4u8g.cluster 元/代理 1562.4 1249.92 20% 海光计算增强型 kafka.hg.8u16g.cluster 元/代理 3013.2 2410.56 20% 海光计算增强型 kafka.hg.16u32g.cluster 元/代理 5580 5022 10% 海光计算增强型 kafka.hg.32u64g.cluster 元/代理 12499.2 11249.28 10% 鲲鹏计算增强型 kafka.kp.2u4g.cluster 元/代理 894.6 626.22 30% 鲲鹏计算增强型 kafka.kp.4u8g.cluster 元/代理 1789.2 1431.36 20% 鲲鹏计算增强型 kafka.kp.8u16g.cluster 元/代理 3450.6 3105.54 10% 鲲鹏计算增强型 kafka.kp.16u32g.cluster 元/代理 6390 5751 10% 鲲鹏计算增强型 kafka.kp.32u64g.cluster 元/代理 14313.6 12882.24 10%

Kafka是否支持跨AZ容灾？已经购买的实例在哪里查看是否为跨AZ？ Kafka实例支持跨AZ容灾，在购买实例时，选择多个可用区即可实现跨AZ容灾。 已购买的实例，在实例详情页“基本信息”页面的“网络”区域，查看可用区数量。多于一个可用区时，表示已实现跨AZ容灾。 图实例基本信息 Kafka支持磁盘加密吗？ Kafka实例不支持磁盘加密。 Kafka实例创建后，能修改VPC和子网吗？ 不能修改VPC和子网。 有没有Kafka Stream的案例？ Kafka Stream的案例请参见Kafka Stream的官网。 Kafka实例版本可以升级吗？ Kafka实例创建成功后，实例版本不支持升级。您可以重新创建Kafka实例，实现升级Kafka实例的版本。 实例版本在控制台和Kafka Manager上显示不一致？ Kafka实例的版本以控制台为准。Kafka Manager使用了开源Kafka 2.2.0的公共信息配置，所以显示的版本是2.2.0，和购买的Kafka实例版本没有关系。 怎样重新绑定公网IP？ 首先在分布式消息服务Kafka控制台，单击Kafka实例名称，进入实例详情页。在“基本信息”页面的“连接信息”区域，关闭“公网访问”，然后重新打开“公网访问”，并选择需要绑定的公网IP地址。

本节介绍分布式消息服务Kafka使用安全接入点，公网接入点等需要鉴权的接入点时，可能会遇到连接超时的问题。 使用安全接入点，公网接入点等需要鉴权的接入点时，可能会遇到连接超时等问题。 解决方法为可以在客户端机器的host文件上配置Kafka的ip。 例如用户连接Kafka的公网接入点34.28.112.101:8094,34.28.112.102:8094,34.28.112.103:8094时，出现连接超时的报错，可以在客户端机器上的/etc/hosts文件里面加上如下配置： plaintext 34.28.112.101 34.28.112.101 34.28.112.102 34.28.112.102 34.28.112.103 34.28.112.103 然后再重启客户端服务，看是否能正常生产消费。

基准带宽和磁盘可选择哪些？ 资源、规格等信息可参考产品规格文档。 哪些资源池可以订购分布式消息服务Kafka？ 天翼云分布式消息服务Kafka可以在以下资源池订购： （1）华南2、华东1、华北2、西南1、上海36、青岛20、长沙42、南昌5、南宁23、武汉41、太原4 （2）芜湖2、福州4、重庆2 、北京5 、佛山3、贵州3、杭州2、内蒙6、上海7、上海6、西安3、昆明2、保定、北京4、合肥2 、乌鲁木齐27 账户里面有钱，为什么无法创建按需付费Kafka实例？ 请检查您的账户金额是否小于100元，如果小于100元，则无法创建新的Kafka实例。 （1）预存后付费方式：提前充值现金到天翼云账户中，现金账户余额不低于100元，之后系统按照用户实际使用量进行结算。 （2）计费周期：按小时计费，以自然小时为计费单位（均以北京时间为准），不满一小时按照一小时计费。费用从用户账户现金余额中扣费。开通时间建议整点开通，开通不足一个自然小时，按一小时收费。提前删除也按照自然小时收费。 欠费后如何重新启用？ 如果您在15天内充值补足欠款，服务会自动启用。 欠费后，资源进入保留期，您将不能正常访问及使用云服务（资源冻结），但对于您存储在云服务中的数据予以保留。 若您在保留期内充值，充值后系统会自动扣减欠费金额。 若保留期到期您仍未充值，存储在云服务中的数据将被删除、云服务资源将被释放。

操作场景 天翼云分布式消息Kafka自集成了一整套监控方案，对Kafka实例的运行状态进行日常监控，可以通过管理控制台查看Kafka实例各项监控指标。 操作前提 已开通天翼云Kafka实例，且实例状态为“运行中” 实例有进行生产消费行为，实例中存在可消费的消息 Kafka 实例是天翼云Ⅱ类资源池实例，目前Ⅱ类资源池包括：华东1、上海36、华北2、长沙42、武汉41、西安7、杭州7、青岛20、西南1、西南2、广州4、郑州5、华南2等 操作步骤 1. 登录管理控制台。 2. 进入Kafka管理控制台。 3. 在实例列表页的操作列，目标实例行点击“管理”。 4. 点击“可观测”后，选择“监控信息”，默认展示实例监控，除此之外，监控信息还包括实例节点监控、Topic监控、消费组监控和Connect监控，Connect监控只有开启Kafka Connect才展示。

操作说明 本方案基于 天翼云 ROS（资源编排服务）控制台，实现 Kafka 消息队列实例、Topic、消费组及关联网络资源的快速搭建，有效提升消息中间件资源交付效率，降低人工配置与运维成本。 方案内置标准化全链路编排模板，一站式完成 VPC 网络、子网、安全组、Kafka 集群实例、Topic 分区、消费组的联动部署，支持自定义规格配置、存储类型选择、节点数调整等灵活参数化设置，用户可根据消息队列业务规模、吞吐量与存储需求快速适配，高效完成生产级 Kafka 消息服务资源部署。 适用场景 Kafka 消息队列集群快速搭建 一键完成生产级 Kafka 集群 + Topic + 消费组全链路部署，无需分步手动配置，大幅缩短资源交付周期。 消息中间件多环境标准化部署 统一配置规范，支持测试、预发、生产等多环境 Kafka 资源标准化批量编排，避免配置不一致问题。 临时消息业务资源快速创建与释放 适配临时数据采集、压测、活动类消息业务场景，可快速创建 / 销毁 Kafka 资源，按需使用、节约成本 操作步骤 1. 登录控制中心。 2. 在控制台首页搜索“资源编排ROS”，或在左侧产品导航栏选择“管理工具 > 资源编排ROS”，进入[资源编排控制台](

操作说明 本方案基于 天翼云 ROS（资源编排服务）控制台，实现 Kafka 消息队列实例、Topic、消费组及关联网络资源的快速搭建，有效提升消息中间件资源交付效率，降低人工配置与运维成本。 方案内置标准化全链路编排模板，一站式完成 VPC 网络、子网、安全组、Kafka 集群实例、Topic 分区、消费组的联动部署，支持自定义规格配置、存储类型选择、节点数调整等灵活参数化设置，用户可根据消息队列业务规模、吞吐量与存储需求快速适配，高效完成生产级 Kafka 消息服务资源部署。 适用场景 Kafka 消息队列集群快速搭建 一键完成生产级 Kafka 集群 + Topic + 消费组全链路部署，无需分步手动配置，大幅缩短资源交付周期。 消息中间件多环境标准化部署 统一配置规范，支持测试、预发、生产等多环境 Kafka 资源标准化批量编排，避免配置不一致问题。 临时消息业务资源快速创建与释放 适配临时数据采集、压测、活动类消息业务场景，可快速创建 / 销毁 Kafka 资源，按需使用、节约成本 操作步骤 1. 登录控制中心。 2. 在控制台首页搜索“资源编排ROS”，或在左侧产品导航栏选择“管理工具 > 资源编排ROS”，进入[资源编排控制台](

Kafka的消费者示例代码片段如下： 每个 Consumer Group 可以包含多个消费实例，即可以启动多个 Kafka Consumer，并把参数 group.id 设置成相同的值。属于同一个 Consumer Group 的消费实例会负载消费订阅的 Topic。 举例：Consumer Group A 订阅了 Topic A，并开启三个消费实例 C1、C2、C3，则发送到 Topic A 的每条消息最终只会传给 C1、C2、C3 的某一个。Kafka 默认会均匀地把消息传给各个消息实例，以做到消费负载均衡。 Kafka 负载消费的内部原理是，把订阅的 Topic 的分区，平均分配给各个消费实例。因此，消费实例的个数不要大于分区的数量，否则会有实例分配不到任何分区而处于空跑状态。这个负载均衡发生的时间，除了第一次启动上线之外，后续消费实例发生重启、增加、减少等变更时，都会触发一次负载均衡。 消息队列 Kafka 的每个 Topic 的分区数量默认是 16 个，已经足够满足大部分场景的需求，且云上服务会根据容量调整分区数。

Kafka 是按分区一条一条消息顺序向前推进消费的，如果消费端拿到某条消息后执行消费逻辑失败，比如应用服务器出现了脏数据，导致某条消息处理失败，等待人工干预，那么有以下两种处理方式： 失败后一直尝试再次执行消费逻辑。这种方式有可能造成消费线程阻塞在当前消息，无法向前推进，造成消息堆积。 由于 Kafka 自身没有处理失败消息的设计，实践中通常会打印失败的消息、或者存储到某个服务（比如创建一个 Topic 专门用来放失败的消息），然后定时 check 失败消息的情况，分析失败原因，根据情况处理。

介绍分布式消息服务Kafka重置消费位置功能操作内容。 场景描述 Kafka重置消费位置的场景包括以下几个： 初次消费：当一个新的消费者加入到Kafka集群时，它需要从某个位置开始消费消息。在这种情况下，可以将消费位置重置为最早的消息或最新的消息。 消费者组重置：当消费者组中的消费者发生变化，如新增或退出消费者，可能需要重置消费位置。在这种情况下，可以将消费位置重置为最早的消息或最新的消息。 消费者出现故障：当消费者发生故障，并且需要将其替换或修复时，可能需要重置消费位置。在这种情况下，可以将消费位置重置为最早的消息或最新的消息，以确保新的消费者能够从正确的位置开始消费。 消费者重新处理消息：在某些情况下，消费者可能需要重新处理之前已经消费过的消息。这可能是由于消费者的处理逻辑发生变化，或者需要重新计算之前的结果。在这种情况下，可以将消费位置重置为指定的消息位置，以便消费者重新处理消息。 消费者消费速度过慢：当消费者的处理能力不足，无法及时消费消息时，可能需要重置消费位置。在这种情况下，可以将消费位置重置为最新的消息，以便消费者能够跳过堆积的消息，从最新的消息开始消费。 操作步骤 Tips：目前消费只能重置72小时内的消息，可选择72小时内时间点重置。 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消费组管理”后进入消费组管理页面。 （5）在目标消费组所在行，点击其右侧的“更多”，在下拉框中单击“重置消费位置”。 （6）出现重置消费位置窗口后，可以选择从最新点位开始消费、从最旧点位开始消费、按时间点进行消费位置重置、重置消费点位到附近n条。 四种重置方式试用场景如下： 从最新点位开始消费：将消费者的消费位置重置为最新的消息。这意味着消费者将从当前Kafka主题的最新消息开始消费，忽略之前已经产生的消息。这种方式适用于只关注最新消息的场景，如实时监控或日志记录。 从最旧点位开始消费：将消费者的消费位置重置为最早的消息。这意味着消费者将从当前Kafka主题的最早消息开始消费，包括之前已经产生的消息。这种方式适用于需要处理全部消息历史记录的场景，如数据重播或数据分析。 按时间点进行消费位置重置：将消费者的消费位置重置为指定的时间点。这意味着消费者将从指定时间点之后的消息开始消费，可以精确地选择消费的起始位置。这种方式适用于需要从特定时间点开始消费的场景，如数据回溯或重新处理。 重置消费点位到附近n条：将消费者的消费位置重置到指定的消费位点上，这个是分区级别的，因此可以更加精确地选择消费的起始位置。这种方式适用于需要从特定位点开始消费的场景，如数据回溯或重新处理。

是否支持跨Region访问？ Kafka可以跨Region访问，但是跨Region目前只能通过公网访问或者拉专线的方式。 Kafka实例是否支持跨VPC访问？ Kafka实例支持跨VPC访问，您可以通过以下方式实现跨VPC访问： 创建VPC对等连接，将两个VPC的网络打通，实现跨VPC访问。具体步骤请参考《虚拟私有云用户指南》的“VPC对等连接”章节。 Kafka实例是否支持不同的子网？ 支持。 客户端与实例在相同VPC内，可以跨子网段访问。同一个VPC内的子网默认可以进行通信。 Kafka是否支持Kerberos认证，如何开启认证？ Kafka支持SASL客户端认证、调用接口支持Token和AK/SK两种认证，Kerberos认证目前不支持。 如果使用SASL认证方式，则在开源客户端基础上使用分布式消息服务Kafka提供的证书文件。具体操作参考连接已开启SASL的Kafka实例。 Kafka实例是否支持无密码访问？ 支持，连接未开启SASL的Kafka实例时，无需密码。具体操作，请参考连接未开启SASL的Kafka实例。 开启公网访问后，在哪查看公网IP地址？ 在Kafka控制台，单击Kafka实例名称，进入实例详情页面。在“基本信息”页签，查看公网IP地址（即“公网连接地址”）。 如果您需要连接Kafka实例，请参考连接Kafka。