操作场景 分布式消息服务 Kafka 版支持按主题或用户/客户端来配置限流策略，避免因资源消耗过高而影响全量业务。 前提条件 流控管理仅支持集群版实例。 操作步骤 1. 登录管理控制台。 2. 进入Kafka管理控制台。 3. 在实例列表页的操作列，目标实例行点击“管理”按钮。 4. 点击“智能运维”、“流控管理”菜单进入流控管理页面。 5. 如需配置主题流控 ，在流控配置页卡的下拉框选择“Topic”选项并点击“创建流控”按钮。 6. 在弹窗填入主题名、生产上限速率、消费上限速率，点击“确定”按钮。 Topic：填入需要限流的主题名 速率范围：1MB/s — 1024MB/s 7. 如需配置用户/客户端流控 ，在流控配置页卡的下拉框选择“User/Client”选项并点击“创建流控”按钮。 8. 在弹窗填入用户名、客户端ID、生产上限速率、消费上限速率，点击“确定”按钮。 用户名：填入需要限流的用户名，与客户端ID不能同时为空 客户端ID：填入需要限流的客户端ID，与用户名不能同时为空 速率范围：1MB/s — 1024MB/s

介绍APM监控详情里消息监控中的KafkaConsumer相关指标的名称、含义等信息。 KafkaConsumer监控指标说明表 指标类别 指标 指标说明 数据类型 主题 (Topic，Kafka的Topic监控数据) id Clientid和IP信息 Enum 主题 (Topic，Kafka的Topic监控数据) topic Kafka的Topic名称 Enum 主题 (Topic，Kafka的Topic监控数据) kafkaconsumerbytesconsumedrate 每秒消费字节 Int 主题 (Topic，Kafka的Topic监控数据) kafkaconsumerfetchsizeavg 请求获取平均字节 Int 主题 (Topic，Kafka的Topic监控数据) kafkaconsumerfetchsizemax 请求获取最大字节 Int 主题 (Topic，Kafka的Topic监控数据) kafkaconsumerrecordsconsumedrate 每秒消费消息数 Int 主题 (Topic，Kafka的Topic监控数据) kafkaconsumerrecordsperrequestavg 单次请求平均消息数 Int 主题 (Topic，Kafka的Topic监控数据) kafkaconsumerrecordsconsumedrate 总消费次数 Int 主题 (Topic，Kafka的Topic监控数据) kafkaconsumerrecordsperrequestavg 总消费字节数 Int Kafka消费方法监控 (Consumer，Kafka消费方法监控) errorCount 错误数 Int Kafka消费方法监控 (Consumer，Kafka消费方法监控) invokeCount 调用次数 Int Kafka消费方法监控 (Consumer，Kafka消费方法监控) maxTime 最慢调用 Int Kafka消费方法监控 (Consumer，Kafka消费方法监控) ms0To10Count 010ms次数 Int Kafka消费方法监控 (Consumer，Kafka消费方法监控) ms10To100Count 10100ms次数 Int Kafka消费方法监控 (Consumer，Kafka消费方法监控) ms100To500Count 100500ms次数 Int Kafka消费方法监控 (Consumer，Kafka消费方法监控) ms500To1000Count 5001000ms次数 Int Kafka消费方法监控 (Consumer，Kafka消费方法监控) ms1000To10000Count 110s次数 Int Kafka消费方法监控 (Consumer，Kafka消费方法监控) msMorethan10000Count 10s以上次数 Int Kafka消费方法监控 (Consumer，Kafka消费方法监控) totalTime 总响应时间 Int 汇总（Total，KafkaConsumer汇总信息统计） recordConsumedTotal 总消费次数 Int 汇总（Total，KafkaConsumer汇总信息统计） bytesConsumedTotal 总消费字节数 Int 异常 (Exception，Kafka消费异常信息) exceptionstacktrace 异常产生的堆栈信息 String 异常 (Exception，Kafka消费异常信息) exceptiontype 异常类型 String 异常 (Exception，Kafka消费异常信息) exceptioncount 错误数 Int

前提条件： 1、提前开通专属云（计算独享型），并存留足够未分配的计算资源； 2、提前开通VPC、安全组等网络侧资源； 购买操作步骤： 步骤一：登录天翼云账号，切换至专属云（计算独享型）节点； 如已购买了专属云（计算独享型），在控制台的右上角节点区域，可见有独立专属云“dec”标识的节点，选择用户需要进行Kafka购买的专属云节点进入。 图 带专属云“dec”标识的节点如下： 步骤二：进入专属云节点后，在控制台中的产品列表中选择“分布式消息服务”，进入到服务控制台，在左侧菜单栏选择“Kafka专享版”，进入Kafka专享版实例列表页面。 图 专享版Kafka订购入口 步骤三：点击“购买Kafka实例”，进入订购页面，按提示进行相关规格选择与配置。 1）计费方式为“包年包月”； 2）可用区：客户可自行根据资源池多AZ支持情况选择可用区进行创建。 说明：专享版Kafka的实例为集群模式，支持选择1个或者3个及以上可用区。不支持选择2个可用区，选择时需要注意；该可用区选择后不支持更换。 3）实例名称及企业项目：按命名规范自定义，也可以默认系统分配的名称； 4）Kafka版本：当前支持2种版本选择，2.3.0和1.1.0，推荐时间2.3.0版本； 5）CPU架构：当前仅支持“x86计算”，保持默认值即可； 图 购买Kafka订购页 6）选择具体的队列规格类型，在规格的描述与说明中会有该队列的底层资源类型、代理数量、分区上限、消费组数量，供客户与业务系统需求匹配规格。 说明：当前订购规格后，暂不支持规格变更，请在订购时做好业务整体需求评估。 7）选择存储空间：此处有2种存储可以选择，分别是公有云的云硬盘、专属分布式存储。存储的类型均支持高IO、超高IO。 说明：1、选择云硬盘时，具体价格以公有云的云硬盘价格为准； 2、选择转属分布式存储时，需提前已购买了专属云（存储独享型），在“可用存储”右侧的“存储池”列表中进行选择。 3、根据实际需要选择存储Kafka数据的总磁盘大小。 创建实例时会进行磁盘格式化，磁盘格式化会导致实际可用磁盘为总磁盘的93%~95%。 • 基准带宽为100MB/s时，存储空间取值范围：600GB ~ 90000GB。 • 基准带宽为300MB/s时，存储空间取值范围：1200GB ~ 90000GB。 • 基准带宽为600MB/s时，存储空间取值范围：2400GB ~ 90000GB。 • 基准带宽为1200MB/s时，存储空间取值范围：4800GB ~ 90000GB 图 订购页界面 图 选择云硬盘时存储类别 图 选择专属分布式存储时，需要提前购买专属存储，并在存储池列表中选择 8）选择私有云、安全组； 虚拟私有云可以为您的Kafka专享实例构建隔离的、能自主配置和管理的虚拟网络环境。 虚拟私有云和子网在Kafka专享版实例创建完成后，不支持修改。 安全组是一组对弹性云服务器的访问规则的集合，为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。 可以单击右侧的“管理安全组”，跳转到网络控制台的“安全组”页面，查看或创建安全组。 9）设置Kafka Manager的用户名、密码； Kafka Manager是开源的kafka集群管理工具，实例创建成功后，实例详情页面会展示Kafka Manager登录地址，您可登录Kafka Manager页面，查看Kafka集群的监控、代理等信息。 10）选择订购时长； 11）点击“立即购买”之前，还可进入“更多配置”也进行高级配置。 1、SASLSSL开关，开启后则对数据进行加密传输，但会对性能造成下降； 客户端连接Kafka专享版实例时，是否开启SSL认证。开启Kafka SASLSSL，则数据加密传输，安全性更高。 创建实例后，Kafka SASLSSL开关不支持修改，请慎重选择。如果创建后需要修改，需要重新创建实例。 开启Kafka SASLSSL后，您需要设置连接Kafka专享版实例的用户名和密码。 2、自动创建Topic，开关开启后，Topic将根据配置API接口自动创建。 选择开启“Kafka自动创建Topic”，表示生产或消费一个未创建的Topic时，会自动创建一个包含3个分区和3个副本的Topic。 12）点击“立即购买”，进入支付前规格确认界面。显示详细kafka 实例信息，价格。 13）确认实例信息无误且阅读并同意服务协议后，点击“去支付”进入购买支付环节，完成付款后则开启Kafka创建。 创建实例大约需要3到15分钟，此时实例的“状态”为“创建中”。 • 当实例的“状态”变为“运行中”时，说明实例创建成功。 • 如果创建实例失败，在信息栏的“创建失败任务”中查看创建失败的实例。请删除创建失败的实例，然后重新创建。如果重新创建仍然失败，请联系客服。 说明： 创建失败的实例，不会占用其他资源。

本文主要 Kafka客户端参数配置建议。 Kafka客户端的配置参数很多，以下提供producer和consumer几个常用参数配置。其他参数配置，请参考Kafka配置。 表 Producer参数 参数 默认值 推荐值 说明 acks 1 高可靠：all或者1高吞吐：1 收到Server端确认信号个数，表示producer需要收到多少个这样的确认信号，算消息发送成功。 acks参数代表了数据备份的可用性。常用选项：acks0：表示producer不需要等待任何确认收到的信息，副本将立即加到socket buffer并认为已经发送。没有任何保障可以保证此种情况下server已经成功接收数据，同时重试配置不会发生作用（因为客户端不知道是否失败）回馈的offset会总是设置为1。 acks1：这意味着至少要等待leader已经成功将数据写入本地log，但是并没有等待所有follower是否成功写入。如果follower没有成功备份数据，而此时leader又无法提供服务，则消息会丢失。 acksall或者1：这意味着leader需要等待ISR中所有备份都成功写入日志。只要任何一个备份存活，数据都不会丢失。min.insync.replicas指定必须确认写入才能被认为成功的副本的最小数量。 retries 0 结合实际业务调整 客户端发送消息的重试次数。值大于0时，这些数据发送失败后，客户端会重新发送。 注意，这些重试与客户端接收到发送错误时的重试没有什么不同。允许重试将潜在的改变数据的顺序，如果这两个消息记录都是发送到同一个partition，则第一个消息失败第二个发送成功，则第二条消息会比第一条消息出现要早。针对网络闪断场景，生产者建议配置重试能力，推荐重试次数retries3，重试间隔retry.backoff.ms1000。 request.timeout.ms 30000 结合实际业务调整 设置一个请求最大等待时间，超过这个时间则会抛Timeout异常。超时时间如果设置大一些，如127000（127秒），高并发的场景中，能减少发送失败的情况。 block.on.buffer.full TRUE TRUE TRUE表示当我们内存用尽时，停止接收新消息记录或者抛出错误。默认情况下，这个设置为TRUE。 然而某些阻塞可能不值得期待，因此立即抛出错误更好。如果设置为false，则producer抛出一个异常错误：BufferExhaustedException batch.size 16384 262144 默认的批量处理消息字节数上限。producer将试图批处理消息记录，以减少请求次数。 这将改善client与server之间的性能。不会试图处理大于这个字节数的消息字节数。 发送到brokers的请求将包含多个批量处理，其中会包含对每个partition的一个请求。较小的批量处理数值比较少用，并且可能降低吞吐量（0则会仅用批量处理）。 较大的批量处理数值将会浪费更多内存空间，这样就需要分配特定批量处理数值的内存大小。 buffer.memory 33554432 67108864 producer可以用来缓存数据的内存大小。如果数据产生速度大于向broker发送的速度，producer会阻塞或者抛出异常，以“block.on.buffer.full”来表明。 这项设置将和producer能够使用的总内存相关，但并不是一个硬性的限制，因为不是producer使用的所有内存都是用于缓存。一些额外的内存会用于压缩（如果引入压缩机制），同样还有一些用于维护请求。 表 Consumer参数 参数 默认值 推荐值 说明 :::: auto.commit.enable TRUE FALSE 如果为真，consumer所fetch的消息的offset将会自动的同步到zookeeper。这项提交的offset将在进程无法提供服务时，由新的consumer使用。约束：设置为false后，需要先成功消费再提交，这样可以避免消息丢失。 auto.offset.reset latest earliest 没有初始化offset或者offset被删除时，可以设置以下值： earliest：自动复位offset为最早 latest：自动复位offset为最新 none：如果没有发现offset则向消费者抛出异常 anything else：向消费者抛出异常。 说明 如果将此配置设置为latest，新增分区时，生产者可能会在消费者重置初始偏移量之前开始向新增加的分区发送消息，从而导致部分消息丢失。 connections.max.idle.ms 600000 30000 空连接的超时时间，设置为30000可以在网络异常场景下减少请求卡顿的时间。

Kafka Manager是开源的Kafka集群管理工具，需要通过浏览器才能访问Kafka Manager的地址。在Kafka Manager页面，您可以查看Kafka集群的监控、节点等信息。 前提条件 已正确配置安全组。 登录Kafka Manager 创建一台与Kafka专享实例相同VPC和相同安全组的Windows服务器。 获取Kafka Manager地址。 在实例详情信息页面，获取Kafka Manager的地址。 在浏览器中输入Kafka Manager的地址，进入Kafka Manager登录页面。 输入创建实例时设置的Kafka Manager用户名和密码，即可管理Kafka集群。 查看Kafka Manager 在进入Kafka Manger集群管理页面后，您可以查看Kafka集群的监控、节点等信息。 集群信息页 单击Clusters中的集群列表，即可进入集群信息页。如图所示。 − 图中①区域表示功能导航栏 Cluster: 集群，统计集群列表和集群详情。 Brokers: 节点，统计当前集群中各节点的状态信息。 Topic: 队列，统计当前集群中的kafka队列。 Preferred Replica Election: 强制进行一次队列leader的最优选举（不建议用户操作）。 Reassign Partitions: 进行分区副本的重分配（不建议用户操作）。 Consumers: 统计集群中的消费组状态。 − 图中②区域表示集群信息统计，包含集群的Topic数和集群的节点数。 集群信息页 集群所有节点统计页 单击功能导航栏中的Brokers，即可进入节点统计页。如图54所示。 − 图中①区域节点列表，包含总的字节流入和字节流出。 − 图中②集群监控信息。 所有节点统计页 具体节点统计页 单击id列表中具体的Broker，即可查看对应节点的统计信息。如图55所示。 − 图中①区域表示对应节点总的统计信息，包括队列数、分区数、分区leader数、消息速率占比、写入字节占比以及流出字节占比。 − 图中②区域表示节点监控信息。 具体Broker信息 查看实例的Topic 在导航栏选择Topic，并在下拉列表中选择List。页面如图56所示，展示了队列列表以及分区数等。 列表中以“”开头的队列为内部队列，严禁操作，否则可能导致业务问题。 查看实例的Topic 队列详情页 单击具体的Topic名称，进入如图57所示页面。 − 图中①区域表示队列基本信息，包括副本数(Replication)，分区数(Number of Partitions)，消息数(Sum of partition offsets)等。 − 图中②区域表示节点与队列分区的对应关系。 − 图中③区域表示该队列的消费组列表。单击消费组名称可进入该消费组的详情页。 − 图中④区域表示队列的配置信息。详情参考kafka队列官方配置文档(

介绍Logstash对接Kafka具体内容。 应用场景 通过Logstash对接Kafka，可以实现以下功能： 1. 数据收集：Logstash可以从Kafka主题中消费数据，将数据从Kafka集群中获取到Logstash中进行处理和转发。这样可以方便地将分布式系统、应用程序、传感器数据等各种数据源的数据集中收集起来。 2. 数据处理和转换：Logstash提供了丰富的过滤器插件，可以对从Kafka中消费的数据进行各种处理和转换操作。例如，可以进行数据清洗、解析、分割、合并、字段映射等操作，以满足不同数据源和目标的数据格式要求。 3. 数据传输和转发：Logstash可以将处理后的数据发送到不同的目标位置，如Elasticsearch、MySQL、文件系统、消息队列等。通过配置适当的输出插件，可以将数据传输到目标系统，以便后续的数据分析、存储、可视化等操作。 4. 实时数据处理：Logstash与Kafka结合使用，可以实现实时的数据处理和传输。Kafka作为高吞吐量的消息队列，可以确保数据的高效传输和缓冲。而Logstash作为数据处理引擎，可以对从Kafka中消费的数据进行实时处理，满足实时数据分析和监控的需求。 5. 分布式部署和负载均衡：Logstash支持分布式部署，可以通过配置多个Logstash节点来实现高可用性和负载均衡。多个Logstash节点可以同时从Kafka主题中消费数据，并进行并行处理和转发，以提高整体系统的性能和吞吐量。 总之，通过Logstash对接Kafka，可以实现灵活、可扩展和高效的数据处理和传输。Logstash提供了丰富的插件和配置选项，可以根据实际需求进行定制化的数据处理流程。同时，Logstash还具有良好的可扩展性和可靠性，适用于各种规模和类型的数据处理场景。

本节介绍分布式消息服务Kafka使用SASLSSL连接常见问题 1.报错示例：java.security.cert.CertPathValidatorException: Algorithm constraints check failed: SHA256withDS 解决途径：排查jdk是否支持SHA256withDS算法，推荐使用oracle jdk1.8.0201版本jdk 2.报错示例：Topic authorization failed for topics 解决途径：排查topic是否授权，如果没有则授予对应权限 3. 报错示例：Authentication failed during authentication due to invalid credentials with SASL mechanism SCRAMSHA512 解决途径：排查连接kafka的用户密码是否正确 4. 报错示例：java.security.cert.CertificateException: No subject alternative names present 解决途径：配置文件需要配置 ssl.endpoint.identification.algorithm 5. 报错示例：Keystore was tampered with, or password was incorrect 解决途径：排查 ssl client密码是否错误或者和证书不匹配，可以从实例详情>接入点信息>查看所有IP和端口信息，界面下载对应证书 6.接入配置示例

本文主要介绍删除消费组。 分布式消息服务Kafka支持通过以下两种方式删除消费组，您可以根据实际情况选择任意一种方式。 方法一：在管理控制台删除消费组 方法二：在Kafka客户端使用命令行工具删除消费组（确保Kafka实例版本与命令行工具版本相同） 前提条件 待删除消费组的状态为“EMPTY”。 方法一：在管理控制台删除消费组 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏选择“消费组管理”，进入消费组列表页面。 步骤 6 通过以下任意一种方法，删除消费组。 勾选消费组名称左侧的方框，可选一个或多个，单击信息栏左上侧的“删除消费组”。 在待删除消费组所在行，单击“删除”。 说明 仅在“消费组状态”为“EMPTY”时，支持删除。 消费组包含以下状态： DEAD：消费组内没有任何成员，且没有任何元数据。 EMPTY：消费组内没有任何成员，存在元数据。 PREPARINGREBALANCE：准备开启Rebalance。 COMPLETINGREBALANCE：所有成员加入消费组。 STABLE：消费组内成员可以正常消费。 步骤 7 弹出“删除消费组”对话框，单击“是”，完成消费组的删除。

本文主要介绍 Kafka Manager问题。 登录Kafka Manager的帐号是否可以设置为只读帐号？ 不支持设置为只读帐号。 登录到Kafka Manager页面，为什么获取不到节点信息？ 问题现象： 正常登录Kafka Manager页面，但是页面无法显示节点信息，如下所示： 问题原因： 这是Kafka开源问题，需要联系客服，重启Kafka Manager。 Yikes! Insufficient partition balance when creating topic : projectmanprojectenterpriseproject Try again. 问题现象： 在Kafka Manager中无法创建topic，报错：Yikes! Insufficient partition balance when creating topic : projectmanprojectenterpriseproject Try again. 问题原因： Topic分区超过限制，不能继续创建Topic。 处理方法： 建议扩大实例规格，实例规格增加，分区数也会相应增加。 Kafka Manager能否查询到消息的正文？ Kafka Manager无法查询到消息的正文。 Kafka Manager WebUI的端口能否修改？ Kafka Manager WebUI的端口不支持修改。 在Kafka Manager上支持修改Topic的哪些属性？ 在Kafka Manager上，支持修改如下的Topic属性：max.message.bytes、segment.index.bytes、segment.jitter.ms、min.cleanable.dirty.ratio、retention.bytes、file.delete.delay.ms、compression.type、flush.ms、cleanup.policy、unclean.leader.election.enable、flush.messages、retention.ms、min.insync.replicas、delete.retention.ms、preallocate、index.interval.bytes、segment.bytes、segment.ms。 具体修改方法如下： 1. 登录Kafka Manager。 2. 单击“kafkacluster”，进入“Summary”界面。 3. 单击“Topic > List”，进入“Topics”界面。 4. 单击需要修改属性的Topic名称，进入Topic详情界面。 5. 单击“Update Config”，修改Topic属性。

本文主要介绍消息队列 Kafka 通过SSL接入的最佳实践，从而帮助您更好的使用该产品。 文中的最佳实践基于消息队列 Kafka 的 Java 客户端；对于其它语言的客户端，其基本概念与思想是通用的，但实现细节可能有差异，仅供参考。 背景 云消息队列 Kafka 版实例如果选择SASLSSL接入时，可能会出现性能较差的情况。可以通过在客户端指定密码套件的方式，手动选择性能和安全性都较高的套件进行TLS通讯。 SSL握手时客户端发送Hello Client 并带上客户端支持的密码套件，服务端收到握手请求后，获取客户端带来的密码套件和服务端支持的密码套件取交集。密码套件加载顺序受客户端jdk版本影响，不同jdk版本，密码套件顺序不一样，可能会导致性能和安全性等无法保证。因此为了保证性能，SSL连接时客户端可以指定密码套件。 推荐的性能和安全性较高的密码套件 TLSECDHERSAWITHAES256GCMSHA384 TLSECDHERSAWITHAES128GCMSHA256 步骤 1.先按照SASLSSL协议接入Kafka，SASLSSL接入可参考文档 SASLSSL接入点接入 2.在此基础上增加 ssl.cipher.suites 配置 客户端关键参数 java Properties props new Properties(); props.put(ProducerConfig.BOOTSTRAPSERVERSCONFIG, BROKERADDR); props.put(ProducerConfig.VALUESERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.KEYSERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(CommonClientConfigs.SECURITYPROTOCOLCONFIG, "SASLSSL"); props.put("sasl.mechanism", "SCRAMSHA512"); props.put(SaslConfigs.SASLJAASCONFIG, "org.apache.kafka.common.security.scram.ScramLoginModule required username"testuser" password"f6eca4dbc78df78d63fba980e448185f";");//注：上面的密码f6eca4dbc78df78d63fba980e448185f，为用户管理里面创建用户时填入的密码进行md5的结果，md5取32位小写 props.put("ssl.truststore.location","/kafka/client.truststore.jks"); props.put("ssl.truststore.password","sJses2tin1@23"); props.put("ssl.endpoint.identification.algorithm",""); props.put("ssl.cipher.suites","TLSECDHERSAWITHAES256GCMSHA384,TLSECDHERSAWITHAES128GCMSHA256");//密码套件支持多个，用半角逗号分开

（可选）删除Topic权限 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例名称，进入实例详情页面。 步骤 5 在导航栏单击“Topic管理”，进入Topic列表页面。 步骤 6 在待删除用户权限的Topic所在行，单击“设置用户权限”，弹出“设置用户权限”对话框。 步骤 7 在“已选择”区域，在待删除权限的SASLSSL用户所在行，单击“删除”，然后单击“确定”。

事件目标是事件规则的一部分，负责消费经事件规则过滤与转换后的事件。 事件目标 事件总线EventBridge支持以下事件目标： 函数计算 分布式消息服务RocketMQ 分布式消息服务RabbitMQ 分布式消息服务Kafka HTTP、HTTPS地址

本文主要介绍删除流控。 操作场景 本章节指导您在无需流控时，删除流控。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏单击“流控管理 > 流控列表”，进入流控列表页面。 步骤 6 在待删除的流控所在行，单击“删除”，弹出“删除流控”对话框。 步骤 7 单击“是”，跳转到“后台任务管理”页面，当流控任务的“状态”为“成功”时，表示成功删除流控。

查看Prometheus监控数据 1. 登录分布式消息服务Kafka控制台。 2. 在实例列表页面，点击目标Kafka实例名称。 3. 在左侧导航栏，单击消息查询，可选择按时间查询，并选择目标Topic。 4. 点击消息详情，即可查看您导入的Prometheus监控数据。

HDFS HDFS（Hadoop Distributed File System）是Hadoop生态系统的一个重要组成部分，是Hadoop中的的存储组件。它是一个分布式文件系统，提供对应用程序数据的高吞吐量访问。 Hive Hive数据仓库软件通过SQL实现对分布式存储中的大型数据集的读写和管理。Hive提供命令行工具和JDBC驱动程序连接用户。Hive对SQL语句编译和解析，生成相应的MapReduce任务对数据进行操作。 Kafka Apache Kafka是一个优秀的分布式事件流平台，被广泛用于高性能数据管道、流分析、数据集成和任务关键型应用程序中。 Kerberos Hadoop使用Kerberos作为用户和服务的强身份验证和身份传播的基础。Kerberos是一种计算机网络认证协议，它允许某实体在非安全网络环境下通信，向另一个实体以一种安全的方式证明自己的身份。 Kerberos是第三方认证机制，其中用户和服务依赖于第三方（Kerberos服务器）来对彼此进行身份验证。 Kibana Kibana是一个开源的数据分析和可视化平台，它被设计用于与Elasticsearch协同工作。您可以使用Kibana对Elasticsearch索引中的数据进行搜索、查看和交互操作。 Kyuubi Kyuubi是一个提供JDBC/ODBC SQL查询能力的分布式SQL引擎管理者，主要是为Spark Thrift Server提供多租户以及HA能力，同时为其他引擎（例如Flink或Trino等）提供SQL等查询服务。 OpenLDAP OpenLDAP是轻型目录访问协议（Lightweight Directory Access Protocol，LDAP），通过IP协议提供访问控制和维护分布式信息的目录信息。

分布式消息Kafka使用SASL 认证协议来实现身份验证的能力，加密的主题需要经过身份校验才能正常地消费和生产消息。 1. 创建用户并配置用户权限 进入应用用户管理界面，新建用户，并给用户添加主题和消费组的权限，并且下载密钥。详细操作可以查看用户指南创建应用用户。 2. 运行生产者客户端 如下是Java客户端代码示例，注意修改内容（用户、密码、接入地址、主题名称）。 3. 运行消费者客户端 如下是Java客户端代码示例，注意修改内容（用户、密码、接入地址、消费组名称、主题名称）。

Kafka 自身没有消息广播的语义，可以通过创建不同的 Consumer Group 来模拟实现。

本章节介绍如何删除SASLSSL用户。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例名称，进入实例详情页面。 步骤 5 通过以下任意一种方法，删除SASLSSL用户。 在“用户管理”页签，在待删除的SASLSSL用户所在行，单击“删除”。 在“用户管理”页签，勾选SASLSSL用户名左侧的方框，可选一个或多个，单击信息栏左上侧的“删除”。 说明 创建Kafka实例时设置的SASLSSL用户无法删除。 步骤 6 在弹出的“删除用户”对话框中，单击“是”，完成SASLSSL用户的删除。

本文主要介绍查看磁盘使用量。 本章节指导您在控制台查看每个代理上磁盘的使用量。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例的“基本信息”页签。 步骤 5 在“磁盘存储统计”页签，查看磁盘的使用量。 图 查看磁盘的使用量 页面支持从以下三个方面对代理中的Topic磁盘使用量进行查询：使用量排名前xx 个、使用量达到xx GB和使用占比达 xx %。 在页面右上角，单击“查看监控数据”，跳转到云监控服务的监控指标页面。在监控指标页面，您可以查看Kafka实例的各项监控指标。

本文主要介绍 导出Topic。 本章节指导您在控制台导出Topic，支持批量导出。 前提条件 已创建Topic。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 选择“Topic管理”页签，显示已创建的Topic详情。 步骤 6 在页面右上角单击，导出Topic列表到本地。 Topic列表中包含如下信息：Topic名称、分区数、副本数、老化时间、是否同步复制或同步落盘。

本文主要介绍 重置Kafka密码。 操作场景 如果您忘记了创建实例时设置的SASLSSL密码，通过重置Kafka密码功能，重新设置一个新的密码，可使用新密码连接Kafka实例。 说明 仅开启Kafka SASLSSL认证的Kafka实例才可以重置Kafka密码。 只有处于“运行中”状态的Kafka实例支持重置Kafka密码。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法，重置Kafka密码。 在需要重置Kafka密码的Kafka实例右侧，单击“更多 > 重置Kafka密码”，弹出重置Kafka密码对话框。 单击Kafka实例名称，进入实例详情页面。在“基本信息”页签，在“连接信息 > 用户名”后，单击“重置密码”，弹出重置Kafka密码对话框。 单击Kafka实例名称，进入实例详情页面。在“用户管理”页签，在待重置Kafka密码的用户所在行，单击“重置密码”，弹出重置Kafka密码对话框。 步骤 5 输入“新密码”，单击“确定”，完成密码重置。 如果重置密码成功，界面提示重置实例的密码成功。 如果重置密码失败，界面提示重置实例的密码失败，请重新尝试重置密码操作。如果多次重置失败，请联系客服处理。 说明 只有所有代理都重置密码成功，系统才会提示重置密码成功，否则会提示重置失败。

本节介绍Kafka 发送给Topic的消息在分区中分布不均衡原因 问题现象 发送消息到某个Topic后，该Topic下部分分区消息比较多，部分分区消息少，甚至没有。 可能原因 发送消息时指定了分区，导致未指定的分区没有消息。 发送消息时指定了消息Key，按照对应的Key发送消息至对应的分区，导致分区消息不均衡。 通过代码重新实现了分区分配策略，但策略逻辑有问题，导致分区消息不均衡。

本文为您介绍分布式消息服务MQTT的相关术语解释。 实例（Instance） 创建购买消息队列 MQTT 服务的实体单元，包含MQTT Broke和kafka集群节点。 MQTT Broker 消息队列 MQTT 提供的 MQTT 协议交互的服务端节点，用于完成与 MQTT 客户端消息收发和数据存储至消息队列。 MQTT 客户端 用于和 MQTT 服务器交互的移动端节点。 父级 Topic（Parent Topic） MQTT 协议基于 Pub/Sub 模型，因此任何消息都属于一个 Topic。根据 MQTT 协议，Topic 存在多级，定义第一级 Topic 为父级 Topic，需先在控制台创建该父级 Topic。 子级 Topic（Subtopic） MQTT 的二级 Topic，甚至三级 Topic 都是父级 Topic 下的子类。使用时，直接在代码里设置，无需创建。需要注意的是微消息队列 MQTT 限制父级 Topic 和子级 Topic 的总长度为 64 个字符，如果超出长度限制将会导致客户端异常。 Client ID 微消息队列 MQTT 的 Client ID 是每个客户端的唯一标识，要求全局唯一，使用相同的 Client ID 连接消息队列 MQTT服务会被拒绝。 消息队列Kafka MQTT Broker主要承担移动端连接接入、连接管理、数据转发等工作。后端数据持久化和消息存储至kafka消息队列；租户后端应用系统可通过kafka分析、处理数据并下发指令。 终端连接地址 即MQTT Broker端接入地址，设备端使用。 服务端连接地址 即kakfa集群连接地址，云端应用服务使用。 订阅关系 终端设备每订阅一个主题即一个订阅关系。

Kafka的消费机制是由客户端主动去服务端拉取消息进行消费的。因此，一般来说，如果客户端能够及时消费，则不会产生较大延迟。如果产生了较大延迟，请先关注是否有堆积，并注意提高消费速度。

本文主要介绍 重置Kafka Manager密码。 操作场景 如果您忘记了创建实例时设置的Kafka Manager密码，通过重置Manager密码功能，重新设置一个新的密码，可使用新密码登录Kafka Manager。 前提条件 已创建Kafka实例，且实例处于“运行中”。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法，重置Kafka Manager密码。 在待重置Manager密码的Kafka实例所在行，单击“更多 > 重置Manager密码”。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 重置Manager密码”。 单击Kafka实例名称，进入实例详情页面。在“基本信息”页签，在“连接信息 > Manager用户名”后，单击“重置Manager密码”。 步骤 5 输入“新密码”和“确认密码”，单击“确定”，完成密码重置。 重置Manager密码成功，界面提示重置实例的密码成功。 重置Manager密码失败，界面提示重置实例的密码失败，请重新尝试重置密码操作。如果多次重置失败，请联系客服处理。 说明 只有所有代理都重置密码成功，系统才会提示重置密码成功，否则会提示重置失败。

本文主要介绍步骤三：创建Topic。 Topic，即消息主题。创建Kafka实例成功后，如果没有开启“Kafka自动创建Topic”，需要手动创建Topic，然后才能进行生产消息和消费消息。如果实例开启了“Kafka自动创建Topic”，则该操作为可选，在进行生产时，会自动创建一个Topic，此Topic的默认参数值如下：分区数为3，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。 本文主要介绍手动创建Topic的操作，有以下三种方式，您可以根据实际情况选择任意一种方式： 方式1：在控制台创建 方式2：在Kafka Manager创建 方式3：在Kafka客户端上创建 方式1：在控制台创建 步骤 1 登录分布式消息服务Kafka控制台，选择Kafka实例所在的区域。 步骤 2 在“Kafka专享版”页面，单击Kafka实例的名称，进入实例详情页面。 步骤 3 在“Topic管理”页签，单击“创建Topic”，弹出“创建Topic”对话框。 步骤 4 填写Topic名称和配置信息，单击“确定”，完成创建Topic。 方式2：在Kafka Manager创建 登录Kafka Manager后，在页面顶部选择“Topic > Create”，然后按照界面参数填写即可。 注意 Topic名称开头包含特殊字符，例如下划线“”、 号“ ”时，监控数据无法展示。 方式3：在Kafka客户端上创建 仅在Kafka客户端版本为2.2以上 时，支持通过kafkatopics.sh创建Topic，以及管理Topic的各类参数。 注意 Topic名称开头包含特殊字符，例如下划线“”、

本章节介绍如何在控制台创建消费组。 如果在“配置参数”中开启了“auto.create.groups.enable”，则该操作为可选。“auto.create.groups.enable”表示在消费者进入未创建的消费组时，会自动创建此消费组。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏选择“消费组管理”，进入消费组列表页面。 步骤 6 单击“创建消费组”，弹出“创建消费组”对话框。 步骤 7 输入消费组名称，单击“确定”。 在消费组列表页面，查看新创建的消费组。

本文介绍事件源中的请求参数。 请求参数 参数 类型 是否必选 示例值 描述 eventBusName String 是 test 事件总线的名称。 eventSourceName String 是 source1 事件源的名称。 desc String 否 test 事件源描述。 type String 是 simple 事件源类型，更多信息请参考下文关于事件源的格式。 eventSourceParams Arrays of Object 是 事件源参数，详见表 EventSourceParams，更多信息请参考下文关于事件源的格式。 表 EventSourceParams 参数 是否必填 参数类型 说明 resourceKey 是 String 事件源参数名。 value 是 String 事件源参数值。 form 是 String 事件源参数格式。 template 否 String 事件源参数模板样式。 分布式消息服务Kafka 当事件源的事件提供方选择分布式消息服务Kafka时，请求参数中的type为kafka，eventSourceParams 中的resourceKey 字段含义如下表所示： resourceKey 是否必传 form value template instanceId 是 CONSTANT 分布式消息服务Kafka实例ID。 无 topic 是 CONSTANT 主题名称。 无 groupName 是 CONSTANT 消费组名。 无 initialOffset 是 CONSTANT 消息位点。 最新位点：latest 最早位点：earliest 无 dataFormat 否 CONSTANT 数据格式,不填时默认为JSON编码格式： JSON格式编码：JSON 文本格式编码：Text 二进制格式编码：Binary 无 请求示例如下： plaintext { "eventSourceName": "source", "eventBusName": "test", "desc": "dddesc", "type": "kafka", "eventSourceParams": [ { "resourceKey": "instanceId", "value": "b16b04cf0776xxxxxfa31a001a5c48b6", "form": "constant" }, { "resourceKey": "topic", "value": "ebsource", "form": "constant" }, { "resourceKey": "groupName", "value": "ebgroup", "form": "constant" }, { "resourceKey": "initialOffset", "value": "latest", "form": "constant" }, { "resourceKey": "dataFormat", "value": "JSON", "form": "CONSTANT" } ] }

每个 Topic 会有多个分区，每个分区会统计当前消息的总条数，这个称为最大位点 MaxOffset。Kafka Consumer 会按顺序依次消费分区内的每条消息，记录已经消费了的消息条数，称为ConsumerOffset。 剩余的未消费的条数（也称为消息堆积量） MaxOffset ConsumerOffset

参数 说明 触发事件类型 选择触发作业运行的事件类型。 “KAFKA” “KAFKA”触发事件类型的参数 连接名称 选择数据连接，需先在“管理中心”创建kafka数据连接。 Topic 选择需要发往kafka的消息Topic。 事件处理并发数 选择作业并行处理的数量，最大并发数为128。 事件检测间隔 配置时间间隔，检测通道下是否有新的消息。时间间隔单位可以配置为秒或分钟。 读取策略 选择数据的读取位置： 从上次位置读取：首次启动时，从最新的位置读取数据。后续启动时，则从前一次记录的位置读取数据。 从最新位置读取：每次启动都会从最新的位置读取数据。 失败策略 选择调度失败后的策略： 挂起 忽略失败，读取下一个

Kafka 消费的语义是 “at least once”， 也就是至少投递一次，保证消息不丢，但是不会保证消息不重复。在出现网络问题、客户端重启时均有可能出现少量重复消息，此时应用消费端如果对消息重复比较敏感（比如说订单交易类），则应该做到消息幂等。 以数据库类应用为例，常用做法是： 发送消息时，传入 key 作为唯一流水号ID； 消费消息时，判断 key 是否已经消费过，如果已经消费过了，则忽略，如果没消费过，则消费一次； 当然，如果应用本身对少量消息重复不敏感，则不需要做此类幂等检查。

天翼云OpenAPI门户提供了产品的API 文档、API调试、SDK中心等。 关于用户如何使用分布式消息服务Kafka产品API的详细介绍，请参见使用API（默认Ⅱ类资源池接口）。您可以在OpenAPI门户可以了解到具体的调用前必知、API概览、如何调用API以及具体的API的接口详细说明。 说明 Ⅱ类资源池版本：适用于 华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3、芜湖4、乌鲁木齐7 资源池，详情请参照 Ⅰ类资源池版本：适用于 芜湖2、上海7、贵州3、昆明2、重庆2、乌鲁木齐27、保定、石家庄20、内蒙6、北京5 资源池，详情请参照