本文介绍分布式消息服务MQTT的Keep Alive设置推荐。 在MQTT中，Keep Alive是一个用于保持客户端和服务器之间的活动连接的机制。它是通过客户端定期发送PINGREQ消息来实现的，以确保连接保持活动状态。当服务器接收到PINGREQ消息后，会回复PINGRESP消息，表示连接仍然活动。 Keep Alive的设置取决于你的应用需求和网络环境。以下是一些建议： 1. 根据网络稳定性设置：如果你的网络环境非常稳定，连接很少会断开，你可以将Keep Alive设置为较长的时间，例如60秒或更长。这样可以减少PINGREQ和PINGRESP消息的频繁发送，减少网络流量和资源消耗。 2. 根据应用实时性设置：如果你的应用对实时性要求较高，需要及时获取和响应消息，则可以将Keep Alive设置为较短的时间，例如10秒或更短。这样可以快速检测到连接丢失，并尽快重新连接或采取相应的处理措施。 3. 根据网络延迟设置：如果你的网络延迟较高，连接速度较慢，你可能需要将Keep Alive设置为较长的时间，以允许更多的时间来处理网络延迟和连接恢复。 需要注意的是，Keep Alive的设置不应过于频繁或过于长久。太频繁的Keep Alive会增加网络流量和服务器负载，太长久的Keep Alive可能会导致连接超时和断开。 一般来说，根据网络稳定性和应用实时性的考虑，将Keep Alive设置为30秒到5分钟之间是比较常见的。你可以根据你的具体需求和实际情况进行调整和优化。

本节主要介绍Kafka Connect接入Kafka。 最佳实践概述 场景描述 Kafka Connect可以将完整的数据库注入到Kafka的Topic中，或者将服务器的系统监控指标注入到Kafka，然后像正常的Kafka流处理机制一样进行数据流处理。而导出工作则是将数据从Kafka Topic中导出到其它数据存储系统、查询系统或者离线分析系统等。 如果您想要在流数据平台场景下，使用Kafka Connect快速实现数据从Kafka和其它系统之间进行导入导出，可以参考本实践方案。 技术架构图 暂无。 方案优势 用户可按业务需要，参考Kafka Connect数据导入导出，实现流数据的消息消费。 前提条件 需已购买Kafka实例、创建Topic，并且已成功消费消息。 资源规划 本实践方案内容仅涉及Kafka专享版实例和Flink的安装配置。 分布式消息服务 Figure 1 分布式消息服务 资源类型 配置项 配置明细 说明 :::: 企业中间件 DMS Kafka专享实例 需已购买kafka专享实例，创建好Topic，并成功消费消息。 Kafka Connect流数据平台 Figure 2 Kafka Connect流数据平台 资源类型 配置项 配置明细 说明 :::: 应用软件 Flink框架 Flink 1.14 使用开源Apache Flink 方案正文 Kafka Connect 目前支持两种执行模式：standalone 和 distributed。 standalone模式 通过以下命令以 standalone 模式启动 connect： 接入Kafka专享版与接入开源 Apache Kafka 没有区别，仅需要修改 bootstrap.servers 为申请实例时分配的 IP。 distributed模式 通过以下命令以 distributed 模式启动 connect： 该模式下，Kafka Connect 会将 offsets、configs 和 task status 信息存储在 Kafka Topic 中，存储的Topic 在 connectdistributed 中的以下字段配置： 这三个 Topic 需要手动创建，才能保证创建的属性符合 connect 的要求。 config.storage.topic 需要保证只有一个 partition，多副本且为 compact 模式。 offset.storage.topic 需要有多个 partition，多副本且为 compact 模式。 status.storage.topic 需要有多个 partition，多副本且为 compact 模式。 配置 bootstrap.servers 为申请实例是分配的 IP。 配置 group.id，用于标识 connect 集群，需要与消费者分组区分开来。

本文主要介绍如何设置消息堆积数超过阈值时，发送告警短信/邮件。 操作场景 如果您想要在消费组的消息堆积数超过阈值时，通过短信/邮件及时收到通知信息，可以参考本章节设置告警通知。 您还可以参考分布式消息服务Kafka的支持的监控指标，设置告警通知。 前提条件 已购买Kafka实例、创建Topic，并且已成功消费消息。 操作步骤 1、 登录分布式消息服务Kafka控制台，单击待创建告警通知的实例名称，进入实例详情页。 2、 在左侧导航栏，选择“监控”，进入监控页面。 3、 在“消费组”页签，设置需要创建告警通知的消费组。 图 选择需要创建告警通知的消费组 消费组：选择需要创建告警通知的消费组。 主题：选择“全部Topic”。 4、 选中“消息堆积数（消费组可消费消息数）”图表，单击，创建告警规则。 图 消息堆积数图表 5、 在“创建告警规则”界面，设置告警名称。 图 设置告警名称 名称：您自定义的告警名称，用于识别不同的告警。 描述：告警规则描述，可以不填。 6、 在“创建告警规则”界面，设置告警策略。 图 设置告警策略 触发规则：选择“自定义创建”。 告警策略：触发告警规则的告警策略，是否触发告警取决于连续周期的数据是否达到阈值。 告警级别：根据实际情况选择告警等级。 7、 在“创建告警规则”界面，设置告警通知对象。 图 设置告警通知对象 发送通知：选择开启。 通知方式：选择“主题订阅”。 通知对象：选择云帐号联系人或已创建的告警通知主题，告警通知主题的订阅信息中包含需要接收告警信息的手机号/邮箱地址。 图 创建告警通知主题 图 添加订阅 生效时间：该告警规则仅在生效时间内发送通知消息。 触发条件：触发告警通知的条件。 8、 在“创建告警规则”界面，设置企业项目和标签。 图 设置企业项目和标签 归属企业项目：告警规则所属的企业项目。只有拥有该企业项目权限的用户才可以查看和管理该告警规则。 标签：标签用于标识云资源，当您拥有相同类型的许多云资源时，可以使用标签按各种维度（例如用途、所有者或环境）对云资源进行分类。 9、 单击“立即创建”，完成告警规则的设置。 告警规则创建完成后，在云监控服务的“告警 > 告警规则”界面，查看新创建的告警规则。 图 查看新创建的告警规则

介绍分布式消息服务Kafka的新建消费组功能操作介绍。 场景描述 Kafka新建消费组的场景如下： 多个应用程序需要独立消费同一个主题：如果有多个应用程序需要从同一个Kafka主题中独立消费消息，并且每个应用程序需要管理自己的消费进度和分区分配，那么可以为每个应用程序创建一个独立的消费组。 消费者需要实现消息的负载均衡：当有多个消费者需要消费同一个主题的消息时，可以将它们加入同一个消费组，Kafka会自动将主题的分区均匀地分配给消费组中的消费者，实现消息的负载均衡。 消费者需要实现消息的并行处理：如果需要将一个主题的消息并行地处理，可以创建多个消费者实例，并将它们加入同一个消费组。Kafka会将主题的分区分配给消费组中的消费者，每个消费者只消费自己被分配的分区，从而实现消息的并行处理。 消费者需要实现高可用性：为了提高消费者的可用性，可以创建一个消费组，并将多个消费者实例加入该组。当一个消费者实例发生故障时，Kafka会将该消费者的分区重新分配给其他健康的消费者，从而保证消息的连续消费。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消费组管理”后进入消费组管理页面。 （5）点击“创建消费组”后，输入消费组名称，点击创建。 说明 消费组业务应用接入使用时客户端也可自动创建。

服务后缀 服务说明 zos dns msgc crs apm lts faas gts 全局事务：该服务由天翼云全局事务服务提供，全局事务服务是一款专为实现分布式环境下高性能事务一致性而设计的服务工具。它可以与MySQL、PostgreSQL等数据源，以及Spring Cloud、Dubbo等RPC框架和消息队列等中间件产品配合混合使用，以支持用户各种分布式数据库事务、多库事务、消息事务和服务链路级事务的组合需要 prome 应用性能监控：Prometheus监控为云上托管Prometheus服务，可为您的容器集群提供多种开箱即用的预置监控大盘与监控规则，实现免搭建的高效运维场景。 ags Agent沙箱：Agent 沙箱提供安全、弹性、可扩展的云端沙箱运行环境。在使用Agent沙箱产品时，通过连接该终端节点服务，可实现在内网调用沙箱服务。

本章节介绍了如何创建Topic。 操作场景 Topic，即消息主题，消息发送与接收的基本单元。购买RocketMQ实例成功后，需要手动创建Topic，然后才能进行生产消息和消费消息。 前提条件 已购买RocketMQ实例。 操作步骤 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在左侧导航栏，单击“Topic管理”，进入“Topic管理”页面。 4. 单击“创建Topic”，弹出“创建Topic”页面。 5. 参考表1，填写Topic名称和配置信息。 表 Topic参数说明 参数 说明 :: Topic名称 您可以自定义Topic名称，用于区分不同的Topic。 Topic名称不能设置为相同，否则会创建失败。 创建Topic后不能修改名称。 说明： 如果Topic名称中包含“%”或“ 权限 Topic的权限，包括发布+订阅、发布和订阅。 关联代理 选择在某个代理上创建Topic，并设置Topic的队列个数。 如果实例部署在多个代理上，单击“添加关联代理”，可以在其他代理上创建Topic，并设置Topic的队列个数。 图 创建Topic 6. 配置完成后，单击“确定”，完成Topic的创建。

本章节介绍了如何修改分布式消息服务RocketMQ实例的Topic。 操作场景 Topic创建成功后，您可以根据业务需要修改以下参数：读队列个数、写队列个数、权限和添加关联代理。 操作步骤 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在左侧导航栏，单击“Topic管理”，进入“Topic管理”页面。 4. 选择以下任意一种方法修改Topic参数。 在待修改的Topic所在行，单击“编辑”，弹出“编辑Topic”页面。 单击待修改的Topic名称，进入Topic详情页面。在页面右上角，单击“编辑”，弹出“编辑Topic”页面。 5. 修改如表1所示配置信息。 表 Topic参数说明 参数 说明 权限 Topic的权限，包括发布+订阅、发布和订阅。 关联代理 修改读队列个数或写队列个数。 lic读数读队列个数：Top据可用的总队列数。 写队列个数：Topic写数据可用的总队列数。 如果创建Topic时未关联所有代理，单击“添加关联代理”，可以在其他代理上创建Topic，并设置读队列个数和写队列个数。 6. 修改完成后，单击“确定”。

本文主要介绍编辑流控。 操作场景 本章节指导您在流控创建成功后，修改生产上限速率或者消费上限速率。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏单击“流控管理 > 流控列表”，进入流控列表页面。 步骤 6 在待修改的流控所在行，单击“编辑”，弹出“编辑流控”对话框。 步骤 7 修改生产上限速率或者消费上限速率，单击“确定”，跳转到“后台任务管理”页面，当流控任务的“状态”为“成功”时，表示流控修改成功。 进入“流控管理 > 流控列表”页面，查看修改后流控的生产上限速率或者消费上限速率。 说明 “生产上限速率”和“消费上限速率”不可同时为空。

查看消费者列表（Kafka客户端） 未开启SASL的Kafka实例，在“/{命令行工具所在目录}/kafka{version}/bin/”目录下，通过以下命令查询消费者列表。 ./kafkaconsumergroups.sh bootstrapserver {brokerip}:{port} group {groupname} members describe 已开启SASL的Kafka实例，通过以下步骤查询消费者列表。 （可选）如果已经设置了SSL证书配置，请跳过此步骤。否则请执行以下操作。在Kafka客户端的“/config”目录中创建“ssluserconfig.properties”文件，参考步骤3增加SSL证书配置。 在“/{命令行工具所在目录}/kafka{version}/bin/”目录下，通过以下命令查询消费者列表。 ./kafkaconsumergroups.sh bootstrapserver {brokerip}:{port} group {groupname} members describe commandconfig ./config/ssluserconfig.properties 查看消费进度（控制台） 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏选择“消费组管理”，进入消费组列表页面。 步骤 6 单击待查看消费进度的消费组名称，进入消费组详情页。 步骤 7 在“消费进度”页签，查看此消费组订阅的Topic列表、Topic中消息的总堆积数、Topic每个分区的堆积数、Topic每个分区的偏移量和最大消息位置。 图 消费进度 步骤 8 （可选）如果需要查询某个Topic的消费进度，在搜索框中，输入Topic名称，单击。

准备资源 要求 创建指导 VPC和子网 不同的RocketMQ实例可以重复使用相同的VPC和子网，也可以使用不同的VPC和子网，请根据实际需要进行配置。在创建VPC和子网时应注意如下要求：·创建的VPC与使用的分布式消息服务RocketMQ应在相同的区域。·创建VPC和子网时，如无特殊需求，配置参数使用默认配置即可。 创建VPC和子网的操作指导请参考创建虚拟私有云和子网，若需要在已有VPC上创建和使用新的子网，请参考为虚拟私有云创建新的子网。 安全组 不同的RocketMQ实例可以重复使用相同的安全组，也可以使用不同的安全组，请根据实际需要进行配置。在创建安全组时应注意如下要求：·创建安全组时，“模板”选择“自定义”。·创建安全组后，请保留系统默认添加的入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则。·使用分布式消息服务RocketMQ必须添加表2所示安全组规则，其他规则请根据实际需要添加。 创建安全组的操作指导请参考创建安全组，为安全组添加规则的操作指导请参考添加安全组规则。

云原生网关 左侧导航栏，选择资源管理 > 云原生网关。在云原生网关列表展示了当前环境已导入的云原生网关资源。 点击导入按钮，列表会展示与当前环境同VPC的云原生网关列表，勾选云原生网关，点击保存就可将资源导入。 导入失败可点击日志查看具体失败原因，也可点击重试按钮进行重试。 点击移除按钮，可移除选择的云原生网关。 关系数据库 左侧导航栏，选择资源管理 > 关系数据库。在关系数据库列表展示了当前环境已导入的关系数据库资源。 点击导入按钮，列表会展示与当前环境同VPC的关系数据库列表，勾选关系数据库，点击保存就可将资源导入。 导入失败可点击日志查看具体失败原因，也可点击重试按钮进行重试。 点击移除按钮，可移除选择的关系数据库。 分布式缓存 左侧导航栏，选择资源管理 > 分布式缓存。在分布式缓存列表展示了当前环境已导入的分布式缓存资源。 点击导入按钮，列表会展示与当前环境同VPC分布式缓存列表，勾选分布式缓存，点击保存就可将资源导入。 导入失败可点击日志查看具体失败原因，也可点击重试按钮进行重试。 点击移除按钮，可移除选择的分布式缓存。 分布式消息 左侧导航栏，选择资源管理 > 分布式消息。在分布式消息列表展示了当前环境已导入的分布式消息资源。 点击导入按钮，列表会展示与当前环境同VPC分布式消息列表，勾选分布式消息，点击保存就可将资源导入。 导入失败可点击日志查看具体失败原因，也可点击重试按钮进行重试。 点击移除按钮，可移除选择的分布式消息。

本页面主要介绍分布式消息服务MQTT对接的云审计服务使用和查看方法。 操作场景 本服务现已对接天翼云云审计服务，云审计服务提供对各种云资源操作的记录和查询功能，用于支撑合规审计、安全分析、操作追踪和问题定位等场景，同时提供事件跟踪功能，将操作日志转储至对象存储实现永久保存。 云审计可提供的功能服务具体如下： ● 记录审计日志：支持用户通过管理控制台或API接口发起的操作，以及各服务内部自触发的操作。 ● 审计日志查询：支持在管理控制台对7天内操作记录按照事件类型、事件来源、资源类型、筛选类型、操作用户和事件级别等多个维度进行组合查询。 使用限制 ● 云审计服务本身免费，包括时间记录以及7天内时间的存储和检索。 ● 用户通过云审计能查询到多久前的操作事件：7天。 ● 用户操作后多久可以通过云审计查询到数据：5分钟。 ● 其它限制请参考使用限制云审计。 操作步骤 1. 开通云审计服务。 参见开通云审计服务云审计。 2. 查看云审计事件。 参见查看审计事件云审计。 3. 在事件列表中，选择事件来源为“容器与中间件”，资源类型选择“分布式消息服务Kafka”，上方时间选择需要筛选的时间段。点击查询即可。 4. 在审计事件右侧点击详情，可以看到更详细的事件信息。 更多云审计相关使用说明和常见问题请参考用户指南、常见问题。

本页面主要介绍分布式消息服务RocketMQ对接的云审计服务使用和查看方法。 操作场景 本服务现已对接天翼云云审计服务，云审计服务提供对各种云资源操作的记录和查询功能，用于支撑合规审计、安全分析、操作追踪和问题定位等场景，同时提供事件跟踪功能，将操作日志转储至对象存储实现永久保存。 云审计可提供的功能服务具体如下： ● 记录审计日志：支持用户通过管理控制台或API接口发起的操作，以及各服务内部自触发的操作。 ● 审计日志查询：支持在管理控制台对7天内操作记录按照事件类型、事件来源、资源类型、筛选类型、操作用户和事件级别等多个维度进行组合查询。 使用限制 ● 云审计服务本身免费，包括时间记录以及7天内时间的存储和检索。 ● 用户通过云审计能查询到多久前的操作事件：7天。 ● 用户操作后多久可以通过云审计查询到数据：5分钟。 ● 其它限制请参考使用限制云审计。 操作步骤 1. 开通云审计服务。 参见开通云审计服务云审计。 2. 查看云审计事件。 参见查看审计事件云审计。 3. 在事件列表中，选择事件来源为“容器与中间件”，资源类型选择“分布式消息服务RocketMQ”，上方时间选择需要筛选的时间段。点击查询即可。 4. 在审计事件右侧点击详情，可以看到更详细的事件信息。 更多云审计相关使用说明和常见问题请参考用户指南、常见问题。

Kafka触发器可以订阅天翼云提供的分布式消息队列Kafka实例，并根据消息触发关联的函数，借此能力，使得函数可以消费指定Topic的消息，执行自定义处理逻辑。 注意事项 Kafka触发器订阅的Kafka实例必须和函数计算的函数实例在相同地域。 前提条件 已创建函数。 已开通分布式消息Kafka实例（KAFKA引擎版），详情请参考创建分布式消息服务Kafka实例。 已创建Topic，创建GroupID（可选）。 操作步骤 1. 登录函数计算控制台，点击目标函数，进入函数详情。 2. 选择详情下顶部的配置选项卡。 3. 在配置选项卡 中，选择左边的触发器选项卡。 4. 点击创建触发器 ，在弹出的右抽屉中选择Kafka触发器，配置参数解释如下。 配置项 操作 示例 触发器类型 选择Kafka触发器。 Kafka触发器 名称 填写自定义的触发器名称。 kafkatrigger 版本或别名 默认值为LATEST，支持选择任意函数版本或函数别名。 LATEST Kafka 实例 选择已创建的Kafka实例。 Topic 选择已创建的Kafka实例的Topic。 Group ID 快速创建：推荐方案。自动创建以 GROUPFCTrigger{triggername}{uuid} 命名的 Group ID。 使用已有：选择Kafka实例已有的GroupID，请您注意不要与已有的业务混用GroupID，否则会影响已有的消息收发。 消费任务并发数 消费者的并发数量，有效取值范围为[1,20]，建议不超过Topic的分区数。该值同时影响投递到函数的并发数。 消费位点 选择消息的消费位点，即触发器从kafka消息队列开始拉取消息的位置。 最早位点 ：从最早位点开始消费。 最新位点：从最新位点开始消费。 最新位点 调用方式 选择函数调用方式。 同步调用 ：指触发器消费topic消息后投递到函数是同步调用，会等待函数响应后继续下一个消息投递。但消费任务并发数大于1时，多个消费者有可能会并发消费消息并投递，并发的情况视Topic队列本身积存的消息而定。 异步调用：指触发器消费topic消息后投递到函数是异步调用，不会等待函数响应，可以快速消费事件。 同步调用 触发器启用状态 创建触发器后是否立即启用。默认选择开启，即创建触发器后立即启用触发器。 启用 推送配置 批量推送条数：批量推送的最大值，积压值达到后立刻推送，取值范围为 [1, 10000]。 批量推送间隔：批量推送的最大时间间隔，达到后立刻推送，单位秒，取值[0,15]。默认0无需等待，数据直接推送。 推送格式：函数收到的事件格式，详情请查阅触发器事件消息格式。 重试策略 消息推送函数失败后重试的策略，共两种： 指数退避：指数退避重试，重试5次，重试周期为2，4，8，16，32（秒）。 线性退避：线性退避重试，重试5次，重试周期为1，2，3，4，5（秒）。 容错策略 当重试次数耗尽后仍然失败时的处理方式： 允许容错：当异常发生并超过重试策略配置时直接丢弃。 禁止容错：当异常发生并超过重试策略配置时继续阻塞执行。 死信队列 当容错策略为：允许容错时，可以额外开启死信队列。当开启死信队列时且异常发生并超过重试策略配置时，消息会被投递到指定的消息队列里，当前只支持投递到kafka和rocketmq

说明 分布式消息服务Kafka如下资源池支持Kafka2.8、3.6版本引擎，提供集群和单机两种规格实例，支持X86和ARM计算CPU架构类型的计算增强型主机，可选350代理数量。 目前在 华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3 资源池开放订购。 上述资源池订购和续订可享受1年83折，2年7折，3年5折优惠。 价格计算公式 分布式消息服务Kafka费用由实例费用和存储费用两部分组成，两者单价如下表所示，计费公式为： 实例费用实例规格单价 代理数量，单机版代理数量为1。 存储费用存储类型单价 代理数量 单节点存储空间GB大小，单机版代理数量为1。 实例规格单价 Intel计算增强型 规格名称 实例单价（单个节点） 规格名称 按需标准价格(元/小时) 包月标准价格(元/月) Kafka.2u4g.cluster 0.98 441 Kafka.4u8g.cluster 2.24 1008 Kafka.8u16g.cluster 4.86 2187 Kafka.12u24g.cluster 7.38 3321 Kafka.16u32g.cluster 9 4050 Kafka.24u48g.cluster 15.12 6804 Kafka.32u64g.cluster 20.16 9072 Kafka.48u96g.cluster 30.24 13608 Kafka.64u128g.cluster 40.32 18144

本文主要介绍 按需转包周期。 选择按需付费的用户，可以选择“转包周期”，变更实例计费模式为包年/包月。 说明 实例从按需变为包周期计费时，不影响应用，只是计费方式变了。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法，实现按需实例转包周期。 勾选Kafka实例名称左侧的方框，可选一个或多个，单击信息栏左上侧的“转包周期”，弹出“转包周期”对话框，单击“是”，跳转到“按需转包年/包月”页面。 在待转包周期的Kafka实例所在行，单击“更多 > 转包周期”，跳转到“按需转包年/包月”页面。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 转包周期”，跳转到“按需转包年/包月”页面。 步骤 5 选择续费时长，然后单击“去支付”，根据界面提示信息，支付费用，完成实例转包周期操作。

本文主要介绍查看消费者连接地址。 分布式消息服务Kafka支持通过以下两种方式查看消费者连接地址，您可以根据实际情况选择任意一种方式。 方法一：在管理控制台查看消费者连接地址 方法二：在Kafka Manager中查看消费者连接地址 说明 消费者处于连接Kafka实例时，才可以查看消费者连接地址。 Kafka Manager由于缓存原因，显示的消费者连接地址可能不是当前消费者连接地址，建议重启Kafka Manager解决。 方法一：在管理控制台查看消费者连接地址 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏选择“消费组管理”，进入消费组列表页面。 步骤 6 单击待查看消费者连接地址的消费组名称，进入消费组详情页。 步骤 7 在“消费者列表”页签，查看消费者连接地址。 图 消费者列表 方法二：在Kafka Manager中查看消费者连接地址 步骤 1 登录Kafka Manager。 步骤 2 单击“kafkacluster”，进入集群详情页。 步骤 3 在顶部导航栏单击“Consumers”，进入消费组列表页面。 图 导航栏 步骤 4 单击待查看消费者连接地址的消费组名称，进入消费组订阅的Topic列表页面。 图 消费组列表页面 步骤 5 单击待查看消费者连接地址的Topic名称，进入Topic详情页。 图 消费组订阅的Topic列表页面 步骤 6 在“Consumer Instance Owner”中，查看消费者连接地址。 图Topic详情页

本文主要介绍查看实例。 操作场景 本节介绍如何在分布式消息服务Kafka管理控制台查看Kafka实例的详细信息。例如，连接Kafka实例时，需要获取连接IP和端口。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 Kafka实例支持通过筛选来查询对应的Kafka实例。当前支持的筛选条件为标签、状态、名称、ID和连接地址。Kafka实例状态请参见下表。 表 Kafka实例状态说明 状态 说明 创建中 创建Kafka实例后，在Kafka实例状态进入运行中之前的状态。 运行中 Kafka实例正常运行状态。在这个状态的实例可以运行您的业务。 故障 Kafka实例处于故障状态。 启动中 Kafka实例从已冻结到运行中的中间状态。 重启中 Kafka实例正在进行重启操作。 变更中 Kafka实例正在进行规格变更、公网访问变更等操作。 变更失败 Kafka实例处于规格变更、公网访问变更等操作失败的状态。 已冻结 Kafka实例处于已冻结状态。 冻结中 Kafka实例从运行中到已冻结的中间状态。 升级中 Kafka实例正在进行升级操作。 回滚中 Kafka实例正在进行回滚操作。 步骤 5 单击Kafka实例的名称，进入该Kafka实例的基本信息页面，查看Kafka实例的详细信息。 下表为连接实例的相关参数，其他参数，请查看页面显示。 信息类型 参数 说明 ::: 连接信息 内网连接地址 未开启公网访问时，连接实例的地址。 显示的连接地址个数为实例代理个数。 连接信息 Manager内网访问地址 未开启公网访问时，连接Kafka Manager的地址。 连接信息 公网访问 是否开启公网访问开关。 连接信息 公网连接地址 开启公网访问后，连接实例的地址。 仅当开启了公网访问才显示该参数。 连接信息 Manager公网访问地址 开启公网访问后，连接Kafka Manager的地址。 仅当开启了公网访问才显示该参数。

面向长期稳定客户，我们特别推出了更加优惠的包年订阅选项，旨在通过深度折扣，帮助客户显著降低资源单位成本，优化整体支出。 自2024年11月9日起订购和续订分布式消息服务MQTT产品更长包周期即可享受2年7折，3年5折优惠。

本节主要介绍分布式消息服务Kafka常用的应用场景 分布式消息服务Kafka主要适用于以下几种场景： 日志收集 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦。 支持实时在线分析系统和类似于 Hadoop 的离线分析系统。 Kafka本身的性能是非常高效的，同时Kafka的特性决定它非常适合作为"日志收集中心"，这是因为Kafka在采集日志的时候业务是无感知的，其能够兼容自己的上游，能够直接地通过配置加密消息。当日志数据发送到Kafka集群里面，其实对于业务而言是完全无侵入的。同时其在下游又能够直接地对接Hadoop/ODPS等离线仓库存储和Strom/Spark等实现实时在线分析。在这样的情况之下，使用Kafka，只需要用户去关注整个流程里面的业务逻辑，而无需做更多的开发就能够实现统计、分析以及报表。 流计算处理 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦。 通过支持流计算引擎，可对接开源 Storm/Samza/Spark 流计算引擎。 Kafka能够做到流计算处理，比如股市走向分析、气象数据测控、网站用户行为分析等领域，由于在这些领域中数据产生快、实时性强、数据量大，所以很难统一采集并入库存储后再做处理，这便导致传统的数据处理架构不能满足需求。而Kafka Stream以及Storm/Samza/Spark等流计算引擎的出现，可以根据业务需求对数据进行计算分析，最终把结果保存或者分发给需要的组件。

本文主要介绍查看实例后台任务。 . 对实例的一些操作，如修改公网访问开关、修改容量阈值策略等，会启动一个后台任务，您可以在后台任务页，查看该操作的状态等信息，同时可通过删除操作，清理任务信息。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例的“基本信息”页签。 步骤 5 单击“后台任务管理”页签，进入后台任务管理页面。 界面显示任务列表。 步骤 6 在右上角单击系统默认时间，选择开始时间和结束时间，单击“确定”，界面显示相应时间段内启动的任务。 在后台任务管理页面，您还可以执行以下操作： 单击，刷新任务状态。 单击“删除”，弹出“删除任务记录”对话框，单击“是”，清理任务信息。 说明 您只能在任务已经执行完成，即任务状态为成功或者失败时，才能执行删除操作。

本节介绍如何关闭Smart Connect。 如果不再使用Smart Connect相关功能，您可以关闭Smart Connect，释放资源。 关闭Smart Connect不会影响业务。 约束与限制 关闭Smart Connect后，实例会停止收取用于Smart Connect的代理费用，并自动删除用于Smart Connect的代理。 关闭Smart Connect后，再重新开启Smart Connect，已删除的Smart Connect任务无法找回，需要重新创建。 前提条件 已创建Kafka实例，且实例状态为“运行中”。 关闭Smart Connect前，请先删除所有的Smart Connect任务，否则无法关闭Smart Connect。此操作是为了防止关闭Smart Connect导致正在运行的Smart Connect任务丢失。 关闭Smart Connect 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、通过以下任意一种方法，关闭Smart Connect。 在待关闭Smart Connect的Kafka实例所在行，单击“更多 > 关闭Smart Connect”。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 关闭Smart Connect”。 5、单击，将Smart Connect设置为关闭，单击“下一步”。 6、确认“Smart Connect”为关闭状态，单击“提交”。 结束

本节介绍产品使用卡券规则。 天翼云分布式消息服务RocketMQ产品卡券使用遵循天翼云统一规则。 ++优惠券使用++ ++代金券使用++ 卡券使用常见问题：卡券管理费用中心常见问题 天翼云。

本章节介绍故障演练服务的应用场景。 故障演练服务适用于多种复杂的业务和技术场景，旨在帮助用户从被动响应故障转变为主动发现和规避风险，全面提升系统的稳定性和韧性。 1. 验证高可用（HA）与容灾（DR）预案 这是故障演练的核心应用场景之一。通过模拟关键组件的失效，可以验证系统的自动切换、故障转移和恢复能力是否符合预期。 场景示例： 数据层 ：通过模拟分布式缓存服务Redis版的主备切换、节点宕机等场景，验证组件能否无感切换，量化对上层业务的影响，评估高可用架构的实际效果。 中间件 ：通过模拟分布式消息服务Kafka的Broker节点宕机等场景，检验消息中间件的高可用特性，评估业务数据的可靠性和业务消息生产/消费的合理性。 应用层 ：通过模拟承载关键业务的云主机宕机等场景，验证应用健康检查与流量转移的及时性和有效性，评估业务连续性是否符合架构设计要求。 2. 评估系统性能水位 在业务大促、秒杀等高并发场景来临前，通过主动对系统资源施加压力，可以提前发现性能瓶颈，为容量规划和扩容决策提供数据支持。 场景示例： 计算资源压测 ：通过模拟云主机CPU/内存高负载场景，监测应用服务的响应延迟与错误率变化，评估应用系统在资源瓶颈下的稳定性表现。 存储性能压测 ：通过模拟云主机磁盘I/O高负载场景，监测数据库事务处理、日志写入等关键操作在压力下的吞吐量、延迟及错误率表现，评估存储系统的性能瓶颈。

本章节介绍故障演练服务的应用场景。 故障演练服务适用于多种复杂的业务和技术场景，旨在帮助用户从被动响应故障转变为主动发现和规避风险，全面提升系统的稳定性和韧性。 1. 验证高可用（HA）与容灾（DR）预案 这是故障演练的核心应用场景之一。通过模拟关键组件的失效，可以验证系统的自动切换、故障转移和恢复能力是否符合预期。 场景示例： 数据层 ：通过模拟分布式缓存服务Redis版的主备切换、节点宕机等场景，验证组件能否无感切换，量化对上层业务的影响，评估高可用架构的实际效果。 中间件 ：通过模拟分布式消息服务Kafka的Broker节点宕机等场景，检验消息中间件的高可用特性，评估业务数据的可靠性和业务消息生产/消费的合理性。 应用层 ：通过模拟承载关键业务的云主机宕机等场景，验证应用健康检查与流量转移的及时性和有效性，评估业务连续性是否符合架构设计要求。 2. 评估系统性能水位 在业务大促、秒杀等高并发场景来临前，通过主动对系统资源施加压力，可以提前发现性能瓶颈，为容量规划和扩容决策提供数据支持。 场景示例： 计算资源压测 ：通过模拟云主机CPU/内存高负载场景，监测应用服务的响应延迟与错误率变化，评估应用系统在资源瓶颈下的稳定性表现。 存储性能压测 ：通过模拟云主机磁盘I/O高负载场景，监测数据库事务处理、日志写入等关键操作在压力下的吞吐量、延迟及错误率表现，评估存储系统的性能瓶颈。

全局时钟（Global Timestamp） 全局时钟在分布式数据库中的作用是通过提供统一的时间参考，确保系统内各组件协同工作时的时间同步，从而保障数据的一致性和系统的正确运行。如下为全局时钟的架构和分布式并发记录结构。 由GTM提供全局唯一的事务id和全局事务快照。当事务执行时，会话携带全局事务id，各节点通过全局事务id来判断数据的可见性。 全局时钟通过分布式并发记录来保障各组件协同工作时的时间同步。分布式并发控制核心点如下： 1. 逻辑时钟从零开始内部单向递增且唯一，由GTM维护，定时和服务器硬件计数器对齐，从而保证时钟源稳定。 2. 多个GTM节点构成集群，主节点对外提供服务；主备之间通过日志同步时间戳状态，保证GTS核心服务可靠性。 3. 单台物理机每秒能够处理1200万QPS，几乎满足所有业务场景。 4. 段页式存储的MVCC是整个并发控制的基础。同时约定：事务的gtsstart > gtsmin并且gtsmax没有提交或者gtsstart < gtsmax才能看到对应的事务。 两阶段提交（Two Phase Commit） 分布式事务执行时，由CN节点发起两阶段提交事务，并协调其它节点（参与者）执行事务，经过表决、执行两个阶段各参与者返回的状态，决定分布式事务需要提交或回滚。 两阶段提交被认为是一种一致性协议，用来保证分布式系统数据的一致性。绝大部分的关系型数据库都是采用两阶段提交协议来完成分布式事务处理。 两阶段提交事务在执行时分为两个阶段，第一阶段为表决阶段Prepare，第二阶段为执行阶段Commit，由协调者发起，并根据所有参与者返回的状态，判断是否需要执行下一阶段，Commit提交或回滚事务。 1. 表决阶段Prapare：所有参与者都将本事务能否成功的信息反馈发给协调者。 2. 执行阶段Commit：协调者根据所有参与者的反馈，通知所有参与者，步调一致地在所有分支上提交或者回滚。 两阶段提交机制的潜在问题： 1. 数据不一致问题：当部分参与者故障，各参与者在两阶段提交事务中的状态就会出现不一致的情况，如：部分节点commit，部分prepare，或部分commit，部分rollback，这都会导致该事务更新的数据在所有参与者中出现不一致。 2. 同步阻塞问题：两阶段提交过程中的一些步骤是同步阻塞的，没有超时机制，可能会有长时间阻塞的问题。同时，如果异常时，有prepare状态的两阶段事务残留，残留事务仍会持有锁，会阻塞后续会话对这些数据的访问和更新。 3. 协调节点单点故障问题：如果协调节点故障后短时间不能恢复，参与者的两阶段事务会一直残留，导致出现数据不一致、资源阻塞的问题。 TeleDB在内核处理机制，以及异常处理两个角度，对两阶段提交进行了优化，确保在两阶段事务异常时能自动恢复，不会出现上述问题。 内核处理机制优化 在两阶段事务执行过程中记录信息，用于异常时恢复残留的两阶段事务； 避免进入“Commit Prepared”的两阶段事务在所有参与节点被回滚。 分布式死锁检测模块：该模块对数据库状态进行实时监测，当发现存在长时间等待依赖时自动开启分布式死锁检测，经过节点间信息传递和算法分析可快速检测并解除死锁环。检测算法不影响系统查询效率，用户对死锁检测过程无感知。分布式死锁主要分为四个模块，分别为锁等待依赖关系的管理、线程模型模块、检测算法模块和监控与追踪模块。 锁等待依赖关系的管理：对分布式数据库中出现的长时间等待事务依赖对进行检测与上报。 线程模型模块：包含DDS专用线程工作模式和方法的设计、实现。 检测算法模块：分布式死锁检测的执行算法，根据上游节点发送的消息进行两阶段算法推演，再发送消息给下游节点。 监控与追踪模块：包含DDS依赖消息产生和传播的追踪日志、各节点依赖可视化、最近死锁记录保存。 其优点是内核原生支持、自动检测并解锁、分布式算法，需要传输的信息量少、网络资源消耗少、解锁速度快、无死锁误判、支持优先级解锁和抗丢包性强。 异常处理优化：提供两阶段事务的自动处理插件，在监测到两阶段事务残留时，通过访问两阶段事务执行过程中记录的信息，来判断各个参与节点的状态，根据状态参照对应规则，对残留事务进行清理，恢复各节点数据到全局一致。 PREPARED状态 COMMIT状态 ROLLBACK状态 异常阶段及原因 动作 有 有 无 commit阶段异常参与节点故障 COMMIT剩余事务 有 无 有 prepare阶段异常参与节点宕机 ROLLBACK剩余事务 有 无 无 prepare阶段异常发起节点宕机 ROLLBACK剩余事务

本节介绍分布式消息服务Kafka集群模式 是的，Kafka实例通常是以集群模式创建的。Kafka集群由多个Kafka节点组成，每个节点负责存储和处理消息。集群模式可以提供高可用性、容错性和扩展性。 Kafka集群中的每个节点都可以承担多个分区的领导者或副本角色，从而实现数据的冗余和故障恢复。通过复制机制，Kafka可以提供高可用性和容错性，即使在节点故障的情况下也能保证数据的可靠性和可用性。 注意 Kafka集群的规模和配置取决于应用的需求和可用的资源。可以根据实际情况来决定集群中节点的数量、分区的数量以及数据的复制策略，以满足性能、可用性和扩展性的要求。

消息可以批量生产和消费 为提高消息发送和消息消费效率，推荐使用批量消息发送和消费。通常，默认消息消费为批量消费，而消息发送尽可能采用批量发送。同时批量方式可有效减少API调用次数，减少服务使用费用。 如下面两张示意图对比所示，消息批量生产与消费，可以减少API调用次数，节约资源。 图 消息批量生产（发送）与消费 说明 批量发送消息时，单次不能超过10条消息，总大小不能超过512KB。 批量生产（发送）消息可以灵活使用，在消息并发多的时候，批量发送，并发少时，单条发送。这样能够在减少调用次数的同时保证消息发送的实时性。 图 消息逐条生产（发送）与消费 此外，批量消费消息时，消费者应按照接收的顺序对消息进行处理、确认，当对某一条消息处理失败时，不再需要继续处理本批消息中的后续消息，直接对已正确处理的消息进行确认即可。 巧用消费组协助运维 用户使用DMS服务作为消息管理系统，查看队列的消息内容对于定位问题与调试服务是至关重要的。 当消息的生产和消费过程中遇到疑难问题时，通过创建不同消费组可以帮助定位分析问题或调试服务对接。用户可以创建一个新的消费组，对队列中的消息进行消费并分析消费过程，这样不会影响其他服务对消息的处理。

介绍分布式消息服务Kafka修改主题功能的操作内容。 场景描述 Kafka修改主题的场景描述如下： 数据分区调整：当数据负载不均衡或者需要重新分配数据分区时，可以通过修改主题来调整数据分区的数量和分布。管理员可以根据实际情况修改主题的配置，重新分配分区，以实现更好的负载均衡和性能优化。 副本分配策略调整：Kafka的主题可以配置多个副本以实现数据冗余和高可用性。当需要调整副本的分配策略时，可以修改主题的配置，更改副本的分布方式，以满足不同的需求，如提高数据的可靠性或者减少网络传输的开销。 数据保留策略变更：Kafka支持根据时间或者大小等条件来设置数据的保留策略。当需要修改主题的数据保留策略时，可以修改主题的配置，调整数据的保留时间或者保留的数据大小，以便根据实际需求来管理数据的存储和清理。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“Topic管理”后，选择指定的Topic点击其右侧“编辑”按钮。 （5）点击“编辑”后，在弹窗中修改具体参数，详见下表：Topic参数说明。 表：Topic参数说明 参数 参数说明 分区数 您可以设置Topic的分区数，分区数越大消费的并发度越大。该参数设置为1时，消费消息时会按照先入先出的顺序进行消费。取值范围：1100，默认值：6 分区容量 每个分区的数据量的最大值，超过这个值后前面生产的消息将会被删除，保证了数据不会无限上涨挤爆磁盘。 是否同步刷盘 同步刷盘即确保消息被写入磁盘才会被认定为生产成功，该参数可提高可靠性，但是会影响性能。 消息保留时长 当消息生存时间超过该时长后，将会被清理，可用于控制存储成本。 最小同步副本数 该参数使得消息必须写入设定值个数的副本后，才能被认定生产成功，该参数可提高可靠性，但是过大会影响性能，且必须不大于副本数。 批处理消息最大值 每个批次中最大允许的消息大小，这影响了每次请求中能包含的消息总量和大小。 消息时间戳类型 CreateTime: 这是消息被生产者发送到Kafka时的时间戳，它表示消息创建的实际时间；LogAppendTime: 这是消息被Kafka日志接收并写入到日志文件时的时间戳，它表示消息写入 Kafka 的实际时间。 描述 topic的描述字段，可用作标记和说明。

本节主要介绍分布式消息服务Kafka的退订说明 如果您有退订的需求，可以进行登录天翼云管理中心或产品控制台进行退订操作。天翼云目前支持7天无理由全额退订和非七天无理由退订以及其他退订，详细规则请参考文档费用中心退订。

安全组件云主机 端口 端口用途 AQZQAF（云防火墙） 业务端口 网络通信 AQZQOSM（云堡垒机） 20/21 FTP AQZQOSM（云堡垒机） 22 ssh AQZQOSM（云堡垒机） 443 https、协议代理（web） AQZQOSM（云堡垒机） 444 数字证书登陆 AQZQOSM（云堡垒机） 1521 Oracle数据库 AQZQOSM（云堡垒机） 3306 Mysql数据库 AQZQOSM（云堡垒机） 3389 RDP AQZQOSM（云堡垒机） 8080 http AQZQOSM（云堡垒机） 9443 Web客户端 AQZQOSM（云堡垒机） 12021 协议代理（FTP协议） AQZQOSM（云堡垒机） 12024 协议代理（字符客户端：xshell、putty、crt、winscp、filezilla） AQZQOSM（云堡垒机） 12025 协议代理（RDP客户端） AQZQLAS（云日志审计） TCP22 访问后台命令行 AQZQLAS（云日志审计） UDP161 snmp query设备状态 AQZQLAS（云日志审计） UDP162 接收snmp trap日志 AQZQLAS（云日志审计） UDP514 接收syslog日志 AQZQLAS（云日志审计） TCP8082 访问设备管理控制台 AQZQLAS（云日志审计） TCP8443、443 访问业务控制台 AQZQEDR（终端安全EDR） 443 Agent下载端口 AQZQEDR（终端安全EDR） 8083 业务端口 AQZQEDR（终端安全EDR） 54120 管理端口 AQZQDAS（云数据库审计） TCP22 ssh服务 AQZQDAS（云数据库审计） TCP80 web服务 AQZQDAS（云数据库审计） TCP443 安全的web服务 AQZQDAS（云数据库审计） TCP8443 安全的web数据服务 AQZQDAS（云数据库审计） TCP9092 kafka发送数据 AQZQDAS（云数据库审计） TCP9999 Agent审计服务端口 AQZQDAS（云数据库审计） TCP5672 rabbitmq客户端 AQZQDAS（云数据库审计） TCP10000 综合治理相互监听端口 AQZQDAS（云数据库审计） TCP15672 rabbitmq服务端 AQZQCSSP（安全专区服务） TCP4430 API通信端口 AQZQCSSP（安全专区服务） TCP4433 单点登录 AQZQCSSP（安全专区服务） UDP4500、UDP500 用来创建扫描隧道与执行扫描 AQZQCSSP（安全专区服务） TCP7443 API通信端口，用来授权与部署扫描任务 AQZQCSSP（安全专区服务） TCP8888 代理组件后端 AQZQCSSP（安全专区服务） TCP8989 单点登录 AQZQCSSP（安全专区服务） TCP9999 自动升级

介绍分布式消息服务Kafka产品功能的使用限制。 限制项 使用说明 实例 开通后，不支持修改VPC/子网/可用区，不支持变更地域属性 扩缩容 当前只支持节点、规格、磁盘扩容，不支持缩容 版本 当前服务端版本为2.132.8.2。实例创建后，服务端版本不支持升级，不支持定制版本 弹性ip 支持对每个节点绑定弹性ip，可以在公网访问topic，弹性ip只能通过SASL连接访问 topic创建 默认不支持自动创建，需要在页面上创建，总数不超过100个 topic分区数 只能增加不能减少，总分区数不能超过2000个，分区数过多会导致磁盘碎片化，影响性能 私有主题 支持私有主题 消息大小 默认1MB，可自定义配置 批量导入/导出 支持topic、消费组、连接用户的批量导入 私有消费组 支持私有消费组，需要在页面上创建、订阅对应的私有主题，并对连接用户授权