服务后缀 服务说明 zos dns msgc crs apm lts faas gts 全局事务：该服务由天翼云全局事务服务提供，全局事务服务是一款专为实现分布式环境下高性能事务一致性而设计的服务工具。它可以与MySQL、PostgreSQL等数据源，以及Spring Cloud、Dubbo等RPC框架和消息队列等中间件产品配合混合使用，以支持用户各种分布式数据库事务、多库事务、消息事务和服务链路级事务的组合需要 prome 应用性能监控：Prometheus监控为云上托管Prometheus服务，可为您的容器集群提供多种开箱即用的预置监控大盘与监控规则，实现免搭建的高效运维场景。 ags Agent沙箱：Agent 沙箱提供安全、弹性、可扩展的云端沙箱运行环境。在使用Agent沙箱产品时，通过连接该终端节点服务，可实现在内网调用沙箱服务。

本章节介绍如何删除SASLSSL用户。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例名称，进入实例详情页面。 步骤 5 通过以下任意一种方法，删除SASLSSL用户。 在“用户管理”页签，在待删除的SASLSSL用户所在行，单击“删除”。 在“用户管理”页签，勾选SASLSSL用户名左侧的方框，可选一个或多个，单击信息栏左上侧的“删除”。 说明 创建Kafka实例时设置的SASLSSL用户无法删除。 步骤 6 在弹出的“删除用户”对话框中，单击“是”，完成SASLSSL用户的删除。

验证数据是否同步 1、 在目标集群中查看Topic列表，确认是否有源集群Topic。 说明 目标集群中的Topic名称和源集群相比，多了前缀（如A.），这属于正常情况，是MirrorMaker 2为了防止Topic循环备份进行的设置。 2、 在源集群生产并消费消息，在目标集群查看消费进度，确认数据是否已从源集群同步到了目标集群。 如果目标集群为Kafka实例的话，在分布式消息服务Kafka控制台的“消费组管理 > 消费进度”中，查看消费进度。

介绍分布式消息服务Kafka使用MirrorMaker跨集群数据同步。 应用场景 使用MirrorMaker进行跨集群数据同步是Kafka中常见的场景之一。MirrorMaker是Kafka提供的一个工具，用于将一个Kafka集群中的消息复制到另一个Kafka集群，实现跨数据中心、跨地域或跨集群的数据同步。 以下是一些常见的使用MirrorMaker进行跨集群数据同步的场景： 1. 备份和灾备： MirrorMaker可用于将生产环境中的消息复制到备份集群，以实现数据的备份和灾备。当主集群发生故障或不可用时，可以切换到备份集群，确保数据的可用性和连续性。 2. 数据复制和分发： 如果有多个数据中心或地理位置，可以使用MirrorMaker将消息从一个集群复制到另一个集群，实现数据的复制和分发。这样可以将数据从一个地区或数据中心传输到另一个地区或数据中心，以满足不同地区或数据中心的业务需求。 3. 跨云厂商数据同步： 当使用多个云厂商的Kafka服务时，MirrorMaker可以用于将消息从一个云厂商的Kafka集群复制到另一个云厂商的Kafka集群，实现跨云厂商的数据同步和迁移。 4. 数据聚合和分析： 当需要将多个Kafka集群中的消息聚合到一个集群中进行分析时，可以使用MirrorMaker将消息从多个集群复制到目标集群，以实现数据的聚合和分析。 需要注意的是，MirrorMaker在进行数据同步时，会引入一定的延迟，并且在网络传输和资源消耗方面会有一定的开销。因此，在使用MirrorMaker进行跨集群数据同步时，需要根据实际情况进行配置和调优，以满足业务需求和性能要求。

本文介绍Python版本的RabbitMQ客户端连接指导，包括RabbitMQ客户端安装，以及生产、消费消息。 使用前请参考收集连接信息收集RabbitMQ所需的连接信息。 准备环境 1. 安装Python3 2. 安装kombu pip3 install kombu 生产消息 SSL认证方式 import ssl import sys from kombu import Connection, Exchange, Producer def Main(argv): cacertfile "certscacertificate.pem" certfile "certsclientrabbitmqcertificate.pem" privatekey "certsclientrabbitmqkey.pem" conn Connection('amqp://XXX:xxx/', loginmethod'EXTERNAL', ssl{ 'cacerts': cacertfile, 'keyfile': privatekey, 'certfile': certfile, 'certreqs': ssl.CERTREQUIRED, 'sslversion': ssl.PROTOCOLTLSv12, }) channel conn.channel() exchange Exchange("exampleexchange", type"direct") producer Producer(exchangeexchange, channelchannel, routingkey"testkey") message "Hello Rabbimtq" producer.publish(message, retryTrue) print('send message: %s' % message) if name 'main': Main(sys.argv) 非SSL认证方式 import sys from kombu import Connection, Exchange, Producer def Main(argv): rabbitmqurl 'amqp://USERNAME:PASSWORD@XXX:xxx/' conn Connection(rabbitmqurl, loginmethod'PLAIN') channel conn.channel() exchange Exchange("exampleexchange", type"direct") producer Producer(exchangeexchange, channelchannel, routingkey"testkey") message "Hello Rabbimtq" producer.publish(message, retryTrue) print('send message: %s' % message) if name 'main': Main(sys.argv) 消费消息 SSL认证方式 import sys import ssl from kombu import Connection, Exchange, Queue, Consumer def Main(argv): cacertfile "certscacertificate.pem" certfile "certsclientrabbitmqcertificate.pem" privatekey "certsclientrabbitmqkey.pem" conn Connection('amqp://XXX:xxx/', loginmethod'EXTERNAL', ssl{ 'cacerts': cacertfile, 'keyfile': privatekey, 'certfile': certfile, 'certreqs': ssl.CERTREQUIRED, 'sslversion': ssl.PROTOCOLTLSv12, }) exchange Exchange("exampleexchange", type"direct") queue Queue(name"examplequeue", exchangeexchange, routingkey"testkey") def processmessage(body, message): print("receive message: %s" % format(body)) message.ack() with Consumer(conn, queuesqueue, callbacks[processmessage], accept["text/plain"]): conn.drainevents(timeout2) if name 'main': Main(sys.argv)

触发器名称 调用方式 文档链接 Http触发器 同步调用 定时触发器 同步调用 Kafka触发器 同步/异步调用 RocketMQ触发器 同步/异步调用

介绍分布式消息服务Kafka按位点查询的功能操作内容。 场景描述 Kafka按位点查询是指通过指定偏移量或时间戳来查询Kafka主题中的消息。以下是一些常见的按位点查询的场景描述： 数据回溯：当需要回溯到过去的某个时间点或特定的消息偏移量时，可以使用按位点查询功能。这在故障排查、数据分析和报告生成等场景中非常有用，可以准确地获取特定时间点或消息的数据。 数据恢复：在某些情况下，如果由于意外情况导致数据丢失或损坏，可以使用按位点查询来恢复丢失的数据。通过指定偏移量或时间戳，可以定位到丢失数据之前的位置，然后将数据重新消费或导出。 数据验证：按位点查询还可以用于数据验证和一致性检查。通过指定特定的偏移量或时间戳，可以比较不同主题或分区之间的消息，以确保数据的一致性和正确性。 数据分析：按位点查询对于数据分析和统计也非常有用。通过指定特定的时间戳或偏移量范围，可以获取所需的数据子集，并对其进行进一步的分析和处理。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消息查询”后默认就是按位点查询。 （5）下拉选择topic可以切换要查询的topic，填写offset消息位置，partition分区编号，可查询该分区offset位置开始的10条消息。 （6）点击消息列表的“消息详情”可查看消息详情信息

本文主要介绍 重启Kafka Manager。 操作场景 当Kafka Manager无法登录或者无法使用时，例如下图中的报错，可以通过重启Kafka Manager，使Kafka Manager恢复正常。 图 报错信息 说明 重启Kafka Manager不会影响业务。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法，重启Kafka Manager。 在待重启Manager的Kafka实例所在行，单击“更多 > 重启Manager”。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 重启Manager”。 步骤 5 单击“确定”。 您可以在实例的“后台任务管理”页面，查看当前任务的操作进度。任务状态为“成功”，表示重启成功。

介绍分布式消息服务Kafka按时间查询消息功能操作内容。 场景描述 Kafka按时间查询是指通过指定时间范围来查询Kafka主题中的消息。以下是一些常见的按时间查询的场景描述： 数据分析和报告：在数据分析和报告生成的场景中，经常需要按时间查询Kafka主题中的消息。通过指定起始时间和结束时间，可以获取在特定时间范围内产生的消息，用于进一步的数据分析和报告生成。 故障排查：当出现故障或问题时，按时间查询可以帮助定位问题的发生时间和相关的消息。通过指定故障发生的时间范围，可以获取相关的消息，用于故障排查和问题分析。 监控和警报：按时间查询还可以用于监控和警报系统。通过定期按时间查询Kafka主题中的消息，可以检查是否有异常或异常事件发生，并触发相应的警报机制。 数据回溯和重播：按时间查询功能还可以用于数据回溯和重播。通过指定特定的时间范围，可以获取过去某个时间段内的消息，并进行数据回溯或重播操作。 数据同步和复制：在数据同步和复制的场景中，按时间查询可以帮助确保数据的一致性。通过按时间查询源和目标主题中的消息，可以比较不同时间段内的消息，并进行数据同步和复制操作。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消息查询”后默认就是按点位查询。 （5）选择按时间查询，选择需要查询的Topic，输入分区号以及时间段，点击”查询“按钮，会返回时间段内的所有消息。 （6）点击消息列表的“消息详情”可查看消息详情信息。

本节主要介绍Kafka Connect接入Kafka。 最佳实践概述 场景描述 Kafka Connect可以将完整的数据库注入到Kafka的Topic中，或者将服务器的系统监控指标注入到Kafka，然后像正常的Kafka流处理机制一样进行数据流处理。而导出工作则是将数据从Kafka Topic中导出到其它数据存储系统、查询系统或者离线分析系统等。 如果您想要在流数据平台场景下，使用Kafka Connect快速实现数据从Kafka和其它系统之间进行导入导出，可以参考本实践方案。 技术架构图 暂无。 方案优势 用户可按业务需要，参考Kafka Connect数据导入导出，实现流数据的消息消费。 前提条件 需已购买Kafka实例、创建Topic，并且已成功消费消息。 资源规划 本实践方案内容仅涉及Kafka专享版实例和Flink的安装配置。 分布式消息服务 Figure 1 分布式消息服务 资源类型 配置项 配置明细 说明 :::: 企业中间件 DMS Kafka专享实例 需已购买kafka专享实例，创建好Topic，并成功消费消息。 Kafka Connect流数据平台 Figure 2 Kafka Connect流数据平台 资源类型 配置项 配置明细 说明 :::: 应用软件 Flink框架 Flink 1.14 使用开源Apache Flink 方案正文 Kafka Connect 目前支持两种执行模式：standalone 和 distributed。 standalone模式 通过以下命令以 standalone 模式启动 connect： 接入Kafka专享版与接入开源 Apache Kafka 没有区别，仅需要修改 bootstrap.servers 为申请实例时分配的 IP。 distributed模式 通过以下命令以 distributed 模式启动 connect： 该模式下，Kafka Connect 会将 offsets、configs 和 task status 信息存储在 Kafka Topic 中，存储的Topic 在 connectdistributed 中的以下字段配置： 这三个 Topic 需要手动创建，才能保证创建的属性符合 connect 的要求。 config.storage.topic 需要保证只有一个 partition，多副本且为 compact 模式。 offset.storage.topic 需要有多个 partition，多副本且为 compact 模式。 status.storage.topic 需要有多个 partition，多副本且为 compact 模式。 配置 bootstrap.servers 为申请实例是分配的 IP。 配置 group.id，用于标识 connect 集群，需要与消费者分组区分开来。

后续操作 开启Smart Connect后，您可以配置Kafka间的数据复制、配置Kafka数据转储至OBS，实现分布式消息服务Kafka和其他云服务之间的数据同步。

本文主要介绍如何设置消息堆积数超过阈值时，发送告警短信/邮件。 操作场景 如果您想要在消费组的消息堆积数超过阈值时，通过短信/邮件及时收到通知信息，可以参考本章节设置告警通知。 您还可以参考分布式消息服务Kafka的支持的监控指标，设置告警通知。 前提条件 已购买Kafka实例、创建Topic，并且已成功消费消息。 操作步骤 1、 登录分布式消息服务Kafka控制台，单击待创建告警通知的实例名称，进入实例详情页。 2、 在左侧导航栏，选择“监控”，进入监控页面。 3、 在“消费组”页签，设置需要创建告警通知的消费组。 图 选择需要创建告警通知的消费组 消费组：选择需要创建告警通知的消费组。 主题：选择“全部Topic”。 4、 选中“消息堆积数（消费组可消费消息数）”图表，单击，创建告警规则。 图 消息堆积数图表 5、 在“创建告警规则”界面，设置告警名称。 图 设置告警名称 名称：您自定义的告警名称，用于识别不同的告警。 描述：告警规则描述，可以不填。 6、 在“创建告警规则”界面，设置告警策略。 图 设置告警策略 触发规则：选择“自定义创建”。 告警策略：触发告警规则的告警策略，是否触发告警取决于连续周期的数据是否达到阈值。 告警级别：根据实际情况选择告警等级。 7、 在“创建告警规则”界面，设置告警通知对象。 图 设置告警通知对象 发送通知：选择开启。 通知方式：选择“主题订阅”。 通知对象：选择云帐号联系人或已创建的告警通知主题，告警通知主题的订阅信息中包含需要接收告警信息的手机号/邮箱地址。 图 创建告警通知主题 图 添加订阅 生效时间：该告警规则仅在生效时间内发送通知消息。 触发条件：触发告警通知的条件。 8、 在“创建告警规则”界面，设置企业项目和标签。 图 设置企业项目和标签 归属企业项目：告警规则所属的企业项目。只有拥有该企业项目权限的用户才可以查看和管理该告警规则。 标签：标签用于标识云资源，当您拥有相同类型的许多云资源时，可以使用标签按各种维度（例如用途、所有者或环境）对云资源进行分类。 9、 单击“立即创建”，完成告警规则的设置。 告警规则创建完成后，在云监控服务的“告警 > 告警规则”界面，查看新创建的告警规则。 图 查看新创建的告警规则

本文介绍分布式消息服务MQTT的Keep Alive设置推荐。 在MQTT中，Keep Alive是一个用于保持客户端和服务器之间的活动连接的机制。它是通过客户端定期发送PINGREQ消息来实现的，以确保连接保持活动状态。当服务器接收到PINGREQ消息后，会回复PINGRESP消息，表示连接仍然活动。 Keep Alive的设置取决于你的应用需求和网络环境。以下是一些建议： 1. 根据网络稳定性设置：如果你的网络环境非常稳定，连接很少会断开，你可以将Keep Alive设置为较长的时间，例如60秒或更长。这样可以减少PINGREQ和PINGRESP消息的频繁发送，减少网络流量和资源消耗。 2. 根据应用实时性设置：如果你的应用对实时性要求较高，需要及时获取和响应消息，则可以将Keep Alive设置为较短的时间，例如10秒或更短。这样可以快速检测到连接丢失，并尽快重新连接或采取相应的处理措施。 3. 根据网络延迟设置：如果你的网络延迟较高，连接速度较慢，你可能需要将Keep Alive设置为较长的时间，以允许更多的时间来处理网络延迟和连接恢复。 需要注意的是，Keep Alive的设置不应过于频繁或过于长久。太频繁的Keep Alive会增加网络流量和服务器负载，太长久的Keep Alive可能会导致连接超时和断开。 一般来说，根据网络稳定性和应用实时性的考虑，将Keep Alive设置为30秒到5分钟之间是比较常见的。你可以根据你的具体需求和实际情况进行调整和优化。

本页面主要介绍分布式消息服务MQTT对接的云审计服务使用和查看方法。 操作场景 本服务现已对接天翼云云审计服务，云审计服务提供对各种云资源操作的记录和查询功能，用于支撑合规审计、安全分析、操作追踪和问题定位等场景，同时提供事件跟踪功能，将操作日志转储至对象存储实现永久保存。 云审计可提供的功能服务具体如下： ● 记录审计日志：支持用户通过管理控制台或API接口发起的操作，以及各服务内部自触发的操作。 ● 审计日志查询：支持在管理控制台对7天内操作记录按照事件类型、事件来源、资源类型、筛选类型、操作用户和事件级别等多个维度进行组合查询。 使用限制 ● 云审计服务本身免费，包括时间记录以及7天内时间的存储和检索。 ● 用户通过云审计能查询到多久前的操作事件：7天。 ● 用户操作后多久可以通过云审计查询到数据：5分钟。 ● 其它限制请参考使用限制云审计。 操作步骤 1. 开通云审计服务。 参见开通云审计服务云审计。 2. 查看云审计事件。 参见查看审计事件云审计。 3. 在事件列表中，选择事件来源为“容器与中间件”，资源类型选择“分布式消息服务Kafka”，上方时间选择需要筛选的时间段。点击查询即可。 4. 在审计事件右侧点击详情，可以看到更详细的事件信息。 更多云审计相关使用说明和常见问题请参考用户指南、常见问题。

介绍分布式消息服务Kafka的新建消费组功能操作介绍。 场景描述 Kafka新建消费组的场景如下： 多个应用程序需要独立消费同一个主题：如果有多个应用程序需要从同一个Kafka主题中独立消费消息，并且每个应用程序需要管理自己的消费进度和分区分配，那么可以为每个应用程序创建一个独立的消费组。 消费者需要实现消息的负载均衡：当有多个消费者需要消费同一个主题的消息时，可以将它们加入同一个消费组，Kafka会自动将主题的分区均匀地分配给消费组中的消费者，实现消息的负载均衡。 消费者需要实现消息的并行处理：如果需要将一个主题的消息并行地处理，可以创建多个消费者实例，并将它们加入同一个消费组。Kafka会将主题的分区分配给消费组中的消费者，每个消费者只消费自己被分配的分区，从而实现消息的并行处理。 消费者需要实现高可用性：为了提高消费者的可用性，可以创建一个消费组，并将多个消费者实例加入该组。当一个消费者实例发生故障时，Kafka会将该消费者的分区重新分配给其他健康的消费者，从而保证消息的连续消费。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消费组管理”后进入消费组管理页面。 （5）点击“创建消费组”后，输入消费组名称，点击创建。 说明 消费组业务应用接入使用时客户端也可自动创建。

查看消费者列表（Kafka客户端） 未开启SASL的Kafka实例，在“/{命令行工具所在目录}/kafka{version}/bin/”目录下，通过以下命令查询消费者列表。 ./kafkaconsumergroups.sh bootstrapserver {brokerip}:{port} group {groupname} members describe 已开启SASL的Kafka实例，通过以下步骤查询消费者列表。 （可选）如果已经设置了SSL证书配置，请跳过此步骤。否则请执行以下操作。在Kafka客户端的“/config”目录中创建“ssluserconfig.properties”文件，参考步骤3增加SSL证书配置。 在“/{命令行工具所在目录}/kafka{version}/bin/”目录下，通过以下命令查询消费者列表。 ./kafkaconsumergroups.sh bootstrapserver {brokerip}:{port} group {groupname} members describe commandconfig ./config/ssluserconfig.properties 查看消费进度（控制台） 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏选择“消费组管理”，进入消费组列表页面。 步骤 6 单击待查看消费进度的消费组名称，进入消费组详情页。 步骤 7 在“消费进度”页签，查看此消费组订阅的Topic列表、Topic中消息的总堆积数、Topic每个分区的堆积数、Topic每个分区的偏移量和最大消息位置。 图 消费进度 步骤 8 （可选）如果需要查询某个Topic的消费进度，在搜索框中，输入Topic名称，单击。

本文主要介绍编辑流控。 操作场景 本章节指导您在流控创建成功后，修改生产上限速率或者消费上限速率。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏单击“流控管理 > 流控列表”，进入流控列表页面。 步骤 6 在待修改的流控所在行，单击“编辑”，弹出“编辑流控”对话框。 步骤 7 修改生产上限速率或者消费上限速率，单击“确定”，跳转到“后台任务管理”页面，当流控任务的“状态”为“成功”时，表示流控修改成功。 进入“流控管理 > 流控列表”页面，查看修改后流控的生产上限速率或者消费上限速率。 说明 “生产上限速率”和“消费上限速率”不可同时为空。

本文主要介绍查看消费者连接地址。 分布式消息服务Kafka支持通过以下两种方式查看消费者连接地址，您可以根据实际情况选择任意一种方式。 方法一：在管理控制台查看消费者连接地址 方法二：在Kafka Manager中查看消费者连接地址 说明 消费者处于连接Kafka实例时，才可以查看消费者连接地址。 Kafka Manager由于缓存原因，显示的消费者连接地址可能不是当前消费者连接地址，建议重启Kafka Manager解决。 方法一：在管理控制台查看消费者连接地址 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏选择“消费组管理”，进入消费组列表页面。 步骤 6 单击待查看消费者连接地址的消费组名称，进入消费组详情页。 步骤 7 在“消费者列表”页签，查看消费者连接地址。 图 消费者列表 方法二：在Kafka Manager中查看消费者连接地址 步骤 1 登录Kafka Manager。 步骤 2 单击“kafkacluster”，进入集群详情页。 步骤 3 在顶部导航栏单击“Consumers”，进入消费组列表页面。 图 导航栏 步骤 4 单击待查看消费者连接地址的消费组名称，进入消费组订阅的Topic列表页面。 图 消费组列表页面 步骤 5 单击待查看消费者连接地址的Topic名称，进入Topic详情页。 图 消费组订阅的Topic列表页面 步骤 6 在“Consumer Instance Owner”中，查看消费者连接地址。 图Topic详情页

本文主要介绍查看实例。 操作场景 本节介绍如何在分布式消息服务Kafka管理控制台查看Kafka实例的详细信息。例如，连接Kafka实例时，需要获取连接IP和端口。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 Kafka实例支持通过筛选来查询对应的Kafka实例。当前支持的筛选条件为标签、状态、名称、ID和连接地址。Kafka实例状态请参见下表。 表 Kafka实例状态说明 状态 说明 创建中 创建Kafka实例后，在Kafka实例状态进入运行中之前的状态。 运行中 Kafka实例正常运行状态。在这个状态的实例可以运行您的业务。 故障 Kafka实例处于故障状态。 启动中 Kafka实例从已冻结到运行中的中间状态。 重启中 Kafka实例正在进行重启操作。 变更中 Kafka实例正在进行规格变更、公网访问变更等操作。 变更失败 Kafka实例处于规格变更、公网访问变更等操作失败的状态。 已冻结 Kafka实例处于已冻结状态。 冻结中 Kafka实例从运行中到已冻结的中间状态。 升级中 Kafka实例正在进行升级操作。 回滚中 Kafka实例正在进行回滚操作。 步骤 5 单击Kafka实例的名称，进入该Kafka实例的基本信息页面，查看Kafka实例的详细信息。 下表为连接实例的相关参数，其他参数，请查看页面显示。 信息类型 参数 说明 ::: 连接信息 内网连接地址 未开启公网访问时，连接实例的地址。 显示的连接地址个数为实例代理个数。 连接信息 Manager内网访问地址 未开启公网访问时，连接Kafka Manager的地址。 连接信息 公网访问 是否开启公网访问开关。 连接信息 公网连接地址 开启公网访问后，连接实例的地址。 仅当开启了公网访问才显示该参数。 连接信息 Manager公网访问地址 开启公网访问后，连接Kafka Manager的地址。 仅当开启了公网访问才显示该参数。

说明 分布式消息服务Kafka如下资源池支持Kafka2.8、3.6版本引擎，提供集群和单机两种规格实例，支持X86和ARM计算CPU架构类型的计算增强型主机，可选350代理数量。 目前在 华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3 资源池开放订购。 上述资源池订购和续订可享受1年83折，2年7折，3年5折优惠。 价格计算公式 分布式消息服务Kafka费用由实例费用和存储费用两部分组成，两者单价如下表所示，计费公式为： 实例费用实例规格单价 代理数量，单机版代理数量为1。 存储费用存储类型单价 代理数量 单节点存储空间GB大小，单机版代理数量为1。 实例规格单价 Intel计算增强型 规格名称 实例单价（单个节点） 规格名称 按需标准价格(元/小时) 包月标准价格(元/月) Kafka.2u4g.cluster 0.98 441 Kafka.4u8g.cluster 2.24 1008 Kafka.8u16g.cluster 4.86 2187 Kafka.12u24g.cluster 7.38 3321 Kafka.16u32g.cluster 9 4050 Kafka.24u48g.cluster 15.12 6804 Kafka.32u64g.cluster 20.16 9072 Kafka.48u96g.cluster 30.24 13608 Kafka.64u128g.cluster 40.32 18144

本文主要介绍 按需转包周期。 选择按需付费的用户，可以选择“转包周期”，变更实例计费模式为包年/包月。 说明 实例从按需变为包周期计费时，不影响应用，只是计费方式变了。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法，实现按需实例转包周期。 勾选Kafka实例名称左侧的方框，可选一个或多个，单击信息栏左上侧的“转包周期”，弹出“转包周期”对话框，单击“是”，跳转到“按需转包年/包月”页面。 在待转包周期的Kafka实例所在行，单击“更多 > 转包周期”，跳转到“按需转包年/包月”页面。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 转包周期”，跳转到“按需转包年/包月”页面。 步骤 5 选择续费时长，然后单击“去支付”，根据界面提示信息，支付费用，完成实例转包周期操作。

全局时钟（Global Timestamp） 全局时钟在分布式数据库中的作用是通过提供统一的时间参考，确保系统内各组件协同工作时的时间同步，从而保障数据的一致性和系统的正确运行。如下为全局时钟的架构和分布式并发记录结构。 由GTM提供全局唯一的事务id和全局事务快照。当事务执行时，会话携带全局事务id，各节点通过全局事务id来判断数据的可见性。 全局时钟通过分布式并发记录来保障各组件协同工作时的时间同步。分布式并发控制核心点如下： 1. 逻辑时钟从零开始内部单向递增且唯一，由GTM维护，定时和服务器硬件计数器对齐，从而保证时钟源稳定。 2. 多个GTM节点构成集群，主节点对外提供服务；主备之间通过日志同步时间戳状态，保证GTS核心服务可靠性。 3. 单台物理机每秒能够处理1200万QPS，几乎满足所有业务场景。 4. 段页式存储的MVCC是整个并发控制的基础。同时约定：事务的gtsstart > gtsmin并且gtsmax没有提交或者gtsstart < gtsmax才能看到对应的事务。 两阶段提交（Two Phase Commit） 分布式事务执行时，由CN节点发起两阶段提交事务，并协调其它节点（参与者）执行事务，经过表决、执行两个阶段各参与者返回的状态，决定分布式事务需要提交或回滚。 两阶段提交被认为是一种一致性协议，用来保证分布式系统数据的一致性。绝大部分的关系型数据库都是采用两阶段提交协议来完成分布式事务处理。 两阶段提交事务在执行时分为两个阶段，第一阶段为表决阶段Prepare，第二阶段为执行阶段Commit，由协调者发起，并根据所有参与者返回的状态，判断是否需要执行下一阶段，Commit提交或回滚事务。 1. 表决阶段Prapare：所有参与者都将本事务能否成功的信息反馈发给协调者。 2. 执行阶段Commit：协调者根据所有参与者的反馈，通知所有参与者，步调一致地在所有分支上提交或者回滚。 两阶段提交机制的潜在问题： 1. 数据不一致问题：当部分参与者故障，各参与者在两阶段提交事务中的状态就会出现不一致的情况，如：部分节点commit，部分prepare，或部分commit，部分rollback，这都会导致该事务更新的数据在所有参与者中出现不一致。 2. 同步阻塞问题：两阶段提交过程中的一些步骤是同步阻塞的，没有超时机制，可能会有长时间阻塞的问题。同时，如果异常时，有prepare状态的两阶段事务残留，残留事务仍会持有锁，会阻塞后续会话对这些数据的访问和更新。 3. 协调节点单点故障问题：如果协调节点故障后短时间不能恢复，参与者的两阶段事务会一直残留，导致出现数据不一致、资源阻塞的问题。 TeleDB在内核处理机制，以及异常处理两个角度，对两阶段提交进行了优化，确保在两阶段事务异常时能自动恢复，不会出现上述问题。 内核处理机制优化 在两阶段事务执行过程中记录信息，用于异常时恢复残留的两阶段事务； 避免进入“Commit Prepared”的两阶段事务在所有参与节点被回滚。 分布式死锁检测模块：该模块对数据库状态进行实时监测，当发现存在长时间等待依赖时自动开启分布式死锁检测，经过节点间信息传递和算法分析可快速检测并解除死锁环。检测算法不影响系统查询效率，用户对死锁检测过程无感知。分布式死锁主要分为四个模块，分别为锁等待依赖关系的管理、线程模型模块、检测算法模块和监控与追踪模块。 锁等待依赖关系的管理：对分布式数据库中出现的长时间等待事务依赖对进行检测与上报。 线程模型模块：包含DDS专用线程工作模式和方法的设计、实现。 检测算法模块：分布式死锁检测的执行算法，根据上游节点发送的消息进行两阶段算法推演，再发送消息给下游节点。 监控与追踪模块：包含DDS依赖消息产生和传播的追踪日志、各节点依赖可视化、最近死锁记录保存。 其优点是内核原生支持、自动检测并解锁、分布式算法，需要传输的信息量少、网络资源消耗少、解锁速度快、无死锁误判、支持优先级解锁和抗丢包性强。 异常处理优化：提供两阶段事务的自动处理插件，在监测到两阶段事务残留时，通过访问两阶段事务执行过程中记录的信息，来判断各个参与节点的状态，根据状态参照对应规则，对残留事务进行清理，恢复各节点数据到全局一致。 PREPARED状态 COMMIT状态 ROLLBACK状态 异常阶段及原因 动作 有 有 无 commit阶段异常参与节点故障 COMMIT剩余事务 有 无 有 prepare阶段异常参与节点宕机 ROLLBACK剩余事务 有 无 无 prepare阶段异常发起节点宕机 ROLLBACK剩余事务

面向长期稳定客户，我们特别推出了更加优惠的包年订阅选项，旨在通过深度折扣，帮助客户显著降低资源单位成本，优化整体支出。 自2024年11月9日起订购和续订分布式消息服务MQTT产品更长包周期即可享受2年7折，3年5折优惠。

本文主要介绍查看实例后台任务。 . 对实例的一些操作，如修改公网访问开关、修改容量阈值策略等，会启动一个后台任务，您可以在后台任务页，查看该操作的状态等信息，同时可通过删除操作，清理任务信息。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例的“基本信息”页签。 步骤 5 单击“后台任务管理”页签，进入后台任务管理页面。 界面显示任务列表。 步骤 6 在右上角单击系统默认时间，选择开始时间和结束时间，单击“确定”，界面显示相应时间段内启动的任务。 在后台任务管理页面，您还可以执行以下操作： 单击，刷新任务状态。 单击“删除”，弹出“删除任务记录”对话框，单击“是”，清理任务信息。 说明 您只能在任务已经执行完成，即任务状态为成功或者失败时，才能执行删除操作。

云原生网关 左侧导航栏，选择资源管理 > 云原生网关。在云原生网关列表展示了当前环境已导入的云原生网关资源。 点击导入按钮，列表会展示与当前环境同VPC的云原生网关列表，勾选云原生网关，点击保存就可将资源导入。 导入失败可点击日志查看具体失败原因，也可点击重试按钮进行重试。 点击移除按钮，可移除选择的云原生网关。 关系数据库 左侧导航栏，选择资源管理 > 关系数据库。在关系数据库列表展示了当前环境已导入的关系数据库资源。 点击导入按钮，列表会展示与当前环境同VPC的关系数据库列表，勾选关系数据库，点击保存就可将资源导入。 导入失败可点击日志查看具体失败原因，也可点击重试按钮进行重试。 点击移除按钮，可移除选择的关系数据库。 分布式缓存 左侧导航栏，选择资源管理 > 分布式缓存。在分布式缓存列表展示了当前环境已导入的分布式缓存资源。 点击导入按钮，列表会展示与当前环境同VPC分布式缓存列表，勾选分布式缓存，点击保存就可将资源导入。 导入失败可点击日志查看具体失败原因，也可点击重试按钮进行重试。 点击移除按钮，可移除选择的分布式缓存。 分布式消息 左侧导航栏，选择资源管理 > 分布式消息。在分布式消息列表展示了当前环境已导入的分布式消息资源。 点击导入按钮，列表会展示与当前环境同VPC分布式消息列表，勾选分布式消息，点击保存就可将资源导入。 导入失败可点击日志查看具体失败原因，也可点击重试按钮进行重试。 点击移除按钮，可移除选择的分布式消息。

本节介绍如何关闭Smart Connect。 如果不再使用Smart Connect相关功能，您可以关闭Smart Connect，释放资源。 关闭Smart Connect不会影响业务。 约束与限制 关闭Smart Connect后，实例会停止收取用于Smart Connect的代理费用，并自动删除用于Smart Connect的代理。 关闭Smart Connect后，再重新开启Smart Connect，已删除的Smart Connect任务无法找回，需要重新创建。 前提条件 已创建Kafka实例，且实例状态为“运行中”。 关闭Smart Connect前，请先删除所有的Smart Connect任务，否则无法关闭Smart Connect。此操作是为了防止关闭Smart Connect导致正在运行的Smart Connect任务丢失。 关闭Smart Connect 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、通过以下任意一种方法，关闭Smart Connect。 在待关闭Smart Connect的Kafka实例所在行，单击“更多 > 关闭Smart Connect”。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 关闭Smart Connect”。 5、单击，将Smart Connect设置为关闭，单击“下一步”。 6、确认“Smart Connect”为关闭状态，单击“提交”。 结束

本章节介绍故障演练服务的应用场景。 故障演练服务适用于多种复杂的业务和技术场景，旨在帮助用户从被动响应故障转变为主动发现和规避风险，全面提升系统的稳定性和韧性。 1. 验证高可用（HA）与容灾（DR）预案 这是故障演练的核心应用场景之一。通过模拟关键组件的失效，可以验证系统的自动切换、故障转移和恢复能力是否符合预期。 场景示例： 数据层 ：通过模拟分布式缓存服务Redis版的主备切换、节点宕机等场景，验证组件能否无感切换，量化对上层业务的影响，评估高可用架构的实际效果。 中间件 ：通过模拟分布式消息服务Kafka的Broker节点宕机等场景，检验消息中间件的高可用特性，评估业务数据的可靠性和业务消息生产/消费的合理性。 应用层 ：通过模拟承载关键业务的云主机宕机等场景，验证应用健康检查与流量转移的及时性和有效性，评估业务连续性是否符合架构设计要求。 2. 评估系统性能水位 在业务大促、秒杀等高并发场景来临前，通过主动对系统资源施加压力，可以提前发现性能瓶颈，为容量规划和扩容决策提供数据支持。 场景示例： 计算资源压测 ：通过模拟云主机CPU/内存高负载场景，监测应用服务的响应延迟与错误率变化，评估应用系统在资源瓶颈下的稳定性表现。 存储性能压测 ：通过模拟云主机磁盘I/O高负载场景，监测数据库事务处理、日志写入等关键操作在压力下的吞吐量、延迟及错误率表现，评估存储系统的性能瓶颈。

本章节介绍故障演练服务的应用场景。 故障演练服务适用于多种复杂的业务和技术场景，旨在帮助用户从被动响应故障转变为主动发现和规避风险，全面提升系统的稳定性和韧性。 1. 验证高可用（HA）与容灾（DR）预案 这是故障演练的核心应用场景之一。通过模拟关键组件的失效，可以验证系统的自动切换、故障转移和恢复能力是否符合预期。 场景示例： 数据层 ：通过模拟分布式缓存服务Redis版的主备切换、节点宕机等场景，验证组件能否无感切换，量化对上层业务的影响，评估高可用架构的实际效果。 中间件 ：通过模拟分布式消息服务Kafka的Broker节点宕机等场景，检验消息中间件的高可用特性，评估业务数据的可靠性和业务消息生产/消费的合理性。 应用层 ：通过模拟承载关键业务的云主机宕机等场景，验证应用健康检查与流量转移的及时性和有效性，评估业务连续性是否符合架构设计要求。 2. 评估系统性能水位 在业务大促、秒杀等高并发场景来临前，通过主动对系统资源施加压力，可以提前发现性能瓶颈，为容量规划和扩容决策提供数据支持。 场景示例： 计算资源压测 ：通过模拟云主机CPU/内存高负载场景，监测应用服务的响应延迟与错误率变化，评估应用系统在资源瓶颈下的稳定性表现。 存储性能压测 ：通过模拟云主机磁盘I/O高负载场景，监测数据库事务处理、日志写入等关键操作在压力下的吞吐量、延迟及错误率表现，评估存储系统的性能瓶颈。

本节介绍分布式消息服务Kafka集群模式 是的，Kafka实例通常是以集群模式创建的。Kafka集群由多个Kafka节点组成，每个节点负责存储和处理消息。集群模式可以提供高可用性、容错性和扩展性。 Kafka集群中的每个节点都可以承担多个分区的领导者或副本角色，从而实现数据的冗余和故障恢复。通过复制机制，Kafka可以提供高可用性和容错性，即使在节点故障的情况下也能保证数据的可靠性和可用性。 注意 Kafka集群的规模和配置取决于应用的需求和可用的资源。可以根据实际情况来决定集群中节点的数量、分区的数量以及数据的复制策略，以满足性能、可用性和扩展性的要求。

应用生命周期 微服务云应用平台提供了完整的应用生命周期管理机制，可以完成应用从发布到运行过程的全面管理，包括应用创建、部署、启动、回滚，扩容缩容和停止下线等操作。 应用监控 用于监控应用的实时流量和历史信息，用户可以通过该信息监控应用的健康状态，从而快速发现、定位问题。 调用链查询 调用链查询用于查看系统中的调用链路状态，尤其是慢业务和出错业务。 Pod Pod是Kubernetes中最小的部署单位，根据应用场景，可以由一个或多个容器组成。当一个Pod中有多个容器时，这些容器会共享Pod的计算资源、存储空间、IP和端口。 Spring Boot Spring Boot 是一种用于简化 Spring 应用的初始搭建以及开发过程的框架，该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板式的配置。 Spring Cloud Spring Cloud 是一系列框架的集合，利用 Spring Boot 简化了分布式系统基础设施的开发，如服务发现注册、配置中心、消息总线、负载均衡、断路器、数据监控等，都可以用 Spring Boot 的开发风格做到一键启动和部署。 Dubbo Dubbo 是一个分布式服务框架，致力于提供高性能和透明化的 RPC 远程服务调用方案。

基准带宽和磁盘可选择哪些？ 资源、规格等信息可参考产品规格文档。 哪些资源池可以订购分布式消息服务Kafka？ 天翼云分布式消息服务Kafka可以在以下资源池订购： （1）华南2、华东1、华北2、西南1、上海36、青岛20、长沙42、南昌5、南宁23、武汉41、太原4 （2）芜湖2、福州4、重庆2 、北京5 、佛山3、贵州3、杭州2、内蒙6、上海7、上海6、西安3、昆明2、保定、北京4、合肥2 、乌鲁木齐27 账户里面有钱，为什么无法创建按需付费Kafka实例？ 请检查您的账户金额是否小于100元，如果小于100元，则无法创建新的Kafka实例。 （1）预存后付费方式：提前充值现金到天翼云账户中，现金账户余额不低于100元，之后系统按照用户实际使用量进行结算。 （2）计费周期：按小时计费，以自然小时为计费单位（均以北京时间为准），不满一小时按照一小时计费。费用从用户账户现金余额中扣费。开通时间建议整点开通，开通不足一个自然小时，按一小时收费。提前删除也按照自然小时收费。 欠费后如何重新启用？ 如果您在15天内充值补足欠款，服务会自动启用。 欠费后，资源进入保留期，您将不能正常访问及使用云服务（资源冻结），但对于您存储在云服务中的数据予以保留。 若您在保留期内充值，充值后系统会自动扣减欠费金额。 若保留期到期您仍未充值，存储在云服务中的数据将被删除、云服务资源将被释放。

本文主要介绍如何通过kafka导入日志。 本文主要介绍如何将天翼云分布式消息服务Kafka的数据导入到云日志服务，实现数据的查询分析、加工等操作。 注意 当前功能为试用阶段，仅在华北2资源池开放。 创建数据导入任务 1. 登录云日志服务控制台。 2. 左侧菜单栏点击“日志接入”，进入接入管理页面 3. 在“数据导入”模块中，点击“分布式消息服务Kafka数据导入” 4. 选择目标日志项目和日志单元，单击下一步。 5. 设置接入配置，配置如下参数，确认无误后，单击下一步。 参数 说明 接入配置名称 导入任务的唯一标识 Kafka 实例 选择kafka实例作为数据源 Topic 列表 选择Kafka主题，当前仅支持导入公有Topic 消费组 选择kafka中的消费组， 起始位置 选择开始导入数据的位置。 最早：从已有的第一条Kafka数据开始导入 最晚：从最近生成的Kafka数据开始导入 数据格式 待导入数据的格式。若您选择JSON字符串，导入任务会将原始数据解析为keyvalue对格式，只解析到第一层。 编码格式 选择导入数据的编码格式（即字符集），目前仅支持UTF8和GBK。 6. 创建索引。默认开启全文索引，您也可以根据需要手动创建字段索引用于字段查询。 7. 点击完成，即可完成导入任务创建。等待1分钟左右，在查询日志界面能查询到日志，则说明导入成功。