本文为您介绍分布式消息服务MQTT的操作指南认证授权。 创建用户名和密码 终端设备连接MQTT队列需要先创建用户密码。 1、 天翼云官网点击控制中心，选择产品分布式消息服务MQTT。 2、 登录分布式消息服务MQTT控制台，点击右上角地域选择对应资源池。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入认证授权菜单，点击【新增】按钮，在弹出框输入认证用户名、用户密码、确认密码等信息。 主题授权 对用户名进行主题授权，客户端方可正常收发。 1、 选择需要授权的用户，点击【授权】按钮。 2、 在弹出框填写已创建的主题名称，主题权限包含3种：pub、sub、pubsub，支持通配符，代表所有主题。

应用架构 支持的功能模块 应用双活 管控通道 注册配置中心RCC 应用双活 接入层 云原生网关CGW 应用双活 服务层 SpringCloud 应用双活 服务层 Dubbo 应用双活 数据层 关系型数据库MySQL版 应用双活 数据层 关系型数据库PostgreSQL版 应用双活 消息层 分布式消息服务RocketMQ 数据双活 管控通道 注册配置中心RCC 数据双活 接入层 云原生网关CGW 数据双活 服务层 SpringCloud 数据双活 服务层 Dubbo 数据双活 数据层 关系型数据库MySQL版 数据双活 数据层 关系型数据库PostgreSQL版 数据双活 消息层 分布式消息服务RocketMQ

介绍分布式消息服务Kafka认证与访问控制方式 分布式消息服务Kafka支持CTIAM身份认证和多种访问控制，多维度保障您数据的安全。 身份认证 CTIAM 统一身份认证（Identity and Access Management， 简称：CTIAM）是提供用户进行权限管理的基础服务，可以帮助您安全的控制天翼云服务和资源的访问及操作权限，包括：用户身份认证、权限分配、访问控制等功能。具体介绍请参考统一身份认证产品介绍。 您可以创建IAM用户，并为其设置关联分布式消息服务Kafka实例权限，该用户就可以通过用户名和密码访问授权的实例资源。具体请参见统一身份认证快速入门创建IAM用户。 访问控制 权限控制 购买分布式消息服务Kafka实例之后，您可以使用CTIAM为企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，通过CTIAM进行精细的权限管理。 VPC和子网 虚拟私有云（Virtual Private Cloud，VPC）为分布式消息服务Kafka构建隔离、私密的虚拟网络环境，提升数据库的安全性，并简化用户的网络部署。您可以完全掌控自己的专有网络，VPC丰富的功能帮助您灵活管理云上网络，包括创建子网、设置安全组和网络ACL、管理路由表、申请弹性公网IP和带宽等。通过子网与其他网络隔离，独享网络资源，提高网络安全性。具体内容请参见虚拟私有云用户指南创建虚拟私有云和子网 。 安全组 安全组是一个逻辑上的分组，可以为同一个虚拟私有云内具有相同安全保护需求并相互信任的Kafka实例提供相同的访问策略。您可以通过为数据库实例设置安全组，开通需访问Kafka实例的IP地址和端口，来保证保障其运行环境的安全性和稳定性。具体请参见配置安全组

本文主要介绍流数据实时处理框架Flink接入Kafka 。 最佳实践概述 场景描述 如果您想要在流数据实时处理场景下，使用Kafka作为流数据的源或者使用Kafka作为流数据的目的，需要将Kafka与Flink对接，可以参考本实践方案。 技术架构图 暂无。 方案优势 用户可按业务需要，参考设置Kafka与Flink框架对接，实现流数据的消息消费。 前提条件 需已购买Kafka实例、创建Topic，并且已成功消费消息。 资源规划 本实践方案内容仅涉及Kafka专享版实例和Flink的安装配置。 分布式消息服务 Figure 分布式消息服务 资源类型 配置项 配置明细 说明 :::: 企业中间件 DMS Kafka专享实例 需已购买kafka专享实例，创建好Topic，并成功消费消息。 Flink流数据处理框架 Figure Flink框架 资源类型 配置项 配置明细 说明 :::: 应用软件 Flink框架 Flink 1.14 使用开源Apache Flink 方案正文 获取Kafka访问地址 1、登录分布式消息服务Kafka版控制台，按需要单击“实例名称”，进入实例基本信息页面。 图 Kafka控制台实例列表 2、在“连接地址”模块，获取Kafka连接IP地址。 图 连接IP地址与端口

场景说明 RocketMQ提供了两种连接： 生产者连接：生产者通过调用RocketMQ提供的API，与RocketMQ代理（Broker）建立连接。生产者连接主要用于发送消息到RocketMQ。 消费者连接：消费者通过调用RocketMQ提供的API，与RocketMQ代理（Broker）建立连接。消费者连接主要用于从RocketMQ订阅消息并进行消费。 RocketMQ采用基于TCP/IP的通信协议，使用长连接方式进行连接。在建立连接之前，需要配置正确的RocketMQ服务端地址和端口，并使用相应的身份验证信息（如AccessKey和SecretKey）进行认证。 建立连接后，RocketMQ客户端可以通过连接发送消息到RocketMQ集群，并从集群中接收消息进行消费。连接的建立和维护是RocketMQ消息传递的基础，确保了消息的可靠传递和高效处理。 操作步骤 首先需要在RocketMQ控制台实例详情记录下集群的接入点信息，目前默认支持Namesrv的内网访问，将该地址作为客户端程序Namesrv地址的参数，具体生产消费消息的客户端示例代码请参考快速入门生产消费验证。 1、 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台，点击右上角地域选择对应资源池。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入主题管理菜单，点击【拨测】按钮，进行生产消费的拨测验证，验证开通的消息实例和主题。 5、 用户应用按照规范接入RocketMQ，发送、消费消息。

本节主要介绍分布式消息服务Kafka的产品优势 分布式消息服务Kafka的产品优势主要包括以下几个方面： 高可用性 生产消费自动负载均衡，消息节点故障时自动主备切换，保证服务的连续性。Kafka实例支持消息持久化，多副本存储机制。副本间消息同步、异步复制，数据同步或异步落盘多种方式供您自由选择。Kafka实例支持跨AZ部署，代理部署在不同的AZ，进一步保障服务高可用。 为了实现Kafka的高可用性，有以下几个关键要素： 分布式架构：Kafka采用分布式架构，消息被分散到多个Broker节点上进行存储和处理。这样即使某个Broker节点发生故障，其他节点仍然可以继续正常运行。 副本机制：Kafka使用副本机制来保证数据的可靠性和高可用性。每个主题（topic）可以有多个分区（partition），而每个分区都有若干个副本（replica）。可配置的参数决定了每个分区的副本数量。副本之间会进行数据同步，当主副本发生故障时，可以选择其中一个副本作为新的主副本，从而保证数据的可用性。 故障检测与自动恢复：Kafka集群中的Broker节点会定期进行心跳检测，以确保其他节点的健康状态。如果某个节点长时间没有响应，就会被认为是故障节点，此时会触发自动恢复机制，选择一个副本作为新的主副本，并从其他节点中复制数据。这样可以保证在节点故障的情况下，Kafka集群仍然能够正常运行。 故障转移：当一个主副本发生故障时，副本控制器（controller）会监测到这个故障，并触发故障转移操作。故障转移的过程包括选择新的主副本、数据同步和通知Producer和Consumer更新元数据信息。这样可以保证在节点故障的情况下，Kafka集群中的数据仍然能够得到完整和正确的处理。 通过以上的机制和策略，Kafka实现了高可用性，即使在节点故障的情况下，仍然能够提供可靠的消息传输和处理。这使得Kafka成为了很多场景下的首选消息队列系统。

创建联系人组 进入分布式消息服务MQTT管理控制台，在实例列表页点击管理进入实例详情页，左侧菜单点击告警管理 点击通知组菜单，右侧点击新建联系人组，输入联系人信息信息，点击保存 创建通知策略 进入分布式消息服务MQTT管理控制台，在实例列表页点击管理进入实例详情页，左侧菜单点击告警管理 点击通知策略菜单，右侧点击创建通知策略，输入信息，点击确认 创建告警规则 进入分布式消息服务MQTT管理控制台，在实例列表页点击管理进入实例详情页，左侧菜单点击告警管理 点击告警规则菜单，右侧点击创建告警规则，选择告警指标，输入告警条件、告警内容等信息，点击保存 成为第一个赞同者

案例背景 某电商平台订单处理系统采用分布式微服务架构，其概要结构图如下，核心流程通过分布式消息服务Kafka集群实现异步解耦： 订单创建：用户在前端提交订单，请求经过负载均衡器转发至订单服务集群。订单服务处理业务逻辑，生成包含订单详情的消息数据，并将该消息可靠地发送至Kafka集群的特定Topic。 下游处理：库存服务（负责扣减库存）、支付服务（负责发起支付请求）和物流服务（负责生成物流配送单）是主要的下游消费者。它们各自订阅Kafka集群中的相应Topic，并行地拉取并处理消息。 Kafka集群作为异步通信的核心，其稳定性和性能对整个订单系统的可用性至关重要。在高并发的场景下，Kafka Broker可能会面临各种异常情况，其中CPU负载过高是常见的一种，可能由突发流量洪峰、JVM垃圾回收或底层基础设施瓶颈等原因引起。Kafka Broker的CPU高负载会直接影响消息的处理速度，导致生产和消费的延迟，甚至引发整个系统的不稳定。 故障演练服务提供了分布式消息服务KafkaBroker节点CPU高负载演练动作，通过模拟这种真实的故障场景，我们可以量化分析Kafka集群在Broker节点CPU受限时的表现，验证订单处理系统及其下游服务对Kafka异常的容忍度和应对能力，并提升团队在真实故障发生时的异常响应与恢复能力。

本文介绍了分布式消息服务Kafka版提供的SDK语言版本。 SDK列表 下表提供了分布式消息服务Kafka版支持的SDK列表。 编程语言 参考文档 :: Java 开发指南Java Python 开发指南Python Go 开发指南Go

本章节介绍如何基于消息队列RocketMQ实现全链路灰度 概述 本文介绍在使用消息队列（RocketMQ）这种异步场景下，可以在不修改业务代码的情况下，实现异步场景的灰度，从而实现全链路灰度。本文介绍基于消息队列RocketMQ实现全链路灰度。 背景介绍 在大多数业务场景中对于消息的灰度并没有RPC调用那么严格，但是当全链路灰度调用中涉及到消息消费时，如果消息消费没有按照全链路流量规则路由，则会导致通过消息产生的流量逃逸，从而破坏全链路规则，导致出现一些不符合预期的情况。 如下图所示，本文分别部署网关、appa、appagray、appb、appbgray、appc、appcgray以及RocketMQ，模拟一个真实的全链路灰度场景。 通过网关调用appa应用的接口，当满足路由规则后，灰度流量会被路由到appagray，appagray又会调用appbgray，随后由appbgray发送灰度消息，appcgray将会收到灰度消息，而appc不会收到灰度消息。 前提条件 1. 用户已开通微服务治理中心企业版。 2. 用户已开通云容器引擎。 3. 用户已部署RocketMQ，且RocketMQ版本在4.5.0以上，broker.conf中已配置enablePropertyFiltertrue。 部署Demo应用 准备自建入口网关msgczuul，准备应用msgcappa，msgcappb和msgcappc。调用过程是msgcappa –> msgcappb > msgcappc。 步骤1：在云容器引擎中安装微服务治理插件： 1. 登录“云容器引擎”控制台。 2. 在左侧菜单栏选择“集群”，点击目标集群。 3. 在集群管理页面点击“插件”“插件市场”，选择“cubems”插件安装。 步骤2：为应用开启微服务治理能力： 1. 登录“云容器引擎”控制台。 2. 左侧菜单栏选择“集群”，点击目标集群。 3. 在集群管理页面点击“工作负载”“无状态”，选择目标命名空间。 4. 在Deployment列表页选择指定Deployment，并点击“全量替换”，进入Deployment编辑页。 5. 在Deployment编辑页点击“显示高级设置”，新增“Pod标签”: mseCubeMsAutoEnable:on。 6. 在发布应用时，配置指定环境变量，可指定注入微服务治理中心的应用名、命名空间和标签等信息。 环境变量配置如下： 环境变量名 环境变量值 MSEAPPNAME 接入到微服务治理中心的应用名。 MSESERVICETAG 应用标签信息，如灰度应用可配置gray。 MSENAMESPACE（选填） 接入到微服务治理中心的命名空间，默认为：default。 7. 完成编辑后点击“提交”，重新发布容器即可接入。 appa应用的配置 基线： apiVersion: "apps/v1" kind: "Deployment" metadata: name: "appa" namespace: "default" spec: progressDeadlineSeconds: 600 replicas: 1 revisionHistoryLimit: 10 selector: matchLabels: name: "appa" template: metadata: labels: mseCubeMsAutoEnable: "on" name: "appa" spec: containers: env: name: "MSEAPPNAME" value: "appa" image: "镜像仓库域名/xxx/appa:latest" imagePullPolicy: "Always" name: "appa" ports: containerPort: 26160 livenessProbe: tcpSocket: port: 26160 initialDelaySeconds: 10 periodSeconds: 30 resources: limits: cpu: "1" memory: "1Gi" requests: cpu: "1" memory: "1Gi" 灰度： apiVersion: "apps/v1" kind: "Deployment" metadata: name: "appa" namespace: "default" spec: progressDeadlineSeconds: 600 replicas: 1 revisionHistoryLimit: 10 selector: matchLabels: name: "appa" template: metadata: labels: mseCubeMsAutoEnable: "on" name: "appa" spec: containers: env: name: "MSEAPPNAME" value: "appa" name: "MSESERVICETAG" value: "gray" image: "镜像仓库域名/xxx/appa:latest" imagePullPolicy: "Always" name: "appa" ports: containerPort: 26160 livenessProbe: tcpSocket: port: 26160 initialDelaySeconds: 10 periodSeconds: 30 resources: limits: cpu: "1" memory: "1Gi" requests: cpu: "1" memory: "1Gi" appb应用的配置 基线： apiVersion: "apps/v1" kind: "Deployment" metadata: name: "appb" namespace: "default" spec: progressDeadlineSeconds: 600 replicas: 1 revisionHistoryLimit: 10 selector: matchLabels: name: "appb" template: metadata: labels: mseCubeMsAutoEnable: "on" name: "appb" spec: containers: env: name: "MSEAPPNAME" value: "appb" image: "镜像仓库域名/xxx/appb:latest" imagePullPolicy: "Always" name: "appb" ports: containerPort: 26160 livenessProbe: tcpSocket: port: 26160 initialDelaySeconds: 10 periodSeconds: 30 resources: limits: cpu: "1" memory: "1Gi" requests: cpu: "1" memory: "1Gi" 灰度： apiVersion: "apps/v1" kind: "Deployment" metadata: name: "appb" namespace: "default" spec: progressDeadlineSeconds: 600 replicas: 1 revisionHistoryLimit: 10 selector: matchLabels: name: "appb" template: metadata: labels: mseCubeMsAutoEnable: "on" name: "appb" spec: containers: env: name: "MSEAPPNAME" value: "appb" name: "MSESERVICETAG" value: "gray" image: "镜像仓库域名/xxx/appb:latest" imagePullPolicy: "Always" name: "appb" ports: containerPort: 26160 livenessProbe: tcpSocket: port: 26160 initialDelaySeconds: 10 periodSeconds: 30 resources: limits: cpu: "1" memory: "1Gi" requests: cpu: "1" memory: "1Gi" appc应用的配置 基线： apiVersion: "apps/v1" kind: "Deployment" metadata: name: "appc" namespace: "default" spec: progressDeadlineSeconds: 600 replicas: 1 revisionHistoryLimit: 10 selector: matchLabels: name: "appc" template: metadata: labels: mseCubeMsAutoEnable: "on" name: "appc" spec: containers: env: name: "MSEAPPNAME" value: "appc" image: "镜像仓库域名/xxx/appc:latest" imagePullPolicy: "Always" name: "appc" ports: containerPort: 26160 livenessProbe: tcpSocket: port: 26160 initialDelaySeconds: 10 periodSeconds: 30 resources: limits: cpu: "1" memory: "1Gi" requests: cpu: "1" memory: "1Gi" 灰度： apiVersion: "apps/v1" kind: "Deployment" metadata: name: "appc" namespace: "default" spec: progressDeadlineSeconds: 600 replicas: 1 revisionHistoryLimit: 10 selector: matchLabels: name: "appc" template: metadata: labels: mseCubeMsAutoEnable: "on" name: "appc" spec: containers: env: name: "MSEAPPNAME" value: "appc" name: "MSESERVICETAG" value: "gray" image: "镜像仓库域名/xxx/appc:latest" imagePullPolicy: "Always" name: "appc" ports: containerPort: 26160 livenessProbe: tcpSocket: port: 26160 initialDelaySeconds: 10 periodSeconds: 30 resources: limits: cpu: "1" memory: "1Gi" requests: cpu: "1" memory: "1Gi" zuul应用的配置： apiVersion: "apps/v1" kind: "Deployment" metadata: name: "zuul" namespace: "default" spec: progressDeadlineSeconds: 600 replicas: 1 revisionHistoryLimit: 10 selector: matchLabels: name: "zuul" template: metadata: labels: mseCubeMsAutoEnable: "on" name: "zuul" spec: containers: env: name: "MSEAPPNAME" value: "zuul" image: "镜像仓库域名/xxx/zuul:latest" imagePullPolicy: "Always" name: "zuul" ports: containerPort: 26160 livenessProbe: tcpSocket: port: 26160 initialDelaySeconds: 10 periodSeconds: 30 resources: limits: cpu: "1" memory: "1Gi" requests: cpu: "1" memory: "1Gi"

本文为您分布式消息服务MQTT的环境准备内容。 在创建天翼云分布式消息服务MQTT实例之前，您需要做一些准备工作。 首先，您需要设置一个虚拟私有云（VPC），这是一个隔离的网络环境，用于托管MQTT实例。 接下来，您需要创建一个子网，它是VPC内部的一个子网络，用于划分不同的部分和区域。 最后，您需要配置一个安全组，用于控制入站和出站的流量规则，以保证MQTT实例的安全性。 每个分布式消息服务MQTT实例都会被部署在特定的VPC中，并与特定的子网和安全组相关联。这种方式可以让您自主配置和管理MQTT实例的网络环境，并提供安全保护策略。如果您已经有了现成的VPC、子网和安全组，可以重复使用它们，无需重复创建。这样可以节省时间和资源，并确保一致性和可靠性。 VPC和子网 VPC和子网可重复使用，您也可以使用不同的VPC和子网来配置MQTT实例，您可根据实际需要进行配置。在创建VPC和子网时应注意如下要求： VPC与使用的天翼云分布式消息服务MQTT服务应在相同的区域。 如无特殊需求，创建VPC和子网的配置参数使用默认配置即可。 创建VPC和子网的操作请参考虚拟私有云创建VPC、子网搭建私有网络。 若需要在已有VPC上创建和使用新的子网，请参考虚拟私有云子网管理创建子网。

介绍分布式消息服务Kafka 如何提高消息处理效率。 要提高Kafka的消息处理效率，可以考虑以下几个方面： 分区和副本设置：合理设置分区和副本数量，可以提高并行处理能力和容错性。较大的分区数可以增加并行处理的能力，而较多的副本数可以提高数据的冗余和可用性。 优化消息生产者：在消息生产者端，可以采取一些措施来提高效率。例如，使用批量发送来减少网络开销，使用异步发送来提高吞吐量，设置适当的缓冲区大小来避免频繁的IO操作等。 优化消息消费者：在消息消费者端，可以通过增加消费者实例来提高并行处理能力。同时，可以使用多线程或多进程方式来并行处理消息，提高处理效率。 合理设置Kafka参数：根据实际情况，可以调整Kafka的一些参数来提高性能。例如，调整消息的最大大小、网络缓冲区大小、批量发送的大小等。 使用分区和消费者组：合理使用分区和消费者组可以提高消息的负载均衡和并行处理能力。分区可以将消息分散到多个消费者实例上，而消费者组可以将消息分发给不同的消费者组成的消费者实例。 监控和调优：定期监控Kafka集群的性能指标，如吞吐量、延迟等，并进行调优。可以通过调整参数、增加资源、优化代码等方式来提高性能。 总之，提高Kafka的消息处理效率需要综合考虑多个因素，包括分区和副本设置、优化生产者和消费者、调整参数、硬件优化等。根据实际情况进行优化，可以提高Kafka的性能和吞吐量。 对使用分布式消息服务kafka的生产者和消费者有如下的使用建议：

本文介绍分布式消息服务Kafka入门指引的环境准备内容。 概述 在创建天翼云分布式消息服务Kafka实例之前，您需要做一些准备工作。 首先，您需要设置一个虚拟私有云（VPC），这是一个隔离的网络环境，用于托管Kafka实例。 接下来，您需要创建一个子网，它是VPC内部的一个子网络，用于划分不同的部分和区域。 最后，您需要配置一个安全组，用于控制入站和出站的流量规则，以保证Kafka实例的安全性。 每个分布式消息服务Kafka实例都会被部署在特定的VPC中，并与特定的子网和安全组相关联。这种方式可以让您自主配置和管理Kafka实例的网络环境，并提供安全保护策略。如果您已经有了现成的VPC、子网和安全组，可以重复使用它们，无需重复创建。这样可以节省时间和资源，并确保一致性和可靠性。 VPC和子网 VPC和子网可重复使用，您也可以使用不同的VPC和子网来配置Kafka实例，您可根据实际需要进行配置。在创建VPC和子网时应注意如下要求： ● VPC与使用的天翼云分布式消息服务Kafka服务应在相同的区域。 ● 如无特殊需求，创建VPC和子网的配置参数使用默认配置即可。 创建VPC和子网的操作请参考虚拟私有云创建VPC、子网搭建私有网络。 若需要在已有VPC上创建和使用新的子网，请参考虚拟私有云子网管理创建子网。

参数 说明 实例名称 RocketMQ实例名称是指在RocketMQ中创建的一个特定实例的名称。它可以用来唯一标识和区分不同的RocketMQ实例。根据RocketMQ的设计，实例名称通常由字母、数字和下划线组成，并且长度通常不超过255个字符。实例名称应该具有描述性，以便在多个RocketMQ实例存在时进行区分和管理。 实例ID RocketMQ实例ID是指在RocketMQ中创建的一个实例的唯一标识符。它是由系统自动生成的，用于区分不同的RocketMQ实例。实例ID可以用来管理和操作RocketMQ实例，例如创建、删除和修改实例等。实例ID通常由一串数字和字母组成，并且在RocketMQ集群中必须保持唯一性。 引擎类型 提供RocketMQ和CTGMQ两类引擎。 磁盘大小 购买实例选择的磁盘大小，通常为100G的整数倍。 磁盘类型 购买实例选择的磁盘类型，默认为SAS，也可选择更高的IO磁盘。 主机规格 购买实例选择的主机规格，主要展示CPU核数和内存大小，更多主机规格请参见产品规格。 broker节点数 RocketMQ的broker节点数是指在一个RocketMQ集群中扮演broker角色的节点数量。每个broker节点负责存储消息、处理消息的传输和消费者的请求等功能。 实例描述 用户根据需要可填写实例备注。 运行状态 实例当前运行状态，各状态描述见上文表格实例状态说明。 付费类型 创建实例时选择的付费类型，有包周期/按需两个选项。 创建时间 实例创建时间。 到期时间 包周期的实例到期时间，按需付费类型不展示。 专用网络 创建实例时绑定的VPC名称，详见订购前准备。 子网 创建实例时绑定的子网名称，详见订购前准备。 安全组 创建实例时绑定的安全组名称，详见订购前准备。 网络 VPC专用网络。 接入点 接入点具体VPC内网IP。 TPS监控 标识该集群所有Broker下，所有Topic的生产、消费TPS（2min）的时间变化曲线。 流量监控 标识该集群下，所有Topic的消费堆积情况，列表按倒序排列了堆积量最大的前20个Topic的堆积情况。 全局堆积 全局堆积是指消息在整个消息队列系统中的积压情况。 全局消息 标识该集群，所有Topic的生产情况，按现有消息量倒序排列。

数据源类型 简介 数据仓库服务（DWS） DWS是基于Sharednothing分布式架构，具备MPP大规模并行处理引擎，兼容标准ANSI SQL 99和SQL 2003，同时兼容PostgreSQL/Oracle数据库生态，为各行业PB级海量大数据分析提供有竞争力的解决方案。 数据湖探索（DLI） DLI是完全兼容Apache Spark和Apache Flink生态，实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎，企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等，挖掘和探索数据价值。 MapReduce服务（MRS HBase） HBase是一个开源的、面向列（ColumnOriented）、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。 使用MRS HBase可实现海量数据存储，并实现毫秒级数据查询。选择MRS HBase可以实现物流数据毫秒级实时入库更新，并支持百万级时序数据查询分析。 MapReduce服务（MRS Hive） Hive是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HiveQL，它允许熟悉SQL的用户查询数据。 使用MRS Hive可实现TB/PB级的数据分析，快速将线下Hadoop大数据平台（CDH、HDP等）迁移上云，业务迁移 “0”中断，业务代码 “0”改动。 MapReduce服务（MRS Kafka） MapReduce服务可提供专属MRS Kafka集群。Kafka是一个分布式的、分区的、多副本的消息发布订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。 MapReduce服务（MRS Ranger） Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限。 MySQL MySQL是目前最受欢迎的开源数据库之一，其性能卓越，架构成熟稳定，支持流行应用程序，适用于多领域多行业，支持各种WEB应用，成本低，中小企业首选。 MapReduce服务（MRS Spark） Spark是一个开源的，并行数据处理框架，能够帮助用户简单的开发快速、统一的大数据应用，对数据进行协处理、流式处理、交互式分析等等。 Spark提供了一个快速的计算、写入以及交互式查询的框架。相比于Hadoop，Spark拥有明显的性能优势。Spark提供类似SQL的Spark SQL语言操作结构化数据。 云数据库RDS RDS是一种基于云计算平台的即开即用、稳定可靠、弹性伸缩、便捷管理的在线关系型数据库服务。 注意，DataArts Studio平台目前仅支持RDS中的MySQL和PostgreSQL数据库。 主机连接 通过主机连接，用户可以在DataArts Studio数据开发中连接到指定的主机，通过脚本开发和作业开发在主机上执行Shell或Python脚本。主机连接保存连接某个主机的连接信息，当主机的连接信息有变化时，只需在主机连接管理中编辑修改，而不需要到具体的脚本或作业中逐一修改。 MapReduce服务（MRS Presto） Presto是一个开源的用户交互式分析查询的SQL查询引擎，用于针对各种大小的数据源进行交互式分析查询。其主要应用于海量结构化数据/半结构化数据分析、海量多维数据聚合/报表、ETL、AdHoc查询等场景。 Presto允许查询的数据源包括Hadoop分布式文件系统（HDFS），Hive，HBase，Cassandra，关系数据库甚至专有数据存储。一个Presto查询可以组合不同数据源，执行跨数据源的数据分析。

本节介绍如何管理Smart Connect任务。 在创建Smart Connect任务后，可以在控制台对任务进行管理操作，包括查看任务、删除任务、启动/暂停任务、重启任务等。 前提条件 已创建Smart Connect任务。 查看Smart Connect任务 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、单击Kafka实例名称，进入实例详情页面。 5、在左侧导航栏单击“Smart Connect”，进入Smart Connect任务列表页面。 6、单击Smart Connect任务名称，进入Smart Connect任务详情页面。 7、查看Smart Connect任务的基本信息、源端信息和目标端信息。 说明 如果Smart Connect任务没有配置源端信息/目标端信息，在Smart Connect任务详情页面不显示源端信息/目标端信息。 结束 删除Smart Connect任务 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、单击Kafka实例名称，进入实例详情页面。 5、在左侧导航栏单击“Smart Connect”，进入Smart Connect任务列表页面。 6、在待删除的Smart Connect任务所在行，单击“删除”，弹出“删除任务”对话框。 7、单击“确定”，完成Smart Connect任务的删除。 结束

本节主要介绍分布式消息服务Kafka的创建Topic说明 背景信息 Kafka的主题（Topic）是对消息进行分类和组织的概念。主题是Kafka中最基本的逻辑单元，用于区分不同类型的消息。 每个主题可以有多个分区（Partition），每个分区都是一个有序的消息日志。分区允许消息在集群中进行并行处理，提高了吞吐量和并发性能。 主题的特点包括： 逻辑分类：主题可以根据业务需求或数据类型进行逻辑分类，例如订单主题、日志主题、用户行为主题等。 多分区：主题可以被分成多个分区，每个分区都有自己的消息顺序。分区可以在不同的节点上进行存储和处理，实现了水平扩展和负载均衡。 副本复制：每个分区可以有多个副本（Replica），副本用于提供高可用性和容错性。副本可以分布在不同的节点上，当节点故障时可以自动进行故障转移。 持久化存储：主题中的消息被持久化存储在磁盘上，确保消息的可靠性和持久性。消费者可以随时消费主题中的历史消息，而不仅仅是最新的消息。 通过使用主题，Kafka能够有效地组织和管理大规模的消息流。主题的分区和副本机制提供了高可用性和容错性，使得Kafka成为处理大规模实时数据流的理想选择。 前提条件 已购买并部署分布式消息服务Kafka 操作步骤 创建Topic （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“Topic管理”后、点击“创建Topic”。 （5）点击“创建Topic”后，输入Topic名称、分区数等参数。 （6）创建好Topic后，可以点击“更多”按钮中的“生产消息”来测试其是否正常。

本文为您介绍分布式消息服务MQTT的计费模式。 目前天翼云分布式消息服务MQTT提供包周期（包年/包月）、按需2种计费模式供您灵活选择，使用越久越便宜。 下表列出两种模式的区别： 计费模式 包年/包月 按需计费 付费方式 预付费按照订单的购买周期结算。 后付费按照云服务器实际使用时长计费。 计费周期 按订单的购买周期计费。 按小时结算。 实例升级 暂不支持实例升级。 暂不支持实例升级。 更改计费模式 不支持变更为按需资源。 不支持变更为包周期资源。 变更规格 暂不支持变更实例规格。 暂不支持变更实例规格。 适用场景 适用于可预估资源使用周期的场景，价格比按需计费模式更优惠。对于长期使用者，推荐该方式。 适用于消息资源需求波动的场景，可以随时开通，随时删除。 包周期（包年/包月）：天翼云提供包月和包年的购买模式。这种购买方式相对于按需付费则能够提供更大的折扣，对于长期使用者，推荐该方式。包周期计费按照订单的购买周期来进行结算。 按需计费：这种购买方式比较灵活，可以即开即停，支持秒级计费。实例从“开通”开启计费到“删除”结束计费，按实际购买时长（精确到秒）计费。 计费模式变更 ：天翼云分布式消息服务MQTT目前不支持计费模式变更。

场景说明 RocketMQ的修改实例的场景描述如下： 在使用RocketMQ时，可能会遇到需要修改实例的场景，例如： 业务变更：当业务需求发生变化，需要修改RocketMQ实例的名称以反映新的业务逻辑时，可以进行实例名称的修改。例如，当新增或调整了某个业务模块，需要将其对应的实例名称修改为更准确的名称，以便于管理和监控。 消息处理速度优化：当消息的处理速度较慢或不稳定时，可以通过调整消息保存时长参数来优化消息的处理效率。例如，可以缩短消息的保存时长，减少消息在系统中的停留时间，以提高消息的实时性和处理速度。 安全配置修改：当需要修改RocketMQ实例的安全配置时，可以进行相应的修改。 需要注意的是，在进行实例的修改时，应该谨慎操作，并根据实际需求和系统情况进行调整。同时，修改实例时应该遵循RocketMQ的最佳实践和建议，以确保系统的稳定性和性能。 操作步骤 1、 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台，点击右上角地域选择对应资源池。 3、进入实例列表，在实例名称点击修改按钮，直接修改实例名称字段。 4、 点击【管理】按钮进入管理菜单。点击修改配置，在弹出窗口修改实例描述和消息保存时长等信息。 注意 实例描述长度限制为0~256个字符。 您可以调整消息保存时长参数，实现消息容量消耗的控制。安全生产和稳定性保障限制，消息需要至少保留24小时。 要完整支持延时消息的功能，消息需要至少保留48小时。 4、 点击修改安全组，选择变更用户安全组。

本文主要介绍查看示例代码。 本章节指导您在控制台查看Java、Go和Python生产消费消息的示例代码。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 选择“Topic管理”页签，显示已创建的Topic详情。 步骤 6 单击“查看示例代码”，弹出“生产消费示例代码”对话框。 查看Java、Go和Python生产消费消息的示例代码。示例代码区分是否开启SASLSSL认证，“接入类型”为“PLAINTEXT”时，表示未开启SASLSSL认证。“接入类型”为“SASLSSL”时，表示已开启SASLSSL认证。

本文主要介绍如何在控制台删除消息。 操作场景 说明 消息删除后无法恢复，请谨慎操作。 前提条件 删除消息前，请先在客户端中设置“auto.offset.reset”参数。“auto.offset.reset”用来指定当Kafka中没有初始偏移量或者当前偏移量不存在（例如当前偏移量已被删除）时，消费者的消费策略。取值如下： latest：偏移量自动被重置到最晚偏移量。 earliest：偏移量自动被重置到最早偏移量。 none：向消费者抛出异常。 操作步骤 1. 登录管理控制台。 2. 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 3. 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 4. 单击Kafka实例名称，进入实例详情页面。 5. 在左侧导航栏选择“Topic管理”，进入Topic列表页面。 6. 在待删除消息的Topic所在行，单击“消息删除”，弹出“消息删除”对话框。 7. 设置消息删除参数，如下表所示。 图消息删除 表 消息删除参数说明 参数 说明 分区 选择消息所在的分区编号。 偏移量 输入偏移量，此偏移量之前的数据将被删除。 说明 如果“偏移量”设置为“1”，表示删除分区中所有的消息。 如果您输入的偏移量不在指定分区的最早偏移量和最晚偏移量之间，消息将不会被删除。 如果需要删除多个分区的消息，单击“添加分区”，设置需要删除消息的分区和偏移量。每次最多可选择10个分区。 8. 单击“确定”，弹出“清理结果”对话框，单击“确定”，完成消息的删除。 图 清理结果

本章节将为您介绍分布式消息服务Kafka入门的基本流程，主要包括环境准备、购买实例、创建Topic以及编译运行Demo Java工程，帮助您快速上手Kafka。 操作流程 操作流程如下： 1. 环境准备 创建Kafka实例先要准备好虚拟私有云、子网和安全组，可选弹性公网IP。 2. 创建实例 在订购分布式消息Kafka填写和确认实例名称、计费模式等信息，确认费用后点击下一步，等待开通流程结果通知成功后完成创建实例。 3. 创建Topic 开通实例后，在控制台相关页面按照指引创建主题，用于发送消息。点击“生产消息”来测试Topic是否正常。 4. 编译运行Demo Java工程 以上工作完成后，在客户端应用编译工程进行生产消费，包括引入依赖，生产消息和消费消息。

应用场景 注意：在以下场景需要获取其他云服务资源的访问权限。 分布式消息服务RocketMQ 应用多活功能需要查询分布式消息服务RocketMQ实例信息、同步分布式消息服务RocketMQ数据，因此需要获取访问分布式消息服务RocketMQ服务的权限。 关系数据库MySQL版 应用多活功能需要查询关系数据库MySQL版实例信息，因此需要获取访问关系数据库MySQL版服务的权限。 关系数据库PostgreSQL版 应用多活功能需要查询关系数据库PostgreSQL版实例信息，因此需要获取访问关系数据库PostgreSQL版服务的权限。 数据传输服务DTS 应用多活功能需要通过数据传输服务DTS同步数据库数据，因此需要获取访问数据传输服务DTS服务的权限。 微服务引擎云原生网关 应用多活功能需要向微服务引擎云原生网关推送多活规则，因此需要获取访问微服务引擎云原生网关服务的权限。 微服务引擎注册配置中心 应用多活功能需要微服务引擎注册配置中心管理多活规则，因此需要获取访问微服务引擎注册配置中心服务的权限。 服务内联委托说明 登录系统控制台时，系统会检查当前账号是否已有服务内联委托adtsadmin ，如果不存在则会弹出提示，在您确认授权后，系统自动创建服务内联委托adtsadmin 并授权应用高可用委托授权管理员权限策略。 创建完成后，您可以在IAM控制台的角色管理页面、API或CLI调用ListDelegates 获取委托列表的返回结果中查看已创建的服务内联委托。您还可以登录系统控制台，如果可以正常使用则表示已成功创建服务内联委托。 注意 如果没有adtsadmin服务内联委托权限，可能会因为某个服务权限不足而影响系统功能的正常使用。 请不要自行删除或者修改adtsadmin委托以及应用高可用委托授权管理员权限策略。

本节主要介绍分布式消息服务Kafka产品的API中资源池ID列表。 分布式消息服务Kafka的资源池列表。 资源池 资源池ID(Region ID) 华东1 bb9fdb42056f11eda1610242ac110002 华北2 200000001852 西南1 200000002368 华南2 200000002530 上海36 200000001790 青岛20 200000001703 长沙42 200000002401 南昌5 200000002527 武汉41 200000001781 杭州7 200000003329 太原4 200000002689 郑州5 200000002586 西安7 200000001851 芜湖4 200000003327 呼和浩特3 200000003573 乌鲁木齐7 200000004098 庆阳2 200000003664 西南2贵州 200000002927

本节主要介绍分布式消息服务Kafka的计费项 分布式消息服务Kafka的计费项由实例费用和存储费用组成，具体费用详情可参考产品资费。 计费项 计费项说明 使用的计费模式 计费公式 实例费用 计费因子：代理规格和代理数量 包年/包月、按需计费 实例规格单价 代理数量 购买时长 存储空间费用 计费因子：云硬盘类型、容量大小 包年/包月、按需计费 云硬盘规格单价 单个代理存储大小 代理数量 购买时长

本文主要介绍重启实例。 操作场景 分布式消息服务Kafka管理控制台支持重启运行中的Kafka实例，且可实现批量重启Kafka实例。 说明 在Kafka实例重启过程中，客户端的生产与消费消息等请求会被拒绝。 前提条件 只有当Kafka实例处于“运行中”或“故障”状态，才能执行重启操作。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法，重启Kafka实例。 勾选Kafka实例名称左侧的方框，可选一个或多个，单击信息栏左上侧的“重启”。 在待重启Kafka实例所在行，单击“重启”。 单击Kafka实例名称，进入实例详情页面。单击右上角的“重启”。 步骤 5 在“重启实例”对话框中，单击“是”，完成重启Kafka实例。 重启Kafka实例大约需要3到15分钟。Kafka实例重启成功后，实例状态切换为“运行中”。 说明 重启Kafka实例只会重启实例进程，不会重启实例所在虚拟机。

介绍分布式消息服务Kafka生产拨测功能操作内容。 场景描述 通过生产消息，确保Kafka集群能够稳定接收并传递生产者发送的消息，同时消费者能够成功订阅并处理这些消息，以此确认集群的基本功能和网络连接均处于正常状态。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“Topic管理”后进入主题管理页面。 （5）选择需要生产消息的Topic，点击其右侧“更多”，在下拉框中点击“生产消息”按钮。 （6）在弹窗中，输入消息内容、消息条数等信息，点击确认即可发送。

本节介绍Kafka 判断和处理消息堆积 判断消息堆积是否属于正常情况 登录“分布式消息服务Kafka”控制台，在“消费组管理”页面，找到目标消费组，进入“消息堆积”页面。 （1）堆积量保持在一个稳定的数值之间波动，没有持续扩大。说明客户端一直在拉取最新消息，没有消息堆积，属于正常情况。 （2）堆积量逐步扩大，并且当前位点一直不变。客户端的消费线程因为某些原因卡住，没有继续消费，也没有继续向服务端提交位点，属于异常情况，即消息的确堆积了。 （3）堆积量逐步扩大，同时当前位点在前进。说明客户端还在消费中，但是消息的消费速度慢于消息的发送速度。消息堆积大多是消费速度过慢或者消费线程阻塞造成的，建议不要在消费逻辑中有太多耗时的操作。 消息堆积的处理方式 经过上述判断，确认消息的确存在堆积情况时，建议打印消息的消费耗时，或者根据堆栈信息查看线程执行情况，适当调整以加快消息的消费速度，避免出现消息堆积。

本章节介绍了如何删除分布式消息服务RocketMQ实例的用户。 操作场景 用户无需继续使用，需要清理时，参考本章节删除用户。 须知 ： 删除用户后会删除授权关系，原来使用该用户认证的请求将无法访问。 操作步骤 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在左侧导航栏，单击“用户管理”，进入“用户管理”页面。 4. 在待删除的用户所在行，单击“删除”，弹出“删除用户”对话框。 5. 单击“是”，完成用户的删除。

1、 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台，点击左上角地域选择对应资源池。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入用户管理菜单，点击【创建用户】按钮 5、 在弹出的创建用户页面，填写如下字段信息，点击确认保存。 （1）用户ID：必填，764位字符，只能输入大小写字母，下划线，数字。 （2）密钥：必填，8～26个字符，必须同时包含大写字母、小写字母、数字和英文格式特殊符号(@%^+!$.)中的至少三种类型且不能包含空格。 （3）IP白名单：非必填。 （4）默认Topic权限 DENY：拒绝所有操作。 PUB：仅允许发布消息到Topic。 PUBSUB：允许发布+订阅。 SUB：仅允许订阅Topic消息。 （5）默认消费组权限 DENY：拒绝所有操作。 SUB：允许订阅Topic并关联该消费组。 （6）备注：按需备注该用户的说明。 （7）管理员：有Topic和消费组所有权限。

参数 说明 示例 规则名称 订阅规则名称 输入：aomkafkatest。 订阅内容 支持“指标”和“告警”。 选择：指标。 订阅目标类型 选择“自定义Kafka”或“分布式消息服务DMS”。 分布式消息服务DMS 实例 选择DMS实例，如没有DMS实例，请单击“创建DMS实例”，创建DMS实例。 kafkaaom7160

本节主要介绍分布式消息服务Kafka常用术语解释。 代理（Broker） kafka集群包含一个或多个消息处理服务器，该服务器成为Broker，提供数据刷盘等核心功能。可以横向扩展、在线扩容以提高集群性能。 主题（Topic） 每条发布到Kafka 集群的消息都有一个主题，这个主题被称为 Topic。通过 Topic 可以对消息进行分类。每个 Topic 可以由一个或多个分区（Partition）组成，存储于一个或多个Broker 上。 分区（partition） 消息分区是物理上的概念，一个Topic可以分为多个partition，每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id（offset）。 生产者（Producer） 消息和数据生成者，一般为应用调用API进行消息生产，并向Kafka的一个Topic发布消息。 消费者（Consumer） 消息订阅者，也成为消息消费者，负责向 Kafka Broker 读取消息并进行消费。 消费组（Consumer Group） 一类Consumer的集合名称，这类Consumer通常消费一类消息，且消费逻辑一致，Consumer Group 和 Topic 的关系是 N：N，同一个 Consumer Group 可以订阅多个 Topic，同一个 Topic 也可以被多个 Consumer Group 订阅。