ctyun.dict.DICT.lpush 函数信息详见下表： 项目 描述 语法 length, err DICT:lpush(keyname, value) 作用 消息队列操作：将string或number从头部插入key的列表中，并返回列表元素的个数。若key不存在则先创建key，存在但不是列表返回nil且err为“value not a list”。 入参 keyname：设置内容的键。 value：设置内容的值。 返回值 length：返回列表元素的个数。 err：将错误信息存放在err中。 示例： applescript 假设全局字典名称为cats local cats ctyun.dict.cats local length, err cats:lpush("Marry", 1) ctyun.dict.DICT.rpush 函数信息详见下表： 项目 描述 语法 length, err DICT:rpush(keyname, value) 作用 消息队列操作：与lpush类似，只是元素会从尾部插入。 入参 keyname：设置内容的键。 value：设置内容的值。 返回值 length：返回列表元素的个数。 err：将错误信息存放在err中。 示例： applescript 假设全局字典名称为cats local cats ctyun.dict.cats local length, err cats:rpush("Marry", 1) ctyun.dict.DICT.lpop 函数信息详见下表： 项目 描述 语法 value, err DICT:lpop(keyname) 作用 消息队列操作：移除并返回key列表的第一个值；若key不存在则返回nil，key存在但不是列表则返回nil且err为“value not a list”。 入参 keyname：设置内容的键。 返回值 value：设置内容的值。 err：将错误信息存放在err中。 示例： applescript 假设全局字典名称为cats local cats ctyun.dict.cats local value, err cats:lpop("Marry")

本文介绍分布式消息服务RocketMQ入门指引的创建RocketMQ实例内容。 实例介绍 RocketMQ实例订购支持用户自定义规格和自定义特性，可根据业务需要可定制相应规格的RocketMQ实例。在新的资源池节点上，还支持选择主机类型和存储规格等丰富用户选项。 操作步骤 1、在产品详情页点击立即开通按钮，或者进入消息管理控制台创建实例，进入订购分布式消息RocketMQ页面。 2、点击订购实例进入相应页面，左上角选择目标资源池。 1）选择计费模式：包年包月/按需计费，两种模式说明参见计费模式。 2）购买时长按照计费模式选择变化： 计费模式为包年包月，可选择购买时长16个月、1年。该模式提供自动续期功能。 计费模式为按需计费，则该选项隐藏无需选择。 3）引擎类型目前默认选择RocketMQ引擎，完全兼容开源客户端的高性能低延时的消息队列。ctgmq引擎已调整为白名单特性，如需了解该引擎请联系技术支持。 4）版本号默认4.9，实例创建后，不支持变更版本。建议服务端版本和客户端版本保持一致。 5）部署方式有单可用区和多可用区两个选项，目前仅支持单可用区和3可用区部署，单可用区部署请选中任意一个AZ；多可用区部署请选中3个AZ，系统会自动将Broker节点平均分配至各可用区。 6）提供集群版和单机版两种规格选择模式，单机版实例面向用户体验和业务测试场景，无法保证性能和高可用。如果需要在生产环境使用RocketMQ实例，建议购买集群版实例。 7）CPU架构支持X86计算和ARM计算两类。 8）选择X86计算，可以选择计算增强型（默认Intel）和海光计算增强型主机；选择ARM计算，可以选择鲲鹏计算增强型主机。通用型规格已调整为白名单特性，如需了解该规格参数请联系技术支持。 9）代理规格：针对不同主机类型，RocketMQ提供不同性能表现的规格参数。 10）代理数量：选择单机版该选项不展示，选择集群版此选择支持116代理选择。 11）选择存储空间，包括磁盘类型和空间。 磁盘类型提供高IO/超高IO两类。高IO：适用于主流的高性能、高可靠应用场景。超高IO：适用于超高IOPS、超大带宽需求的读写密集型应用场景。了解更多磁盘类型说明参见云硬盘规格。 磁盘空间以100G起步，可以以100倍数增加磁盘空间。 12）选择已有虚拟私有云，若无虚拟私有云，点击创建跳转到虚拟私有云页面新增，了解更多内容参见虚拟私有云。 13）选择已有子网，若无子网，点击创建跳转到子网页面新增。 14）选择已有安全组，若无安全组，点击创建跳转到安全组页面新增。 15）填写实例名称，系统默认实例名称，用户可直接修改。 16）选择企业项目，创建新的企业项目可以到IAM配置。 17）创建实例标签，标签由区分大小写的键值对组成，您最多可以设置 20 个标签 3、 填写完上述信息后，单击“下一步”，进入费用确认页面。 4、 确认实例信息无误后，提交请求。 5、 在实例列表页面，查看RocketMQ实例是否创建成功。创建实例大约需要3到15分钟，此时实例状态为“创建中”。

分布式消息服务Kafka引擎类型云原生引擎调整为白名单特性，更多了解请查看快速入门创建实例引擎类型说明。 调整时间 2024年7月5日 影响范围 所有区域 调整影响 新用户默认不开放云原生引擎订购开通，如需要该特性，请联系技术支持开通后使用。 已购买云原生引擎实例的用户，原实例仍可正常使用，续费、扩容等操作不受影响。

本章节介绍如何新建FlinkJar作业。 用户可以基于Flink的API进行二次开发，构建自己的应用Jar包并提交到DLI的队列运行，DLI完全兼容开源社区接口。此功能需要用户自己编写并构建应用Jar包，适合对Flink二次开发有一定了解，并对流计算处理复杂度要求较高的用户。 前提条件 确保已创建独享队列。创建DLI独享队列，在购买队列时，勾选“专属资源模式”即可。 创建Flink Jar作业，访问其他外部数据源时，如访问OpenTSDB、HBase、Kafka、DWS、RDS、CSS、CloudTable、DCS Redis、DDS Mongo等，需要先创建跨源连接，打通作业运行队列到外部数据源之间的网络。 当前Flink作业支持访问的外部数据源详情请参考跨源连接和跨源分析概述。 创建跨源连接操作请参见增强型跨源连接。 创建完跨源连接后，可以通过“队列管理”页面，单击“操作”列“更多”中的“测试地址连通性”，验证队列到外部数据源之间的网络连通是否正常。详细操作可以参考 测试地址连通性。 用户运行Flink Jar作业时，需要将二次开发的应用代码构建为Jar包，上传到已经创建的OBS桶中。并在DLI“数据管理”>“程序包管理”页面创建程序包，具体请参考 创建程序包。 说明 DLI不支持下载功能，如果需要更新已上传的数据文件，可以将本地文件更新后重新上传。 由于DLI服务端已经内置了Flink的依赖包，并且基于开源社区版本做了安全加固。为了避免依赖包兼容性问题或日志输出及转储问题，打包时请注意排除以下文件： a.系统内置的依赖包，或者在Maven或者Sbt构建工具中将scope设为provided b.日志配置文件（例如：“log4j.properties”或者“logback.xml”等） c.日志输出实现类JAR包（例如：log4j等）

本章节介绍了分布式消息服务RocketMQ与开源RocketMQ的差异。 分布式消息服务RocketMQ在兼容开源RocketMQ基础上，对版本特性做了一定程度的定制和增强。 表1 分布式消息服务RocketMQ与开源RocketMQ的差异说明 功能项 分布式消息服务RocketMQ 开源RocketMQ 延迟消息/定时消息 延迟消息：支持18个固定延迟时长，最长延迟2小时。 定时消息：支持任意延迟时长，最长延迟1年。 仅支持18个固定延迟时长，最长延迟2小时。 顺序消息 支持 支持 消息重试 支持 支持 死信消息 支持 支持 集群消费 支持 支持 广播消费 支持 支持 死信队列 支持 支持 消费重置 支持 支持 消息查询 支持 支持 加密传输 支持 支持 消息轨迹 支持 支持 事务消息 支持，事务消息大量堆积时，性能提升10倍 支持，事务消息大量堆积时，性能较差 死信导出 支持 不支持 数据转储 待规划 不支持 实例诊断 一键诊断消费问题 不支持 实例监控 支持以图表形式查看历史值，18+监控项 仅支持查看当前监控值，不支持CPU、内存等监控指标 ACL访问控制 灵活配置，一键生效 配置复杂 运维扩容 极速扩容，一键生效 手动扩容，操作复杂

面向长期稳定客户，我们特别推出了更加优惠的包年订阅选项，旨在通过深度折扣，帮助客户显著降低资源单位成本，优化整体支出。 自2024年11月9日起订购和续订分布式消息服务Kafka产品更长包周期即可享受2年7折，3年5折优惠。 注意 本次包年优惠适用于新资费产品范围，具体支持资源池请参阅

此小节介绍数据库审计的产品术语。 Agent 本文中所述的Agent指的是审计代理插件，是安装在数据库系统或者业务系统上的插件，其功能是捕获访问数据库系统的数据包，并将数据包发送至数据库审计。 Kafka Kafka是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中所有动作流数据。这些数据通常由于吞吐量要求而通过处理日志和日志聚合来解决。 SNMP SNMP是简单网络管理协议（Simple Network Management Protocol）的简称，是标准IP网络管理协议，支持目前主流的网络管理系统。 SQL SQL是结构化查询语言（Structured Query Language）的简称，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。 Syslog Syslog是一种行业标准的协议，可用来记录设备的日志。Syslog日志消息既可以记录在本地文件中，也可以通过网络发送到接收Syslog的服务器。服务器可以对多个设备的Syslog消息进行统一的存储，或者解析其中的内容做相应的处理。常见的应用场景是网络管理工具、安全管理系统、日志审计系统。 数据库 数据库（Database）是用于存放数据的仓库，按照一定的数据结构（即数据的组织形式或数据之间的联系）来组织、存储，用户可以通过数据库提供的多种方法来管理数据库中的数据。 规则 本文中所述的规则是指根据一些特征（如客户端、服务端、SQL语句）定义的危险行为（安全规则）及可以信任的行为（过滤规则）。当系统审计到对数据库的操作匹配安全规则时会触发告警，对于匹配过滤规则的行为则不进行审计。

分布式消息服务Kafka主机类型通用型规格调整为白名单特性，更多了解请查看计费项产品规格说明。 调整时间 2024年6月25日 影响范围 所有区域 调整影响 新用户默认不开放主机类型通用型规格订购开通，如需要该特性，请联系技术支持开通后使用。 已购买主机类型通用型规格实例的用户，原实例仍可正常使用，续费、扩容等操作不受影响。

本文为您介绍分布式消息服务MQTT各功能项使用限制。 功能信息项 限制值 说明 实例名称 长度4~40个字符，大小写字母开头，只能包含大小写字母、数字及分隔符() 实例名称不可重复。 Topic 长度 64 个字符 Topic 长度不得超过该限制，否则会导致无法发送或者订阅。 Topic 和 Client ID 可用字符 仅限数字 09，字母 az 或 AZ，和符号“”、“” Client ID 和MQTT 的 Topic 不允许使用“/”、“:”、“,”、“%”等其他非常规字符，否则可能导致无法连接和收发消息。 Client ID 长度 64 个字符 使用微消息队列 MQTT 收发消息时，Client ID 长度不得超过该限制，否则会导致连接被断开。 消息大小 64 KB 字节 消息负载不得超过该限制，否则消息会被丢弃。 单个设备订阅Topic 数量 30 个 每个客户端最多允许同时订阅 30 个 Topic，超过该限制会导致无法新增新的订阅关系。 每个持久化会话离线消息存储数量 1,000,条 服务端会限制每个持久化会话的离线消息数量。超过该限制后，服务端会从最早的消息开始清理。因此，请合理使用持久化订阅模式，以免产生很多无用的离线消息。

本章节将为您介绍分布式消息服务RabbitMQ入门的基本流程，主要包括环境准备、创建资源、编译工程生产消费等环节，帮助您快速上手RabbitMQ。 操作流程 步骤说明 1、 环境准备 创建RabbitMQ实例先要准备好虚拟私有云、子网和安全组，可选弹性公网IP。 2、 创建实例 在订购分布式消息RabbitMQ填写和确认实例名称、引擎类型、计费模式等信息，确认费用后点击下一步，等待开通流程结果通知成功后完成创建实例。 3、 创建资源 一个新的应用接入消息队列需要先创建相关资源，包括：Vhost、User、Exchange、Queue。 4、 编译工程生产消费 以上工作完成后，在客户端应用编译工程进行生产消费，包括引入依赖、绑定BindingKey、生产消息和消费消息。

分布式消息Kafka使用SASL 认证协议来实现身份验证的能力，加密的主题需要经过身份校验才能正常地消费和生产消息。 1. 创建用户并配置用户权限 进入应用用户管理界面，新建用户，并给用户添加主题和消费组的权限，并且下载密钥。详细操作可以查看用户指南创建应用用户。 2. 运行生产者客户端 如下是Java客户端代码示例，注意修改内容（用户、密码、接入地址、主题名称）。 3. 运行消费者客户端 如下是Java客户端代码示例，注意修改内容（用户、密码、接入地址、消费组名称、主题名称）。

本章节介绍应用容灾多活中不同的应用架构支持的功能模块。 应用架构 支持的功能模块 应用双活 管控通道 注册配置中心RCC 应用双活 接入层 云原生网关CGW 应用双活 服务层 SpringCloud 应用双活 服务层 Dubbo 应用双活 数据层 关系型数据库MySQL版 应用双活 数据层 关系型数据库PostgreSQL版 应用双活 消息层 分布式消息服务RocketMQ 数据双活 管控通道 注册配置中心RCC 数据双活 接入层 云原生网关CGW 数据双活 服务层 SpringCloud 数据双活 服务层 Dubbo 数据双活 数据层 关系型数据库MySQL版 数据双活 数据层 关系型数据库PostgreSQL版 数据双活 消息层 分布式消息服务RocketMQ

参数 说明 示例 名称 事件源名。 source1 接入点 Apache RocketMQ集群broker接入点，由IP与端口号拼接而成，以逗号分隔。 172.17.0.25:9876,192.17.0.26:9876,172.17.0.27:9876 Topic topic名称。 topic1 Group ID 填入当前Apache Kafka集群中已创建的Group，请不要与已有业务的Group混用，以免影响已有的消息收发。 group1 Tag 用于消息过滤的Tag，非必填。 tag 网络配置 根据业务场景选择对应配置。 专有网络 公网网络 专有网络 VPC 网络配置选择专有网络时必填，选择集群所在的VPC。 vpc 子网 网络配置选择专有网络时必填，选择集群所在的子网。 subnet 认证模式 选择认证模式。 无需配置 ACL 用户名 ：填写用户名 密码 ：填写密码 无需配置 消费位点 消费消息的位点。 最早位点 最早位点 数据格式 消息value数据编码格式。 JSON Text Binary JSON

参数 说明 示例 名称 事件源名。 source1 接入点 Apache RocketMQ集群broker接入点，由IP与端口号拼接而成，以逗号分隔。 172.17.0.25:9876,192.17.0.26:9876,172.17.0.27:9876 Topic topic名称。 topic1 Group ID 填入当前Apache Kafka集群中已创建的Group，请不要与已有业务的Group混用，以免影响已有的消息收发。 group1 Tag 用于消息过滤的Tag，非必填。 tag 网络配置 根据业务场景选择对应配置。 专有网络 公网网络 专有网络 VPC 网络配置选择专有网络时必填，选择集群所在的VPC。 vpc 子网 网络配置选择专有网络时必填，选择集群所在的子网。 subnet 认证模式 选择认证模式。 无需配置 ACL 用户名 ：填写用户名 密码 ：填写密码 无需配置 消费位点 消费消息的位点。 最早位点 最早位点 数据格式 消息value数据编码格式。 JSON Text Binary JSON

本章主要介绍翼MapReduce的备份Kafka元数据功能。 操作场景 为了确保Kafka元数据安全，或者系统管理员需要对ZooKeeper进行重大操作（如升级或迁移等）时，需要对Kafka元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份Kafka任务并备份元数据。支持创建任务自动或手动备份数据。 前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“ 数据存放路径 /LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。 操作步骤 1.在FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 2.单击“创建”。 3.在“任务名称”填写备份任务的名称。 4.在“备份对象”选择待操作的集群。 5.在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份，“手动备份”表示由手工执行备份。 周期备份参数 参数名称 描述 开始时间 任务第一次启动的时间。 周期 任务下次启动，与上一次运行的时间间隔，支持按“小时”或按“天”。 备份策略 首次全量备份，后续增量备份 每次都全量备份 每n次进行一次全量备份 说明 备份Manager数据和组件元数据时不支持增量备份，仅支持“每次都全量备份”。 如果“路径类型”要使用NFS或CIFS，不能使用增量备份功能。因为在NFS或CIFS备份时使用增量备份时，每次增量备份都会刷新最近一次全量备份的备份数据，所以不会产生新的恢复点。 6.在“备份配置”，勾选“Kafka”。 说明 若安装了多个Kafka服务，默认备份所有Kafka服务，可单击“指定服务”指定需要备份的Kafka服务。 7.在“Kafka”的“路径类型”，选择一个备份目录的类型。 备份目录支持以下类型： “LocalDir”：表示将备份文件保存在主管理节点的本地磁盘上，备管理节点将自动同步备份文件。默认保存目录为“ 数据存放路径 /LocalBackup/”。 选择此参数值，还需要配置“最大备份数”，表示备份目录中可保留的备份文件集数量。 “LocalHDFS”：表示将备份文件保存在当前集群的HDFS目录。 选择此参数值，还需要配置以下参数： “目的端路径”：填写备份文件在HDFS中保存的目录。不支持填写HDFS中的隐藏目录，例如快照或回收站目录；也不支持默认的系统目录，例如“/hbase”或“/user/hbase/backup”。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “目标NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 “RemoteHDFS”：表示将备份文件保存在备集群的HDFS目录。 选择此参数值，还需要配置以下参数： “目的端NameService名称”：填写备集群的NameService名称。可以输入集群内置的远端集群的NameService名称（haclusterX，haclusterX1，haclusterX2，haclusterX3，haclusterX4），也可输入其他已配置的远端集群NameService名称。 “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “目的端NameNode IP地址”：填写备集群NameNode业务平面IP地址，支持主节点或备节点。 “目的端路径”：填写备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录，例如快照或回收站目录；也不支持默认的系统目录，例如“/hbase”或“/user/hbase/backup”。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “NFS”：表示将备份文件通过NFS协议保存在NAS中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “CIFS”：表示将备份文件通过CIFS协议保存在NAS中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “OBS”：表示将备份文件保存在OBS中。 选择此参数值，还需要配置以下参数： “目的端路径”：填写保存备份数据的OBS目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 说明 MRS 3.1.0及之后版本才支持备份数据到OBS。 8.单击“确定”保存。 9.在备份任务列表中已创建任务的“操作”列，选择“更多 > 即时备份”，开始执行备份任务。 备份任务执行完成后，系统自动在备份目录中为每个备份任务创建子目录，目录名为 “备份任务名任务创建时间” ，用于保存数据源的备份文件。备份文件的名称为 版本号数据源任务执行时间.tar.gz 。

本章节主要介绍分布式消息服务RabbitMQ的消息持久化。 使用场景 默认情况下，RabbitMQ生产者生产的消息存储在内存中，当节点宕机或重启时，如何确保消息不丢失呢？RabbitMQ通过持久化机制实现，持久化包括Exchange持久化、Queue持久化和Message持久化。 持久化是将内存中的消息写入到磁盘中，以防异常情况导致内存中的消息丢失。但是磁盘的读写速度远不如内存，开启消息持久化后，RabbitMQ的性能会下降。 与惰性队列不同，持久化消息会在磁盘和内存中各存储一份，只有在内存空间不够时，才会将内存中的消息删除，存储到磁盘中。 说明 非持久化Queue、Exchange在重启之后会丢失。 非持久化Message在重启之后会丢失（经过持久化Queue/Exchange的消息不会自动变为持久化消息）。 持久化消息在尚未完成持久化时，如果服务器重启，消息会丢失。 设置Exchange持久化 在RabbitMQ WebUI页面创建Exchange时，设置“durable”为“true”，如图1所示，设置成功后如图2所示。 图1 设置Exchange持久化 图2 持久化的Exchange

本小节介绍日志审计(原生版)场景下的定位日志采集异常处理实践。 应用场景 有产生日志，但日志审计（原生版）平台未看到该日志，如何定位问题。 前提准备 通过控制台进入日志审计（原生版）实例。 日志采集涉及服务逻辑 日志采集涉及服务：logc、logp、coresvr、esinset。 日志采集涉及流程： Logc（日志采集）接收日志并通过kafka将接收的日志转发logp。 Logp（日志解析分类）接收logc转发的原始日志根据解析规则等进行解析，并通过kafka将解析后的日志发送给esinsert。 Esinsert（录入elasticsearch）将解析后的日志录入elasticsearch。 Coresvr（页面更新程序）将页面下发的规则等变更，通过kafka下发给对应的服务。 查看程序 点击“系统配置 > 系统运维”，在服务管理中，查看服务状态是否有异常。按步骤依次查看logc、logp、coresvr、esinsert等服务是否有异常信息。 查看程序日志 点击“系统配置 > 系统运维”，在服务管理中，点击“导出日志”，可导出服务日志。按流程步骤依次查看logc、logp、coresvr、esinsert等服务日志是否有异常信息。 Logc服务日志报错 Logc服务日志出现报错 ： 20230726 10:10:27 src/LogMgr.cpp:694 "handle log but can not find asset by ip 192.168.121.35" 日志分析：平台页面不存在IP为192.168.121.35的资产。 解决方法：点击菜单“资产 > 资产管理”，在查询栏查询资产IP为192.168.121.35的资产，若未查询到，则新增一条。新增后，再次查看logc服务日志。 注意 新增资产时，采集方式、资产类型、资产IP需根据实际情况填写。

介绍分布式消息服务Kafka查看分区状态功能操作内容。 场景描述 Kafka查看分区状态的场景描述如下： 监控和故障排查：通过查看分区状态，可以了解每个分区的健康状况和数据处理情况。如果某个分区出现延迟或者数据丢失等问题，可以及时发现并进行故障排查和修复。 性能优化：通过查看分区状态，可以了解每个分区的负载情况和数据处理速度。如果某个分区负载过高或者处理速度较慢，可以采取相应的措施进行性能优化，如增加分区数量或者优化消费者的消费能力。 容量规划：通过查看分区状态，可以了解每个分区的数据大小和数据增长趋势。根据分区状态，可以进行容量规划，确保有足够的存储空间来存储数据，并预测未来的数据增长趋势。 数据迁移和重平衡：当需要进行数据迁移或者重平衡时，查看分区状态可以帮助确定合适的迁移方案和平衡策略。通过了解每个分区的状态和负载情况，可以更好地规划和执行数据迁移和重平衡操作。 容错和冗余管理：通过查看分区状态，可以了解每个分区的副本分布情况和数据冗余情况。如果某个分区的副本数量不足或者副本分布不均衡，可以采取相应的措施来提高数据的容错性和冗余能力。 总之，Kafka查看分区状态的场景包括监控和故障排查、性能优化、容量规划、数据迁移和重平衡，以及容错和冗余管理等，以确保系统的稳定性、性能和可靠性。

介绍分布式消息服务Kafka产品功能的使用限制。 限制项 使用说明 实例 开通后，不支持修改VPC/子网/可用区，不支持变更地域属性 扩缩容 当前只支持节点、规格、磁盘扩容，不支持缩容 版本 当前服务端版本为2.132.8.2。实例创建后，服务端版本不支持升级，不支持定制版本 弹性ip 支持对每个节点绑定弹性ip，可以在公网访问topic，弹性ip只能通过SASL连接访问 topic创建 默认不支持自动创建，需要在页面上创建，总数不超过100个 topic分区数 只能增加不能减少，总分区数不能超过2000个，分区数过多会导致磁盘碎片化，影响性能 私有主题 支持私有主题 消息大小 默认1MB，可自定义配置 批量导入/导出 支持topic、消费组、连接用户的批量导入 私有消费组 支持私有消费组，需要在页面上创建、订阅对应的私有主题，并对连接用户授权

本章节介绍故障演练服务中应用资源管理功能。 概述 应用资源 是构成应用 的组件节点，例如云主机 、云容器引擎 、分布式缓存服务Redis版 、分布式消息服务Kafka等实例。应用需要先纳管资源，才能对其进行故障演练。 添加应用资源 1. 登录应用高可用服务控制台。 2. 在左侧导航栏中，定位到故障演练 菜单，选择要操作的目标应用 ，然后单击其下的应用资源 选项，进入应用资源管理页面。 3. 在页面上方的资源类型 页签中，选择希望添加的资源类型（如云主机），然后单击添加资源按钮。 4. 在弹出的对话框中，选择资源池等筛选条件 ，单击搜索，系统将列出符合条件的、当前用户有权访问的资源清单。 5. 从列表中勾选 一个或多个资源，然后单击确认完成添加。 6. 返回应用资源列表，可以看到新添加的资源对象。 注意 列表中显示的资源状态可能存在一定延迟，如需获取最实时的信息，以该资源对应的云产品控制台为准。 删除应用资源 1. 进入目标应用的应用资源管理页面。 2. 在应用资源 列表中，找到希望删除的资源对象，单击其对应的删除按钮。 3. 在弹出的确认对话框中完成删除操作。 4. 返回应用资源列表，确认该资源对象已被成功移除。 注意 若目标资源被演练任务引用，则无法直接删除；必须先解除所有关联任务对该资源的引用，才能进行删除操作。

本章节介绍故障演练服务的委托授权相关功能。 概述 故障演练服务 需要与分布式缓存服务Redis版 、分布式消息服务Kafka 等其他云产品 协同工作。为实现这一目标，当您首次使用本服务时，系统会请求您授权创建一个服务内联委托 ，以便平台能够安全地访问和管理您在其他云产品中的相关资源。 权限说明 为完成故障注入 等功能，故障演练平台 需要获得访问其他云服务 的权限。为此，系统需要您授权创建一个名为 CtyunAssumeRoleForADTSChaos 的服务内联委托。 此委托将绑定一个名为 CtyunAssumeRolePolicyForADTSChaos 的系统权限策略，可在统一身份认证 中的策略管理查看到该策略的授权范围。 服务内联委托说明 当您首次登录故障演练平台 控制台时，系统会自动检查 CtyunAssumeRoleForADTSChaos 委托 是否存在。若不存在，系统会弹出授权提示。在您确认后，系统将自动为您创建该委托及关联的权限策略。 验证方法： 您可以在 IAM 控制台的角色管理 页面，或通过API/CLI调用 ListDelegates，查看已创建的服务内联委托。 一个更简单的验证方法是：刷新或重新登录故障演练平台 控制台，如果所有功能均可正常使用且不再弹出授权提示，则表示委托已成功创建。 注意 如果没有CtyunAssumeRoleForADTSChaos服务内联委托权限，可能会因为某个服务权限不足而影响系统功能的正常使用。 请不要自行删除或者修改CtyunAssumeRoleForADTSChaos 委托以及CtyunAssumeRolePolicyForADTSChaos策略，这可能导致故障演练服务无法正常工作。

尊敬的天翼云客户，分布式消息服务Kafka自2025年12月27日起，订购和续订2年、3年选项默认不开放，调整为白名单特性。 调整时间 2025年12月27日 影响范围 所有区域 调整影响 新订购和续订的实例默认不开放2年、3年选项，您可以选择1年包年选项，如仍需要23年包周期选项，请联系技术支持开通后使用。 已购买2年、3年且还在服务期间的实例仍可继续正常使用不受影响。

Topic与Tag释义 1）Topic：消息主题，通过 Topic 对不同的业务消息进行分类。 2）Tag：消息标签，用来进一步区分某个Topic下的消息分类，消息队列 RocketMQ允许消费者按照Tag对消息进行过滤，确保消费者最终只消费到他关注的消息类型。 Topic与Tag都是业务上用来归类的标识，区分在于Topic是一级分类，而Tag 可以说是二级分类。 适用场景 什么时候该用topic，什么时候该用tag，可以参考下面的一些考虑进行权衡 考虑消息类型：如普通消息、顺序消息，事务消息、定时（延时）消息，不同消息类型是无法通过tag区分的，这种情况就需要我们创建不同的topic。 业务关联性：如果是不同业务之间没有直关联的消息，建议按照Topic进行区分；而同一个业务只是子类型不一样的消息可以用Tag进行区分。 消息优先级：不同的业务场景可能会导致消费端对于消息的优先级需求不同，有的紧急，有的相对来说对于延时的接收程度更大，不同优先级的消息用不同的Topic进行区分。 消息量级：如果量小但延时要求高的消息，跟超大量级（如万亿）的消息使用同一个Topic，则有可能排队时间过长导致延时无法接受，所以不同量级的消息不要使用不同的tag，需要用不同的Topic。 总结起来就是，在消息分类实践中，有创建多个Topic，以及在同一个Topic下创建多个Tag两种常见做法。一般来说，不同的Topic之间的消息不产生直接业务上的关联，而同一个topic下相互之间产生联系的消息可以选择用tag来区分，一般是相同业务下的不同板块不同类型。

RocketMQ无法避免消息重复，原因主要有以下几点： 签收的偏移量是定时（每5秒/次）同步到服务端的。 为保证消息不丢失，SDK每次提交的总是队列未签收的最小偏移量（比如无序消费，offset为1，2，3，4，5 的消息，1，3，4，5消费并已签收，2未签收，签收时最后提交的偏移量将会是2，如果此时，客户端重启，会从2这个位置开始消费）。 有网络交互就不能确保每一次的交互数据都是送达的，为保证数据不丢失就要进行重试，有重试就存在重复的可能。 如果业务对消费重复非常敏感，务必要注意，建议可以采用以下两种方式处理： 业务层面做去重处理，可以根据msgId；如果key字段为业务唯一字段，也可采用key去重。 业务逻辑实现消费幂等，即多次处理同一消息，对业务的影响是幂等的。

接口功能介绍 向消息队列MQTT发送单条消息 接口约束 无 URI POST /v3/api/sendMessage2Mqtt 路径参数 无 Query参数 无 请求参数 请求头header参数 参数 是否必填 参数类型 说明 示例 下级对象 regionId 是 String 资源池id 请求体body参数 参数 是否必填 参数类型 说明 示例 下级对象 prodInstId 是 String 实例ID mqttTopic 是 String MQTT主题 payload 是 String 消息内容 响应参数 参数 参数类型 说明 示例 下级对象 message String 描述状态 statusCode String 800成功 其他失败 error String 错误码 returnObj Object 返回对象 枚举参数 无 请求示例 请求url 请求头header { "regionId":"bb9fdb42056f11eda1610242ac110002" } 请求体body { "prodInstId": "123", "mqttTopic": "tt/a/b", "payload": "test" } 响应示例 { "statusCode": 800 } 状态码 请参考 状态码 错误码 请参考 错误码

本章节介绍故障演练服务中应用资源管理功能。 概述 应用资源 是构成应用 的组件节点，例如云主机 、云容器引擎 、分布式缓存服务Redis版 、分布式消息服务Kafka等实例。应用需要先纳管资源，才能对其进行故障演练。 添加应用资源 1. 登录应用高可用服务控制台。 2. 在左侧导航栏中，定位到故障演练 菜单，选择要操作的目标应用 ，然后单击其下的应用资源 选项，进入应用资源管理页面。 3. 在页面上方的资源类型 页签中，选择希望添加的资源类型（如云主机），然后单击添加资源按钮。 4. 在弹出的对话框中，选择资源池等筛选条件 ，单击搜索，系统将列出符合条件的、当前用户有权访问的资源清单。 5. 从列表中勾选 一个或多个资源，然后单击确认完成添加。 6. 返回应用资源列表，可以看到新添加的资源对象。 注意 列表中显示的资源状态可能存在一定延迟，如需获取最实时的信息，以该资源对应的云产品控制台为准。 删除应用资源 1. 进入目标应用的应用资源管理页面。 2. 在应用资源 列表中，找到希望删除的资源对象，单击其对应的删除按钮。 3. 在弹出的确认对话框中完成删除操作。 4. 返回应用资源列表，确认该资源对象已被成功移除。 注意 若目标资源被演练任务引用，则无法直接删除；必须先解除所有关联任务对该资源的引用，才能进行删除操作。

1、登录天翼云分布式消息服务RabbitMQ控制台。 2、点击RabbitMQ实例名称，进入实例详情页面。 3、在“智能运维>配置管理”页面，修改配置参数。 参数说明 参数 参数说明 参数范围 默认值 heartbeat 心跳超时时间（秒） 0～300 300 framemax 与客户端协商的允许最大frame大小 0～1048576 131072 initialframemax 在连接之前服务器将接受的最大帧大小 0～1048576 4096 maxmessagesize 最大消息大小 1～52428800 52428800 vmmemoryhighwatermark 流程控制触发的内存阀值 0～1 0.8 vmmemoryhighwatermarkpagingratio 高水位限制的分数，当达到阀值时，队列中消息消息会转移到磁盘上以释放内存 0～1 0.5 memorymonitorinterval 执行内存检查的间隔(毫秒) 0～60000 2500 collectstatisticsinterval 统计信息收集间隔，增加此值将减少管理数据库的负载（毫秒） 5000～3600000 5000

本章节介绍了分布式消息服务RocketMQ的产品优势、以及上云的好处。 分布式消息服务RocketMQ具有如下产品优势，旨在打造一个即开即用、全托管、低延迟、弹性高可靠、动态扩展、便捷管理和多样功能的消息队列。 即开即用 简单几步即可在云上构建自己专属的消息服务，RocketMQ实例创建完成后，使用实例提供的访问地址即可快速接入。兼容开源RocketMQ，业务代码无需改造，即可上云。 全托管服务 分布式消息服务RocketMQ提供自动部署与完备的运维系统和售后服务，提供包括监控告警在内的多种运维手段，业务无需过多关注分布式消息服务RocketMQ的部署与运维工作，可以专注于自身业务的开发。 低延迟 基于天翼云网络部署，在内网访问可达微秒级时延。 弹性高可靠 基于Raft协议实现集群内部节点的管理，及时发现故障节点并进行流量迁移，保证业务的连续性可靠。 动态扩展 提供业务集群动态扩容的能力，根据业务需要动态扩容集群规模。 便捷管理 提供监控告警、消息追踪和链路诊断等多样的监控定位手段，方便问题定位和日常维护。 多样功能 提供顺序延迟、定时、重投、死信、过滤和事务消息等多样的业务功能，适配多样化的业务场景。

连接器类型 参数说明 数据仓库服务（DWS） 云数据库MySQL 云数据库PostgreSQL 云数据库SQL Server PostgreSQL Microsoft SQL Server SAP HANA 由于连接这些关系型数据库，所采用的JDBC驱动相同，所以他们的连接参数也一样，具体参数请参见 MySQL 连接MySQL数据库时，具体参数请参见 Oracle 连接Oracle数据库时，具体参数请参见 分库 连接达梦数据库时，具体参数请参见 对象存储服务（OBS） 连接OBS时，具体参数请参见 MRS HDFS FusionInsight HDFS Apache HDFS 连接MRS、Apache Hadoop或FusionInsight HD上的HDFS时，具体参数请参见 MRS HBase FusionInsight HBase Apache HBase 连接MRS、Apache Hadoop或FusionInsight HD上的HBase时，具体参数请参见 MRS Hive FusionInsight Hive Apache Hive 连接MRS、Apache Hadoop或FusionInsight HD上的Hive时，具体参数请参见 表格存储服务（CloudTable） 连接CloudTable时，具体参数请参见 FTP SFTP 连接FTP或SFTP服务器时，具体参数请参见 HTTP 用于读取一个公网HTTP/HTTPS URL的文件，包括第三方对象存储的公共读取场景和网盘场景。 当前创建HTTP连接时，只需要配置连接名称，具体URL在创建作业时配置。 MongoDB 连接本地MongoDB数据库时，具体参数请参见 文档数据库服务（DDS） 连接DDS时，具体参数请参见 Redis 分布式缓存服务（DCS） 连接Redis或DCS时，具体参数请参见 MRS Kafka Apache Kafka 连接MRS Kafka或Apache Kafka数据源时，具体参数请参见 云搜索服务 Elasticsearch 连接云搜索服务或Elasticsearch时，具体参数请参见 数据湖探索（DLI） 连接数据湖探索服务时，具体参数请参见 DMS Kafka 连接DMS的Kafka队列时，具体参数请参见 。 Cassandra 连接Cassandra时，具体参数请参见

本节介绍了云容器引擎的最佳实践：某交投能源充电桩项目。 项目背景 “十四五”以来，某市国资委按照市委市政府决策部署，主动抓抢国家碳达峰、碳中和战略发展机遇，积极谋划布局新能源产业，大力推进“交投能源”充电桩项目建设，提升企业核心竞争力，推动国有企业高质量发展。 该市交投集团抓抢发展机遇，迅速推动全市充电桩一张网建设，拟通过微信小程序入口向市民提供充电服务。该市交投集团通过招标选定某数字能源股份有限公司作为充电方案供应商，并选择天翼云作为该服务平台的云资源服务提供商。 解决方案 容器引擎部署应用服务：采用天翼云容器引擎部署平台应用服务，结合消息队列、分布式缓存等服务和数据库系统组成整体系统。 数据库服务部署核心业务：采用TeleDB for MySQL主备版存储核心业务数据，采用文档数据库存储日志等相关信息。云通信提供短信验证、短信通知等服务。 客户痛点 因客户上线需求紧急，平台软件厂商前期将业务临时部署在友商云上。部署在天翼云上的业务经测试后，需要将业务割接至天翼云。为保障割接万无一致，使用天翼云DTS进行实时同步，保障了割接顺利进行。 该省市公司与云公司组建专业支撑团队，割接时现场支撑保障业务顺利割接。

本文为您介绍分布式消息服务MQTT的操作指南认证授权。 创建用户名和密码 终端设备连接MQTT队列需要先创建用户密码。 1、 天翼云官网点击控制中心，选择产品分布式消息服务MQTT。 2、 登录分布式消息服务MQTT控制台，点击右上角地域选择对应资源池。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入认证授权菜单，点击【新增】按钮，在弹出框输入认证用户名、用户密码、确认密码等信息。 主题授权 对用户名进行主题授权，客户端方可正常收发。 1、 选择需要授权的用户，点击【授权】按钮。 2、 在弹出框填写已创建的主题名称，主题权限包含3种：pub、sub、pubsub，支持通配符，代表所有主题。

操作步骤 1.在FusionInsight Manager，选择 “运维 > 备份恢复 > 备份管理”。 2.在任务列表指定任务的“操作”列，选择“更多 > 查询历史”，打开备份任务执行历史记录。 在弹出的窗口中，在指定一次执行成功记录的“备份路径”列，单击“查看”，打开此次任务执行的备份路径信息，查找以下信息： “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目，在“备份路径”手工选中备份文件的完整路径并复制。 3.在FusionInsight Manager，选择“运维 > 备份恢复 > 恢复管理”。 4.单击“创建”。 5.在“任务名称”填写恢复任务的名称。 6.在“恢复对象”选择待操作的集群。 7.在“恢复配置”，勾选“Kafka”。 说明 若安装了多个Kafka服务，请勾选需要恢复的Kafka服务名称。 8.在“Kafka”的“路径类型”，选择一个备份目录的类型。 选择不同的备份目录时，对应设置如下： “LocalDir”：表示备份文件保存在主管理节点的本地磁盘上。 选择此参数值，还需要配置“源端路径”，表示要恢复的备份文件。例如，“ 版本号数据源任务执行时间.tar.gz ”。 “LocalHDFS”：表示备份文件保存在当前集群的HDFS目录。 选择此参数值，还需要配置以下参数： “源端路径”：表示备份文件在HDFS中保存的完整路径。例如“ 备份路径/备份任务名任务创建时间/版本号数据源任务执行时间.tar.gz ”。 “源NameService名称”：选择恢复任务执行时备份目录对应的NameService名称。默认值为“hacluster”。 “RemoteHDFS”：表示备份文件保存在备集群的HDFS目录。 选择此参数值，还需要配置以下参数： “源端NameService名称”：填写备份数据集群的NameService名称。可以输入集群内置的远端集群的NameService名称：haclusterX，haclusterX1，haclusterX2，haclusterX3，haclusterX4；也可输入其他已配置的远端集群NameService名称。 “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “源端NameNode IP地址”：填写备集群NameNode业务平面IP地址，支持主节点或备节点。 “源端路径”：填写备集群保存备份数据的完整HDFS路径。例如，“ 备份路径/备份任务名数据源任务创建时间/版本号数据源任务执行时间.tar.gz ”。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “NFS”：表示备份文件通过NFS协议保存在NAS中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “源端路径”：填写备份文件在NAS服务器中保存的完整路径。例如，“ 备份路径/备份任务名数据源任务创建时间/版本号数据源任务执行时间.tar.gz ”。 “CIFS”：表示备份文件通过CIFS协议保存在NAS中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “源端路径”：填写备份文件在NAS服务器中保存的完整路径。例如，“ 备份路径/备份任务名数据源任务创建时间/版本号数据源任务执行时间.tar.gz ”。 “OBS”：表示将备份文件保存在OBS中。 选择此参数值，还需要配置以下参数： “源端路径”：填写备份文件在OBS中保存的完整路径。例如，“ 备份路径/备份任务名数据源任务创建时间/版本号数据源任务执行时间.tar.gz ”。 说明 MRS 3.1.0及之后版本才支持将备份文件保存到OBS。 9.单击“确定”保存。 10.在恢复任务列表已创建任务的“操作”列，单击“执行”，开始执行恢复任务。 恢复成功后进度显示为绿色。 恢复成功后此恢复任务不支持再次执行。 如果恢复任务在第一次执行时由于某些原因未执行成功，在排除错误原因后单击“重试”，重试恢复任务。