本章节介绍了如何创建分布式消息服务RocketMQ实例的Topic。 操作场景 Topic，即消息主题，消息发送与接收的基本单元。购买RocketMQ实例成功后，需要手动创建Topic，然后才能进行生产消息和消费消息。 前提条件 已购买RocketMQ实例。 操作步骤 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在左侧导航栏，单击“Topic管理”，进入“Topic管理”页面。 4. 单击“创建Topic”，弹出“创建Topic”页面。 5. 参考表1，填写Topic名称和配置信息。 表1 Topic参数说明 参数 说明 Topic名称 您可以自定义Topic名称，用于区分不同的Topic。 Topic名称不能设置为相同，否则会创建失败。创建Topic后不能修改名称。 说明：如果Topic名称中包含“%”或“ 权限 Topic的权限，包括发布+订阅、发布和订阅。 关联代理 选择在某个代理上创建Topic，并设置Topic的队列个数。如果实例部署在多个代理上，单击“添加关联代理”，可以在其他代理上创建Topic，并设置Topic的队列个数。 6. 参考图1 创建Topic 7. 配置完成后，单击“确定”，完成Topic的创建。

用户组名称 描述 hadoop 将用户加入此用户组，可获得所有Yarn队列的任务提交权限。 hbase 普通用户组，将用户加入此用户组不会获得额外的权限。 hive 将用户加入此用户组，可以使用Hive。 spark 普通用户组，将用户加入此用户组不会获得额外的权限。 supergroup 将用户加入此用户组，可获得HBase、HDFS和Yarn的管理员权限，并可以使用Hive。 flume 普通用户组。添加到该用户组的用户无任何额外权限。 kafka Kafka普通用户组。添加入本组的用户，需要被kafkaadmin组用户授予特定Topic的读写权限,才能访问对应Topic。 kafkasuperuser 添加入本组的用户，拥有所有Topic的读写权限。 kafkaadmin Kafka管理员用户组。添加入本组的用户，拥有所有Topic的创建，删除，授权及读写权限。 storm Storm的普通用户组，属于该组的用户拥有提交拓扑和管理属于自己的拓扑的权限。 stormadmin Storm的管理员用户组，属于该组的用户拥有提交拓扑和管理所有拓扑的权限。

优势 多源数据分析免搬迁：关系型数据库RDS中存放车辆和车主基本信息，表格存储中存放实时的车辆位置和健康状态信息，数据仓库DWS中存放周期性统计的指标。通过DLI无需数据搬迁，对多数据源进行联邦分析。 数据分级存储：车企需要保留全量历史数据支撑审计类等业务，低频进行访问。温冷数据存放在低成本的对象存储服务OBS上，高频访问的热数据存放在数据引擎（DWS）中，降低整体存储成本。 告警快速敏捷触发服务器弹性伸缩：对CPU、内存、硬盘空间和带宽无特殊要求。 建议搭配以下服务使用： CDM、OBS、DWS。 大数据ETL处理 运营商大数据分析 运营商数据体量在PB~EB级，其数据种类多，有结构化的基站信息数据，非结构化的消息通信数据，同时对数据的时效性有很高的要求，DLI服务提供批处理、流处理等多模引擎，打破数据孤岛进行统一的数据分析。 优势 大数据ETL：具备TB~EB级运营商数据治理能力，能快速将海量运营商数据做ETL处理，为分布式批处理计算提供分布式数据集。 高吞吐低时延：采用Apache Flink的Dataflow模型，高性能计算资源，从用户自建的Kafka、MRSKafka、DMSKafka消费数据，单CU每秒吞吐1千~2万条消息。 建议搭配以下服务使用： OBS、DataArts Studio。

检查VPC网络是否设置了ACL规则限制了网络访问 网络ACL对子网进行防护，检查对应子网是否配置了ACL，是否设置了ACL规则限制了网络访问。 例如当您设置了安全组放通队列的网段，同时设置的网络ACL规则包含拒绝该地址访问，那么此安全组规则不生效。 怎样配置DLI队列与数据源的网络连通？ 配置DLI队列与内网数据源的网络联通 DLI在创建运行作业需要连接外部其他数据源，如：DLI连接MRS、RDS、CSS、Kafka、DWS时，需要打通DLI和外部数据源之间的网络。 DLI提供的增强型跨源连接功能，底层采用对等连接的方式打通与目的数据源的vpc网络，通过点对点的方式实现数据互通。 详见下图：增强型跨源连接配置流程 配置DLI队列与公网网络联通 通过配置SNAT规则，添加到公网的路由信息，可以实现队列到和公网的网络打通。 详见下图：配置DLI队列访问公网流程 DLI创建跨源连接，进行绑定队列一直在创建中怎么办？ 跨源连接创建慢，有以下几种可能： 购买DLI队列后，第一次进行绑定队列。通常需要等待510分钟，待后台拉起集群后，即可创建成功。 若刚刚对队列进行网段修改，立即进行绑定队列。通常需要等待510分钟，待后台重建集群后，即可创建成功。 如何打通DLI和数据源的网络？ DLI 增强型跨源连接底层采用对等连接，直接打通DLI集群与目的数据源的VPC网络，通过点对点的方式实现数据互通。

本节介绍了分布式消息服务RabbitMQ产品的计费项。 RabbitMQ包括2个计费项：RabbitMQ队列实例费用、RabbitMQ队列存储空间费用，具体费用详情可参考产品资费。 目前天翼云对分布式消息服务RabbitMQ产品支持包年包月、按需两种计费方式。 计费项 计费项说明 使用的计费模式 计费公式 实例费用 计费因子：代理规格和代理数量 包年/包月、按需计费 实例规格单价 代理数量 购买时长 存储空间费用 计费因子：云硬盘类型、容量大小 包年/包月、按需计费 云硬盘规格单价 单个代理存储大小 代理数量 购买时长

本章节介绍了如何创建Topic。 操作场景 Topic，即消息主题，消息发送与接收的基本单元。购买RocketMQ实例成功后，需要手动创建Topic，然后才能进行生产消息和消费消息。 前提条件 已购买RocketMQ实例。 操作步骤 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在左侧导航栏，单击“Topic管理”，进入“Topic管理”页面。 4. 单击“创建Topic”，弹出“创建Topic”页面。 5. 参考表1，填写Topic名称和配置信息。 表 Topic参数说明 参数 说明 :: Topic名称 您可以自定义Topic名称，用于区分不同的Topic。 Topic名称不能设置为相同，否则会创建失败。 创建Topic后不能修改名称。 说明： 如果Topic名称中包含“%”或“ 权限 Topic的权限，包括发布+订阅、发布和订阅。 关联代理 选择在某个代理上创建Topic，并设置Topic的队列个数。 如果实例部署在多个代理上，单击“添加关联代理”，可以在其他代理上创建Topic，并设置Topic的队列个数。 图 创建Topic 6. 配置完成后，单击“确定”，完成Topic的创建。

Kafka 自身没有消息过滤的语义。实践中可以采取以下两个办法： 如果过滤的种类不多，可以采取多个 Topic 的方式达到过滤的目的； 如果过滤的种类多，则最好在客户端业务层面自行过滤。 实践中请根据业务具体情况进行选择，也可以综合运用上面两种办法。

本章节主要介绍ALM38009 Broker磁盘IO繁忙的告警。 告警解释 系统每60秒周期性检测Kafka各个磁盘的IO情况，当检测到某个Broker上的Kafka数据目录磁盘IO超出阈值（默认80%）时，产生该告警。 平滑次数为3，当该磁盘IO低于阈值（默认80%）时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 38009 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 数据目录名称 Kafka磁盘IO频繁的数据目录名称 对系统的影响 Partition所在的磁盘分区IO过于繁忙，产生告警的Kafka Topic上可能无法写入数据。 可能原因 Topic副本数配置过多。 生产者消息批量写入磁盘的参数设置不合理。该Topic承担的业务流量过大，当前Partition的设置不合理。 处理步骤 检查Topic副本数配置 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，单击此告警所在行的，查看定位信息中上报告警的“主题名”。 1. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Kafka > KafkaTopic监控”，搜索发生告警的Topic，查看副本数量。 2. 如果副本数量值大于3，则考虑减少该Topic的复制因子（减少为3）。 在FusionInsight客户端执行以下命令对Kafka Topic的副本进行重新规划： kafkareassignpartitions.sh zookeeper {zkhost}:{port} /kafka reassignmentjsonfile {manual assignment json file path} execute 例如： /opt/Bigdata/client/Kafka/kafka/bin/kafkareassignpartitions.sh zookeeper 10.149.0.90:2181,10.149.0.91:2181,10.149.0.92:2181/kafka reassignmentjsonfile expandclusterreassignment.json execute 说明 在expandclusterreassignment.json文件中描述该Topic的Partition迁移到哪些Broker。其中json文件中的内容格式为：{"partitions":[{"topic": " topicName ","partition":1,"replicas": [1,2,3] }],"version":1}。 3. 观察一段时间，看告警是否消失。如果告警没有消失，执行步骤5。

类型 默认用户组 描述 集群默认用户组 hadoop 将用户加入此用户组，可获得所有Yarn队列的任务提交权限。 集群默认用户组 hadoopmanager 将用户加入此用户组，可获得HDFS和Yarn的组件运维管理员权限。对HDFS来说，运维管理员可以访问NameNode WebUI，还能进行手动主备倒换等操作。对Yarn来说，运维管理员可以执行Yarn集群的管理操作，例如访问ResourceManager WebUI，管理NodeManager节点，刷新队列，设置NodeLabel等，但不能提交任务。 集群默认用户组 hive 普通用户组。Hive用户必须属于该用户组。 集群默认用户组 hive1 普通用户组。Hive1用户必须属于该用户组。 集群默认用户组 hive2 普通用户组。Hive2用户必须属于该用户组。 集群默认用户组 hive3 普通用户组。Hive3用户必须属于该用户组。 集群默认用户组 hive4 普通用户组。Hive4用户必须属于该用户组。 集群默认用户组 kafka Kafka普通用户组。添加入本组的用户，需要被kafkaadmin组用户授予特定Topic的读写权限，才能访问对应Topic。 集群默认用户组 kafkaadmin Kafka管理员用户组。添加入本组的用户，拥有所有Topic的创建，删除，授权及读写权限。 集群默认用户组 kafkasuperuser Kafka的Topic读写用户组。添加入本组的用户，拥有所有Topic的读写权限。 集群默认用户组 storm Storm的普通用户组，属于该组的用户拥有提交拓扑和管理属于自己的拓扑的权限。 集群默认用户组 stormadmin Storm的管理员用户组，属于该组的用户拥有提交拓扑和管理所有拓扑的权限。 集群默认用户组 supergroup 这个用户组内的用户具有HBase，HDFS和Yarn的超级权限，并且可以使用Hive。 集群默认用户组 yarnviewgroup Yarn任务只读用户组。将用户加入此用户组，可获得Yarn和Mapreduce界面上任务的只读权限。 集群默认用户组 checksecldap 用于内部测试主LDAP是否工作正常。用户组随机存在，每次测试时创建，测试完成后自动删除。系统内部组，仅限组件间内部使用。 集群默认用户组 compcommon 系统内部组，用于访问集群公共资源。所有系统用户和系统运行用户默认加入此用户组。 操作系统默认用户组 wheel 系统内部运行用户“omm”的主组。 操作系统默认用户组 ficommon 系统公共组，对应“compcommon”，可以访问集群在操作系统中保存的公共资源文件。

本章节主要介绍分布式消息服务RabbitMQ的预取值特性。 使用场景 设置预取值可以限制未被确认的消息个数，一旦消费者中未被确认的消息数量达到设置的预取值，服务端将不再向此消费者发送消息，除非至少有一个未被确认的消息被确认。设置预取值本质上是一种对消费者进行流控的方法。 设置预取值时，需要考虑多种因素： 预取值设置太小可能会损害性能，RabbitMQ会一直在等待获得发送消息的权限。 预取值设置太大可能会导致从队列中取出大量消息传递给一个消费者，而使其他消费者处于空闲状态。另外还需要考虑消费者的配置，消费者在处理消息时会将所有消息保存在内存中，太大的预取值会对消费者的性能产生负面影响，甚至可能会导致消费者崩溃。 更多关于预取值的说明，请参考Consumer Prefetch。 如何设置合适的预取值？ 如果您只有一个或很少几个消费者在处理消息，建议一次预取多条消息，尽量让客户端保持忙碌。如果您的处理时间和网络状态稳定，则只需将总往返时间除以每条消息在客户端的处理时间即可获得估计的预取值。 在消费者多且处理时间短的情况下，建议使用较低的预取值。过低的预取值会使消费者闲置，因为消费者在处理完消息后需要等待下一批的消息到达。过高的值可能会使单个消费者忙碌，其他消费者处于空闲状态。 在消费者多且处理时间很长的情况下，建议您将预取值设置为1，以便消息在所有消费者间均匀分布。 说明 如果客户端配置的消息确认机制为自动确认，则设置的预取值无效，已确认的消息会从队列中删除。

本节主要介绍分布式消息服务Kafka如何创建应用用户 场景描述 用户：主要用于规定生产消费指定加密主题的策略而需要，例如规定用户A可生产消费加密Topic1，用户B可生产消费加密Topic2，用户C可生产消费加密Topic1、Topic2，则需要为这三个用户创建用户，并分配加密主题权限。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入用户管理页面，点击新建用户。 （5）在 新建用户的窗口中填入集群名、用户、密码、描述，然后保存。 批量创建用户 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入应用用户管理页面。 （5）点击“批量创建用户”后，出现如下上传文件界面，文件格式件批量下载说明。 （6）点击“上传”完成批量创建。 下载批量创建用户模板 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入用户管理页面。 （5）点击“下载模板”右侧下拉倒三角“下载模板”，内容如下图。 （6）参数说明。 参数 说明 username 用户名 password 密码 description 备注或描述

本节介绍分布式缓存服务Redis版产品的应用场景 电商类应用场景 在电商类场景中，分布式缓存服务Redis版广泛用于商品展示、购物推荐、在线选号以及在大型促销秒杀活动中的库存、计数控制等 热门商品展示：秒杀活动通常会吸引大量用户的访问，商品信息的读取是非常频繁的操作。为了减轻数据库负载和提高响应速度，可以使用Redis将热门商品的信息缓存起来。这样，用户每次请求秒杀商品时，可以先从Redis中获取商品信息，而不必每次都查询数据库，可以显著提升电商网站的性能和响应速度。 库存控制：秒杀活动对商品的库存有严格的限制，需要保证商品数量的准确性和并发访问的安全性。Redis提供了原子性操作和分布式锁的支持，可以使用Redis的原子减操作来实现商品库存的扣减，同时可以使用Redis的分布式锁来保护库存操作的并发安全性。可参考最佳实践：秒杀库存控制 异步处理订单：秒杀活动结束后，会有大量的订单需要处理。为了提高系统的并发能力和响应速度，可以使用Redis作为消息队列，将订单信息存储在Redis的列表中。然后通过多个消费者进程或线程从Redis中获取订单消息进行处理，实现订单的异步处理和解耦。 游戏类应用场景 分布式缓存服务Redis版是游戏中重要的组件，一般用于玩家数据的缓存和持久化。 缓存玩家数据：分布式缓存服务Redis版可以用作玩家数据的缓存存储，包括玩家的角色信息、道具装备、技能等业务数据。通过将玩家数据存储在Redis中，可以提高数据的读取速度，并减轻数据库的负载。这对于需要频繁读取玩家数据的游戏来说尤为重要。 排行榜数据存储：在一个在线游戏中，我们需要实时统计玩家的得分，并展示排行榜，以便玩家之间进行竞争和比较。可使用分布式缓存服务Redis版的有序集合数据结构存储用户排行榜，利用Redis提供的排序功能快速获取排名信息。可参考最佳实践：排行榜功能 状态管理和计数器：Redis的计数器和键值存储特性可以用于游戏中的状态管理和计数功能。例如，可以使用Redis的计数器记录游戏中的击杀数、经验值等，以及管理玩家的在线状态，同时可以使用Redis的键值存储功能存储和读取游戏中的各种状态信息。

介绍分布式消息服务RocketMQ与开源自建的对比情况。 分布式消息服务RocketMQ基于开源产品RocketMQ进行问题修复与优化，并自主研发，实现低成本、高可靠、高性能和具备监控运维能力的中间件产品。 使用开源RocketMQ遇到的问题 功能不完善：功能比较单一，针对不同应用场景无法有效支持，如消息查询，数据自动删除策略等。 可维护性差：缺乏配套监控运维能力，难以迅速发现解决如消息堆积、队列堵塞等问题。 可靠性较低：消息服务不提供主备切换能力，存在单点故障，无法保证服务高可用。 分布式消息服务RocketMQ改进点 高可用、高可靠改进： 实现自动主备切换、自动拉起功能，保证服务高可用。 实现消息删除策略，按不同的场景优先保证服务可用性或者数据安全性。 可维护性改进： 实现按生产者、消费者、数据节点、队列4种维度的运行状态监控，方便快速发现问题。 实现可视化的监控、配置、管理界面实现自动化测试，以快速迭代。 新增功能： 新增消息查询，做到可查可追踪。 重新封装SDK，简化应用使用，并提供按hash算法实现消息局部有序生产消费。 开源自建对比项 对比项 开源自建 分布式消息服务RocketMQ 自动化部署 不支持自动化部署，需要专业人员自行部署、运维 全托管PaaS，免机器资源一键自动化部署。开箱即用，按需使用，支持弹性扩容 运维监控 缺乏配套的监控运维能力 提供多维度的数据可视化监控，快速定位、处理问题 增强能力 功能单一，无法支持多种场景需求 功能丰富，支持消息重试、消息查询、消息轨迹查询、数据自动清理等定制化功能 延迟消息/定时消息 仅支持18个固定延迟时长，最长延迟2小时 支持秒级的任意延迟时长，最长延迟40天 ACL访问控制 访问控制配置复杂 灵活配置，一键生效

本小节介绍日志审计(原生版)产品排查日志未采集常见问题。 如何排查日志未采集？ 问题描述 日志审计（原生版）采集日志配置配好后，仍未采集到日志，如何排查？ 可能原因 采集日志相关程序未正常启动。 中间件出现故障。 采集资产未配置。 解决方案 了解采集日志程序作用 Logc（日志采集）接收日志并通过kafka将接收的日志转发logp。 Logp（日志解析分类）接收logc转发的原始日志根据解析规则等进行解析，并通过kafka将解析后的日志发送给esinsert。 Esinsert（录入elasticsearch）将解析后的日志录入elasticsearch。 Coresvr（页面更新程序）将页面下发的规则等变更，通过kafka下发给对应的服务。 查看程序是否启动 点击“系统配置”>“系统运维”,在服务管理中，查看相关服务状态，出现异常时，点击重启程序，过1min，刷新页面，查看服务状态是否正常。 查看程序日志 点击“系统配置”>“系统运维”,在服务管理中，点击导出日志，可导出服务日志。将logc、logp、coresvr、esinsert等服务日志按流程步骤依次查看是否有异常信息。 中间件故障 各程序报告日志出现如下报错：Broker transport failure: 127.0.0.1:9092/0:Connect to ipv4127.0.0.1:9092 failed。 日志分析，9092为kafka服务端口，该提示为kafka出现异常。

本文主要介绍概述 概述 APM Agent会周期性采集一些性能指标数据，用来衡量应用的总体健康状况。可以采集JVM、GC、服务调用、异常、外部调用、数据库访问以及其他中间件的指标调用等数据，帮助用户全面掌握应用的运行情况。 APM对指标数据的采集有严格的定义，每一种采集的数据类型对应一个采集器，比如采集java应用的JVM数据，那么对应有JVM采集器，一个采集器会采集多个指标集的数据。 采集器被部署到环境后形成监控项，在数据采集的时候监控项决定了采集的数据结构和采集行为。 采集周期：监控项具有数据采集器的周期属性。当前数据采集周期为一分钟，不支持用户调整。 监控项状态：默认为enable状态，用户可以将监控项设置为disable状态，这样Agent就不会拦截该指标数据，也不会上报数据。 采集状态：采集实例和监控项会有一个采集状态信息。如果出现采集错误，可以通过采集状态查看。常见错误是主键太多，导致客户端数据汇聚异常。 监控项类型 Agent会自动发现系统采集的插件类型，并且将采集器实例化，形成监控项。监控项是实例化在一个环境上的。 由于采集器种类较多，会导致用户区分困难。系统后台会定义一些类型，每种采集器都会归到一种类型下，这样方便用户查看数据。 根据采集器的作用可以将监控项分为以下几种类型： 接口调用：是指外部服务调用当前应用的监控类型。 基础监控：是用来监控系统性能的基础监控指标的监控类型。 异常：用来监控应用的异常信息。 外部调用：是指当前应用调用外部服务的监控类型。 数据库：是对数据库的访问进行监控。 缓存：是对Redis等缓存系统的监控，会采集指令级别的细粒度的指标数据。 web容器：是对tomcat等web容器的监控，一般会采集系统总的处理线程数，busy线程数，连接数等；用于衡量系统总的容量。 消息队列：是对kafka、RabbitMq等消息系统的监控，包含发送端和接收端的监控。在接收端的处理函数，可以产生调用链信息。 通信协议：是对websocket等通信协议的监控。

本节主要介绍分布式消息服务Kafka的退订说明 如果您有退订的需求，可以进行登录天翼云管理中心或产品控制台进行退订操作。天翼云目前支持7天无理由全额退订和非七天无理由退订以及其他退订，详细规则请参考文档费用中心退订。

本文主要介绍 DMS for Kafka自定义策略。 如果系统预置的DMS for Kafka权限，不满足您的授权要求，可以创建自定义策略。 目前云服务平台支持以下两种方式创建自定义策略： 可视化视图创建自定义策略：无需了解策略语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图创建自定义策略：可以在选择策略模板后，根据具体需求编辑策略内容；也可以直接在编辑框内编写JSON格式的策略内容。 具体创建步骤请参见：《统一身份认证服务用户指南》的“创建自定义策略”章节。本章为您介绍常用的DMS for Kafka自定义策略样例。 说明 DMS for Kafka的权限与策略基于分布式消息服务DMS，因此在IAM服务中为DMS for Kafka分配用户与权限时，请选择并使用“DMS”的权限与策略。 由于缓存的存在，对用户、用户组以及企业项目授予OBS相关的细粒度策略后，大概需要等待5分钟细粒度策略才能生效。 DMS自定义策略样例 示例1：授权用户删除实例和重启实例 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "dms:instance:modifyStatus", "dms:instance:delete" ] } ] } 示例2：拒绝用户删除实例 拒绝策略需要同时配合其他策略使用，否则没有实际作用。用户被授予的策略中，一个授权项的作用如果同时存在Allow和Deny，则遵循Deny优先。 如果您给用户授予DMS FullAccess的系统策略，但不希望用户拥有DMS FullAccess中定义的删除实例权限，您可以创建一条拒绝删除实例的自定义策略，然后同时将DMS FullAccess和拒绝策略授予用户，根据Deny优先原则，则用户可以对DMS for Kafka执行除了删除实例外的所有操作。拒绝策略示例如下： { "Version": "1.1", "Statement": [ { "Effect": "Deny", "Action": [ "dms:instance:delete" ] } ] }

本章节主要介绍节点参考的MRS Kafka。 功能 MRS Kafka主要是查询Topic未消费的消息数。 参数 用户可参考下配置MRS Kafka的参数。 属性参数 参数 是否必选 说明 数据连接 是 选择管理中心中已创建的MRS Kafka连接。 Topic名称 是 选择MRS Kafka中已创建的Topic，使用SDK或者命令行创建。 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“ ”等各类特殊字符，长度为1～128个字符。 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 − 最大重试次数 − 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。 失败策略 是 节点执行失败后的操作： 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划：暂停当前作业运行，当前作业实例状态显示为“等待运行”。 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。

名词解释 环境 目前天翼云Prometheus服务支持容器环境与云服务环境。 容器环境：每个云容器集群对应一个独立的容器环境。针对容器环境，Prometheus提供了自动化的监控采集链路，完成探针安装、数据采集、数据加工等工作。 云服务环境：对于常规云服务产品的数据采集，将按照资源池进行划分，为每个资源池创建各自的云服务环境。 组件 接入管理的每一个选项卡片即为一个组件，目前支持容器集群、分布式缓存服务Redis版、分布式消息服务Kafka与分布式容器云平台CCE ONE组件接入。 操作步骤 1. 登录Prometheus监控服务控制台。 2. 在左侧导航栏，单击接入中心。 3. 在接入中心页面，单击目标组件卡片接入数据。 4. 在弹出的面板中，在开始接入页签下，选择所属的环境类型。 5. 根据控制台提示配置相应参数，如选择对应的容器集群。 6. 点击确定，等待环境初始化、组件安装以及数据检查完成。 如果一切正常，接入完成后您可以进入接入管理的环境详情页面查询接入的大盘或告警规则，也可以探索产生的指标。 如果遇到异常，可根据异常提示进行相应的操作。

全局堆积 在使用RocketMQ时，可能会遇到消息堆积的情况，即未能及时处理和消费的消息大量积压在消息队列中。 造成消息堆积的原因可能是消费者处理消息的速度不够快，或者消费者出现故障导致无法正常消费消息。当消息堆积发生时，可能会导致系统的稳定性下降，甚至影响整个应用的正常运行。 分布式消息服务RocketMQ标识该集群下，所有topic的消费堆积情况，列表按倒序排列了堆积量最大的前20个topic的堆积情况。 全局消息 分布式消息服务RocketMQ标识该集群，所有topic的生产情况，按现有消息量倒序排列。

本文主要介绍云搜索服务的应用场景。 日志检索分析 云搜索服务可以采集分析各类以文件形式存储的日志，包括不限于服务器、容器日志等。结合消息队列Kafka、Logstash对日志数据进行采集清洗，进入Elasticsearch或OpenSearch中存储检索分析，并通过Kibana或Dashboards进行可视化呈现。 高稳定：通过读写限流、查询熔断、集群监控等方式保障。 性能优化：通过支持压缩算法、内核增强节省存储空间，增强读写速率、降低响应延迟。 易用性：支持多种统计分析方法、划分维度，丰富的可视化查询，可对接BI实现拖拽式报表。 站内搜索 面对海量数据，提供分布式的信息检索工具，可根据网站内容进行关键字检索，也可搭建商品检索或推荐系统。 实时检索：支持模糊搜索，数据来源多样且持续写入，站内资料或商品信息更新数秒内即可被检索。 分类统计：检索同时可以将符合条件的结果进行排序或分类统计。 多场景适配：可用于网站、移动端应用搜索、企业内部应用等多种需要快速检索的场景。 数据分析 提供开箱即用的可视化、高聚合分析能力，便捷高效地对海量数据实时分析。更好地适配实时多维分析在线查询服务场景，满足高实时性，高查询QPS，低查询延迟的数据分析要求。 快速响应：支持海量的、数据源多样、字段不固定的数据高并发处理，毫秒级响应。 复杂查询：支持大批量模糊关键字搜索及一些聚合的复杂查询。 向量检索：基于向量特征相似度匹配，支持图文搜索、地理位置搜索。

配置项 操作 示例 触发器类型 选择 MQTT触发器。 MQTT触发器 名称 填写自定义的触发器名称。 mqtttrigger 版本或别名 默认值为 LATEST ，支持选择任意函数版本或函数别名。 LATEST MQTT实例 选择已创建的MQTT实例。 Topic 填写订阅的消息Topic，请确保topic的命名符合以下"^[azAZ09/+]+$"正则表达式 mytopic 调用方法 选择函数调用方式。 同步调用 ：指触发器消费消息后投递到函数是同步调用，会等待函数响应后继续下一个消息投递。 异步调用 ：指触发器消费消息后投递到函数是异步调用，不会等待函数响应，可以快速消费事件。 用户ID 终端设备连接MQTT队列需要先创建用户密码，详情请查看 密钥 终端设备连接MQTT队列需要先创建用户密码，详情请查看 触发器启用状态 创建触发器后是否立即启用。默认选择开启，即创建触发器后立即启用触发器。 启用

限制项 约束和限制 描述 版本 当前服务端版本为3.8.35。 兼容AMQP 091协议的客户端版本。 连接数 RabbitMQ单机和集群实例，不同实例规格的连接数上限不一致，具体限制，请参考 产品规格 。 通道数 < 2047 单条连接可以建立的通道数。 消息大小 单条消息的最大长度为50MB。 服务端限制了单条消息的最大长度为50MB，请勿发送大于此长度的消息，否则生产失败。 内存高水位阈值 < 40% 内存使用率超过40%会触发内存高水位，生产者流程被阻塞。 磁盘高水位阈值 > 5GB 磁盘剩余空间低于5GB会触发磁盘高水位，生产者流程被阻塞。 clusterpartitionhandling pauseminority 当集群发生网络分区时，代理会检查自己是否处于“少数派”（存储分区的代理数小于等于总代理数的一半称为少数派）。少数派中的代理将会自动关闭服务并定期检测网络状态，待分区恢复之后重新启动服务。如果未开启镜像队列，发生分区时少数派上的队列将无法生产消费。此策略相当于放弃了可用性而选择了数据一致性。 rabbitmqdelayedmessageexchange 插件延迟时间存在1%左右的误差，可能提前或者推迟发送消息给消费者。 实例是否开启消息延迟功能。 RabbitMQ插件 RabbitMQ插件功能可用于测试和迁移业务等场景，不建议用于生产业务。 RabbitMQ实例主要提供AMQP 091业务消息的功能，兼容相关协议的Vhost、Exchange等组件。插件相关内容为非核心功能，不建议用于生产业务。

介绍分布式消息服务Kafka删除用户功能操作内容。 场景描述 Kafka删除用户的场景描述如下： 用户离职或不再需要访问权限：当用户离开组织或不再需要访问Kafka集群时，可以删除其用户账户。这可以确保已离职的用户无法再访问和操作Kafka，提高安全性和合规性。 角色调整或合并：在某些情况下，可能需要对用户角色进行调整或合并。如果某个角色不再需要或与其他角色重复，可以删除相关的用户账户和角色，以简化管理和维护。 用户账户过期或失效：如果用户账户的有效期已过或由于某种原因失效，可以删除该用户账户。这有助于清理无效的用户账户，减少安全风险和资源浪费。 安全审计和合规要求：根据安全审计和合规要求，可能需要删除某些用户账户。例如，当用户账户存在安全风险或违反合规规定时，需要及时删除相关账户以保护系统安全和数据隐私。 数据隔离和资源管理：在多租户环境中，当某个租户不再需要使用Kafka集群时，可以删除其相关的用户账户。这有助于释放资源，提高资源利用率和性能。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入应用用户管理页面，点击指定用户其右侧的“删除”按钮。 注意事项 Kafka删除用户时需要注意以下事项： 确认用户身份：在删除用户之前，确保要删除的用户的身份是正确的。验证用户的身份可以防止误删除或删除错误的用户账户。 备份和迁移数据：如果用户账户中存在重要的数据或信息，建议在删除用户之前进行数据备份和迁移。这可以确保数据的安全性和完整性，并防止数据的丢失或泄露。 通知相关人员：在删除用户之前，及时通知相关的管理人员或团队成员。这有助于协调和沟通，确保删除用户的操作得到充分的授权和确认。 关注系统性能：删除用户时，要注意对Kafka集群的性能影响。大规模的用户删除操作可能会对系统造成一定的负载和延迟，因此在合适的时间窗口进行删除操作，以减少对业务的影响。

本节主要介绍分布式消息服务Kafka的删除Topic步骤 场景描述 在以下场景中，可以考虑删除Kafka主题： 主题不再使用：当一个主题不再被使用或者不再需要时，可以选择删除该主题。这可能是因为业务需求变化、数据不再有效或者主题被合并到其他主题中等原因。 数据保留策略变更：Kafka中可以设置数据保留策略，即数据在主题中的保留时间或者大小。当需要更改数据保留策略时，可能需要删除旧的主题并创建一个新的主题来应用新的策略。 清理测试数据：在测试环境中，经常需要清理旧的测试数据，以确保环境的可用空间和性能。当测试数据不再需要时，可以删除相应的主题来释放资源。 主题配置错误：在创建主题时，可能会出现配置错误或者误操作导致主题创建失败或者无法正常使用。在这种情况下，可以删除有问题的主题，并重新创建正确的主题配置。 需要注意的是，在删除主题之前，需要确保主题中的数据已经备份或者不再需要。删除主题将永久删除主题中的所有数据，并且无法恢复。因此，在删除主题之前，建议先进行备份或者确认数据不再需要。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“Topic管理”后进入Topic管理页面。 （5）在Topic所在行，点击其右侧的“更多按钮”，再单击“删除”，并选择确定。

本章节主要介绍设置分布式消息服务RabbitMQ实例镜像队列。 镜像队列，允许集群将队列镜像到其他节点上，当集群某一节点宕机后，队列能自动切换到镜像中的其他节点，保证服务的可用性。 如果您需要了解RabbitMQ Web UI相关功能和概念，请自行查阅RabbitMQ官网。本章节仅介绍登录RabbitMQ实例的Web页面设置镜像队列的操作步骤。 操作步骤 步骤 1 登录RabbitMQ实例的Web UI。 步骤 2 在菜单栏，选择“Admin”。 图1 选择Admin菜单 步骤3 （可选）选择右侧导航栏“Virtual Hosts”，然后输入“Name”，单击“Add virtual host”，创建Vhost。 如果您需要设置指定Vhost，请执行本步骤；如果不需要，请直接执行步骤4。 图2 创建Vhost 步骤 4 选择右侧导航栏“Policies”，为Vhost设置规则。 如果为指定的Vhost设置，请在“Virtual Host”选择步骤3创建的Vhost；如果没有，则默认为“/”。 图3 设置Vhost规则 参数解释如下： Name: policy的名称，用户自定义。 Pattern: queue的匹配模式（正则表达式）。 Definition: 镜像定义，包括三个部分hasyncmode、hamode、haparams。 hasyncmode: 表示镜像队列中消息的同步方式，有效取值范围为：automatic和manually。 automatic：表示自动向master同步数据。 manually：表示手动向master同步数据。 hamode: 指明镜像队列的模式，有效取值范围为：all、exactly和nodes。 all：表示在集群所有的节点上进行镜像。 exactly：表示在指定个数的节点上进行镜像，节点的个数由haparams指定。 nodes：表示在指定的节点上进行镜像，节点名称通过haparams指定。 haparams: hamode模式需要用到的参数。 Priority: 可选参数，policy的优先级。 步骤 5 单击“Add policy”。 规则添加成功后如图4所示。 图4 Vhost规则

本章节主要介绍如何创建分布式消息服务RabbitMQ实例。 RabbitMQ是一款基于AMQP协议的开源服务，用于在分布式系统中存储转发消息，服务器端用Erlang语言（支持高并发、分布式以及健壮的容错能力等特点）编写，支持多种语言的客户端，如：Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP、AJAX等。 AMQP，即Advanced Message Queuing Protocol，高级消息队列协议，是应用层的一个开放标准协议。 前提条件 在创建RabbitMQ专享版实例前，需要保证存在可使用的虚拟私有云。创建虚拟私有云的方法，请参考《虚拟私有云用户指南》。 如果您已有虚拟私有云，可重复使用，不需要多次创建。 为RabbitMQ授权 如果RabbitMQ实例需要开启IPv6功能，在创建实例前，需要授予RabbitMQ操作VPC终端节点的权限，否则会导致创建失败。 在IAM控制台创建委托，委托参数如下，其他参数保持默认，创建委托的具体步骤请参见《统一身份认证服务 用户指南》的“委托 > 委托其他云服务管理资源”章节。 委托名称：dmsadmintrust 委托类型：云服务 云服务：分布式消息服务 持续时间：永久 委托将拥有所选策略：DMS VPCEndpointAccess 操作步骤 步骤1 登录管理控制台。 步骤2 在管理控制台右上角单击，选择区域资源池。 说明 此处请选择与您的应用服务相同的区域。 步骤3 在管理控制台左上角单击，选择“企业中间件 > 分布式消息服务>RabbitMQ专享版”，进入分布式消息服务RabbitMQ专享版页面。 步骤4 单击页面右上方的“购买RabbitMQ实例”。 每个项目默认最多可以创建100个RabbitMQ专享版实例，如果您想创建更多实例，请联系客服申请增加配额。 步骤5 选择“计费模式”、“区域”、“项目”和“可用区”。 步骤6 设置“实例名称”和“企业项目”。 步骤7 设置实例信息。 1. 版本：RabbitMQ的版本号，当前仅支持3.8.35。 2. 实例类型：支持“单机”和“集群”。 单机：表示部署一个RabbitMQ代理。 集群：表示部署多个RabbitMQ代理，实现高可靠的消息存储。 3. 鲲鹏实例：“创建鲲鹏架构实例”选框，默认不勾选是X86架构的实例，勾选之后是ARM架构的鲲鹏实例。 4. 规格：根据实际情况选择规格。 说明 为了保证服务的稳定可靠，RabbitMQ采用了默认的40%高水位配置。当内存占用率到达40%高水位后，会触发流控，生产者发送消息会被阻塞。为了避免高水位的产生，请及时消费积压在队列中的消息。 5. 代理个数：根据实例情况选择代理个数。 6. 存储空间：选择RabbitMQ实例的磁盘类型和存储空间总量。 单机实例的取值范围：100GB ~ 30000GB 集群实例的取值范围为：100GB 代理数 ~ 30000GB 代理数 7. 虚拟私有云：选择已经创建好的虚拟私有云和子网。 虚拟私有云可以为您的RabbitMQ专享实例构建隔离的、能自主配置和管理的虚拟网络环境。 说明 虚拟私有云和子网在RabbitMQ实例创建完成后，不支持修改。 子网开启IPv6后，RabbitMQ实例支持IPv6功能。 实例创建成功后，不支持修改IPv6开关。 使用内网IPv6方式连接实例需要通过VPC终端节点实现，使用期间会产生VPC终端节点的费用。 8. 安全组：在“安全组”下拉列表，可以选择已经创建好的安全组。 安全组是一组对弹性云主机的访问规则的集合，为同一个VPC内具有相同安全保护需求并相互信任的弹性云主机提供访问策略。 您可以单击右侧的“管理安全组”，跳转到网络控制台的“安全组”页面，查看或创建安全组。 图1 设置实例信息 步骤8 设置连接RabbitMQ实例的用户名和密码。 步骤9 设置实例购买时长。 当选择了“包年/包月”付费模式时，页面才显示“购买时长”参数，您需要根据业务需要选择。 步骤10 单击“更多配置”，设置更多相关信息。 1. 设置“公网访问”。 您可以选择是否打开公网访问开关。 如果选择了开启，表示访问RabbitMQ实例可以通过弹性IP访问。这时页面会显示“弹性IP地址”，在“弹性IP地址”区域，您可下拉选择已有的弹性IP。另外，您可单击右侧的“创建弹性IP”，跳转到网络控制台的弹性IP页面，购买弹性IP。 图2 购买RabbitMQ实例时公网访问设置 说明 公网访问与VPC内访问相比，可能存在网络丢包和抖动等情况，且访问时延有所增加，因此建议仅在业务开发测试阶段开启公网访问进行调试。 如果用户在虚拟私有云的服务页面手动解绑定或删除EIP，相应RabbitMQ实例的公网访问功能会自动关闭。 2. 设置“SSL”。 客户端连接实例时SSL认证的开关。开启SSL，则数据加密传输，安全性更高。 SSL开关在实例创建完成后不支持修改，请明确是否需要开启 。 3. 设置“标签”。 标签用于标识云资源，当您拥有相同类型的许多云资源时，可以使用标签按各种维度（例如用途、所有者或环境）对云资源进行分类。 如果您已经预定义了标签，在“标签键”和“标签值”中选择已经定义的标签键值对。另外，您可以单击右侧的“查看预定义标签”，系统会跳转到标签管理服务页面，查看已经预定义的标签，或者创建新的标签。 您也可以直接在“标签键”和“标签值”中设置标签。 当前每个RabbitMQ实例最多支持设置20个不同标签。 4. 设置实例的描述信息。 步骤11 填写完上述信息后，单击“立即购买”，进入“规格确认”页面。 步骤12 确认实例信息无误且阅读并同意《分布式消息服务RabbitMQ服务等级协议》、《天翼云分布式消息服务协议》后，提交请求。 步骤13 在实例列表页面查看实例是否创建成功。 创建实例大约需要3到15分钟，此时实例的“状态”为“创建中”。 当实例的“状态”变为“运行中”时，说明实例创建成功。 如果创建实例失败，在信息栏的“创建失败任务”中查看创建失败的实例。请删除创建失败的RabbitMQ实例，然后重新创建。如果重新创建仍然失败，请联系客服。

消费消息 import com.rabbitmq.client.; import java.io.IOException; import java.nio.charset.StandardCharsets; import java.util.concurrent.TimeoutException; public class RabbitmqConsumer { //队列名称 private final static String QUEUENAME "helloMQ"; public static void main(String[] args) throws IOException, TimeoutException { //创建连接工厂 ConnectionFactory factory new ConnectionFactory(); //设置主机ip factory.setHost("127.0.0.1"); //设置amqp的tcp端口号 factory.setPort(5672); //设置用户名密码 factory.setUsername("YOUR USERNAME"); factory.setPassword("YOUR PASSWORD"); //设置Vhost factory.setVirtualHost("/"); //基于网络环境合理设置超时时间 factory.setConnectionTimeout(30 1000); factory.setHandshakeTimeout(30 1000); factory.setShutdownTimeout(0); Connection connection factory.newConnection(); Channel channel connection.createChannel(); //声明队列，主要为了防止消息接收者先运行此程序，队列还不存在时创建队列。 channel.queueDeclare(QUEUENAME, false, false, false, null); System.out.println(" [] Waiting for messages. To exit press CTRL+C"); Consumer consumer new DefaultConsumer(channel) { @Override public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException { String message new String(body, StandardCharsets.UTF8); System.out.println("Received message: '" + message + "'"); } }; channel.basicConsume(QUEUENAME, true, consumer); } } SSL生产消息 import com.rabbitmq.client.Channel; import com.rabbitmq.client.Connection; import com.rabbitmq.client.ConnectionFactory; import com.rabbitmq.client.DefaultSaslConfig; import javax.net.ssl.KeyManagerFactory; import javax.net.ssl.SSLContext; import javax.net.ssl.TrustManagerFactory; import java.io.FileInputStream; import java.io.IOException; import java.nio.charset.StandardCharsets; import java.security.; import java.security.cert.CertificateException; import java.util.concurrent.TimeUnit; import java.util.concurrent.TimeoutException; public class RabbitmqProducerSsl { // private final static String EXCHANGENAME "exchangeTest"; private final static String QUEUENAME "helloMQ"; // private final static String ROUTINGKEY "test"; public static void main(String[] args) throws IOException, TimeoutException, InterruptedException { // 创建连接工厂 ConnectionFactory factory new ConnectionFactory(); // 设置主机ip factory.setHost("127.0.0.1"); // 设置amqp的ssl端口号 factory.setPort(5671); String ksFile "/sslpath/ssl/clientrabbitmqkey.p12"; String tksFile "/sslpath/ssl/truststore"; SSLContext c null; try { char[] keyPassphrase "YOUR PASSPHRASE".toCharArray(); KeyStore ks KeyStore.getInstance("PKCS12"); ks.load(new FileInputStream(ksFile), keyPassphrase); KeyManagerFactory kmf KeyManagerFactory.getInstance("SunX509"); kmf.init(ks, keyPassphrase); char[] trustPassphrase "YOUR PASSPHRASE".toCharArray(); KeyStore tks KeyStore.getInstance("JKS"); tks.load(new FileInputStream(tksFile), trustPassphrase); TrustManagerFactory tmf TrustManagerFactory.getInstance("SunX509"); tmf.init(tks); c SSLContext.getInstance("tlsv1.2"); c.init(kmf.getKeyManagers(), tmf.getTrustManagers(), null); } catch (KeyStoreException e) { throw new RuntimeException(e); } catch (NoSuchAlgorithmException e) { throw new RuntimeException(e); } catch (CertificateException e) { throw new RuntimeException(e); } catch (UnrecoverableKeyException e) { throw new RuntimeException(e); } catch (KeyManagementException e) { throw new RuntimeException(e); } factory.setSaslConfig(DefaultSaslConfig.EXTERNAL); factory.useSslProtocol(c); // 设置Vhost，需要在控制台先创建 factory.setVirtualHost("/"); // 基于网络环境合理设置超时时间 factory.setConnectionTimeout(30 1000); factory.setHandshakeTimeout(30 1000); factory.setShutdownTimeout(0); // 创建一个连接 Connection connection factory.newConnection(); // 创建一个频道 Channel channel connection.createChannel(); // 指定一个队列 channel.queueDeclare(QUEUENAME, false, false, false, null); for (int i 0; i < 100; i++) { // 发送的消息 String message "Hello rabbitMQ!" + i; // 往队列中发送一条消息，使用默认的交换器 channel.basicPublish("", QUEUENAME, null, message.getBytes(StandardCharsets.UTF8)); System.out.println(" Sent message: '" + message + "'"); TimeUnit.MILLISECONDS.sleep(100); } //关闭频道和连接 channel.close(); connection.close(); } }

本节介绍了在RabbitMQ实例中如何创建、修改和删除虚拟主机限制策略。 背景信息 RabbitMQ虚拟主机限制管理是一种用于管理RabbitMQ虚拟主机的功能，它允许管理员对虚拟主机的资源和权限进行限制和管理。 虚拟主机是RabbitMQ中的逻辑隔离单位，它允许在同一台RabbitMQ服务器上创建多个独立的消息队列环境。每个虚拟主机都有自己的队列、交换机、绑定和权限设置。通过虚拟主机限制管理，管理员可以对RabbitMQ服务器上的虚拟主机进行细粒度的控制和管理。这有助于确保不同的应用程序或用户之间的隔离性、安全性和资源利用率，提高整个消息队列系统的可靠性和性能。 操作步骤 1.登录管理控制台。 2.进入RabbitMQ管理控制台。 3.在实例列表页在操作列，目标实例行点击“管理”。 4.点击“集群管理”后点击“虚拟主机限制”到达虚拟主机页面，点击“新建”按钮。 5.点击“新建”后出现以下界面，选择虚拟主机，添加限制策略内容。 限制项参数 说明 maxconnections 最大TCP连接。 maxqueues 最大队列数。 6.在目标虚拟主机限制行点击“删除”或“修改”，即可删除当前虚拟主机策略。

为什么可用区不能选择2个？ 所有不同规格的Kafka集群实例都是3个Zookeeper节点，并且是通过Zookeeper集群进行管理配置的，Kafka依赖Zookeeper，如果Zookeeper集群出现问题，Kafka将无法正常运行。 一个Zookeeper集群正常运行，至少需要2个Zookeeper节点正常运行。 假设允许可用区选择2个，可用区1有1个Zookeeper节点，可用区2有2个Zookeeper节点。如果可用区1故障，则集群实例能正常使用；如果可用区2故障，则集群不能正常使用。集群可用的场景只有50%，所以不支持选择2个可用区 如何选择Kafka实例的存储空间？ 存储空间，主要是指用于存储消息所需要的空间，选择时包括选择磁盘规格和大小，磁盘规格，当前支持“超高IO”和“高IO”两种类型。 假设业务存储数据保留天数内磁盘大小为100GB，则磁盘容量最少为100GB副本数 + 预留磁盘大小100GB。Kafka集群中，每个Kafka节点会使用33G的磁盘作为日志和Zookeeper数据的存储，因而实际可用存储会小于购买存储。 其中，副本数在创建Topic时可以选择，默认为3副本存储。 Kafka实例的超高IO和高IO如何选择？ 高IO：平均时延13ms，最大带宽150MB/s（读+写）。 超高IO：平均时延1ms，最大带宽350MB/s（读+写）。 建议选择超高IO，云硬盘服务端压力大场景，都不能达到最大带宽，但是超高IO可达到的带宽比高IO高很多。 如何选择Kafka实例存储容量阈值策略？ 当前支持以下两种策略： 生产受限策略 该策略场景下一旦磁盘使用达到容量阈值95%，会导致后续生产失败，但保留了当前磁盘中的数据，直至数据自然老化（Kafka原有的老化机制，数据默认保留3天）。该场景适用于对数据不能丢的业务场景，但是会导致生产业务失败。 自动删除策略 该策略场景下磁盘使用到达容量阈值之后，以一个segment文件为单位（1GB），会自动删除最早的segment文件，保证生产业务能继续正常运行。该场景优先保障业务不中断，数据可能会丢失。 以上两种策略的需要基于业务对数据和业务的可靠性来进行选择，只能作为极端场景下的一个种处理方式。建议业务购买时保证有充足的磁盘容量，避免磁盘的使用达到容量阈值。 Kafka实例的Topic数量是否有限制？ 在Kafka使用过程中，Topic数量本身无限制，但Topic的分区数之和有上限，当达到上限后，会导致用户无法继续创建Topic。

场景描述 消息轨迹记录了一条消息从生产端到消息队列RocketMQ服务端，再到消费端的整个过程，包括各阶段的时间、执行状态等。 使用说明 客户端SDK默认不开启消息轨迹功能，需要在消息收发时主动开启消息轨迹，以Java为例，如下所示： 生产者启用消息轨迹： DefaultMQProducer producer new DefaultMQProducer("ProducerGroupName",new AclClientRPCHook(new SessionCredentials("控制台角色AK","控制台角色CK")),true,null); 消费者启用消息轨迹： DefaultMQPushConsumer consumer new DefaultMQPushConsumer( "ConsumerGroupName" ,newAclClientRPCHook( new SessionCredentials( "控制台角色AK" ,"控制台角色CK" ) ) ,newAllocateMessageQueueAveragely() ,true ,null); 消息轨迹的查询方式 1. 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2. 登录分布式消息服务RocketMQ控制台，点击右上角地域选择对应资源池。 3. 进入实例列表，点击【管理】按钮进入管理菜单。 4. 根据查询结果，查看消息轨迹。

操作事件 读写类型 创建虚拟主机 写事件 删除虚拟主机 写事件 创建交换器 写事件 删除交换器 写事件 创建队列 写事件 删除队列 写事件 清空队列消息 写事件 队列生产拨测 写事件 队列消费拨测 写事件 新建用户 写事件 删除用户 写事件 创建绑定 写事件 删除绑定 写事件 配置虚拟主机主题权限 写事件 删除虚拟主机主题权限 写事件 配置虚拟主机限制 写事件 删除虚拟主机限制 写事件 配置虚拟主机权限 写事件 删除虚拟主机权限 写事件 插件启停 写事件 更新配置 写事件 实例开通 写事件 实例退订 写事件 实例冻结 写事件 实例注销 写事件 实例按需转包周期 写事件 实例包周期转按需 写事件 实例扩容 写事件 实例缩容 写事件