本文主要介绍分布式消息服务RabbitMQ的队列迁移最佳实践。 在RabbitMQ集群上，队列在各个节点分布不均衡会导致部分节点压力过大，无法更有效的利用集群。这可能是扩容节点、删除队列等原因导致的。 设置队列负载均衡的方法如下： 删除队列重建 通过Policy修改master节点方式 删除队列重建 1. 登录RabbitMQ WebUI页面。 2. 在“Overview”页签中，单击“Download broker definitions”，导出元数据。 3. 停止生产，等待数据消费完，然后删除原有队列。 在“Overview”页签中，确认数据是否已消费完。 可消费消息数（Ready）和未确认的消息数（Unacked）都为0时，说明消费完成。 等数据消费完后，删除原有队列。 在“Queues”页签，单击需要删除的队列名称，进入队列详情页面。 单机“Delete Queue”，删除队列。 4. 在“Overview”页签中，上传2中导出的元数据。 在“Overview”页签中，单击“选择文件”，选择2中导出的元数据。 单击“Upload broker definitions”，上传元数据。 上传成功后，显示如下信息。 实例会自动将队列均衡创建在各个节点上，在“Queues”页签中查看队列分布详情。

本章节介绍了有关分布式消息服务RocketMQ实例Topic类的常见问题及解答。 支持多少个Topic？ 不同规格支持的个数不同，如表1所示，最少支持2000个Topic。 表 实例规格说明 资源规格 代理（个） 存储容量（GB/代理） 单个代理TPS 单个代理Topic数上限 单个代理消费组数上限 rocketmq.4u8g.cluster.small 1 ~ 2 300 ~ 30000 15000 2000 2000 rocketmq.4u8g.cluster 1 ~ 10 600 ~ 270000 20000 4000 4000 rocketmq.8u16g.cluster 1 ~ 10 300 ~ 90000 25000 8000 8000 rocketmq.12u24g.cluster 1 ~ 10 300 ~ 90000 28000 12000 12000 rocketmq.16u32g.cluster 1 ~ 10 300 ~ 90000 30000 16000 16000 是否支持自动创建Topic？ RocketMQ实例不支持自动创建Topic。

在分布式消息服务RocketMQ中，消费者消费消息时，可能会出现消费过快导致下游业务来不及处理的情况，进而影响系统的稳定性。本章节介绍在消费端进行限流的示例代码，以保障系统的稳定。 import java.util.List; import java.util.concurrent.TimeUnit; import com.google.common.util.concurrent.RateLimiter; import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer; import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext; import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus; import org.apache.rocketmq.client.consumer.listener.MessageListenerConcurrently; import org.apache.rocketmq.client.exception.MQClientException; import org.apache.rocketmq.common.consumer.ConsumeFromWhere; import org.apache.rocketmq.common.message.MessageExt; public class ConsumerLimitExample { public static void main(String[] args) throws InterruptedException, MQClientException { DefaultMQPushConsumer consumer new DefaultMQPushConsumer("GroupTest"); consumer.subscribe("TopicTest", ""); consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUMEFROMFIRSTOFFSET); RateLimiter rateLimiter RateLimiter.create(200); consumer.registerMessageListener(new MessageListenerConcurrently() { @Override public ConsumeConcurrentlyStatus consumeMessage(List msgs, ConsumeConcurrentlyContext context) { if (!rateLimiter.tryAcquire(msgs.size(),3, TimeUnit.SECONDS)) { return ConsumeConcurrentlyStatus.RECONSUMELATER; } System.out.printf("%s Receive New Messages: %s %n", Thread.currentThread().getName(), msgs); return ConsumeConcurrentlyStatus.CONSUMESUCCESS; } }); consumer.start(); System.out.printf("Consumer Started.%n"); } }

本章介绍分布式缓存服务Redis版的典型应用场景。 Redis应用场景 很多大型电商网站、视频直播和游戏应用等，存在 大规模数据访问 ，对 数据查询效率要求高 ，且 数据结构简单 ， 不涉及太多关联查询 。这种场景使用Redis，在速度上对传统磁盘数据库有很大优势，能够有效减少数据库磁盘IO，提高数据查询效率，减轻管理维护工作量，降低数据库存储成本。Redis对传统磁盘数据库是一个重要的补充，成为了互联网应用，尤其是支持高并发访问的互联网应用必不可少的基础服务之一。 以下举几个典型样例： 1. （电商网站）秒杀抢购 电商网站的商品类目、推荐系统以及秒杀抢购活动，适宜使用Redis缓存数据库。 例如秒杀抢购活动，并发高，对于传统关系型数据库来说访问压力大，需要较高的硬件配置（如磁盘IO）支撑。Redis数据库，单节点QPS支撑能达到10万，轻松应对秒杀并发。实现秒杀和数据加锁的命令简单，使用SET、GET、DEL、RPUSH等命令即可。 2. （视频直播）消息弹幕 直播间的在线用户列表，礼物排行榜，弹幕消息等信息，都适合使用Redis中的SortedSet结构进行存储。 例如弹幕消息，可使用ZREVRANGEBYSCORE排序返回，在Redis5.0中，新增了zpopmax，zpopmin命令，更加方便消息处理。 3. （游戏应用）游戏排行榜 在线游戏一般涉及排行榜实时展现，比如列出当前得分最高的10个用户。使用Redis的有序集合存储用户排行榜非常合适，有序集合使用非常简单，提供多达20个操作集合的命令。 4. （社交APP）返回最新评论/回复 在web类应用中，常有“最新评论”之类的查询，如果使用关系型数据库，往往涉及到按评论时间逆排序，随着评论越来越多，排序效率越来越低，且并发频繁。 使用Redis的List（链表），例如存储最新1000条评论，当请求的评论数在这个范围，就不需要访问磁盘数据库，直接从缓存中返回，减少数据库压力的同时，提升APP的响应速度。

本页介绍天翼云TeleDB数据库如何查询站内消息。 在消息中心模块，提供了站内消息和消息订阅的功能。站内消息包括服务订阅、系统消息、产品消息和告警消息四大类消息。 消息查询：在消息查询中可以通过消息类型的精确匹配和消息标题或消息内容的模糊匹配对消息进行过滤查询。 消息详情：单击消息标题可以查看具体消息的详情，在查看具体消息详情之后，会将推送的消息置灰。 除此之外，还能够站内消息进行删除和批量删除以及全部删除操作。当您在消息列表上方单击全部标为已读按钮时，所有消息都将置灰。

支持的同步对象 数据复制服务提供的实时同步任务支持不同对象的选择，支持情况如下表。 支持的同步对象 同步方向 数据流向 表级同步 库级同步 导入对象文件 入云 MySQL>MySQL 支持 支持 支持 入云 MySQL>GaussDB(for MySQL) 支持 支持 支持 入云 MySQL>DWS 支持 支持 支持 入云 PostgreSQL>PostgreSQL 支持 支持 支持 入云 DRDS>MySQL 支持 暂不支持 暂不支持 入云 DRDS>DRDS 支持 支持 暂不支持 入云 Oracle>MySQL 支持 支持 支持 入云 Oracle>GaussDB(for MySQL) 支持 支持 支持 入云 Oracle>DRDS 支持 暂不支持 暂不支持 入云 Oracle>DWS 支持 暂不支持 支持 入云 Oracle>PostgreSQL 支持 暂不支持 支持 出云 MySQL>MySQL 支持 支持 暂不支持 出云 DRDS>MySQL 支持 暂不支持 暂不支持 自建自建 Oracle>Kafka 支持 暂不支持 支持 自建自建 MySQL>Kafka 支持 支持 支持

本文为您介绍分布式消息服务MQTT的快速入门创建实例。 实例介绍 MQTT实例订购支持用户自定义规格和自定义特性，采用物理隔离的方式部署。租户独占MQTT实例，可根据业务需要可定制相应规格的MQTT实例。在新的资源池节点上，还支持选择主机类型和存储规格等丰富用户选项。 操作步骤 1、在产品详情页点击立即开通按钮，或者进入消息管理控制台创建实例，进入订购分布式消息MQTT页面。 2、 创建实例，注意选择产品规格。 （1）填写实例名称，长度4~40个字符，大小写字母开头，只能包含大小写字母、数字及分隔符()。 （2）选择计费模式：包年包月/按需计费，两种模式说明参见计费模式。 （3）购买时长按照计费模式选择变化： 计费模式为包年包月，可选择购买时长16个月、13年。该模式提供自动续期功能，勾选后可以自动续期购买时长：16个月、13年。 计费模式为按需计费，则该选项隐藏无需选择。 （4）部署方式有单可用区和多可用区两个选项，目前仅支持单可用区和3可用区部署,单可用区部署请选中任意一个AZ；多可用区部署请选中3个AZ，系统会自动将Broker节点平均分配至各可用区。 （5）设置节点数，可选择3/5/7/9。MQTT 的节点数是指MQTT 集群中的节点数量。在MQTT 集群中，可以有多个节点组成一个集群，每个节点都是一个独立的MQTT 服务器实例。 （6）下拉选择主机类型，可选择通用型和计算增强型。通用型云主机共享宿主机的CPU资源，主要提供基本水平的vCPU性能、平衡的计算、内存和网络资源，具有较高性价比，支持通用的业务运行。计算增强型云主机独享宿主机的CPU资源，实例间无CPU争抢，并且没有进行资源超配，同时搭载全新网络加速引擎，实现接近物理服务器的强劲稳定性能。 （7）选择实例规格，分布式消息服务MQTT提供通用型和计算增强型各3类规格，各规格详细说明参见弹性云主机规格。 （8）选择存储空间，包括磁盘类型和空间。 磁盘类型提供高IO/普通IO/超高IO三类。普通IO适用于大容量、读写速率中等、事务性处理较少的应用场景。高IO：适用于主流的高性能、高可靠应用场景。超高IO：适用于超高IOPS、超大带宽需求的读写密集型应用场景。了解更多磁盘类型说明参见云硬盘规格。 磁盘空间以100G起步，可以以100倍数增加磁盘空间。 （9）选择已有虚拟私有云，若无虚拟私有云，点击创建跳转到虚拟私有云页面新增，了解更多内容参见虚拟私有云。 （10）选择已有子网，若无子网，点击创建跳转到子网页面新增，了解更多内容参见虚拟私有云子网管理 创建子网。 （11）选择已有安全组，若无安全组，点击创建跳转到安全组页面新增，了解更多内容参见虚拟私有云安全组 创建安全组。 3、 填写完上述信息后，单击“下一步”，进入费用确认页面。 4、 确认实例信息无误后，提交请求。 5、 在实例列表页面，查看MQTT实例是否创建成功。创建实例大约需要3到15分钟，此时实例状态为“创建中”。

本文主要介绍了站内消息的设置方法和消息类型。 用户可以接收、查看、管理天翼云发送的各类消息通知。 操作步骤 1、登录消息中心。 2、在站内消息菜单，可以进行以下操作： 查看全部、未读、已读消息。 按消息类别/消息类型，筛选查看某类消息。 将未读消息标记为已读。 删除消息。 消息类型 消息类型 消息介绍 产品信息 产品的创建、开通及资源到期提醒等产品相关信息通知 账户资金 充值、订单支付、提现等资金相关信息通知 活动消息 各类线上活动通知 服务消息 新产品上线或商业化通知 重要通知 网站重要公告、通知、声明等信息通知 其他 非以上消息类型通知

本章节介绍了有关分布式消息服务RocketMQ实例消费组类的常见问题及解答。 支持多少个消费组？ 不同规格支持的消费组个数不同，如下表所示，最少支持2000个消费组。 表 实例规格说明 资源规格 代理（个） 存储容量（GB/代理） 单个代理TPS 单个代理Topic数上限 单个代理消费组数上限 rocketmq.4u8g.cluster.small 1 ~ 2 300 ~ 30000 15000 2000 2000 rocketmq.4u8g.cluster 1 ~ 10 300 ~ 60000 20000 4000 4000 rocketmq.8u16g.cluster 1 ~ 10 300 ~ 90000 25000 8000 8000 rocketmq.12u24g.cluster 1 ~ 10 300 ~ 90000 28000 12000 12000 rocketmq.16u32g.cluster 1 ~ 10 300 ~ 90000 30000 16000 16000

前提条件 只有当实例状态为“运行中”时才可以进行重启操作。 注意：重启过程中，实例将会有短暂时间停止服务。 操作步骤 1. 登录管理控制台。 2. 进入Kafka管理控制台。 3. 在实例列表页的操作列，目标实例行点击“更多”按钮。 4. 在下拉框内点击“重启”按钮。 5. 点击弹框内的“确认”按钮完成操作，实例状态变为“重启中”。 6. 等待一段时间后，重启成功实例恢复运行状态，否则状态为“重启失败”。

本章介绍云监控的权限管理。 如果您需要对云服务平台上的云监控服务资源，给企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全地控制云服务资源的访问。 通过IAM，您可以在账号中给员工创建IAM用户，并使用策略来控制他们对云服务资源的访问范围。例如您的员工中有负责软件开发的人员，您希望他们拥有云监控服务的使用权限，但是不希望他们拥有删除其他云服务资源等高危操作的权限，那么您可以使用IAM为开发人员创建用户，通过授予仅能使用云监控服务，但是不允许删除其他云服务资源的权限策略，控制他们对其他云服务资源的使用范围。 如果账号已经能满足您的要求，不需要创建独立的IAM用户进行权限管理，您可以跳过本章节，不影响您使用云监控服务的其它功能。 IAM是云服务平台提供权限管理的基础服务，无需付费即可使用，您只需要为您账号中的资源进行付费。关于IAM的详细介绍，请参见《统一身份认证服务》。 云监控服务权限 默认情况下，新建的IAM用户没有任何权限，需要将其加入用户组，并给用户组授予策略或角色，才能使得用户组中的用户获得对应的权限，这一过程称为授权。授权后，用户就可以基于被授予的权限对云服务进行操作。 云监控服务部署时通过物理区域划分，为项目级服务，需要在各区域对应的项目中设置策略，并且该策略仅对此项目生效，如果需要所有区域都生效，则需要在所有项目都设置策略。访问云监控服务时，需要先切换至授权区域。 权限根据授权精细程度分为角色和策略。 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度，提供有限的服务相关角色用于授权。由于云服务平台各服务之间存在业务依赖关系，因此给用户授予角色时，可能需要一并授予依赖的其他角色，才能正确完成业务。角色并不能满足用户对精细化授权的要求，无法完全达到企业对权限最小化的安全管控要求。 策略：IAM最新提供的一种细粒度授权的能力，可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式，能够满足企业对权限最小化的安全管控要求。例如：针对云监控服务，管理员能够控制IAM用户仅能对某一类云监控资源进行指定的管理操作。 如下表所示，包括了云监控服务的所有系统权限。 表 云监控服务系统权限 系统角色/策略名称 描述 类别 依赖关系 CES FullAccessPolicy 云监控服务的全部权限，拥有该权限可以操作云监控服务的全部权限。 系统策略 云服务监控功能涉及需要查询其他云服务的实例资源，该策略中已包含部分云服务的资源查询权限，如在使用中遇到权限问题，需要配置涉及服务的细粒度授权特性，才可以正常使用，支持细粒度授权的云服务列表请参考:统一身份认证帮助中心中“使用IAM授权的云服务”章节。 告警通知：依赖SMN服务的SMN FullAccess。 配置数据转储：依赖OBS服务的OBS OperateAccess。 CES ReadOnlyAccessPolicy 云监控服务的只读权限，拥有该权限仅能查看云监控服务的数据。 系统策略 云服务监控功能涉及需要查询其他云服务的实例资源，该策略中已包含部分云服务的资源查询权限，如在使用中遇到权限问题，需要配置涉及服务的细粒度授权特性，才可以正常使用 CES AgentAccess CES Agent正常运行所需的必要权限。 系统策略 无。 CES Administrator 云监控服务的管理员权限。 系统角色 依赖Tenant Guest策略。 Tenant Guest：全局级策略，在全局项目中勾选。 CES FullAccess 云监控服务的全部权限，拥有该权限可以操作云监控服务的全部权限。 说明 CES FullAccess不满足权限最小化原则，后续不推荐使用，建议使用CES FullAccessPolicy 系统策略 云服务监控功能涉及需要查询其他云服务的实例资源，该策略中已包含部分云服务的资源查询权限，如在使用中遇到权限问题，需要配置涉及服务的细粒度授权特性，才可以正常使用统一身份认证帮助中心中“使用IAM授权的云服务”章节。 告警通知：依赖SMN服务的SMN FullAccess。 配置数据转储：依赖OBS服务的OBS OperateAccess。 CES ReadOnlyAccess 云监控服务的只读权限，拥有该权限仅能查看云监控服务的数据。 说明 CES ReadOnlyAccess不满足权限最小化原则，后续不推荐使用，建议使用CES ReadOnlyAccessPolicy 系统策略 云服务监控功能涉及需要查询其他云服务的实例资源，该策略中已包含部分云服务的资源查询权限，如在使用中遇到权限问题，需要配置涉及服务的细粒度授权特性，才可以正常使用统一身份认证帮助中心中“使用IAM授权的云服务”章节。 下表列出了云监控服务常用操作与系统权限的授权关系，您可以参照该表选择合适的系统权限。 表 常用操作与系统权限的关系 功能 操作 CES FullAccessPolicy CES ReadOnlyAccessPolicy CES Administrator （需同时添加Tenant Guest策略） Tenant Guest 监控概览 查看监控概览 √ √ √ √ 监控概览 查看监控大屏 √ √ √ √ 监控大盘 创建监控大盘 √ × √ × 监控大盘 查看监控大盘 √ √ √ √ 监控大盘 查看监控大屏 √ √ √ √ 监控大盘 添加监控视图 √ × √ × 监控大盘 查看监控视图 √ √ √ √ 监控大盘 修改监控视图 √ × √ × 监控大盘 删除监控视图 √ × √ × 监控大盘 调整监控视图位置 √ × √ × 监控大盘 删除监控大盘 √ × √ × 我的看板 创建我的看板 √ × √ × 我的看板 查看监控大屏 √ √ √ √ 我的看板 查看我的看板 √ √ √ √ 我的看板 删除我的看板 √ × √ × 我的看板 添加监控视图 √ × √ × 我的看板 查看监控视图 √ √ √ √ 我的看板 修改监控视图 √ × √ × 我的看板 删除监控视图 √ × √ × 我的看板 调整监控视图位置 √ × √ × 资源分组 创建资源分组 √ × √ × 资源分组 查看资源分组列表 √ √ √ √ 资源分组 查看资源分组（资源概览） √ √ √ √ 资源分组 查看资源分组（告警规则） √ √ √ √ 资源分组 修改资源分组 √ × √ × 资源分组 删除资源分组 √ × √ × 告警规则 创建告警规则 √ × √ × 告警规则 修改告警规则 √ × √ × 告警规则 启用告警规则 √ × √ × 告警规则 停用告警规则 √ × √ × 告警规则 删除告警规则 √ × √ × 告警规则 导出告警规则 √ √ √ × 告警规则 查看告警规则列表 √ √ √ √ 告警规则 查看告警规则详情 √ √ √ √ 告警规则 查看监控图表 √ √ √ √ 告警记录 查看告警记录 √ √ √ √ 告警记录 查看监控详情 √ √ √ √ 告警记录 屏蔽告警 √ × √ × 告警记录 手动恢复告警记录 √ × √ × 告警模板 查看默认告警模板 √ √ √ √ 告警模板 查看自定义告警模板 √ √ √ √ 告警模板 创建自定义告警模板 √ × √ × 告警模板 修改自定义告警模板 √ × √ × 告警模板 删除自定义告警模板 √ × √ × 主机监控 查看主机列表 √ √ √ √ 主机监控 查看主机监控指标 √ √ √ √ 主机监控 安装Agent √（需同时拥有ECS FullAccess权限） × √（需同时拥有ECS FullAccess权限） × 主机监控 修复插件配置 √（需同时拥有Security Administrator、ECS FullAccess权限） × √（需同时拥有Security Administrator、ECS FullAccess权限） × 主机监控 卸载Agent √（需同时拥有ECS FullAccess权限） × √（需同时拥有ECS FullAccess权限） × 主机监控 配置进程监控 √ × √ × 主机监控 配置自定义进程监控 √ × √ × 云服务监控 查看云服务列表 √（涉及云服务需要支持细粒度授权特性，参考：《统一身份认证用户指南》中“使用IAM授权的云服务”章节） √（涉及云服务需要支持细粒度授权特性，参考：《统一身份认证用户指南》中“使用IAM授权的云服务”章节） √ √ 云服务监控 查看云服务监控指标 √ √ √ √ 自定义监控 添加自定义监控数据 √ × √ × 自定义监控 查看自定义监控列表 √ √ √ √ 自定义监控 查看自定义监控数据 √ √ √ √ 事件监控 添加自定义事件 √ × √ × 事件监控 查看事件列表 √ √ √ √ 事件监控 查看事件详情 √ √ √ √ 数据转储到DMS Kafka 创建数据转储任务 √ × √ × 数据转储到DMS Kafka 查询数据转储任务列表 √ √ √ √ 数据转储到DMS Kafka 查询指定数据转储任务 √ √ √ √ 数据转储到DMS Kafka 修改数据转储任务 √ × √ × 数据转储到DMS Kafka 启动数据转储任务 √ × √ × 数据转储到DMS Kafka 停止数据转储任务 √ × √ × 数据转储到DMS Kafka 删除数据转储任务 √ × √ × 其他 配置数据转储 √（需同时拥有OBS Bucket Viewer权限） × √（需同时拥有Tenant Administrator权限） × 其他 导出监控数据 √ √ √ × 其他 发送告警通知 √ × √ ×

翼MapReduce（翼MR）是一种基于云计算平台的数据处理分析服务，打造了高可靠、高安全、易使用的运行维护平台，对外提供大容量数据的存储和分析能力，可解决用户实时性要求不高的海量数据存储和处理需求，可以独立申请和使用托管Hadoop、Spark、HBase和Hive组件。 支持的事件列表如下： 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 DBServer主备倒换 dbServerSwitchover 次要 DBServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致。 连续触发主备倒换可能影响Hive服务正常使用，导致Hive服务不可用。 Flume Channel溢出 flumeChannelOverflow 次要 Flume Channel溢出 确认flume的channel配置是否合理，业务量是否有突增。 Flume任务无法正常写入数据到后端。 NameNode主备倒换 namenodeSwitchover 次要 NameNode主备倒换 主备倒换需要和运维人员确认是否为正常操作导致。 连续触发主备倒换可能影响HDFS服务正常使用，读写HDFS文件可能失败。 ResourceManager主备倒换 resourceManagerSwitchover 次要 ResourceManager主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Yarn服务正常使用，导致任务出现异常甚至失败 JobHistoryServer主备倒换 jobHistoryServerSwitchover 次要 JobHistoryServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响MapReduce服务正常使用，导致任务日志读取异常 HMaster主备倒换 hmasterFailover 次要 HMaster主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响HBase服务正常使用 Hue发生主备切换 hueFailover 次要 Hue发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 主备倒换可能影响HUE服务正常使用，导致页面无法使用等问题 Impala HaProxy服务发生主备切换 impalaHaProxyFailover 次要 Impala HaProxy服务发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Impala服务正常使用 Impala StateStoreCatalog服务发生主备切换 impalaStateStoreCatalogFailover 次要 Impala StateStoreCatalog服务发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Impala服务正常使用 LdapServer主备倒换 ldapServerFailover 次要 LdapServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响LdapServer服务正常使用 Loader主备倒换 loaderSwitchover 次要 Loader主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 主备倒换可能影响Loader服务正常使用 Manager主备倒换 managerSwitchover 提示 Manager主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 Manager主备倒换可能导致Manager页面无法正常访问，部分监控可能出现异常数值 作业执行失败 jobRunningFailed 提示 作业执行失败 查看作业管理页面，确认失败任务是否有异常 作业执行过程出现失败 作业被终止 jobkilled 提示 作业被终止 确认任务是否人为下发终止命令 作业执行过程被终止 Oozie工作流执行失败 oozieWorkflowExecutionFailure 次要 Oozie工作流执行失败 查看Oozie日志，确认任务失败原因 Oozie工作流执行失败 Oozie定时任务执行失败 oozieScheduledJobExecutionFailure 次要 Oozie定时任务执行失败 查看Oozie日志，确认任务失败原因 Oozie定时任务执行失败 ClickHouse服务不可用 clickHouseServiceUnavailable 紧急 ClickHouse服务不可用 请参考《MapReduce服务用户指南》的“ALM45425 ClickHouse服务不可用”章节。 ClickHouse服务异常，无法通过FusionInsight Manager对ClickHouse进行集群操作，无法使用ClickHouse服务功能。 DBService服务不可用 dbServiceServiceUnavailable 紧急 DBService服务不可用 请参考《MapReduce服务用户指南》的“ALM27001 DBService服务不可用”章节。 数据库服务不可用，无法对上层服务提供数据入库、查询等功能，使部分服务异常。 DBService主备节点间心跳中断 dbServiceHeartbeatInterruption BetweentheActiveAndStandbyNodes 重要 DBService主备节点间心跳中断 请参考《MapReduce服务用户指南》的“ALM27003 DBService主备节点间心跳中断”章节。 DBService主备间心跳中断时只有一个节点提供服务，一旦该节点故障，再无法切换到备节点，就会服务不可用。 DBService主备数据不同步 dataInconsistencyBetween ActiveAndStandbyDBServices 紧急 DBService主备数据不同步 请参考《MapReduce服务用户指南》的“ALM27004 DBService主备数据不同步”章节。 主备DBServer数据不同步，如果此时主实例异常，则会出现数据丢失或者数据异常的情况。 数据库进入只读模式 databaseEnterstheReadOnlyMode 紧急 数据库进入只读模式 请参考《MapReduce服务用户指南》的“ALM27007 数据库进入只读模式”章节。 数据库进入只读模式，业务数据丢失。 Flume服务不可用 flumeServiceUnavailable 紧急 Flume服务不可用 请参考《MapReduce服务用户指南》的“ALM24000 Flume服务不可用”章节。 当Flume服务不可用时，Flume不能正常工作，数据传输业务中断。 Flume Agent异常 flumeAgentException 重要 Flume Agent异常 请参考《MapReduce服务用户指南》的“ALM24001 Flume Agent异常”章节。 产生告警的Flume Agent实例无法正常启动，定义在该实例下的数据传输任务暂时中断，对于实时数据传输，会丢失实时数据。 Flume Client连接中断 flumeClientDisconnected 重要 Flume Client连接中断 请参考《MapReduce服务用户指南》的“ALM24003 Flume Client连接中断”章节。 产生告警的Flume Client无法与Flume Server端进行通信，Flume Client端的数据无法传输到Flume Server端。 Flume读取数据异常 exceptionOccursWhenFlumeReadsData 重要 Flume读取数据异常 请参考《MapReduce服务用户指南》的“ALM24004 Flume读取数据异常”章节。 如果数据源有数据，Flume Source持续读取不到数据，数据采集会停止。 Flume传输数据异常 exceptionOccursWhenFlumeTransmitsData 重要 Flume传输数据异常 请参考《MapReduce服务用户指南》的“ALM24005 Flume传输数据异常”章节。 Flume Channel的磁盘空间使用量有继续增长的趋势，将会使数据导入到指定目的地的时间增长，当Flume Channel的磁盘空间使用量达到100%时会导致Flume Agent进程暂停工作。 Flume 证书文件非法或已损坏 flumeCertificateFileIsinvalid 重要 Flume 证书文件非法或已损坏 请参考《MapReduce服务用户指南》的“ALM24010 Flume证书文件非法或已损坏”章节。 Flume证书文件已经非法或损坏，功能受限，Flume客户端将无法访问Flume服务端。 Flume 证书文件即将过期 flumeCertificateFileIsAboutToExpire 重要 Flume 证书文件即将过期 请参考《MapReduce服务用户指南》的“ALM24011 Flume证书文件即将过期”章节。 Flume证书文件即将失效，对系统目前运行无影响。 Flume 证书文件已过期 flumeCertificateFileIsExpired 重要 Flume 证书文件已过期 请参考《MapReduce服务用户指南》的“ALM24012 Flume证书文件已过期”章节。 Flume证书文件已过期，功能受限，Flume客户端将无法访问Flume服务端。 Flume MonitorServer证书文件失效 flumeMonitorServerCertificateFileIsInvalid 重要 Flume MonitorServer证书文件失效 请参考《MapReduce服务用户指南》的“ALM24013 Flume MonitorServer证书文件非法或已损坏”章节。 MonitorServer证书文件已经非法或损坏，功能受限，Flume客户端将无法访问Flume服务端。 Flume MonitorServer证书文件即将过期 flumeMonitorServerCertificate FileIsAboutToExpire 重要 Flume MonitorServer证书文件即将过期 请参考《MapReduce服务用户指南》的“ALM24014 Flume MonitorServer证书文件即将过期”章节。 MonitorServer证书文件即将失效，对系统目前运行无影响。 Flume MonitorServer证书文件已过期 flumeMonitorServerCertificateFileIsExpired 重要 Flume MonitorServer证书文件已过期 请参考《MapReduce服务用户指南》的“ALM24015 Flume MonitorServer证书文件已过期”章节。 MonitorServer证书文件已过期，功能受限，Flume客户端将无法访问Flume服务端。 HDFS服务不可用 hdfsServiceUnavailable 紧急 HDFS服务不可用 请参考《MapReduce服务用户指南》的“ALM14000 HDFS服务不可用”章节。 无法为基于HDFS服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。 NameService服务异常 nameServiceServiceUnavailable 重要 NameService服务异常 请参考《MapReduce服务用户指南》的“ALM14010 NameService服务异常”章节。 无法为基于该NameService服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。 DataNode数据目录配置不合理 datanodeDataDirectoryIsNotConfiguredProperly 重要 DataNode数据目录配置不合理 请参考《MapReduce服务用户指南》的“ALM14011 DataNode数据目录配置不合理”章节。 如果将DataNode数据目录挂载在根目录等系统关键目录，长时间运行后会将根目录写满，导致系统故障。不合理的DataNode数据目录配置，会造成HDFS的性能下降。 Journalnode数据不同步 journalnodeIsOutOfSynchronization 重要 Journalnode数据不同步 请参考《MapReduce服务用户指南》的“ALM14012 Journalnode数据不同步”章节。 当一个JournalNode节点工作状态异常时，其数据就会与其他JournalNode节点的数据不同步。如 果超过一半的JournalNode节点的数据不同步时，NameNode将无法工作，导致HDFS服务不可用。 NameNode FsImage文件更新失败 failedToUpdateTheNameNodeFsImageFile 重要 NameNode FsImage文件更新失败 请参考《MapReduce服务用户指南》的“ALM14013 NameNode FsImage文件更新失败”章节。 如果主NameNode数据目录的FsImage没有更新，则说明HDFS元数据合并功能异常，需要修复。 如不修复，HDFS在运行一段时间后，Editlog会一直增长。此时如果重启HDFS，由于要加载非常多的Editlog，会导致启动非常耗时。另外，该告警的产生也说明备NameNode功能异常，导致NameNode的HA机制失效。一旦主NameNode故障，则整个HDFS服务将不可用。 DataNode磁盘故障 datanodeDiskFault 重要 DataNode磁盘故障 请参考《MapReduce服务用户指南》的“ALM14027 DataNode磁盘故障”章节。 上报DataNode磁盘故障告警时，表示该DataNode节点上存在故障的磁盘分区，可能会导致已写入的文件丢失。 Yarn服务不可用 yarnServiceUnavailable 紧急 Yarn服务不可用 请参考《MapReduce服务用户指南》的“ALM18000 Yarn服务不可用”章节。 集群无法提供Yarn服务。用户无法执行新的application。已提交的application无法执行。 NodeManager心跳丢失 nodemanagerHeartbeatLost 重要 NodeManager心跳丢失 请参考《MapReduce服务用户指南》的“ALM18002 NodeManager心跳丢失”章节。 丢失的NodeManager节点无法提供Yarn服务。容器减少，集群性能下降。 NodeManager不健康 nodemanagerUnhealthy 重要 NodeManager不健康 请参考《MapReduce服务用户指南》的“ALM18003 NodeManager不健康”章节。 故障的NodeManager节点无法提供Yarn服务。容器减少，集群性能下降。 Yarn 任务执行超时 yarnApplicationTimeout 次要 Yarn 任务执行超时 请参考《MapReduce服务用户指南》的“ALM18020 Yarn任务执行超时”章节。 任务执行超时后的运行时间内，该告警一直存在，但任务仍继续正常执行，没有任何影响。 Mapreduce服务不可用 mapreduceServiceUnavailable 紧急 Mapreduce服务不可用 请参考《MapReduce服务用户指南》的“ALM18021 Mapreduce服务不可用”章节。 集群无法提供Mapreduce服务，如无法通过Mapreduce查看任务日志，无法提供Mapreduce服务的日志归档功能等。 Yarn队列资源不足 insufficientYarnQueueResources 次要 Yarn队列资源不足 请参考《MapReduce服务用户指南》的“ALM18022 Yarn队列资源不足”章节。 应用任务结束时间变长。新应用提交后长时间无法运行。 HBase服务不可用 hbaseServiceUnavailable 紧急 HBase服务不可用 请参考《MapReduce服务用户指南》的“ALM19000 HBase服务不可用”章节。 无法进行数据读写和创建表等操作。 HBase系统表目录或文件丢失 systemTablePathOrFileOfHBaseIsMissing 紧急 HBase系统表目录或文件丢失 请参考《MapReduce服务用户指南》的“ALM19012 HBase系统表目录或文件丢失”章节。 HBase服务重启/启动失败。 Hive服务不可用 hiveServiceUnavailable 紧急 Hive服务不可用 请参考《MapReduce服务用户指南》的“ALM16004 Hive服务不可用”章节。 Hive无法提供数据加载，查询，提取服务。 Hive数据仓库被删除 hiveDataWarehouseIsDeleted 紧急 Hive数据仓库被删除 请参考《MapReduce服务用户指南》的“ALM16045 Hive数据仓库被删除”章节。 Hive默认数据仓库被删除，会导致在默认数据仓库中创建库、创建表失败，影响业务正常使用。 Hive数据仓库权限被修改 hiveDataWarehousePermissionIsModified 紧急 Hive数据仓库权限被修改 请参考《MapReduce服务用户指南》的“ALM16046 Hive数据仓库权限被修改”章节。 Hive默认数据仓库的权限被修改，会影响当前用户，用户组，其他用户在默认数据仓库中创建库、创建表等操作的操作权限范围。会扩大或缩小权限。 HiveServer已从Zookeeper注销 hiveServerHasBeenDeregisteredFromZookeeper 重要 HiveServer已从Zookeeper注销 请参考《MapReduce服务用户指南》的“ALM16047 HiveServer已从Zookeeper注销”章节。 当无法在Zookeeper上读取到Hive的配置，将会导致HiveServer不可用。 tez或者spark库路径不存在 tezlibOrSparklibIsNotExist 重要 tez或者spark库路径不存在 请参考《MapReduce服务用户指南》的“ALM16048 Tez或者Spark库路径不存在”章节。 Tez或者Spark库路径不存在，会影响Hive on Tez，Hive on Spark的功能。 Hue服务不可用 hueServiceUnavailable 紧急 Hue服务不可用 请参考《MapReduce服务用户指南》的“ALM20002 Hue服务不可用”章节。 系统无法提供数据加载，查询，提取服务。 Impala服务不可用 impalaServiceUnavailable 紧急 Impala服务不可用 请参考《MapReduce服务用户指南》的“ALM29000 Impala服务不可用”章节。 Impala服务异常，无法通过FusionInsight Manager对Impala进行集群操作，无法使用Impala服务功能。 Kafka服务不可用 kafkaServiceUnavailable 紧急 Kafka服务不可用 请参考《MapReduce服务用户指南》的“ALM38000 Kafka服务不可用”章节。 集群无法对外提供Kafka服务，用户无法执行新的Kafka任务。 Kafka默认用户状态异常 statusOfKafkaDefaultUserIsAbnormal 紧急 Kafka默认用户状态异常 请参考《MapReduce服务用户指南》的“ALM38007 Kafka默认用户状态异常”章节。 Kafka默认用户状态异常，会影响Broker之间的元数据同步，以及Kafka与ZooKeeper之间的交互，进而影响业务生产、消费和Topic的创建、删除等操作。 Kafka数据目录状态异常 abnormalKafkaDataDirectoryStatus 重要 Kafka数据目录状态异常 请参考《MapReduce服务用户指南》的“ALM38008 Kafka数据目录状态异常”章节。 Kafka数据目录状态异常，会导致该数据目录上所有Partition的当前副本下线，多个节点同时出现数据目录状态异常，可能会导致部分Partition不可用。 存在单副本的Topic topicsWithSingleReplica 警告 存在单副本的Topic 请参考《MapReduce服务用户指南》的“ALM38010 存在单副本的Topic”章节。 单副本的Topic存在单点故障风险，当副本所在节点异常时，会直接导致Partition没有leader，影响该Topic上的业务。 KrbServer服务不可用 krbServerServiceUnavailable 紧急 KrbServer服务不可用 请参考《MapReduce服务用户指南》的“ALM25500 KrbServer服务不可用”章节。 告警发生时，不能对集群中的组件KrbServer进行任何操作。其它组件的KrbServer认证将受影响。集群中依赖KrbServer的组件运行状态将为故障。 Kudu服务不可用 kuduServiceUnavailable 紧急 Kudu服务不可用 请参考《MapReduce服务用户指南》的“ALM29100 Kudu服务不可用”章节。 用户无法使用Kudu服务。 LdapServer服务不可用 ldapServerServiceUnavailable 紧急 LdapServer服务不可用 请参考《MapReduce服务用户指南》的“ALM25000 LdapServer服务不可用”章节。 告警发生时，不能对集群中的KrbServer和LdapServer用户进行任何操作。 例如，无法在FusionInsight Manager页面添加、删除或修改任何用户、用户组或角色，也无法修改用户密码。集群中原有的用户验证不受影响。 LdapServer数据同步异常 abnormalLdapServerDataSynchronization 紧急 LdapServer数据同步异常 请参考《MapReduce服务用户指南》的“ALM25004 LdapServer数据同步异常”章节。 LdapServer数据不一致时，有可能是Manager上的LdapServer数据损坏，也有可能是集群上的LdapServer数据损坏，此时数据损坏的LdapServer进程将无法对外提供服务，影响Manager和集群的认证功能。 Nscd服务异常 nscdServiceIsAbnormal 重要 Nscd服务异常 请参考《MapReduce服务用户指南》的“ALM25005 Nscd服务异常”章节。 nscd服务异常时，可能会影响该节点从LdapServer上同步数据，此时，使用id命令可能会获取不到Ldap中的数据，影响上层业务。 Sssd服务异常 sssdServiceIsAbnormal 重要 Sssd服务异常 请参考《MapReduce服务用户指南》的“ALM25006 Sssd服务异常”章节。 sssd服务异常时，可能会影响该节点从LdapServer上同步数据，此时，使用id命令可能会获取不到ldap中的数据，影响上层业务。 Loader服务不可用 loaderServiceUnavailable 紧急 Loader服务不可用 请参考《MapReduce服务用户指南》的“ALM23001 Loader服务不可用”章节。 如果Loader服务不可用，数据加载，导入，转换的功能也不可用。 Oozie服务不可用 oozieServiceUnavailable 紧急 Oozie服务不可用 请参考《MapReduce服务用户指南》的“ALM17003 Oozie服务不可用”章节。 无法使用Oozie服务提交作业。 Ranger服务不可用 rangerServiceUnavailable 紧急 Ranger服务不可用 请参考《MapReduce服务用户指南》的“ALM45275 Ranger服务不可用”章节。 当Ranger服务不可用时，Ranger无法正常工作，Ranger原生UI无法访问。 RangerAdmin状态异常 abnormalRangerAdminStatus 重要 RangerAdmin状态异常 请参考《MapReduce服务用户指南》的“ALM45276 RangerAdmin状态异常”章节。 当存在单个RangerAdmin状态异常时，不影响Ranger原生UI访问；当两个RangerAdmin状态异常时，Ranger原生UI无法访问，无法执行创建、修改、删除策略等操作。 Spark2x服务不可用 spark2xServiceUnavailable 紧急 Spark2x服务不可用 请参考《MapReduce服务用户指南》的“ALM43001 Spark2x服务不可用”章节。 用户提交的Spark任务执行失败。 Storm服务不可用 stormServiceUnavailable 紧急 Storm服务不可用 请参考《MapReduce服务用户指南》的“ALM26051 Storm服务不可用”章节。 集群无法对外提供Storm服务，用户无法执行新的Storm任务。 ZooKeeper服务不可用 zooKeeperServiceUnavailable 紧急 ZooKeeper服务不可用 请参考《MapReduce服务用户指南》的“ALM13000 ZooKeeper服务不可用”章节。 ZooKeeper无法为上层组件提供协调服务，依赖ZooKeeper的组件可能无法正常运行。 ZooKeeper中组件顶层目录的配额设置失败 failedToSetTheQuotaOfTopDirectoriesOf ZooKeeperComponent 次要 ZooKeeper中组件顶层目录的配额设置失败 请参考《MapReduce服务用户指南》的“ALM13005 ZooKeeper中组件顶层目录的配额设置失败”章节。 组件可以向对应的ZooKeeper顶层目录中写入大量数据，导致Zookeeper服务不可用。

向主题添加订阅 要接收发布至主题的消息，您必须添加一个订阅终端节点到该主题。消息通知服务会发送一条订阅确认的消息到订阅终端，订阅确认的消息将在48小时内有效。如果订阅者在48小时之内确认订阅，将会收到推送至主题的消息。如果订阅者在48小时之内没有确认订阅，则需要再次给订阅者发送订阅确认的消息。 1.登录管理控制台。 2.选择“管理与监管 > 消息通知服务”。 进入消息通知服务页面。 3.在左侧导航栏，选择“主题管理 > 主题”。 进入主题页面。 4.在主题列表中，选择您要向其添加订阅者的主题，在右侧“操作”栏单击“添加订阅”。 此时将显示“添加订阅”对话框。 其中：协议参数选项为“短信”、“邮件”、FunctionGraph（函数）HTTP、HTTPS。 订阅终端参数为订阅的终端地址，短信、邮件终端支持批量输入，批量添加时，每个终端地址占一行。最多可输入10个终端。 5.单击“确定”。 新增订阅将显示在页面下方的订阅列表中。 向订阅者发送消息 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 3.单击“告警管理”。 4.选择“消息订阅规则 > 添加消息订阅规则”，进入添加消息订阅页面。 5.配置消息订阅规则相关参数。 消息订阅规则参数说明 参数 说明 规则名称 用户自定义发送订阅消息的规则名称，只能包含数字、英文字符、中划线和下划线。 提醒通知 选择开启时，将按照该订阅规则为订阅者发送对应订阅消息。 选择关闭时，该规则不会生效，即不会向订阅者发送订阅消息。 主题名称 选择已创建的主题，也可以单击“创建主题”重新创建。 消息类型 选择需要订阅的消息类型。 告警 事件 订阅规则 选择需要订阅的消息规则，可根据需要勾选全部或部分规则。 、 MRS 3.x及之后版本订阅规则： 告警：紧急，重要，次要 事件：重要，次要，提示 MRS 3.x之前版本订阅规则： 致命 严重 一般 提示 6.单击“确定”完成消息提醒配置。

参数 说明 异步策略配置 最大重试次数：异步调用失败后最大重试次数，默认为1次，取值范围：03。 消息最大有效期（s）：消息最大存活时长，取值范围：186400。 成功时通知 目标服务：执行成功时发送通知到以下目标服务 1.函数工作流（FunctionGraph） 2.对象存储服务（OBS） 3.消息通知服务（SMN） 失败时通知 目标服务：执行失败时发送通知到以下目标服务 1.函数工作流（FunctionGraph） 2.对象存储服务（OBS） 3.消息通知服务（SMN）

多活容灾是否只要做好入口流量分发和底层数据同步？ 否。入口流量分发和底层数据同步是实现多活能力的重要步骤，但并不能完全保证系统具备多活能力。 要具备完整的多活能力，首先做好架构规划与演进，其次要有配套的管控能力，包括集中管理、流量控制、数据同步、数据保护等。 如何保障业务在多活场景下的数据一致性？ 默认使用异步复制和最终一致性模型，通过流量纠错和禁写保护避免脏写，有更高要求建议使用分布式数据库。 微服务是如何实现跨集群发现的？ 微服务通过注册中心数据同步来实现跨集群服务发现，服务调用时根据路由规则计算路由命中来选择跨单元或跨站点调用。 微服务在多活场景该如何处理？ 尽可能单元内自封闭，若无法自封闭，可配置HTTP/DUBBO的解析规则对微服务进行打标，流量通过路由规则计算后实现跨单元调用。 消息在多活场景该如何处理？ 生产侧在消息的header或body打标，消费侧根据路由规则进行过滤或接管，消息在站点间同步，避免数据丢失。 缓存在多活场景该如何处理？ 应用读写本地缓存集群，缓存本身不建议同步，本地数据中心的缓存不包含其他中心的数据，当流量切换到新中心时可通过数据库重建缓存。 任务调度在多活场景该如何处理？ 您可以考虑以下两个方案： 数据双活：2个站点均开启定时任务，捞取全量数据，过滤掉非本单元的数据后再执行。 应用双活：2个站点均开启定时任务，通过配置中心开关控制任务执行的主、备站点角色，由主站点执行全量定时任务。

本章节主要介绍数据仓库服务如何订阅告警通知。 用户可通过订阅DWS 的告警通知，在特定告警级别告警时收到短信、电子邮件或应用等方式的通知消息。 创建订阅 1.登录DWS管理控制台。 2.在左侧导航树，单击“告警管理”，切换至“订阅”页签。 3.在页面左上角单击“创建订阅”按钮。 4.在“订阅设置”区域，设置订阅基本信息及告警过滤。 订阅参数 参数名 参数解释 是否开启 设置是否开启告警订阅。 表示开启告警订阅。表示关闭告警订阅。关闭后停止发送已订阅告警的通知消息，但不会删除该订阅。 订阅名称 设置订阅告警的名称。 名称只能包含大写字母、小写字母、数字、和，且必须由大写字母、小写字母或数字开头。 名称长度为1～256字符。 告警级别 选择订阅告警的级别：紧急、重要、次要和提示。 5.“订阅告警列表”区域显示系统根据订阅设置筛选出的告警。在“消息通知主题名称”下拉框中，选择一个消息通知主题。 如需创建新主题，请单击“创建新主题”按钮，系统将跳转到消息通知服务控制台页面。 说明 所选择的消息通知主题，必须已授予DWS 服务向该主题发布消息的权限。如果所选主题尚未给DWS 授权，请前往消息通知服务的主题管理页面设置主题策略授权。设置主题策略时，“可发布消息的服务”需勾选“DWS”。 6.确认无误后，单击“确定”，完成创建订阅。

本章节主要介绍如何使用翼MapReduce。 翼MR是一个在云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。翼MR提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。 翼MR使用简单，通过使用在集群中连接在一起的多台计算机，您可以运行各种任务，处理或者存储（PB级）巨量数据。翼MR的基本使用流程如下： 1. 上传程序和数据文件到对象存储服务（OBS）中，用户需要先将本地的程序和数据文件上传至OBS中。 2. 自定义创建集群，用户可以指定集群类型用于离线数据分析和流处理任务，指定集群中预置的弹性云服务器实例规格、实例数量、数据盘类型（普通IO、高 IO、超高 IO）、要安装的组件（Hadoop、Spark、HBase、Hive、Kafka、Storm等）。用户可以使用引导操作在集群启动前（或后）在指定的节点上执行脚本，安装其他第三方软件或修改集群运行环境等自定义操作。 3. 管理作业，翼MR为用户提供程序执行平台，程序由用户自身开发，翼MR负责程序的提交、执行和监控。 4. 管理集群，翼MR为用户提供企业级的大数据集群的统一管理平台，帮助用户快速掌握服务及主机的健康状态，通过图形化的指标监控及定制及时的获取系统的关键信息，根据实际业务的性能需求修改服务属性的配置，对集群、服务、角色实例等实现一键启停等操作。 5. 删除集群，如果作业执行结束后不需要集群，可以删除翼MR集群。

在业务场景允许的情况下，优先选择无序消息，或者在业务能变通的情况下，将有序消息转化为无序消息。 无序消息的优点： 生产者可以使用多进程、多线程往同一个Topic发送消息，性能更好。 消费者可以使用多进程、多线程同时消费，性能较好。 可以充分使用集群的Failover特点，无须依赖自动主备切换（切换过程服务会中断），包括： 当集群中某一Broker节点故障时，不影响业务消息生产，消息将failover发送到其它节点； 当集群中某一Broker节点故障时，不影响其它节点数据消费，故障恢复后即可消费。 能动态地扩容。 有序消息的缺点： 对于有序消息，当节点故障时，Queue数不会变化，生产与消费都会出现异常，直到故障节点恢复。 对于有序消息，需要将所有消息消费完，并且停止客户端，才能扩容。

在使用全链路灰度能力时，若涉及消息的灰度，可以开启消息灰度能力。 前提条件 已部署应用。 已开通 MSE 微服务治理。 说明 使用 MSE 时会产生单独费用。MSE 的计费说明，请参见微服务治理计费概述。 功能入口 1. 登录 CAE控制台，在左侧导航栏选择应用管理 > 应用列表，然后单击目标应用名称。 2. 在左侧导航栏，选择微服务治理 > 流量治理 ，单击服务降级。 消息灰度参数说明： 参数 说明 未打标环境忽略标签 未打标环境默认会消费所有环境的消息。若配置“未打标环境忽略标签”，则未打标环境会忽略配置的标签。 开启消息灰度开关 消息灰度生效开关。 消息灰度过滤侧 客户端过滤：在消费端MSE Agent过滤，会拉取所有的消息，建议提前评估消息量。 服务端过滤：在服务端通过SQL92方式过滤，需要RocketMQ服务端支持。

本章节为您介绍如何将日志转发到外部服务器,以及日志字段说明。 日志转发是指将日志数据从日志审计服务实时或准实时地传输到外部服务器的过程，支持转发业务日志、操作日志、告警日志。 新增日志转发任务 1. 登录日志审计实例控制台。 2. 在左侧导航栏选择“系统配置 > 日志转发”，进入“日志转发”页面。 3. 根据业务需求，选择需要转发的日志或告警，单击“新增”按钮。 4. 在弹出的窗口中填写相关参数。 参数 说明 名称 自定义名称，不超过50个字符长度。 数据过滤规则 通过配置过滤参数，筛选要转发的日志： 业务日志转发：支持通过事件名称、设备IP、设备类型、事件等级、事件分组字段进行筛选。 操作日志转发：不涉及。 告警日志转发：支持通过源/目的IP、源/目的端口、告警名称、告警大/小类、告警等级、开始/结束时间进行筛选。 描述 自定义内容，不超过512个字符长度。 日志发送类型 可选udp和kafka方式，配置后该参数不可修改。 udp转发方式：支持添加多个目标。 目标地址：请输入合法的IP地址，暂不支持IPv6地址。 目标端口：请输入1~65535之间的端口。 Kafka转发方式： IP：请输入合法的IP地址，暂不支持IPv6地址。 端口：请输入1~65535之间的端口。 发送Topic：Kafka的Topic。 协议：支持PLANINTEXT和SSL/TLS协议。 若选择SSL/TLS协议，还需要配置如下参数： Keystore文件：仅支持上传.jks类型文件。 Keystore.Password：请输入正确的Keystore认证密码。 Key.Password：请输入正确的Key认证密码。 Truststore文件：仅支持上传.jks类型文件。 Truststore.Password：请输入正确的Truststore认证密码。 5. 填写完成后单击“提交”即可。

场景描述 Kafka管理应用用户生产消费权限的场景描述如下： 应用开发和测试：在应用开发和测试阶段，需要为开发人员和测试人员提供适当的生产和消费权限，以便他们能够读取和写入Kafka主题。这样可以确保他们能够有效地测试和验证应用程序的功能。 应用部署和运维：在将应用程序部署到生产环境中时，需要为运维团队提供适当的生产和消费权限。运维团队可以使用这些权限来监控和管理Kafka集群，并处理任何可能的故障或问题。 数据分析和报告：对于数据分析师和报告人员，他们可能需要从Kafka主题中读取数据进行分析和生成报告。为他们提供适当的消费权限可以帮助他们获取所需的数据，并进行相关的数据分析和报告工作。 数据集成和同步：在数据集成和同步的场景中，可能需要为特定的应用或系统提供生产和消费权限。这样可以确保数据的可靠传输和同步，以满足不同系统之间的数据需求。 多租户环境：在多租户环境中，需要管理不同租户之间的生产和消费权限。为每个租户分配独立的权限可以确保数据的隔离和安全性，同时满足不同租户的需求。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页的操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入用户管理界面，该页面展示用户列表。 （5）选择相应的用户，点击其右侧的”用户权限“按钮进行权限管理。 （6）生产权限。先点击”添加生产权限“按钮，在弹窗的左侧选择需要添加生产权限的Topic，然后点击中间按钮，最后点击”确定“完成添加。 （7）消费权限。左上角切换消费权限，点击”添加消费权限“按钮，在弹窗的左侧选择需要添加消费权限的Topic，然后点击中间按钮，最后点击”确定“完成添加。

翼MR2.18.0 发布时间：2025年5月 新增Amoro与Hue组件服务 升级Doris版本至2.1.8 华南2资源池新增可用区2与可用区3 组件 版本 Doris 2.1.8 Elasticsearch 7.10.2 HBase 2.4.12 HDFS 3.3.3 Hive 3.1.2 Kafka 2.8.1 Kerberos 1.18.2 Kibana 7.10.2 Kyuubi 1.8.2 OpenLDAP 2.4.50 Ranger 2.2.0 Spark 3.4.1 Trino 440 YARN 3.3.3 ZooKeeper 3.7.1 Flink 1.16.2 Knox 1.6.1 Logstash 7.10.2 Iceberg 1.4.3 Hudi 0.14.0 JeekeFS 1.1.1 Tez 0.10.1 Flume 1.11.0 KafkaUI 1.0.0 SeaTunnel 2.3.7 Pushgateway 1.6.2 TezUI 0.10.1 Amoro 0.7.1 Hue 4.11.0 翼MR2.17.0 发布时间：2025年3月 支持物理机服务 支持麒麟系统 新增海光与鲲鹏国产云主机规格 数据湖与自定义业务场景新增TezUI组件服务 Doris组件版本升级至2.1.6，Trino升级至440，Flume升级至1.11.0 新增Master扩容能力 新增重置集群主机密码能力 对接云日志服务 对接云审计服务 优化元数据库配置能力 组件 版本 Doris 2.1.6 Elasticsearch 7.10.2 HBase 2.4.12 HDFS 3.3.3 Hive 3.1.2 Kafka 2.8.1 Kerberos 1.18.2 Kibana 7.10.2 Kyuubi 1.8.2 OpenLDAP 2.4.50 Ranger 2.2.0 Spark 3.4.1 Trino 440 YARN 3.3.3 ZooKeeper 3.7.1 Flink 1.16.2 Knox 1.6.1 Logstash 7.10.2 Iceberg 1.4.3 Hudi 0.14.0 JeekeFS 1.1.1 Tez 0.10.1 Flume 1.11.0 KafkaUI 1.0.0 SeaTunnel 2.3.7 Pushgateway 1.6.2 TezUI 0.10.1

文件目录 日志内容 /var/log/Bigdata/audit 组件审计日志。 /var/log/Bigdata/controller 日志采集脚本日志。 controller进程日志。 controller监控日志。 /var/log/Bigdata/dbservice DBService日志。 /var/log/Bigdata/flume Flume日志。 /var/log/Bigdata/hbase HBase日志。 /var/log/Bigdata/hdfs HDFS日志。 /var/log/Bigdata/hive Hive日志。 /var/log/Bigdata/httpd httpd日志。 /var/log/Bigdata/hue Hue日志。 /var/log/Bigdata/kerberos Kerberos日志。 /var/log/Bigdata/ldapclient LDAP客户端日志。 /var/log/Bigdata/ldapserver LDAP服务端日志。 /var/log/Bigdata/loader Loader日志。 /var/log/Bigdata/logman logman脚本日志管理日志。 /var/log/Bigdata/mapreduce MapReduce日志。 /var/log/Bigdata/nodeagent NodeAgent日志。 /var/log/Bigdata/okerberos OMS Kerberos日志。 /var/log/Bigdata/oldapserver OMS LDAP日志。 /var/log/Bigdata/omm oms：“omm”服务端的复杂事件处理日志、告警服务日志、HA日志、认证与授权管理日志和监控服务运行日志。 oma：“omm”代理端的安装运行日志。 core：“omm”代理端与“HA”进程失去响应的dump日志。 /var/log/Bigdata/spark Spark日志。 /var/log/Bigdata/sudo omm执行sudo命令产生的日志。 /var/log/Bigdata/timestamp 时间同步管理日志。 /var/log/Bigdata/tomcat Tomcat日志。 /var/log/Bigdata/yarn Yarn日志。 /var/log/Bigdata/zookeeper ZooKeeper日志。 /var/log/Bigdata/kafka Kafka日志。 /var/log/Bigdata/storm Storm日志。 /var/log/Bigdata/patch 补丁日志。

section3aef9b71341e43c4)。 非简单请求的跨域访问 注意 非简单请求的跨域访问需要在API的分组中创建一个“请求方法”为“OPTIONS”的API，作为预检请求。 预检请求API的参数设置，请参考以下说明填写。详细的使用指导可参考非简单请求。 a. 在“前端定义”中，参数填写说明如下： 请求方法：选择“OPTIONS” 请求协议：选择与已开启CORS的API相同的请求协议 请求Path：填斜杠/ b. 在“安全配置”中，安全认证选“无认证”，勾选“开启支持跨域CORS”。 c. 后端服务选择Mock 简单请求 对于简单请求，您需要开启简单跨域访问。 场景一：已开启CORS，且后端服务响应消息中未指定跨域头时，API网关接受任意域的请求，并返回“AccessControlAllowOrigin”跨域头，示例如下： 浏览器发送一个带Origin字段的请求消息： GET /simple HTTP/1.1 Host: www.test.com Orgin: ContentType: application/xwwwformurlencoded; charsetutf8 Accept: application/json Date: Tue, 15 Jan 2019 01:25:52 GMT Origin：此字段必选，表示请求消息所属源，上例中请求来源于“ 后端服务返回响应消息： HTTP/1.1 200 OK Date: Tue, 15 Jan 2019 01:25:52 GMT ContentType: application/json ContentLength: 16 Server: apigateway {"status":"200"} API网关响应消息： HTTP/1.1 200 OK Date: Tue, 15 Jan 2019 01:25:52 GMT ContentType: application/json ContentLength: 16 Server: apigateway XRequestId: 454d689fa69847610b3ca486458fb08b AccessControlAllowOrigin: {"status":"200"} AccessControlAllowOrigin：此字段必选，“”表示API网关接受任意域的请求。 场景二：已开启CORS，且后端服务响应消息中指定跨域头时，后端服务响应的跨域头将覆盖API网关增加的跨域头，示例如下： 浏览器发送一个带Origin字段的请求消息： GET /simple HTTP/1.1 Host: www.test.com Orgin: ContentType: application/xwwwformurlencoded; charsetutf8 Accept: application/json Date: Tue, 15 Jan 2019 01:25:52 GMT Origin：此字段必选，表示请求消息所属源，上例中请求来源于“ 后端服务返回响应消息： HTTP/1.1 200 OK Date: Tue, 15 Jan 2019 01:25:52 GMT ContentType: application/json ContentLength: 16 Server: apigateway AccessControlAllowOrigin: {"status":"200"} AccessControlAllowOrigin：表示后端服务接受“ API网关响应消息： HTTP/1.1 200 OK Date: Tue, 15 Jan 2019 01:25:52 GMT ContentType: application/json ContentLength: 16 Server: apigateway XRequestId: 454d689fa69847610b3ca486458fb08b AccessControlAllowOrigin: {"status":"200"} 后端服务响应消息中的跨域头覆盖API网关响应消息中的跨域头。

表名，表分区个数。 Hive HQL的Map数 Hive周期内执行的HQL与执行过程中调用的Map数统计，展示的信息包括：用户、HQL语句、Map数目。 Hive HQL访问次数 周期内HQL访问次数统计信息。 Kafka Kafka磁盘使用率分布 Kafka集群的磁盘使用率分布统计。 Spark2x HQL访问次数 周期内HQL访问次数统计信息，展示信息包括用户名，HQL语句，执行该语句的次数。 Yarn 资源使用（按任务） l 任务使用的CPU核数和内存。 l 可选择“按内存”或“按CPU”观察。 Yarn 资源使用（按租户） l 租户所使用的CPU核数和内存。 l 可选择“按内存”或“按CPU”观察。 Yarn 资源使用比例（按租户） l 租户所使用的CPU核数和内存的比例。 l 可选择“按内存”或“按CPU”观察。 Yarn 任务耗时排序 对Yarn任务耗时进行排序显示。 Yarn ResourceManager RPC连接数（按用户） 统计连接到RM的Client RPC请求中，各个用户的连接数。 Yarn 操作数 统计Yarn每种操作类型对应的操作数及占比。 Yarn 队列中任务资源使用排序 l 在界面上选择某个队列（租户）后，显示在该队列中正在运行任务的消耗资源排序。 l 可选择“按内存”或“按CPU”观察。 Yarn 队列中用户资源使用排序 l 在界面上选择某个队列（租户）后，显示在该队列中正在运行任务的用户消耗的资源排序。 l 可选择“按内存”或“按CPU”观察。 ZooKeeper 资源使用（按二级Znode） l ZooKeeper服务二级znode资源状况。 l 可选择“按Znode数量”或“按容量”观察 ZooKeeper 连接数（按客户端IP） ZooKeeper客户端连接资源状况。

回调消息即需要云通信平台通知客户的消息。例如短信发送之后，接收平台推送的短信发送状态和用户回复的短信内容，随时掌握短信的发送成功率和用户的反馈信息。 配置回调消息接收URL 如果需要接收回执消息，必须先在控制台上开启消息接收。 1. 登录云通信控制台。 2. 在左侧导航栏中选择 消息设置 。 3. 在事件回调配置 中分别配置 状态报告通知URL 、 事件回调URL 、用户回复URL。 回调消息类型 名称 描述 HTTP批量推送模式 ::: smsMo（上行短信消息） 上行短信指用户发送给通信服务提供商的短信，用于定制某种服务、完成某种查询、或是办理某种业务等。通过订阅SmsMo上行短信消息，可以获知终端用户回复短信的内容。 smsMo smsReport（短信状态报告） 与上行短信相对应的是下行短信。下行是指用户收到的短信，例如运营商发送的消息通知、业务提醒等短信。通过订阅SmsReport短信下行状态报告，可以获知每条短信的发送情况，了解短信是否达到终端用户的状态与相关信息。 smsReport eventReport（事件回调消息） 可以查询签名，模板的审核状态。 eventReport

本章节介绍了如何连接已开启SSL的分布式消息服务RocketMQ实例。 实例开启SSL时，数据使用加密传输，安全性更高。本文主要介绍在命令行模式下使用SSL连接RocketMQ实例的操作，其中包含VPC内和公网环境下两种连接场景。 在使用SSL连接的场景下，通过VPC内访问和通过公网环境访问，仅涉及连接IP和端口不一致，其他操作步骤是一样的，VPC内访问的连接端口为8100，公网环境下访问的连接端口为8200。 文中仅介绍公网环境下的连接示例，在VPC内连接时，替换为相应的连接地址即可。 前提条件 已创建RocketMQ实例，并记录实例详情中的“元数据连接地址”（VPC内访问）/“元数据公网连接地址”（公网访问）。 已配置安全组。 已创建Topic。 已创建弹性云服务器，并且弹性云服务器的VPC、子网、安全组与RocketMQ实例的VPC、子网、安全组保持一致。 已安装Java Development Kit 1.8.111或以上版本，并完成环境变量配置。 命令行模式连接实例 1. 下载“rocketmqtutorial”示例软件包。 wget 2. 解压“rocketmqtutorial”。 unzip rocketmqtutorial.zip 3. 进入“rocketmqtutorial/bin”目录。 cd rocketmqtutorial/bin 4. 运行生产普通消息示例。 sh mqadmin sendMessage n "{连接地址}" t {Topic名称} p "hello rocketmq" 参数说明如下： 连接地址：表示RocketMQ实例的元数据连接地址（VPC内访问）/元数据公网连接地址（公网访问）。 Topic名称：RocketMQ实例下创建的Topic名称。 示例如下，其中“100.xxx.xxx.89:8200;100.xxx.xxx.144:8200”为RocketMQ实例的元数据公网连接地址，“topictest”为Topic名称。 sh mqadmin sendMessage n "100.xxx.xxx.89:8200;100.xxx.xxx.144:8200" t topictest p "hello rocketmq" 使用Ctrl+C命令退出。 5. 运行消费普通消息示例。 sh mqadmin consumeMessage n "{连接地址}" t {Topic名称} 参数说明如下： 连接地址：表示RocketMQ实例的元数据连接地址（VPC内访问）/元数据公网连接地址（公网访问）。 Topic名称：RocketMQ实例下创建的Topic名称。 示例如下，其中“100.xxx.xxx.89:8200;100.xxx.xxx.144:8200”为RocketMQ实例的元数据公网连接地址，“topictest”为Topic名称。 sh mqadmin consumeMessage n "100.xxx.xxx.89:8200;100.xxx.xxx.144:8200" t topictest 如需停止消费使用Ctrl+C命令退出。 6. 运行生产带消息轨迹的消息示例。 sh mqadmin sendMessage n "{连接地址}" t {Topic名称} p "hello rocketmq" m true 参数说明如下： 连接地址：表示RocketMQ实例的元数据连接地址（VPC内访问）/元数据公网连接地址（公网访问）。 Topic名称：RocketMQ实例下创建的Topic名称。 示例如下，其中“100.xxx.xxx.89:8200;100.xxx.xxx.144:8200”为RocketMQ实例的元数据公网连接地址，“topictest”为Topic名称。 sh mqadmin sendMessage n "100.xxx.xxx.89:8200;100.xxx.xxx.144:8200" t topictest p "hello rocketmq" m true 使用Ctrl+C命令退出。 7. 运行消费消息示例，并发送消息轨迹。 sh mqadmin consumeMessage n "{连接地址}" t {Topic名称} m true 参数说明如下： 连接地址：表示RocketMQ实例的元数据连接地址（VPC内访问）/元数据公网连接地址（公网访问）。 Topic名称：RocketMQ实例下创建的Topic名称。 示例如下，其中“100.xxx.xxx.89:8200;100.xxx.xxx.144:8200”为RocketMQ实例的元数据公网连接地址，“topictest”为Topic名称。 sh mqadmin consumeMessage n "100.xxx.xxx.89:8200;100.xxx.xxx.144:8200" t topictest m true 使用Ctrl+C命令退出。

本章节介绍了如何连接未开启SSL的分布式消息服务RocketMQ实例。 实例开启SSL时，数据使用加密传输，安全性更高。本文主要介绍在命令行模式下使用SSL连接RocketMQ实例的操作，其中包含VPC内和公网环境下两种连接场景。 在使用SSL连接的场景下，通过VPC内访问和通过公网环境访问，仅涉及连接IP和端口不一致，其他操作步骤是一样的，VPC内访问的连接端口为8100，公网环境下访问的连接端口为8200。 文中仅介绍公网环境下的连接示例，在VPC内连接时，替换为相应的连接地址即可。 前提条件 已创建RocketMQ实例，并记录实例详情中的“元数据连接地址”（VPC内访问）/“元数据公网连接地址”（公网访问）。 已配置安全组。 已创建Topic。 已创建弹性云服务器，并且弹性云服务器的VPC、子网、安全组与RocketMQ实例的VPC、子网、安全组保持一致。 已安装Java Development Kit 1.8.111或以上版本，并完成环境变量配置。 命令行模式连接实例 1. 下载“rocketmqtutorial.zip”示例软件包。 wget 2. 解压“rocketmqtutorial”。 unzip rocketmqtutorial.zip 3. 进入“rocketmqtutorial/bin”目录。 cd rocketmqtutorial/bin 4. 运行生产普通消息示例。 sh mqadmin sendMessage n "{连接地址}" t {Topic名称} p "hello rocketmq" 参数说明如下： 连接地址：表示RocketMQ实例的元数据连接地址（VPC内访问）/元数据公网连接地址（公网访问）。 Topic名称：RocketMQ实例下创建的Topic名称。 示例如下，其中“100.xxx.xxx.89:8200;100.xxx.xxx.144:8200”为RocketMQ实例的元数据公网连接地址，“topictest”为Topic名称。 sh mqadmin sendMessage n "100.xxx.xxx.89:8200;100.xxx.xxx.144:8200" t topictest p "hello rocketmq" 使用Ctrl+C命令退出。 5. 运行消费普通消息示例。 sh mqadmin consumeMessage n "{连接地址}" t {Topic名称} 参数说明如下： 连接地址：表示RocketMQ实例的元数据连接地址（VPC内访问）/元数据公网连接地址（公网访问）。 Topic名称：RocketMQ实例下创建的Topic名称。 示例如下，其中“100.xxx.xxx.89:8200;100.xxx.xxx.144:8200”为RocketMQ实例的元数据公网连接地址，“topictest”为Topic名称。 sh mqadmin consumeMessage n "100.xxx.xxx.89:8200;100.xxx.xxx.144:8200" t topictest 如需停止消费使用Ctrl+C命令退出。 6. 运行生产带消息轨迹的消息示例。 sh mqadmin sendMessage n "{连接地址}" t {Topic名称} p "hello rocketmq" m true 参数说明如下： 连接地址：表示RocketMQ实例的元数据连接地址（VPC内访问）/元数据公网连接地址（公网访问）。 Topic名称：RocketMQ实例下创建的Topic名称。 示例如下，其中“100.xxx.xxx.89:8200;100.xxx.xxx.144:8200”为RocketMQ实例的元数据公网连接地址，“topictest”为Topic名称。 sh mqadmin sendMessage n "100.xxx.xxx.89:8200;100.xxx.xxx.144:8200" t topictest p "hello rocketmq" m true 使用Ctrl+C命令退出。 7. 运行消费消息示例，并发送消息轨迹。 sh mqadmin consumeMessage n "{连接地址}" t {Topic名称} m true 参数说明如下： 连接地址：表示RocketMQ实例的元数据连接地址（VPC内访问）/元数据公网连接地址（公网访问）。 Topic名称：RocketMQ实例下创建的Topic名称。 示例如下，其中“100.xxx.xxx.89:8200;100.xxx.xxx.144:8200”为RocketMQ实例的元数据公网连接地址，“topictest”为Topic名称。 sh mqadmin consumeMessage n "100.xxx.xxx.89:8200;100.xxx.xxx.144:8200" t topictest m true 使用Ctrl+C命令退出。

本章节介绍了如何创建分布式消息服务RocketMQ实例的用户。 操作场景 RocketMQ实例支持ACL权限控制功能，通过创建多个用户并为其赋予不同的Topic和消费组权限，以达到用户之间的权限隔离。 前提条件 已购买RocketMQ实例。 步骤一：开启ACL访问控制 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在“连接信息”区域，单击“ACL访问控制”后的，开启ACL访问控制。 图1 开启ACL访问控制 须知： 仅2021年8月21号后购买的实例，支持设置ACL访问控制。 开启ACL访问控制会导致没有配置认证信息的客户端连接中断。 步骤二：创建用户 1. 在左侧导航栏，单击“用户管理”，进入“用户管理”页面。 2. 单击“创建用户”，弹出“创建用户”对话框。 3. 参考表1，填写用户名称和配置信息。 表1 用户参数说明 参数 说明 名称 自定义用户名称，用于识别不同的用户。 用户名创建成功后，不可修改。 IP白名单 如果请求的来源IP为IP白名单中的地址，不需要校验用户密钥是否正确，且具有所有Topic和消费组的发布+订阅权限。 IP白名单可以配置为具体的IP地址，如：192.168.1.2,192.168.2.3。也可以配置为网段，如192...。 说明 这里网段的写法，需要以192...方式写，暂不支持 192.168.0.0/24的写法。 管理员 开启管理员时，具有所有Topic和消费组的发布+订阅权限。 默认Topic权限 默认的Topic权限。 如果为指定Topic设置特殊权限，特殊权限会覆盖默认权限，此Topic的实际权限为特殊权限。例如：默认权限为订阅，指定Topic的特殊权限为发布+订阅，则此Topic实际权限为发布+订阅。 默认消费组权限 默认的消费组权限。 如果为指定消费组设置特殊权限，特殊权限会覆盖默认权限，此消费组的实际权限为特殊权限。例如：默认权限为订阅，指定消费组的权限为发布+订阅，则此消费组实际权限为发布+订阅。 密钥 设置用户的密钥。 4. 单击“确定”，完成用户的创建。

本章节介绍了如何变更分布式消息服务RocketMQ实例规格，以及扩容存储空间、扩容代理个数。 操作场景 RocketMQ实例创建成功后，您可以根据业务需要，扩容存储空间和代理个数。不支持同时扩容存储空间和代理个数，如果需要可以分别进行扩容。 当前只支持扩容，不支持缩容 。扩容存储空间有次数限制，只能扩容20次。扩容代理个数，可以扩大总分区数。 前提条件 已创建RocketMQ实例，且实例状态为“运行中”。 操作步骤 1. 登录分布式消息服务RocketMQ控制台。 2. 通过以下任意一种方法，变更实例规格。 在待变更规格的实例所在行，单击“更多 > 变更规格”。 单击RocketMQ实例名称，进入实例详情页面。单击右上角的“更多 > 变更规格”。 3. 根据实际情况选择扩容存储空间或者代理个数。 不支持同时扩容存储空间和代理个数，如果需要可以分别进行扩容。 图1 变更实例规格 扩容存储空间。 在“变更方式”中，选择“存储扩容”，在“单个代理存储空间”中，选择扩容后的单个代理的存储空间大小，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“可用存储空间”中查看扩容后的总存储空间大小（即扩容后的单个代理的存储空间代理个数）。 说明： 扩容存储空间不会影响业务。 可用存储空间实际存储空间用于存储日志的存储空间格式化磁盘的损耗。 例如，实际扩容存储空间到700GB，用于存储日志的存储空间为100GB，格式化磁盘损耗7GB，那么扩容后的可用存储空间为593GB。 扩容代理个数。 在“变更方式”中，选择“代理扩容”，在“代理个数”中，选择扩容后的代理个数，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“规格”中查看扩容后的代理个数。 说明： 扩容代理个数不会影响原来的代理，业务也不受影响。 新创建的Topic才有可能创建在新代理上，原来Topic还分布在原有代理上，如果需要使用新扩容的代理，可以通过新建Topic来实现。 已开启公网访问，且设置了弹性IP地址的实例，在扩容代理个数时，需要为新扩容的代理设置弹性IP地址。

继7月价格下调后，天翼云分布式消息服务RabbitMQ收到许多新老用户的积极反馈，为进一步回馈用户支持，我们决定增加包年折扣优惠和进行第二轮降价！ 9月25日起订购分布式消息服务RabbitMQ产品将享受1年83折 优惠，1011月将陆续开放2年7折，3年5折优惠选项，具体开放时间敬请关注产品公告。 针对现网主推的Intel、海光、鲲鹏计算增强型规格产品单价进行全面下调，相对7月价格最高降幅可达30%，详细降价情况如下： 注意 通用型规格已经调整为白名单特性，如需了解相关资费请联系技术支持。 本次包年优惠及降价适用于新资费产品范围，具体支持资源池请参阅 主机类型 规格名称 计费单位 实例包月标准价格 降幅 主机类型 规格名称 计费单位 20240925前价格 新价格 降幅 Intel计算增强型 rabbitmq.2u4g.cluster 元/代理 630 441 30% Intel计算增强型 rabbitmq.4u8g.cluster 元/代理 1260 1008 20% Intel计算增强型 rabbitmq.8u16g.cluster 元/代理 2430 2187 10% Intel计算增强型 rabbitmq.12u24g.cluster 元/代理 3690 3321 10% Intel计算增强型 rabbitmq.16u32g.cluster 元/代理 4500 4050 10% Intel计算增强型 rabbitmq.24u48g.cluster 元/代理 7560 6804 10% Intel计算增强型 rabbitmq.32u64g.cluster 元/代理 10080 9072 10% Intel计算增强型 rabbitmq.48u96g.cluster 元/代理 15120 13608 10% Intel计算增强型 rabbitmq.64u128g.cluster 元/代理 20160 18144 10% 海光计算增强型 rabbitmq.hg.2u4g.cluster 元/代理 781.2 546.84 30% 海光计算增强型 rabbitmq.hg.4u8g.cluster 元/代理 1562.4 1249.92 20% 海光计算增强型 rabbitmq.hg.8u16g.cluster 元/代理 3013.2 2410.56 20% 海光计算增强型 rabbitmq.hg.16u32g.cluster 元/代理 5580 5022 10% 海光计算增强型 rabbitmq.hg.32u64g.cluster 元/代理 12499.2 11249.28 10% 鲲鹏计算增强型 rabbitmq.kp.2u4g.cluster 元/代理 894.6 626.22 30% 鲲鹏计算增强型 rabbitmq.kp.4u8g.cluster 元/代理 1789.2 1431.36 20% 鲲鹏计算增强型 rabbitmq.kp.8u16g.cluster 元/代理 3450.6 3105.54 10% 鲲鹏计算增强型 rabbitmq.kp.16u32g.cluster 元/代理 6390 5751 10% 鲲鹏计算增强型 rabbitmq.kp.32u64g.cluster 元/代理 14313.6 12882.24 10%

本节介绍如何处理消息去重。 方案概述 在RocketMQ的业务处理过程中，如果消息重发了多次，消费者端对该重复消息消费多次与消费一次的结果是相同的，多次消费并没有对业务产生负面影响，那么这个消息处理过程是幂等的。消息幂等保证了无论消息被重复投递多少次，最终的处理结果都是一致的，避免了因消息重复而对业务产生影响。 例如在支付场景下，用户购买商品后进行支付，由于网络不稳定导致用户收到多次扣款请求，导致重复扣款。但实际上扣款业务只应进行一次，商家也只应产生一条订单流水。这时候使用消息幂等就可以避免这个问题。 在实际应用中，导致消息重复的原因有网络闪断、客户端故障等，且可能发生在消息生产阶段，也可能发生在消息消费阶段。因此，可以将消息重复的场景分为以下两类： 生产者发送消息时发生消息重复： 生产者发送消息时，消息成功发送至服务端。如果此时发生网络闪断，导致生产者未收到服务端的响应，此时生产者会认为消息发送失败，因此尝试重新发送消息至服务端。当消息重新发送成功后，在服务端中就会存在两条内容相同的消息，最终消费者会消费到两条内容一样的重复消息。 消费者消费消息时发生消息重复： 消费者消费消息时，服务端将消息投递至消费者并完成业务处理。如果此时发生网络闪断，导致服务端未收到消费者的响应，此时服务端会认为消息投递失败。为了保证消息至少被消费一次，服务端会尝试投递之前已被处理过的消息，最终消费者会消费到两条内容一样的重复消息。