如果消息重复消费会影响您的业务处理，要对消息做幂等处理。本文介绍消息幂等的概念、适用场景以及处理方法。 概念 在消息领域，幂等是指Consumer重复消费某条消息时，重复消费的结果与消费一次的结果是相同的，并且多次消费并未对业务系统产生任何负面影响。 例如，在支付场景下，Consumer消费扣款消息，对一笔订单执行扣款操作，扣款金额为500元。如果因网络不稳定等原因导致扣款消息重复投递，Consumer重复消费了该扣款消息，但最终的业务结果是只扣款一次，扣费500元，且用户的扣款记录中对应的订单只有一条扣款流水，不会多次扣除费用。那么这次扣款操作是符合要求的，整个消费过程实现了消息幂等。 适用场景 在互联网应用中，尤其在网络不稳定的情况下，分布式消息服务RabbitMQ的消息有可能会出现重复。如果消息重复消费会影响您的业务处理，请对消息做幂等处理。消息重复的可能原因如下： 发送时消息重复 当一条消息已被成功发送到服务端并完成持久化，此时出现了网络闪断或者客户端宕机，导致服务端对客户端应答失败。 如果此时Producer意识到消息发送失败并尝试再次发送消息，Consumer后续会收到两条内容相同并且Message ID也相同的消息。 投递时消息重复 消息消费的场景下，消息已投递到Consumer并完成业务处理，当客户端给服务端反馈应答的时候网络闪断。为了保证消息至少被消费一次，分布式消息服务RabbitMQ的服务端将在网络恢复后再次尝试投递之前已被处理过的消息，Consumer后续会收到两条内容相同并且Message ID也相同的消息。 负载均衡时消息重复（包括但不限于网络抖动、服务端重启以及Consumer应用重启） 当分布式消息服务RabbitMQ的服务端或客户端重启、扩容或缩容时，会触发Rebalance，此时Consumer可能会收到重复消息。

Job类型 说明 使用示例 一次性Job 创建一个Pod直至其成功结束 数据库迁移 固定结束次数的Job 依次创建一个Pod运行直至completions个成功结束 处理工作队列的Pod 固定结束次数的并行Job 依次创建多个Pod运行直至completions个成功结束 多个Pod同时处理工作队列 并行Job 创建一个或多个Pod直至有一个成功结束 多个Pod同时处理工作队列

操作 具体动作 说明 创建租户 添加租户 添加子租户 添加用户并绑定租户的角色 创建租户时，便可根据业务需求，为租户配置计算资源、存储资源和关联服务；为租户添加用户，并为用户绑定需要的角色。 创建一级租户的用户，需要绑定“Manageradministrator”或“Systemadministrator”角色。创建子租户的用户，至少需要绑定父租户对应的角色。 管理租户 管理租户目录 恢复租户数据 清除租户非关联队列 删除租户 管理租户是随着业务变化对租户进行的编辑操作。 管理或删除一级租户的用户，以及恢复租户数据的用户，需要绑定“Manageradministrator”或“Systemadministrator”角色。 管理或删除子租户的用户，至少需要绑定父租户对应的角色。 管理资源 添加资源池 修改资源池 删除资源池 配置队列 配置资源池的队列容量策略 清除队列配置 管理资源是随着业务变化对租户再次配置资源的操作。 管理资源的用户，需要绑定“Manageradministrator”或“Systemadministrator”角色。

参数 说明 队列名 开发机所属队列 可用区 开发机所属可用区 框架版本 开发机所选镜像版本 资源类型 计算资源规格： • 通用计算型 • GPU/NPU/DCU加速型

Kafka 是按分区一条一条消息顺序向前推进消费的，如果消费端拿到某条消息后执行消费逻辑失败，比如应用服务器出现了脏数据，导致某条消息处理失败，等待人工干预，那么有以下两种处理方式： 失败后一直尝试再次执行消费逻辑。这种方式有可能造成消费线程阻塞在当前消息，无法向前推进，造成消息堆积。 由于 Kafka 自身没有处理失败消息的设计，实践中通常会打印失败的消息、或者存储到某个服务（比如创建一个 Topic 专门用来放失败的消息），然后定时 check 失败消息的情况，分析失败原因，根据情况处理。

介绍分布式消息服务Kafka删除消息功能操作内容。 场景描述 在以下场景中，可以考虑删除Kafka中的消息： 错误消息：当Kafka中的消息存在错误或异常时，需要将这些消息删除。这可能是由于消息格式错误、消息内容不完整或者其他数据质量问题导致的。删除错误消息可以保持数据的一致性和准确性。 保留策略变更：Kafka中可以设置消息的保留时间或者大小，即消息在主题中的保留期限。当需要更改消息的保留策略时，可能需要删除旧的消息以应用新的策略。例如，如果要缩短消息的保留时间，则需要删除超过新保留期限的旧消息。 清理测试数据：在测试环境中，经常需要清理旧的测试数据，以确保环境的可用空间和性能。当测试数据不再需要时，可以删除相应的消息来释放资源。 故障恢复：当Kafka发生故障或者数据丢失时，可能需要删除一些消息以进行数据恢复。在这种情况下，需要根据故障的范围和影响选择删除相应的消息，以恢复数据的完整性。 需要注意的是，在删除消息之前，需要确保删除的消息不再需要或者已经备份。删除消息是不可逆的操作，一旦删除就无法恢复。因此，在执行删除操作之前，建议先进行备份或者确认消息不再需要。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“Topic管理”后进入主题管理页面。 （5）在Topic所在行，点击其右侧“更多”，在下拉框中单击“消息删除”，并选择确认。

参数 参数说明 分区数 您可以设置Topic的分区数，分区数越大消费的并发度越大。该参数设置为1时，消费消息时会按照先入先出的顺序进行消费。取值范围：1100，默认值：6 分区容量 每个分区的数据量的最大值，超过这个值后前面生产的消息将会被删除，保证了数据不会无限上涨挤爆磁盘。 是否同步刷盘 同步刷盘即确保消息被写入磁盘才会被认定为生产成功，该参数可提高可靠性，但是会影响性能。 消息保留时长 当消息生存时间超过该时长后，将会被清理，可用于控制存储成本。 最小同步副本数 该参数使得消息必须写入设定值个数的副本后，才能被认定生产成功，该参数可提高可靠性，但是过大会影响性能，且必须不大于副本数。 批处理消息最大值 每个批次中最大允许的消息大小，这影响了每次请求中能包含的消息总量和大小。 消息时间戳类型 CreateTime: 这是消息被生产者发送到Kafka时的时间戳，它表示消息创建的实际时间；LogAppendTime: 这是消息被Kafka日志接收并写入到日志文件时的时间戳，它表示消息写入 Kafka 的实际时间。 描述 topic的描述字段，可用作标记和说明。

本章节主要介绍如何配置作业消息通知。 MRS联合消息通知服务（SMN），采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式（短信和邮件通知）。通过配置作业消息通知可以实现您在作业执行成功或作业执行失败时能立即接收到通知。 操作步骤 1.登录管理控制台。 2.单击“服务列表”选择“管理与监管 > 消息通知服务”，进入消息通知服务页面。 3.创建主题并向主题中添加订阅，具体请参考配置消息通知。 4.进入MRS管理控制台，单击集群名称进入集群详情页面。 5.选择“告警管理 > 消息订阅规则 > 添加消息订阅规则”。 6.配置向订阅者发送作业执行结果消息的规则。 消息订阅规则参数说明 参数 说明 规则名称 用户自定义发送订阅消息的规则名称，只能包含数字、英文字符、中划线和下划线。 提醒通知 选择开启，将向订阅者发送对应订阅消息。 主题名称 选择已创建的主题，也可以单击“创建主题”重新创建。 消息类型 选择“事件”。 订阅规则 1. 单击“提示”前的。 2. 单击“Manager”前的。 3. 勾选“作业执行成功”和“作业执行失败”。

结果验证 1. 使用事件总线事件发布功能，发送一个自定义事件。 2. 您可以在分布式消息服务Kafka管理控制台确认是否接收到事件，如图2所示。 1. 登录分布式消息服务Kafka管理控制台，然后在左侧导航栏选择实例列表。 2. 在实例列表页面单击目标实例名称。 3. 在消息查询页面，进行对应消息查询即可查看消息内容。 图2 在分布式消息服务Kafka管理控制台消息查询界面查询消息

参数名称 说明 分区数 Topic的分区数。 老化时间 消息的最长保留时间。 副本数 Topic每个分区的副本数量。 同步复制 后端收到生产消息请求并复制给所有副本后，才返回客户端。 同步落盘 开启：生产的每条消息都会立即写入磁盘，可靠性更高。 关闭：生产的消息存在内存中，不会立即写入磁盘。 消息时间戳类型 定义消息中的时间戳类型，取值如下： CreateTime：生产者创建消息的时间。 LogAppendTime：broker将消息写入日志的时间。 批处理消息最大值 Kafka允许的最大批处理大小，如果启用消息压缩，则表示压缩后的最大批处理大小。 如果增加“批处理消息最大值”的值，且存在消费者版本早于0.10.2，此时消费者的“fetch size”值也必须增加，以便消费者可以获取增加后的批处理大小。 描述 Topic的描述信息。

本节介绍Kafka 发送给Topic的消息在分区中分布不均衡原因 问题现象 发送消息到某个Topic后，该Topic下部分分区消息比较多，部分分区消息少，甚至没有。 可能原因 发送消息时指定了分区，导致未指定的分区没有消息。 发送消息时指定了消息Key，按照对应的Key发送消息至对应的分区，导致分区消息不均衡。 通过代码重新实现了分区分配策略，但策略逻辑有问题，导致分区消息不均衡。

参数名 解释说明 策略名 推送策略的名字，也是管理相关策略的索引。 描述 对当前策略进行备注。 推送方式 邮件推送、短信推送。目前仅支持短信推送。 推送时段 全天、时间段，客户根据自身的业务需要，选择特定时间段接收消息。 推送频率 系统预置半小时、1小时、2小时、4小时、8小时、24小时。 消息类型 设备消息、平台事件消息、AI消息。 子类型 设备消息：设备离线、流离线、录制失败。 平台事件消息：设备离线。 AI消息：展示AI应用的列表信息。 消息内容 邮件、短信接收到的文案信息。 生效资源 支持用户选择目录及独立设备。 推送对象 支持用户选择用户组或具体子用户。

本文主要介绍了消息管理页面的功能和使用。 当前支持的消息接收方式包括：邮箱、短信。用户可以开启或关闭消息接收。 操作步骤 1、登录消息中心。 2、点击消息中心左侧导航，选择“消息管理“ 3、配置消息接收方式。 勾选邮箱、短信，可以选择该类消息的接收方式。 点击修改，可以选择该类消息的接收人。 勾选多个消息类型，可进行批量添加或删除消息接收人。

本节介绍如何创建MindIE NPU单机推理任务。 本示例基于 MindIE 推理框架，选用 deepseekr1distillqwen1.5b 模型进行单机部署。整体部署 2 个推理应用实例，每个实例占用 1 张 NPU 卡，因此本任务共需 2 张 NPU 卡，用于验证轻量级模型在单机环境下的推理能力。 前置条件 1. 确认智算套件已经安装并且全部运行中。 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(NPU,CPU,内存) [参考创建队列的文档]。 操作步骤 创建应用 进入智算套件，AI应用列表，在线推理菜单，创建AI应用。 基本信息 应用类型：MindIE 应用数：2 配置信息 推理类型选择 单机，推理框架，框架版本，推理模型，模型版本根据实际情况选择。简单的示例： 推理框架：ascendmindie 框架版本：2.2.RC1800IA2py311openeuler24.03lts 推理模型：deepseekr1distillqwen1.5b 模型版本：v1 队列：选择存在且资源足够的的队列 Master：CPU，内存，共享内存可以不填，NPU填：1 点击确认完成创建。

本节介绍如何创建vLLM NPU多机PD分离任务。 前置条件 1. 确认智算套件已经安装并且全部运行中 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(NPU,CPU,内存) [参考创建队列的文档] 操作步骤 创建任务 进入智算套件，AI应用列表，在线推理菜单，创建AI应用 基本信息 应用类型：vLLM 开启PD分离选择 静态PD分离 推理类型选择 多机 配置信息 推理框架，框架版本，推理模型，模型版本，Prefill 实例数和副本数，Decode 实例数和副本数，根据实际情况选择。 注意 Prefill 实例数和副本数，Decode 实例数和副本数用默认参数即可。 Prefill 菜单中的 PrefillMaster, PrefillWorker，Decode 菜单中的 DecodeMaster，DecodeWorker 启动参数用默认参数即可。 Prefill 菜单中的 PrefillMaster, PrefillWorker 中的资源都要填 NPU。 Decode 菜单中的 DecodeMaster，DecodeWorker 中的资源都要填 NPU。 简单的示例： 推理框架： ascendvllm 框架版本：v0.11.0rc2 推理模型：deepseekr1distillqwen1.5b 模型版本：v1 队列：选择存在且资源足够的的队列

参数名 描述 集群 显示上级父租户所在集群。 父租户资源 显示上级父租户的名称。 名称 指定当前租户的名称，长度为3~50个字符，可包含数字、字母或下划线（）。 根据业务需求规划子租户的名称，不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。 租户类型 指定租户是否是一个叶子租户： 选择“叶子租户”：当前租户为叶子租户，不支持添加子租户。 选择“非叶子租户”：当前租户为非叶子租户，支持添加子租户，但租户层级不能超过5层。 计算资源 为当前租户选择动态计算资源。 选择“Yarn”时，系统自动在Yarn中以子租户名称创建任务队列。 − 如果是叶子租户，叶子租户可直接提交到任务队列中。 − 如果是非叶子租户，非叶子租户不能直接将任务提交到队列中。但是，Yarn会额外为非叶子租户增加一个任务队列（隐含），队列默认命名为“default”，用于统计当前租户剩余的资源容量，实际任务不会分配在此队列中运行。 不选择“Yarn”时，系统不会自动创建任务队列。 默认资源池容量 （%） 配置当前租户使用的计算资源百分比，基数为父租户的资源总量。 默认资源池最大容量（%） 配置当前租户使用的最大计算资源百分比，基数为父租户的资源总量。 存储资源 为当前租户选择存储资源。 选择“HDFS”时，系统将自动在HDFS父租户目录中，以子租户名称创建文件夹。 不选择“HDFS”时，系统不会分配存储资源。 文件目录数上限 配置文件和目录数量配额。 存储空间配额 配置当前租户使用的HDFS存储空间配额。 当存储空间配额单位设置为MB时，范围为1～8796093022208，当“存储空间配额单位”设置为GB时，范围为1～8589934592。 此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。 如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。 如果此配额大于父租户的配额，实际存储量不超过父租户配额。 存储路径 配置租户在HDFS中的存储目录。 系统默认将自动在父租户目录中以子租户名称创建文件夹。例如子租户“ta1s”，父目录为“/tenant/ta1”，系统默认自动配置此参数值为“/tenant/ta1/ta1s”，最终子租户的存储目录为“/tenant/ta1/ta1s”。 支持在父目录中自定义存储路径。 描述 配置当前租户的描述信息。

指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 异常（exception，Websocket的异常信息统计。） exceptionType 异常类型 异常类型 ENUM LAST 异常（exception，Websocket的异常信息统计。） causeType 异常类 发生异常的类 ENUM LAST 异常（exception，Websocket的异常信息统计。） count 次数 该异常的发生次数 INT SUM 异常（exception，Websocket的异常信息统计。） message 异常消息 该异常产生的异常消息 STRING LAST 异常（exception，Websocket的异常信息统计。） stackTrace 异常堆栈 该异常产生的堆栈信息 CLOB LAST websocket消息监控（message，websocket消息处理信息。） url url websocket对应的url ENUM LAST websocket消息监控（message，websocket消息处理信息。） errorCount 错误次数 消息处理错误次数 INT SUM websocket消息监控（message，websocket消息处理信息。） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST websocket消息监控（message，websocket消息处理信息。） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST websocket消息监控（message，websocket消息处理信息。） invokeCount 调用次数 消息处理方法调用次数 INT SUM websocket消息监控（message，websocket消息处理信息。） traffic 流量 流量 INT SUM websocket消息监控（message，websocket消息处理信息。） createSessionCount 创建连接数 创建连接数 INT SUM websocket消息监控（message，websocket消息处理信息。） closeSessionCount 关闭连接数 关闭连接数 INT SUM websocket消息监控（message，websocket消息处理信息。） closeReason 关闭原因 连接关闭的原因 STRING LAST websocket消息监控（message，websocket消息处理信息。） maxTime 最大响应时间 最大响应时间 INT MAX websocket消息监控（message，websocket消息处理信息。） totalTime 总响应时间 总响应时间 INT SUM websocket消息监控（message，websocket消息处理信息。） range1 010ms 响应时间在010ms范围请求数 INT SUM websocket消息监控（message，websocket消息处理信息。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM websocket消息监控（message，websocket消息处理信息。） range3 100500ms 响应时间在100500ms范围请求数 INT SUM websocket消息监控（message，websocket消息处理信息。） range4 5001000ms 响应时间在5001000ms范围请求数 INT SUM websocket消息监控（message，websocket消息处理信息。） range5 110s 响应时间在110s范围请求数 INT SUM websocket消息监控（message，websocket消息处理信息。） range6 10s以上 响应时间在10s以上请求数 INT SUM Websocket汇总（total，汇总信息统计。） errorCount 错误次数 总的错误次数 INT SUM Websocket汇总（total，汇总信息统计。） invokeCount 调用次数 总的调用次数 INT SUM Websocket汇总（total，汇总信息统计。） createSessionCount 创建连接数 创建连接数 INT SUM Websocket汇总（total，汇总信息统计。） closeSessionCount 关闭连接数 关闭连接数 INT SUM Websocket汇总（total，汇总信息统计。） traffic 流量 流量 INT SUM Websocket汇总（total，汇总信息统计。） totalTime 总响应时间 总响应时间 INT SUM

本章节主要介绍监控告警类问题。 云监控无法展示RabbitMQ监控数据 监控数据无法展示，可能原因：队列名称开头包含特殊字符，例如点号“.”、下划线“”，建议删除带特殊字符的队列。 云监控显示通道数一直上升报警有影响吗？ 一个连接最大通道数是2047，超过后再创建通道数会失败，建议排查是否为资源没有释放导致的。

参数名 解释说明 策略名 推送策略的名字，也是管理相关策略的索引。 描述 对当前策略进行备注。 推送方式 邮件推送、短信推送，目前仅支持短信推送。 推送时段 全天、时间段，客户根据自身的业务需要，选择特定时间段接收消息。 推送频率 系统预置半小时、1小时、2小时、4小时、8小时、24小时。 消息类型 设备消息、平台事件消息、AI消息。 子类型 设备消息：设备离线、流离线、录制失败。 平台事件消息：设备离线。 AI消息：展示AI应用的列表信息。 以上类型均支持单选、多选。 消息内容 邮件、短信接收到的文案信息。 生效资源 支持用户选择业务组、目录及独立设备，支持单选、多选。 推送对象 支持用户选择用户组或具体子用户，支持单选、多选。

结果验证 1. 使用事件源触发一个事件。 2. 您可以在分布式消息服务Kafka管理控制台确认是否接收到事件，如图2所示。 1. 登录分布式消息服务Kafka管理控制台，然后在左侧导航栏选择实例列表。 2. 在实例列表页面单击目标实例名称。 3. 在消息查询页面，进行对应消息查询即可查看消息内容。 图2 在分布式消息服务Kafka管理控制台中查看消息详情

本节介绍消费端挂载NFS是否会影响消费速度 消费端在消费消息的主线程里同步将拉取的消息存储在NFS，导致消费端处理消息的速度变慢，阻塞消息处理。 可能原因 NFS本身速度就不太理想。 NFS是网络共享存储，虽然有多机器共享访问的能力优势，但多台机器访问是争抢的，消费者个数增多，性能反而下降。 解决方案 建议将消费端拉取消息和存储消息分别放在两个独立且不同的线程里操作。拉取消息的线程只管消费消息，把消息转给缓存处理线程后就继续消费消息，这样可以保证消费速度的稳定。 也可以考虑采用云盘，给每台消费端处理机挂载自己的云盘，各自独立存储，这样消费端不会再因为争抢NFS而降低性能。如果需要把最终的处理结果集中到同一个NFS上保存，仍然可以通过一个异步的工具或者线程，把云盘上的结果再转发到NFS上，而不要让同步存储NFS阻塞消息处理。总之，对于资源访问造成的处理低效，总是可以用异步处理的方式解决。

本指南主要介绍RabbitMQ实例连接信息的收集，如获取RabbitMQ实例连接地址与端口、访问实例的用户名和密码，然后提供Python语言和Spring Boot的连接示例。 RabbitMQ实例完全兼容开源RabbitMQ协议，Python以外的语言，请参考RabbitMQ官网提供的不同语言的连接和使用向导。 开源SDK列表 分布式消息服务RabbitMQ版支持所有开源版本的SDK，常见的开源SDK如下表所示。 开源SDK列表 编程语言 SDK :: Java rabbitmqjavaclient Spring Framework SpringAMQP .Net rabbitmqdotnetclient Python pika PHP phpamqplib C rabbitmqc Go amqp091go 客户端可以通过以下方式访问RabbitMQ实例： 1. VPC内子网地址访问 如果客户端与RabbitMQ实例处于同region同VPC，则可以直接访问RabbitMQ实例提供的VPC内子网地址。 2. VPC对等连接方式访问 如果客户端与RabbitMQ实例处于相同region但不同VPC，则可以通过建立VPC对等连接后，访问RabbitMQ实例提供的VPC内子网地址。 关于创建和使用VPC对等连接，可参考对等连接。 3. 公网访问 客户端在其他网络环境，或者与RabbitMQ实例处于不同region，则访问实例的公网地址。

配置资源 配置队列及任务优先级，如果还未创建队列，请参考“创建队列”相关的文档，创建完成之后点击 “创建队列” 旁边的刷新按钮再进行队列选择。 按需配置CPU、内存、GPU、NPU资源。 其他配置 root用户启动：如果关闭了 “工作空间目录配置” 选项可以选择将root用户启动关闭，将使用非root用户启动容器。 模型分析：打开模型分析时，会在创建开发机时自动创建TensorBoard服务，模型分析配置会自动关联前面数据集配置中已选择的私有数据集（仅支持配置私有数据集，公共数据集具有只读权限无法进行文件写入），可以选择不打开模型分析，后续再单独创建。 环境变量按需进行配置。 点击创建。 远程访问 查看开发机列表。 等待新建开发机的“访问”按钮可点击后，访问提示信息中的链接，先选择资源池信息，然后配置“弹性负载均衡>访问策略组”，修改isuitenotebookacl策略组的配置（默认只放开了127.0.0.1地址），需要增加本地客户端的出口IP配置。 获取本机出口IP的方式可通过百度搜索“ip地址”进行查询。 配置完成后回到“智算套件>AI应用开发”控制台，点击对应开发机的“访问”按钮即可访问该开发机，工作空间会显示持久化存储中保存的文件等。

方案概述 Kafka将Topic划分为多个分区，消息被存储在不同的分区中。在同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积，从而会造成消息消费延迟。 导致消息堆积的常见原因如下： 生产者短时间内生产大量消息到Topic，消费者无法及时消费。 消费者的消费能力不足（消费者并发低、消息处理时间长），导致消费效率低于生产效率。 消费者异常（如消费者故障、消费者网络异常等）导致无法消费消息。 Topic分区设置不合理（leader副本都集中在部分Broker中、分区数太少），或新增分区无消费者消费。 Topic频繁重平衡导致性能下降，消费效率降低。 实施步骤 从消息堆积的原因看，消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 消费者端 根据实际业务需求，合理增加消费者个数（消费并发度），建议消费者数量和分区数保持一致。 提高消费者的消费速度，通过优化消费者处理逻辑（减少复杂计算、第三方接口调用和读库操作），减少消费时间。 增加消费者每次拉取消息的数量：拉取数据/处理时间 > 生产速度。 生产者端 生产消息时，给消息Key加随机后缀，使消息均衡分布到不同分区上。（在实际业务场景中，为消息Key加随机后缀，会导致消息全局不保序，需根据实际业务判断是否适合给消息Key加随机后缀。） 服务端 合理设置Topic的分区数，在不影响业务处理效率的情况下，调大Topic的分区数量。 当服务端出现消息堆积时，对生产者进行熔断，或将生产者的消息转发到其他Topic。

批量删除 1.勾选一个或多个共享资源池后，批量删除按钮由灰色变成可操作。 2.其他流程与删除流程类似，.如果勾选的资源池有被队列引用，则只能先删除队列，才可以删除共享资源池。

参数名 描述 集群 选择要创建租户的集群。 名称 指定当前租户的名称，长度为3~50个字符，可包含数字、字母或下划线（）。 根据业务需求规划租户的名称，不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。 租户资源类型 指定租户是否是一个叶子租户： 选择“叶子租户资源”：当前租户为叶子租户，不支持添加子租户。 选择“非叶子租户资源”：当前租户为非叶子租户，支持添加子租户。 计算资源 为当前租户选择动态计算资源。 选择“Yarn”时，系统自动在Yarn中以租户名称创建任务队列。 − 如果是叶子租户，叶子租户可直接提交到任务队列中。 − 如果是非叶子租户，非叶子租户不能直接将任务提交到队列中。 但是，Yarn会额外为非叶子租户增加一个任务队列（隐含），队列默认命名为“default”，用于统计当前租户剩余的资源容量，实际任务不会分配在此队列中运行。 不选择“Yarn”时，系统不会自动创建任务队列。 配置模式 计算资源参数配置模式。 选择“基础”时，只需配置“默认资源池容量 （%）”参数即可。 选择“高级”时，可手动配置资源分配权重，租户的最小/最大/预留资源。 默认资源池容量（%） 配置当前租户在默认资源池中使用的计算资源百分比，取值范围0~100%。 权重 资源分配权重，取值范围从0到100。 最小资源 保证租户资源能获得的资源（有抢占支持）。取值可以是父租户资源的百分比或绝对值。当租户资源作业量比较少时，资源会自动借给其他租户资源，当租户资源能使用的资源不满足最小资源时，可以通过抢占来要回之前借出的资源。 最大资源 租户资源最多能使用的资源，租户资源不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。 预留资源 租户资源预留资源。即使租户资源内没有作业，预留的资源也不能给别的租户资源使用。取值可以是父租户资源的百分比或绝对值。 存储资源 为当前租户选择存储资源。 选择“HDFS”时，系统将分配存储资源。 不选择“HDFS”时，系统不会分配存储资源。 文件目录数上限 配置文件和目录数量配额。 存储空间配额 配置当前租户使用的HDFS存储空间配额。 取值范围：当存储空间配额单位设置为MB时，范围为1～8796093022208。当存储空间配额单位设置为GB时，范围为1～8589934592。 此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。 如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。 存储路径 配置租户在HDFS中的存储目录。 系统默认将自动在“/tenant”目录中以租户名称创建文件夹。例如租户“ta1”，默认HDFS存储目录为“/tenant/ta1”。 第一次创建租户时，系统自动在HDFS根目录创建“/tenant”目录。支持自定义存储路径。 服务 是否需要关联使用其他服务的资源，参见步骤4。 描述 配置当前租户的描述信息。

本节介绍Group不存在但能消费消息原因 我在分布式消息服务Kafka控制台上，未查看到对应的Group，但此Group下却有消费线程在消费消息。 可能原因 如果客户端使用assign方式消费消息，那么即使不创建Group，也可能消费消息。 如果客户端使用subscribe方式消费消息，删除Group后，消费线程未停止或者未发生Rebalance，那么消费线程还可以继续正常消费。 解决方案 如果客户端使用assign方式消费消息，请提前在分布式消息服务Kafka控制台创建Group。 请尽量复用Group，避免创建过多的Group而影响集群的稳定性。 在删除Group前，请确保已停止该Group下的所有消费线程。

本节介绍如何查看防护容器的下线通知和删除服务通知。 消息中心页面提供防护容器的下线通知和删除服务通知，以便用户及时恢复防护容器。 查看消息 1. 登录容器安全卫士控制台。 2. 在左侧导航栏，选择“消息中心”，进入消息中心页面。 3. 支持查看“服务信息”和“删除服务”类消息。 标记已读 在消息中心页面，阅读消息后，可以勾选多条消息后，单击“标记已读”，在弹出的对话框中，可以选择“全部标记已读”或只对当前选择项标记已读，选择完成后，单击“确认”。

系统角色/策略名称 描述 类别 依赖关系 DMS FullAccess 分布式消息服务管理员权限，拥有该权限的用户可以操作所有分布式消息服务的功能。 系统策略 无 DMS UserAccess 分布式消息服务普通用户权限（没有实例创建、修改、删除、扩容）。 系统策略 无 DMS ReadOnlyAccess 分布式消息服务的只读权限，拥有该权限的用户仅能查看分布式消息服务数据。 系统策略 无 DMS VPCAccess 分布式消息服务租户委托时需要授权的VPC操作权限。 系统策略 无 DMS KMSAccess 分布式消息服务租户委托时需要授权的KMS操作权限。 系统策略 无 DMS Administrator 分布式消息服务的管理员权限。 系统角色 依赖Tenant Guest和VPC Administrator。

本章节主要进行租户简介。 定义 MRS集群拥有的不同资源和服务支持多个组织、部门或应用共享使用。集群提供了一个逻辑实体来统一使用不同资源和服务，这个逻辑实体就是租户。多个不同的租户统称多租户。当前仅分析集群支持租户。 原理 MRS集群提供多租户的功能，支持层级式的租户模型，支持动态添加和删除租户，实现资源的隔离，可以对租户的计算资源和存储资源进行动态配置和管理。 计算资源指租户Yarn任务队列资源，可以修改任务队列的配额，并查看任务队列的使用状态和使用统计。 存储资源目前支持HDFS存储，可以添加删除租户HDFS存储目录，设置目录的文件数量配额和存储空间配额。 租户可以在界面上根据业务需要，在集群中创建租户、管理租户。 创建租户时将自动创建租户对应的角色、计算资源和存储资源。默认情况下，新的计算资源和存储资源的全部权限将分配给租户的角色。 默认情况下，查看当前租户的资源，在当前租户中添加子租户并管理子租户资源的权限将分配给租户的角色。 修改租户的计算资源或存储资源，对应的角色关联权限将自动更新。 MRS中最多支持512个租户。系统默认创建的租户包含“default”。和默认租户同处于最上层的租户，可以统称为一级租户。 资源池 YARN任务队列支持一种调度策略，称为标签调度（Label Based Scheduling）。通过此策略，YARN任务队列可以关联带有特定节点标签（Node Label）的NodeManager，使YARN任务在指定的节点运行，实现任务的调度与使用特定硬件资源的需求。例如，需要使用大量内存的YARN任务，可以通过标签关联具有大量内存的节点上运行，避免性能不足影响业务。 在MRS集群中，租户从逻辑上对YARN集群的节点进行分区，使多个NodeManager形成一个资源池。YARN任务队列通过配置队列容量策略，与指定的资源池进行关联，可以更有效地使用资源池中的资源，且互不影响。 MRS中最多支持50个资源池。系统默认包含一个“default”资源池。

本节介绍批量修改Topic配置 本章节指导您在控制台修改如表1所示Kafka Topic的配置。 Kafka控制台支持修改单个Topic的配置，也支持批量修改Topic配置。批量修改Topic配置时，无法修改Topic描述信息。 表1 Kafka Topic的配置参数 参数名称 说明 分区数 Topic的分区数。 老化时间 消息的最长保留时间。 副本数 Topic每个分区的副本数量。 同步复制 后端收到生产消息请求并复制给所有副本后，才返回客户端。 同步落盘 开启：生产的每条消息都会立即写入磁盘，可靠性更高。 关闭：生产的消息存在内存中，不会立即写入磁盘。 消息时间戳类型 定义消息中的时间戳类型，取值如下： CreateTime：生产者创建消息的时间。 LogAppendTime：broker将消息写入日志的时间。 批处理消息最大值 Kafka允许的最大批处理大小，如果启用消息压缩，则表示压缩后的最大批处理大小。 如果增加“批处理消息最大值”的值，且存在消费者版本早于0.10.2，此时消费者的“fetch size”值也必须增加，以便消费者可以获取增加后的批处理大小。 描述 Topic的描述信息。 约束与限制 当副本数为1时，不能开启同步复制功能。 开启同步复制后，需要在客户端配置acksall或者1，否则无效。 批量修改Topic配置时，每次最多修改100个Topic的配置。 修改同步复制、同步落盘、消息时间戳类型、批处理消息最大值和描述，不会重启实例。

步骤二：测试验证 1. 登录分布式消息服务Kafka管理控制台。 2. 在左侧导航栏，单击实例列表，选择事件流的源实例。 3. 在主题管理页面，选择源的目标主题，操作列点击更多 ，然后点击生产消息。 4. 在生产消息对话框输入想要发送的消息，然后点击发送消息。 5. 发送消息后返回实例列表，选择事件流的目标实例，进入管理。 6. 在消息查询页面，选择目标实例的目标主题，然后按时间查询，查询最近收到的消息。 7. 查看查询到的Key和Value值是否与生产的消息一致，详见图2。 图2 在分布式消息服务Kafka管理控制台查看消息详情