参数 说明 pipeline.workers 并行执行管道的Filters+Outputs阶段的工作线程数，默认值为CPU核数，建议取值为120之间。 pipeline.batch.size 单个工作线程在尝试执行其Filters和Outputs之前将从inputs收集的最大事件数，该值较大通常更有效，但会增加内存开销，默认为125。 pipeline.batch.delay 创建管道事件批时，在将过小的批调度到管道工作线程之前，等待每个事件的时间（以毫秒为单位），默认值为50。 queue.type 用于事件缓冲的内部队列模型。memory为基于内存的传统队列，persisted为基于磁盘的ACKed持久化队列，默认值为memory。 queue.checkpoint.writes 如果使用持久化队列，则表示强制执行检查点之前写入的最大事件数，默认值为1024。 queue.maxbytes 如果使用持久化队列，则表示持久化队列的总容量，确保磁盘的容量大于该值，默认值为1024。 单位：MB。

工作空间的使用需要关联队列或关联资源配额等资源，关联队列或资源配额后，工作空间内的负载都可以使用队列或资源配额的资源，目前默认工作空间只能关联队列，非默认工作空间只能关联资源配额 前置条件 1. 已购买专属集群且基于专属集群创建了队列或资源配额，详见队列管理或资源配额 2. 账号角色需为租户管理员和空间管理员 操作步骤 1. 默认工作空间关联队列和非默认工作空间关联资源配额，操作步骤一模一样，以下以非默认工作空间关联资源配额的操作步骤进行说明，在【工作空间管理】页面，找到目标工作空间，点击“配置”>“管理资源配额”进入到【工作空间配置】页面 2. 在【工作空间配置】页面，点击“关联资源配额”按钮 3. 在打开的面板中，选择需要关联的资源配额，一个工作空间可关联多个资源配额，选择后，点击“确认关联”即可 4. 配置好后，可以在【工作空间配置】页面查看关联的资源配额

编辑消息模板 1. 在消息模板列表中，单击消息模板名称行后的“修改”，根据[表1]进行修改，其中“模板名称”不可修改。 说明 内置消息模板不支持删除。 2. 编辑完成后，单击“确认”。 复制消息模板 1. 在消息模板列表中，单击消息模板名称行后的“复制”，须修改消息模板的模板名称。 2. 完成后，单击“确认”。 删除消息模板 删除消息模板 1. 在消息模板列表中，单击消息模板名称行后的“删除”。 说明 内置消息模板不支持删除。 2. 在弹出的对话框中，单击“确认”删除该消息模板。 批量删除消息模板 1. 在消息模板列表中，勾选待删除的消息模板，单击列表左上方“批量删除”。 2. 在弹出的删除消息模板页面，单击“确定”，删除所勾选的消息模板。

配置项 说明 计费说明 选择扩容节点的付费类型。可选项如下： 包年包月：按月计费，以自然月为计费单位。 按量付费：一种后付费模式，即先使用再付费。 队列 1.选择扩容节点加入的队列。 2.可创建新的队列，并将节点扩容在新队列中。 计算节点规格 选择扩容节点的规格。 镜像 选择计算节点的镜像。 注：该镜像为弹性高性能计算平台定制镜像，请优先保持集群同一镜像。 计算节点硬盘 选择扩容节点规格所对应的硬盘。 子网 选择子网，建议同一个队列保持子网一致。 计算节点数量 选择需要扩容的计算节点数量。

生产者指标 指标名称 指标说明 单位 生产TPS 统计Topic的消息生产速率，计算方式：1分钟内的最大值 条/秒 生产消息量峰值 统计消息生产速率的最大值 条/秒 累计生产消息量 统计所选时间段内所选topic累计生产的消息总量 条 消费者指标 指标名称 指标说明 单位 处理中消息量 计算选定的topic和group当前消费者客户端正在消费但是还没有返回消费成功响应到服务端的消息数。 条 已就绪消息量 计算选定的topic和group当前在服务端已经就绪可以被消费消费的消息总量，这部分消息消费者客户端还没有开始消费。 条 堆积消息量 计算选定topic和group当前消息堆积总量，包括处理中消息和已就绪消息。 条 已就绪消息排队时间 计算选定的topic和group最早一条就绪消息的就绪时间和当前时间差，数值面板展示取选定时间段内统计的最大值展示，曲线面板展示选定时间范围的序列值，当该订阅组没有在线时，该值不显示。该指标可以观测还未被处理的消息的延迟时间大小，适用于对消息延时时间比较敏感的业务场景。 毫秒，但随着数值增大会自适应变换单位 消息消费速率 计算选定topic和Group消费消息的速率。 条/秒 消费者速率峰值 计算所选定topic以及group的消息消费速率的最大值。 条/秒 消费堆积量 包含上面的堆积消息量，处理中消息量，已就绪消息量，以曲线的形式展示。 条 消息消费处理耗时 计算所选topic以及group消费时，从消息开始被消费到消费完成的处理耗时。 毫秒 消息生产速率 top20 topics 展示消息生产速率最高的前20个Topic生产速率曲线。 条/秒 消息消费速率 top20 groups 展示消息消费速率最高的前20个group消费速率曲线。 条/秒 已就绪消息量 top20 Groups 计算已就绪消息量最大的前20个Group。 条 已就绪消息排队时间 top20 Groups 计算已就绪消息量最大的前20个Group。 条 堆积消息量（包含已就绪消息以及处理中消息）top20 group 统计堆积的消息量最多的前20个Group。 条 处理中消息量 top20 Groups 计算处理中的消息量最多的前20个Group。 条 消费处理耗时 top20 Groups 计算消费处理耗时最长的前20个Group。 毫秒

本节主要介绍分布式缓存服务Redis版的计费模式 目前天翼云分布式缓存服务Redis版提供包周期（包年/包月）、按需2种计费模式供您灵活选择，使用越久越便宜。 包周期（包年/包月）：天翼云提供包月和包年的购买模式。这种购买方式相对于按需付费则能够提供更大的折扣，对于长期使用者，推荐该方式。包周期计费按照订单的购买周期来进行结算。 按需计费：这种购买方式比较灵活，可以即开即停，支持秒级计费。实例从“开通”开启计费到“删除”结束计费，按实际购买时长（精确到秒）计费。 下表列出两种模式的区别： 计费模式 包年/包月 按需计费 付费方式 预付费按照订单的购买周期结算。 后付费按照云服务器实际使用时长计费。 计费周期 按订单的购买周期计费。 按小时结算。 实例升级 支持扩容，工单施工完生效，但是施工过程中服务不可用；不支持缩容。 支持扩容，工单施工完生效，但是施工过程中服务不可用；不支持缩容。 更改计费模式 支持变更为按需资源。 支持变更为包周期资源。 变更规格 支持变更实例规格。 支持变更实例规格。 适用场景 适用于可预估资源使用周期的场景，价格比按需计费模式更优惠。对于长期使用者，推荐该方式。 适用于消息资源需求波动的场景，可以随时开通，随时删除。 包周期与按需计费方式之间可以进行转换，具体操作请参考包周期与按需互转。

本节介绍如何处理消息去重。 方案概述 在RocketMQ的业务处理过程中，如果消息重发了多次，消费者端对该重复消息消费多次与消费一次的结果是相同的，多次消费并没有对业务产生负面影响，那么这个消息处理过程是幂等的。消息幂等保证了无论消息被重复投递多少次，最终的处理结果都是一致的，避免了因消息重复而对业务产生影响。 例如在支付场景下，用户购买商品后进行支付，由于网络不稳定导致用户收到多次扣款请求，导致重复扣款。但实际上扣款业务只应进行一次，商家也只应产生一条订单流水。这时候使用消息幂等就可以避免这个问题。 在实际应用中，导致消息重复的原因有网络闪断、客户端故障等，且可能发生在消息生产阶段，也可能发生在消息消费阶段。因此，可以将消息重复的场景分为以下两类： 生产者发送消息时发生消息重复： 生产者发送消息时，消息成功发送至服务端。如果此时发生网络闪断，导致生产者未收到服务端的响应，此时生产者会认为消息发送失败，因此尝试重新发送消息至服务端。当消息重新发送成功后，在服务端中就会存在两条内容相同的消息，最终消费者会消费到两条内容一样的重复消息。 消费者消费消息时发生消息重复： 消费者消费消息时，服务端将消息投递至消费者并完成业务处理。如果此时发生网络闪断，导致服务端未收到消费者的响应，此时服务端会认为消息投递失败。为了保证消息至少被消费一次，服务端会尝试投递之前已被处理过的消息，最终消费者会消费到两条内容一样的重复消息。

接口功能介绍 创建集群（包周期，即包年/包月）。 接口约束 参数校验必须通过。 注意事项：  1.云搜索和数据分析类型集群不支持task节点组  2.云搜索类型集群的core类型节点组机器数量为115，且可以没有core节点组  3.非云搜索类型的集群，都需要存在master和core1节点组，且core1节点组机器数量为315  4.自定义类型集群需参考组件依赖关系 components组件信息如下：  datalake数据湖   必选组件：OpenLDAP(2.4.50)、Kerberos(1.18.2)、ZooKeeper(3.7.1)、HDFS(3.3.3)、YARN(3.3.3)、Hive(3.1.2)、Tez(0.10.1)、TezUI(0.10.1)、Spark(3.4.1)、Hudi(0.14.0)、Iceberg(1.4.3)   可选组件：HBase(2.4.12)、Trino(440)、Kyuubi(1.8.2)、Doris(2.1.6)、Ranger(2.2.0)、Kafka(2.8.1)、KafkaUI(1.0.0)、Knox(1.6.1)、Flink(1.16.2)、JeekeFS(1.1.1)、Flume(1.11.0)、SeaTunnel(2.3.7)、Pushgateway(1.6.2)  dataanalysis数据分析   必选组件：Doris(2.1.6)  dataservice数据服务   必选组件：OpenLDAP(2.4.50)、Kerberos(1.18.2)、ZooKeeper(3.7.1)、HDFS(3.3.3)、YARN(3.3.3)、HBase(2.4.12)   可选组件：Ranger(2.2.0)、Knox(1.6.1)、JeekeFS(1.1.1)  cloudsearch云搜索   必选组件：Elasticsearch(7.10.2)、Kibana(7.10.2)   可选组件：Logstash(7.10.2)  realtimedataprocessing实时数据流   必选组件：HDFS(3.3.3)、YARN(3.3.3)、Flink(1.16.2)、ZooKeeper(3.7.1)、Kerberos(1.18.2)、OpenLDAP(2.4.50)、Hudi(0.14.0)、Iceberg(1.4.3)、SeaTunnel(2.3.7)   可选组件：Kafka(2.8.1)、KafkaUI(1.0.0)、Knox(1.6.1)、JeekeFS(1.1.1)、Pushgateway(1.6.2)  customize自定义   可选组件：OpenLDAP(2.4.50)、Kerberos(1.18.2)、ZooKeeper(3.7.1)、HDFS(3.3.3)、YARN(3.3.3)、Hive(3.1.2)、Spark(3.4.1)、Hudi(0.14.0)、Iceberg(1.4.3)、HBase(2.4.12)、Trino(440)、Kyuubi(1.8.2)、Doris(2.1.6)、Ranger(2.2.0)、Kafka(2.8.1)、KafkaUI(1.0.0)、Knox(1.6.1)、Flink(1.16.2)、JeekeFS(1.1.1)、Flume(1.11.0)、Tez(0.10.1)、TezUI(0.10.1)、SeaTunnel(2.3.7)、Pushgateway(1.6.2) 自定义集群组件依赖关系如下：  Flink    依赖（全部）HDFS、Hudi、Iceberg、Kerberos、OpenLDAP、SeaTunnel、YARN、ZooKeeper  HBase   依赖（全部）HDFS、Kerberos、OpenLDAP、ZooKeeper  HDFS    依赖（全部）Kerberos、OpenLDAP、ZooKeeper  Hive    依赖（全部）HDFS、Hudi、Iceberg、Kerberos、OpenLDAP、Tez、YARN、ZooKeeper  Hudi    依赖（任意）Flink、Hive、Spark  Iceberg   依赖（任意）Flink、Hive、Spark  JeekeFS   依赖（全部）Kerberos  Kafka    依赖（全部）Kerberos、ZooKeeper  KafkaUI   依赖（全部）Kafka、Kerberos、OpenLDAP  Kerberos  依赖（全部）OpenLDAP  Knox    依赖（全部）Kerberos、OpenLDAP  Kyuubi   依赖（全部）HDFS、Hive、Kerberos、OpenLDAP、Spark、YARN、ZooKeeper  Ranger   依赖（全部）HDFS、Kerberos、OpenLDAP、ZooKeeper  Spark    依赖（全部）HDFS、Hive、Hudi、Iceberg、Kerberos、OpenLDAP、YARN、ZooKeeper  TezUI    依赖（全部）Tez、YARN  Trino    依赖（全部）Kerberos、OpenLDAP  YARN    依赖（全部）HDFS、Kerberos、OpenLDAP、ZooKeeper  ZooKeeper 依赖（全部）Kerberos、OpenLDAP

导出对账作业 系统支持批量导出对账作业，一次最多可导出200个对账作业。 1.选择“数据质量监控 > 对账作业”，选择要导出的对账作业。 2.单击“导出”，弹出“导出对账作业”对话框。 3.单击“导出”，切换到“导出记录”页签。 4.在导出文件列表中，单击最新导出文件对应的“下载”，可将质量作业的Excel表格下载到本地。 导入对账作业 系统支持批量导入对账作业，一次最大可导入1M数据的文件，并且最多200个对账作业。 1.选择“数据质量“监控” > 对账作业”，单击“导入”，弹出“导入对账作业”对话框。 2.在“导入配置”页签，选择模板名称重名策略。 终止：如果对账作业名称有重复，则全部导入失败。 跳过：如果对账作业名称有重复，会忽略后继续导入。 覆盖：如果对账作业名称有重复，会覆盖现有同名作业。 3.单击“上传文件”，选择准备好的数据文件。 说明 可通过如下两种方式填写数据文件： (推荐使用)通过“导出”功能，可将数据直接/或修改后批量导入系统。 通过“下载Excel模板”，将数据填写好，再导入至系统中。 4.分别配置数据连接、集群、目录、主题、的映射资源信息。单击“导入”，将填好的Excel表格模板导入到系统。 数据连接：选择导入后的数据连接类型。 集群：如果数据连接类型是DLI，需要选择对应的队列。 目录：选择导入后的对账作业存储目录。 主题：如果配置了消息通知，需要选择主题。 5.单击“导入记录页签”，可查看对应的导入记录。

本文主要介绍了站内消息的设置方法和消息类型。 用户可以接收、查看、管理天翼云发送的各类消息通知。 操作步骤 1、登录消息中心。 2、在站内消息菜单，可以进行以下操作： 查看全部、未读、已读消息。 按消息类别/消息类型，筛选查看某类消息。 将未读消息标记为已读。 删除消息。 消息类型 消息类型 消息介绍 产品信息 产品的创建、开通及资源到期提醒等产品相关信息通知 账户资金 充值、订单支付、提现等资金相关信息通知 活动消息 各类线上活动通知 服务消息 新产品上线或商业化通知 重要通知 网站重要公告、通知、声明等信息通知 其他 非以上消息类型通知

备份类型 备份内容 备份目录类型 DBService 备份DBService管理的组件（Loader、Hive、Spark、Oozie、Hue）的元数据。对于安装了多服务的集群，包含多个Hive和Spark服务实例的元数据。 l LocalDir l LocalHDFS l RemoteHDFS l NFS l CIFS l SFTP l OBS Kafka Kafka的元数据。 l LocalDir l LocalHDFS l RemoteHDFS l NFS l CIFS l OBS NameNode 备份HDFS元数据。添加多个NameService后，支持不同NameService的备份恢复功能且备份恢复操作与默认实例“hacluster”一致。 l LocalDir l RemoteHDFS l NFS l CIFS l SFTP l OBS Yarn 备份Yarn服务资源池相关信息。 l LocalDir l RemoteHDFS l NFS l CIFS l SFTP l OBS HBase HBase系统表的tableinfo文件和数据文件。 l LocalDir l RemoteHDFS l NFS l CIFS l SFTP l OBS

本章节主要介绍数据湖探索（DLI）的购买流程。 1.注册天翼云官网账号，登录后进入官网首页； 2.在官网首页，单击左上角“产品”，【大数据>数据湖探索】； 3.在【数据湖探索】界面，单击【立即开通】； 4.在数据湖探索队列购买页面选择CPU架构、队列规格并填写相关配置信息，勾选服务协议，单击【立即购买】； 5.按页面提示，单击【提交】即完成队列创建。队列创建完成后，您可在产品控制台“队列管理”页面看到您创建的队列。

属性 说明 数据连接 选择数据连接。 数据库 选择数据库。 资源队列 选择执行DLI作业的资源队列。当脚本为DLI SQL时，配置该参数。如需新建资源队列，请参考以下方法： 单击 ，进入DLI的“队列管理”页面新建资源队列。 前往DLI管理控制台进行新建。 说明 DLI提供默认资源队列“default”，该资源队列不支持insert、load、cat命令。 如需以“key/value”的形式设置提交SQL作业的属性，请单击 。最多可设置10个属性，属性说明如下： dli.sql.autoBroadcastJoinThreshold（自动使用BroadcastJoin的数据量阈值） dli.sql.shuffle.partitions（指定Shuffle过程中Partition的个数） dli.sql.cbo.enabled（是否打开CBO优化策略） dli.sql.cbo.joinReorder.enabled（开启CBO优化时，是否允许重新调整join的顺序） dli.sql.multiLevelDir.enabled（OBS表的指定目录或OBS表分区表的分区目录下有子目录时，是否查询子目录的内容；默认不查询） dli.sql.dynamicPartitionOverwrite.enabled（在动态分区模式时，只会重写查询中的数据涉及的分区，未涉及的分区不删除）

组件名称 集群部署的依赖组件 Doris / Elasticsearch / HBase HDFS、ZooKeeper、Kerberos、OpenLDAP HDFS ZooKeeper、Kerberos、OpenLDAP Hive HDFS、YARN、ZooKeeper、Kerberos、OpenLDAP、Hudi、Iceberg、Tez Kafka ZooKeeper、Kerberos、OpenLDAP Kerberos OpenLDAP Kibana Elasticsearch Kyuubi Spark、Hive、HDFS、YARN、ZooKeeper、OpenLDAP、Kerberos、Iceberg、Hudi、Tez OpenLDAP / Ranger HDFS、OpenLDAP、Kerberos、ZooKeeper Spark HDFS、YARN、Hive、ZooKeeper、OpenLDAP、Kerberos、Iceberg、Hudi、Tez Trino Kerberos、OpenLDAP YARN ZooKeeper、Kerberos、HDFS、OpenLDAP ZooKeeper Kerberos、OpenLDAP Flink HDFS、YARN、Kerberos、OpenLDAP、ZooKeeper、Iceberg、SeaTunnel、Hudi Hudi Hive/Spark/Flink Iceberg Hive/Spark/Flink Knox Kerberos、OpenLDAP Logstash / JeekeFS Kerberos、OpenLDAP Tez HDFS、YARN、Hive、ZooKeeper、OpenLDAP、Kerberos、Iceberg、Hudi Flume / KafkaUI Kafka、OpenLDAP、Kerberos、ZooKeeper SeaTunnel HDFS、YARN、Flink、OpenLDAP、Kerberos、ZooKeeper、Iceberg、Hudi Pushgateway / TezUI OpenLDAP、Hudi、Kerberos、Hive、ZooKeeper、Iceberg、Tez、HDFS、YARN Amoro Kerberos、OpenLDAP、ZooKeeper、HDFS、YARN Hue Kerberos、OpenLDAP DolphinScheduler HDFS、OpenLDAP、Kerberos、ZooKeeper

本节介绍消费端挂载NFS是否会影响消费速度 消费端在消费消息的主线程里同步将拉取的消息存储在NFS，导致消费端处理消息的速度变慢，阻塞消息处理。 可能原因 NFS本身速度就不太理想。 NFS是网络共享存储，虽然有多机器共享访问的能力优势，但多台机器访问是争抢的，消费者个数增多，性能反而下降。 解决方案 建议将消费端拉取消息和存储消息分别放在两个独立且不同的线程里操作。拉取消息的线程只管消费消息，把消息转给缓存处理线程后就继续消费消息，这样可以保证消费速度的稳定。 也可以考虑采用云盘，给每台消费端处理机挂载自己的云盘，各自独立存储，这样消费端不会再因为争抢NFS而降低性能。如果需要把最终的处理结果集中到同一个NFS上保存，仍然可以通过一个异步的工具或者线程，把云盘上的结果再转发到NFS上，而不要让同步存储NFS阻塞消息处理。总之，对于资源访问造成的处理低效，总是可以用异步处理的方式解决。

术语 说明 cURL cURL是一个利用URL语法在命令行下工作的文件传输工具，可用于检测系统是否可以访问目标站点。 Dig Dig是一个在类Unix命令行模式下查询DNS信息（包括NS记录、A记录、MX记录等）的工具。 基线核查 基线核查是指对主机操作系统、数据库、软件和容器的配置进行安全检测，并提供检测结果说明和加固建议。 基线核查可以帮您进行系统安全加固，降低入侵风险并满足安全合规要求。 漏洞扫描 漏洞扫描是指基于漏洞数据库，通过扫描等手段对指定的远程或者本地计算机系统的安全脆弱性进行检测，发现可利用漏洞的一种安全检测（渗透攻击）行为。 引擎 本文的“引擎”为扫描核心技术，即最终进行漏洞扫描工作的服务。 资产 即扫描器所扫描的主机、数据库、网站等。 DDoS 分布式拒绝服务攻击（Distributed Denial of Service Attack，DDoS）是指处于不同位置的多个攻击者同时向一个或数个目标发动攻击，或者一个攻击者控制了位于不同位置的多台机器并利用这些机器对受害者同时实施攻击。由于攻击的发出点是分布在不同地方的，这类攻击称为分布式拒绝服务攻击，其中的攻击者可以有多个。 EDR 端点检测与响应（Endpoint Detection & Response，EDR）是一种主动的安全方法，可以实时监控端点，并搜索渗透到防御系统中的威胁。EDR是一种新兴的技术，可以更好地了解端点上发生的事情，提供关于攻击的上下文和详细信息。 认证 是一种信用保证形式。按照国际标准化组织（ISO）和国际电工委员会（IEC）的定义，由国家认可的认证机构证明一个组织的产品、服务、管理体系符合相关标准、技术规范（TS）或其强制性要求的合格评定活动。 虚拟机 虚拟机（Virtual Machine）指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。 在实体计算机中能够完成的工作在虚拟机中都能够实现。 在计算机中创建虚拟机时，需要将实体机的部分硬盘和内存容量作为虚拟机的硬盘和内存容量。每个虚拟机都有独立的CMOS、硬盘和操作系统，可以像使用实体机一样对虚拟机进行操作。 AES 密码学中的高级加密标准（Advanced Encryption Standard，AES），又称Rijndael加密法，是美国联邦政府采用的一种区块加密标准。这个标准用来替代原先的DES（Data Encryption Standard），已经被多方分析且广为全世界所使用。 Apache Apache是一款Web服务器软件。它可以运行在几乎所有广泛使用的计算机上，由于其跨平台和安全性被广泛使用，是最流行的Web服务器端软件之一。 CC攻击 CC攻击（Challenge Collapsar Attack，挑战黑洞攻击）是DDoS攻击的一种类型，使用代理服务器向受害服务器发送大量假冒合法的请求，造成被攻击服务器资源耗尽，一直到宕机崩溃。 DES DES（Data Encryption Standard，数据加密标准）是一种使用密钥加密的块算法，1977年被美国联邦政府的国家标准局确定为联邦资料处理标准（FIPS），并授权在非密级政府通信中使用，随后该算法在国际上广泛流传开来。 HA 高可靠性（High Availability，简称HA）能够在通信线路或设备发生故障时提供备用方案，防止由于单个产品故障或链路故障导致网络中断，保证网络服务的连续性。 LACP LACP（Link Aggregation Control Protocol，链路聚合控制协议）是一种基于IEEE802.3ad标准的协议。 LACP协议通过LACPDU（Link Aggregation Control Protocol Data Unit，链路聚合控制协议数据单元）与对端交互信息。链路聚合往往用在两个重要节点或繁忙节点之间，既能增加互联带宽，又提供了连接的可靠性。 LDAP LDAP（Lightweight Directory Access Protocol，是轻量目录访问协议）是互联网上目录服务的通用访问协议。 LDAP服务可以有效解决众多网络服务的用户账户问题，LDAP服务器是用于查询和更新LDAP目录的服务器，包括用户账号目录。 MTU 最大传输单元（Maximum Transmission Unit，MTU）用来通知对方所能接受服务单元的最大尺寸，说明发送方能够接受的有效荷载大小。 SSL SSL（Secure Sockets Layer，安全套接字协议）及TLS（Transport Layer Security，继任者传输层安全）是为网络通信提供安全及数据完整性的一种安全协议。TLS与SSL在传输层与应用层之间对网络连接进行加密。 VRRP 虚拟路由冗余协议（Virtual Router Redundancy Protocol，简称VRRP）是由IETF提出的解决局域网中配置静态网关出现单点失效现象的路由协议，它是一种路由容错协议，也可以叫做备份路由协议。 WebShell Webshell就是以asp、php、jsp或者cgi等网页文件形式存在的一种命令执行环境，也可以将其称为一种网页后门。 黑客在入侵了一个网站后，通常会将asp或php后门文件与网站服务器Web目录下正常的网页文件混在一起，然后就可以使用浏览器来访问asp或者php后门，得到一个命令执行环境，以达到控制网站服务器的目的。 Kafka Kafka是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中所有动作流数据。这些数据通常由于吞吐量要求而通过处理日志和日志聚合来解决。 SNMP SNMP（Simple Network Management Protocol，简单网络管理协议）是标准IP网络管理协议，支持目前主流的网络管理系统。 SQL SQL（Structured Query Language，结构化查询语言）是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。 Syslog Syslog是一种行业标准的协议，可用来记录设备的日志。 Syslog日志消息既可以记录在本地文件中，也可以通过网络发送到接收Syslog的服务器。服务器可以对多个设备的Syslog消息进行统一的存储，或者解析其中的内容做相应的处理。常见的应用场景是网络管理工具、安全管理系统、日志审计系统。

如果消息重复消费会影响您的业务处理，要对消息做幂等处理。本文介绍消息幂等的概念、适用场景以及处理方法。 概念 在消息领域，幂等是指Consumer重复消费某条消息时，重复消费的结果与消费一次的结果是相同的，并且多次消费并未对业务系统产生任何负面影响。 例如，在支付场景下，Consumer消费扣款消息，对一笔订单执行扣款操作，扣款金额为500元。如果因网络不稳定等原因导致扣款消息重复投递，Consumer重复消费了该扣款消息，但最终的业务结果是只扣款一次，扣费500元，且用户的扣款记录中对应的订单只有一条扣款流水，不会多次扣除费用。那么这次扣款操作是符合要求的，整个消费过程实现了消息幂等。 适用场景 在互联网应用中，尤其在网络不稳定的情况下，分布式消息服务RabbitMQ的消息有可能会出现重复。如果消息重复消费会影响您的业务处理，请对消息做幂等处理。消息重复的可能原因如下： 发送时消息重复 当一条消息已被成功发送到服务端并完成持久化，此时出现了网络闪断或者客户端宕机，导致服务端对客户端应答失败。 如果此时Producer意识到消息发送失败并尝试再次发送消息，Consumer后续会收到两条内容相同并且Message ID也相同的消息。 投递时消息重复 消息消费的场景下，消息已投递到Consumer并完成业务处理，当客户端给服务端反馈应答的时候网络闪断。为了保证消息至少被消费一次，分布式消息服务RabbitMQ的服务端将在网络恢复后再次尝试投递之前已被处理过的消息，Consumer后续会收到两条内容相同并且Message ID也相同的消息。 负载均衡时消息重复（包括但不限于网络抖动、服务端重启以及Consumer应用重启） 当分布式消息服务RabbitMQ的服务端或客户端重启、扩容或缩容时，会触发Rebalance，此时Consumer可能会收到重复消息。

配置参数 默认端口 端口说明 kafkamanagerport 9099 KafkaManager的WEB UI端口。

发生消费位点重置的两种情况 当服务端不存在曾经提交过的位点时（比如客户端第一次上线）； 当从非法位点拉取消息时（比如某个分区最大位点是10，但客户端却从11开始拉取消息）。 配置重置策略 Java 客户端可以通过auto.offset.reset来配置重置策略，主要策略有： latest：从最大位点开始消费； earliest：从最小位点开始消费； none：不做任何操作，也即不重置。 策略配置建议 强烈建议设置成“latest”，而不要设置成“earliest”，避免因位点非法时从头开始消费，从而造成大量重复 如果是客户自己管理位点，可以设置成”none”； 拉取大消息。 拉取消息注意事项 消费过程是由客户端主动去服务端拉取消息的，在拉取大消息时，需要注意控制拉取速度，注意修改配置。 max.poll.records：如果单条消息超过1MB，建议这里设置为1； fetch.max.bytes：设置比单条消息的大小略大一点； max.partition.fetch.bytes：设置比单条消息的大小略大一点。拉取大消息的核心是一条一条拉。

参数名称 描述 数据格式 导出查询结果数据的文件格式。支持json和csv格式。 队列 选择运行的队列。SQL作业只能在队列类型为“SQL队列”下执行。具体队列创建可以参考6.3 创建队列。 压缩格式 导出查询结果数据的压缩方式，选择如下压缩方式。 l none l bzip2 l deflate l gzip 存储路径 输入或选择OBS的路径。 说明 l 选择OBS桶后，请在文本框中定义文件夹名称，若该文件夹不存在，则会在OBS中创建。 l 文件夹名称不能包含下列特殊字符： / : ? " < > ，并且不能以“.”开头和结尾。 导出方式 导出查询结果数据的保存方式。 l 随导出创建指定路径：指定的导出目录必须不存在，如果指定目录已经存在，系统将返回错误信息，无法执行导出操作。 l 覆盖指定路径：在指定目录下新建文件，会删除已有文件。 结果条数 导出查询结果数据的数量。不填写数值或数值为“0”时，导出全部结果。 表头 设置导出查询结果数据是否含表头。

本文主要介绍了消息管理页面的功能和使用。 当前支持的消息接收方式包括：邮箱、短信。用户可以开启或关闭消息接收。 操作步骤 1、登录消息中心。 2、点击消息中心左侧导航，选择“消息管理“ 3、配置消息接收方式。 勾选邮箱、短信，可以选择该类消息的接收方式。 点击修改，可以选择该类消息的接收人。 勾选多个消息类型，可进行批量添加或删除消息接收人。

配置项 说明 伸缩名称 长度为115个字符，仅支持数字、英文字母或下划线，必须以英文字母为首。 应用队列 默认展示选择的应用队列。 伸缩组最大节点数（台） 配置伸缩组内的最大节点数，当伸缩组内节点数大于最大节点数时，自动伸缩服务会自动移出节点，使得队列的当前实例数等于最大节点数。 伸缩组最小节点数（台） 配置伸缩组内的最小节点数，当伸缩组内节点数小于最小节点数时，自动伸缩服务会自动添加节点，使得队列的当前实例数等于最小节点数。 自动扩容 是否开启自动扩容。 自动缩容 是否开启自动缩容。 缩容时间（分钟） 计算节点的连续空闲时间超过缩容时间时，该节点会被释放。 伸缩策略 全量策略：根据单次最大伸缩节点数和伸缩组满足节点数，全量伸缩所需的节点数，不考虑队列中已有的空闲节点数。 增量策略：根据单次最大伸缩节点数、伸缩组满足节点数以及队列已有空闲节点数。增量伸缩所需的节点数。 计算节点规格 选择自动扩容节点的规格。 镜像 选择自动扩容节点的镜像。 注：该镜像为弹性高性能计算平台定制镜像，请优先保持集群同一镜像。 计算节点硬盘 选择自动扩容节点规格所对应的硬盘。 子网 选择子网，建议同一个队列保持子网一致。

本章节主要介绍翼MapReduce服务退服和入服务角色实例。 操作场景 某个Core或Task节点出现问题时，可能导致整个集群状态显示为“异常”。MRS集群支持将数据存储在不同Core节点，用户可以在MRS Manager指定角色实例退服，使退服的角色实例不再提供服务。在排除故障后，可以将已退服的角色实例入服。 支持退服、入服的角色实例包括： HDFS的DataNode角色实例 Yarn的NodeManager角色实例 HBase的RegionServer角色实例 Kafka的Broker角色实例 限制： 当DataNode数量少于或等于HDFS的副本数时，不能执行退服操作。例如HDFS副本数为3时，则系统中少于4个DataNode，将无法执行退服，Manager在执行退服操作时会等待30分钟后报错并退出执行。 Kafka Broker数量少于或等于副本数时，不能执行退服。例如Kafka副本数为2时，则系统中少于3个节点，将无法执行退服，Manager执行退服操作时会失败并退出执行。 已经退服的角色实例，必须执行入服操作启动该实例，才能重新使用。 操作步骤 在MRS Manager，单击“服务管理”。 1.单击服务列表中相应服务。 2.单击“实例”页签。 3.勾选指定角色实例名称前的复选框。 4.选择“更多 > 退服”或“入服”执行相应的操作。 说明 实例退服操作未完成时在其他浏览器窗口重启集群中相应服务，可能导致MRS Manager提示停止退服，实例的“操作状态”显示为“已启动”。实际上后台已将该实例退服，请重新执行退服操作同步状态。

安全组 安全组可重复使用，您也可以根据实际情况使用不同的安全组，请根据实际需要进行配置。 创建安全组的操作指导，请参考虚拟私有云创建安全组。 若需要为安全组添加规则，请参考虚拟私有云安全组添加安全组规则。 弹性云主机 用户若需要自己客户应用接入RocketMQ发送、消费消息，需先购买弹性云主机并确保和RocketMQ实例在同一VPC下。创建操作说明请参见创建弹性云主机。 其他工具 下载安装工具Eclipse3.6.0以上版本 或者IntelliJ ，JDK 1.8.111以上版本。 生产消费验证涉及的SDK如下： rocketmq引擎版本：推荐使用的社区版Java SDK版本为4.9.3，请访问Apache RocketMQ官网下载。 ctgmq引擎版本（已调整白名单特性）：点击ctgmqSDK直接下载。

本节介绍如何创建vLLM GPU 单机推理任务。 前置条件 1. 确认智算套件已经安装并且全部运行中 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(GPU,CPU,内存) [参考创建队列的文档] 操作步骤 创建任务 进入智算套件，AI应用列表，在线推理菜单，创建AI应用 基本信息 应用类型：vLLM 推理类型选择 单机 推理框架，框架版本，推理模型，模型版本根据实际情况选择。 配置信息 简单的示例： 推理框架： nvidiavllm 框架版本：v0.11.2 推理模型：deepseekr1distillqwen1.5b 模型版本：v1 资源：CPU，内存，共享内存可以不填 选择 GPU：2 队列：选择存在且资源足够的的队列 点击确认完成创建。

本节介绍如何创建vLLM GPU 单机推理任务。 前置条件 1. 确认智算套件已经安装并且全部运行中 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(GPU,CPU,内存) [参考创建队列的文档] 操作步骤 1. 进入智算套件，AI应用列表，在线推理菜单，创建AI应用 2. 创建应用 应用类型：vLLM 推理类型选择 单机 推理框架，框架版本，推理模型，模型版本根据实际情况选择。 简单的示例： 推理框架： nvidiavllm 框架版本：v0.11.2 推理模型：deepseekr1distillqwen1.5b 模型版本：v1 资源：CPU，内存，共享内存可以不填 选择 GPU：2 队列：选择存在且资源足够的的队列 点击确认完成创建。

QoS支持 提供三种级别 QoS支持 QoS0：AtMostOnce 允许消息少量丢失，最多传输一次 QoS1：AtLeastOnce 确保消息一定到达，可少量重复 QoS2：ExactlyOnce 有且仅有一次 QoS在发布和订阅时都可以设置，以控制消息的传递可靠性。需要注意的是，消息从发布者到订阅者之间是分两步的，所以要同时设置发布者和订阅者的QoS，以确保消息可靠地传递。 离线消息 MQTT协议支持离线消息传递，这允许终端在重新连接到MQTT服务器时获取未传递的消息。这对于许多业务场景都非常有用，特别是在物联网和实时通信中，当设备可能会断线并需要在重新连接后获取之前丢失的消息时。 以下是如何在MQTT中实现离线消息获取的一般步骤： 保留消息（Retained Messages）： 在MQTT中，发布者可以标记消息为保留消息。保留消息会在Broker上保存，而不仅仅是传递给当前在线的订阅者。当一个新的订阅者订阅与保留消息相关的主题时，它会立即接收到该消息，即使该消息是在其离线期间发布的。 持久性会话（Persistent Session）： MQTT客户端可以选择创建持久性会话，以便在断线后能够重新连接并获取未传递的消息。持久性会话会在服务器上保留客户端的订阅状态和未传递的消息。当客户端重新连接时，服务器将恢复其之前的订阅状态，并将任何未传递的消息发送给它。 QoS级别（Quality of Service）： 使用QoS级别1或2可以确保消息在传递时至少被传递一次，这有助于确保断线重连后能够获取未传递的消息。QoS级别2提供最高级别的消息传递保证。 持久订阅（Durable Subscription）： 在MQTT中，客户端可以创建持久订阅，这允许它在断线后继续接收消息。持久订阅通常与持久性会话结合使用，以确保消息在离线期间不会丢失。 设置Clean Session标志： 当客户端连接到MQTT服务器时，可以设置"Clean Session"标志。如果设置为true，服务器将不会保留客户端的订阅状态和未传递的消息，这意味着客户端将从头开始，不会获取离线期间的消息。如果设置为false，则客户端可以获取离线期间的消息。

本文主要介绍了消息接收人设置的操作流程。 消息接收人默认为账号联系人，不可编辑、删除。在账号联系人之外，用户可以添加或删除消息接收人，也可对消息接收人信息进行修改。 操作步骤 1、登录消息中心。 2、点击消息中心左侧导航，选择“消息接收人设置”。 3、消息接收人设置 新增消息接收人 （1）点击“新增消息接收人”，根据页面提示填写接收人姓名、手机号、邮箱并提交。 （2）点击邮箱及手机号右侧提示完成验证。 说明 需要邮箱及手机号均完成验证，新增的消息接收人才能在“消息管理”中完成添加。 修改消息接收人信息 （1）选择需要修改的消息接收人，点击“编辑”，然后根据需求，可修改接收人姓名、手机号、邮箱，然后提交。 （2）点击邮箱及手机号右侧提示完成验证。 说明 只修改姓名无需重新验证，若替换了新的邮箱/手机，则需要验证才能接收消息。 删除消息接收人 选择需要删除的消息接收人，点击“删除”，再次确认即可完成删除。

本节介绍如何创建vLLM NPU单机推理任务。 前置条件 1. 确认智算套件已经安装并且全部运行中。 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(NPU,CPU,内存) [参考创建队列的文档]。 操作步骤 创建任务 进入智算套件，AI应用列表，在线推理菜单，创建AI应用。 基本信息 应用类型：vLLM 推理类型选择：单机 配置信息 推理框架，框架版本，推理模型，模型版本根据实际情况选择。简单的示例： 推理框架： ascendvllm 框架版本：v0.13.0rc1 推理模型：deepseekr1distillqwen1.5b 模型版本：v1 资源：CPU，内存，共享内存可以不填 选择 NPU：2 队列：选择存在且资源足够的的队列 Master 点击确认完成创建。

本文为您介绍分布式消息服务MQTT的概念。 分布式消息服务MQTT是面向移动互联网以及物联网领域的轻量级消息中间件，扩展支持MQTT、MQTTSN、CoAP、LwM2M或私有TCP协议等主流通信协议。可以在有限的资源条件下，为连接远程设备提供实时可靠的消息服务并支持数据高效分类存储、再处理，实现终端设备与云端应用互通。 产品示意图 分布式消息服务MQTT的通信是通过基于主题（Topic）的发布/订阅方式来实现的，Broker用来进行消息的存储和转发，发布方和订阅方通过中间方Broker而无直接连接来进行解耦。一次典型的 MQTT 消息通信流程如下所示： 1. 发布方（Publisher）连接到Broker； 2. 订阅方（Subscriber）连接到Broker，并订阅主题Topic1； 3. 发布方（Publisher）发送给Broker一条消息，主题为Topic1； 4. Broker收到了发布方的消息，发现订阅方（Subscriber）订阅了Topic1，然后将消息转发给订阅方（Subscriber）； 5. 订阅方从Broker接收该消息。 MQTT通过订阅与发布模型对消息的发布方和订阅方进行解耦后，发布方在发布消息时并不需要订阅方也连接到Broker，只要订阅方之前订阅过相应主题，那么它在连接到Broker之后就可以收到发布方在它离线期间发布的消息。我们可以称这种消息为离线消息。 核心概念 MQTT是一种轻量级的通信协议，广泛用于物联网（IoT）等领域，具有高效、可靠、低开销的特点。以下是MQTT核心概念总结： Broker（服务器） ： MQTT协议中的服务端，负责管理连接、接收和转发消息，处理订阅和取消订阅请求。它充当中间人，将消息从发布者传递给订阅者。 Client（客户端）： 使用MQTT协议的程序或设备，可以是传感器、嵌入式设备、服务器等。客户端与Broker建立连接，发送和接收数据，订阅或取消订阅主题。 Message（消息）： MQTT协议中传输的数据单元，通常包含消息内容以及与之相关的主题名称和服务质量等信息。 Topic（主题）： 主题用于标识消息的分类或关联。在发布消息时，消息与主题相关联，告诉Broker消息应该发送到哪个主题。在订阅消息时，客户端指定感兴趣的主题，Broker会将匹配的消息发送给订阅者。 Publish（发布）： 客户端向Broker发送消息的过程。发布消息时需要指定主题和服务质量（QoS），Broker将消息转发给订阅了相同主题的其他客户端。 Subscribe（订阅）： 客户端订阅特定主题的过程。客户端告诉Broker它对哪个主题感兴趣，一旦有消息发送到该主题，Broker会将消息传递给订阅者。取消订阅过程称为Unsubscribe。 QoS（服务质量）： 用于控制消息可靠性传递的参数。 MQTT协议的灵活性和可定制性使其成为许多IoT应用的理想选择，能够适应不同的通信需求和资源限制。

检查队列资源是否不足 5.在原生页面找到该任务，查看该任务的“Queue”中的队列名。单击原生页面左侧“Scheduler”,在“Applications Queues”页框中查找对应的队列名，并下拉展开队列的详细信息，如图所示： 6.查看队列详情中“Used Resources”是否近似等于“Max Resources”，即任务提交的队列中资源已经使用完毕，若队列资源不足，请在FusionInsight Manager的“租户资源 > 动态资源计划 > 资源分布策略”中调大队列的“最大资源”。重新运行任务后，查看是否不再上报告警。 是，处理完毕。 否，执行步骤7。 检查任务是否发生数据倾斜 7.在Yarn的原生页面，选择“任务 ID （如application15653379197230002） > Tracking URL:ApplicationMaster > job15653379197230002”，进入如下页面： 8.选择左侧“Job > Map tasks”或者“Job > Reduce tasks”，查看每个Map或者每个Reduce任务的执行时间是否相差很大，如果相差很大，说明任务数据发生了倾斜，需要对任务数据进行均衡。 9.按照如上原因进行处理后，重新执行任务，观察本告警是否还出现。 是，执行步骤10。 否，处理完毕。 收集故障信息 10.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 11.在“服务”中勾选待操作集群的“Yarn”。 12.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 13.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节介绍了有关分布式消息服务RocketMQ实例消息类的常见问题及解答。 是否支持消费验证？ 分布式消息服务RocketMQ当前不支持消费验证功能。 RocketMQ的消息保留时间是多少？可以修改吗？ RocketMQ的消息保留时间是48小时，且不支持修改。 RocketMQ支持的最大消息大小是多少？可以修改吗？ RocketMQ支持的最大消息大小是4M，且不支持修改。 RocketMQ副本存储形式是怎样的？可以修改吗？ RocketMQ消息是一主两从3个副本的存储形式，且不支持修改。 消息创建时间在哪设置 ？ 消息创建时间是由生产客户端在生产消息时设置的。