本章节主要介绍配置资源池的队列容量策略。 操作场景 添加资源池后，需要为YARN任务队列配置在此资源池中可使用资源的容量策略，队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。用户可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后，YARN任务队列与资源池形成关联关系。 该任务指导用户通过MRS Manager配置队列策略。 前提条件 已添加资源池。 任务队列与其他资源池无关联关系。默认情况下，所有队列与“Default”资源池存在关联关系。 操作步骤 在MRS Manager，单击“租户管理”。 1. 单击“动态资源计划”页签。 2. 在“资源池”选择指定的资源池。 “可用资源配额”：表示每个资源池默认所有资源都可分配给队列。 3. 在“资源分配”列表指定队列的“操作”列，单击“修改”。 4. 在“修改资源分配”窗口设置任务队列在此资源池中的资源容量策略。 “资源容量 (%)”：表示当前租户计算资源使用的资源百分比。 “最大资源容量 (%)”：表示当前租户计算资源使用的最大资源百分比。 5. 单击“确定”保存配置。

服务名称 Spark SQL作业 Spark jar作业 Flink SQL作业 Flink jar作业 APIG x x √ x CSS √ √ √ √ DCS Redis √ √ √ √ DDS Mongo √ √ √ √ DMS Kafka x x √ √ DWS √ √ √ √ MRS HBase √ √ √ √ MRS Kafka x x √ √ MRS OpenTSDB √ √ x √ RDS MySQL √ √ √ √ RDS PostGre √ √ √ √

本章节主要介绍修改队列网段。 使用增强型跨源时，如果DLI队列的网段和用户数据源的网段发生冲突，您可以通过修改网段操作更改队列的网段。 说明 如果待修改网段的队列中有正在提交或正在运行的作业，或者改队列已经绑定了增强型跨源，将不支持修改网段操作。 修改队列网段步骤 1. 在DLI管理控制台左侧，选择“资源管理 > 队列管理”。 2. 选择待修改的队列，单击“操作”列“更多”中的“修改网段”。 3. 填写需要的网段后，单击“确定”。队列修改网段成功后，需要等待5~10分钟，待队列所属集群资源重新拉起后再运行作业。

本文介绍如何在科研助手中查询、查看、刷新队列列表及管理队列列表选项显示信息。 查看步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中，选择【资源配额】中的【队列管理】。 【队列列表】展示的字段说明： 参数 说明 搜索框 输入队列名称，支持输入关键字进行检索。 查询按钮 点击”查询“按钮，显示查询结果。 刷新 刷新当前队列列表展示页面。 选项设置 可勾选不同的字段，对列表页面进行筛选。 队列名称 队列的名称。 状态 队列的状态，共有4种，分别为：开启、关闭、关闭中以及未知。 资源池 队列所属的资源池的名称。 资源池类型 队列所属的资源池的类型，共有2种，分别为专属资源池和共享资源池。 实际资源上限（CPU/内存/GPU） 队列在所属资源池中能得到的实际资源上限。 创建时间 队列的创建时间。 查询 输入队列名称，点击”查询“按钮。 刷新 点击”刷新“按钮，系统将刷新队列的最新状态信息。

本章节主要介绍翼MapReduce的配置资源池的队列容量策略操作。 操作场景 添加资源池后，需要为Yarn任务队列配置在此资源池中可使用资源的容量策略，队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。 管理员可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后，Yarn任务队列与资源池形成关联关系。 前提条件 已添加队列，即已创建关联了计算资源的租户。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“租户资源 > 动态资源计划”。 默认显示“资源分布策略”。 3. “集群”参数选择待操作的集群名称，然后在“资源池”，选择待操作的资源池。 4. 在“资源分配”表格，指定租户资源名队列的“操作”列，单击“修改”。 5. 在“修改资源分配”窗口设置任务队列在此资源池中的资源容量策略。 “资源容量（%）”：表示当前租户计算资源使用的资源百分比。 “最大资源容量（%）”：表示当前租户计算资源使用的最大资源百分比。 6. 单击“确定”保存配置。 说明 删除队列的资源容量值并保存，可以取消队列在此资源池中的资源容量策略，表示解除队列与资源池的关联关系。需要先将队列的默认资源池更改为其他资源池，请参见

本章节主要介绍如何清除队列配置。 操作场景 当队列不再需要某个资源池的资源，或资源池需要与队列取消关联关系时，用户可以在MRS清除队列配置。清除队列配置即取消队列在此资源池中的资源容量策略。 前提条件 如果队列需要清除与某个资源池的绑定关系，该资源池不能作为队列的默认资源池，需要先将队列的默认资源池更改为其他资源池，请参见配置队列。 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考使用说明。 2.单击“资源分布策略”页签。 3.在“资源池”选择指定的资源池。 4.在“资源分配”列表指定队列的“操作”列，单击“清除”。 在“清除队列设置”中单击“是”，清除队列在当前资源池的配置。 说明 如果用户未配置队列的资源容量策略，则清除功能默认不可用。

本章介绍分布式缓存服务Redis版的典型应用场景。 Redis应用场景 很多大型电商网站、视频直播和游戏应用等，存在 大规模数据访问 ，对 数据查询效率要求高 ，且 数据结构简单 ， 不涉及太多关联查询 。这种场景使用Redis，在速度上对传统磁盘数据库有很大优势，能够有效减少数据库磁盘IO，提高数据查询效率，减轻管理维护工作量，降低数据库存储成本。Redis对传统磁盘数据库是一个重要的补充，成为了互联网应用，尤其是支持高并发访问的互联网应用必不可少的基础服务之一。 以下举几个典型样例： 1. （电商网站）秒杀抢购 电商网站的商品类目、推荐系统以及秒杀抢购活动，适宜使用Redis缓存数据库。 例如秒杀抢购活动，并发高，对于传统关系型数据库来说访问压力大，需要较高的硬件配置（如磁盘IO）支撑。Redis数据库，单节点QPS支撑能达到10万，轻松应对秒杀并发。实现秒杀和数据加锁的命令简单，使用SET、GET、DEL、RPUSH等命令即可。 2. （视频直播）消息弹幕 直播间的在线用户列表，礼物排行榜，弹幕消息等信息，都适合使用Redis中的SortedSet结构进行存储。 例如弹幕消息，可使用ZREVRANGEBYSCORE排序返回，在Redis5.0中，新增了zpopmax，zpopmin命令，更加方便消息处理。 3. （游戏应用）游戏排行榜 在线游戏一般涉及排行榜实时展现，比如列出当前得分最高的10个用户。使用Redis的有序集合存储用户排行榜非常合适，有序集合使用非常简单，提供多达20个操作集合的命令。 4. （社交APP）返回最新评论/回复 在web类应用中，常有“最新评论”之类的查询，如果使用关系型数据库，往往涉及到按评论时间逆排序，随着评论越来越多，排序效率越来越低，且并发频繁。 使用Redis的List（链表），例如存储最新1000条评论，当请求的评论数在这个范围，就不需要访问磁盘数据库，直接从缓存中返回，减少数据库压力的同时，提升APP的响应速度。

本文向您介绍如何开启网卡多队列功能。 操作场景 随着网络IO的带宽不断提升，单核CPU处理网络中断存在瓶颈，不能完全满足网卡的需求，通过开启网卡多队列功能，您可以将弹性云主机中的网卡中断分散给不同的CPU处理，以满足网卡的需求，从而提升网络PPS和带宽性能。 假设以下场景所述的弹性云主机满足规格和虚拟化类型要求： 使用网卡多队列支持列表中的公共镜像创建的弹性云主机，默认已开启网卡多队列，无需执行本节操作。 对于私有镜像场景，如果您的外部镜像文件的操作系统在网卡多队列支持列表范围内，需要按照如下流程开启网卡多队列： 将外部镜像文件导入镜像服务控制台。 使用私有镜像创建弹性云主机。 执行网卡多队列的配置脚本。 说明 云主机开启网卡多队列功能后，如果后续有新增或删除网卡，切换VPC等操作，需要重新对云主机设置网卡多队列。 网卡多队列支持列表 网卡多队列的支持情况和实例规格、虚拟化类型、镜像的操作系统有关，只有同时满足这些要求，弹性云主机才能开启网卡多队列功能。 支持网卡多队列的规格请参考弹性云主机产品规格，网卡多队列数大于1的表示支持多队列。 所有公共镜像均支持网卡多队列。

本章节主要介绍翼MapReduce的清除队列容量配置操作。 操作场景 当队列不再需要某个资源池的资源，或资源池需要与队列取消关联关系时，管理员可以在FusionInsight Manager清除队列配置。清除队列配置即取消队列在此资源池中的资源容量策略。 前提条件 如果队列需要清除与某个资源池的绑定关系，该资源池不能作为队列的默认资源池，需要先将队列的默认资源池更改为其他资源池，请参见配置队列。 操作步骤 1. 登录FusionInsight Manager界面。 2. 选择“租户资源 > 动态资源计划”。 3. “集群”参数选择待操作的集群名称，然后在“资源池”，选择待操作的资源池。 4. 在资源分配表格，指定租户资源名的“操作”列，单击“清除”。 5. 在弹出的对话框中单击“确定”，清除队列在当前资源池的配置。

本章节主要介绍如何绑定/解绑队列。 约束限制 绑定跨源的DLI队列网段和数据源网段不能重合。 不支持绑定系统预置的default队列。 绑定队列 使用增强型跨源连接之前必须绑定队列且对等连接的状态是“active”。 方式一 在“增强型跨源”页面，选择一条连接，单击该连接“操作”列中的“更多 > 绑定队列”，在弹出的对话框中，选择要绑定的队列（支持多选），单击“确定”。 方式二 单击选择的连接名称，进入该连接的“ 详情”页面。单击左上角的“创建”，在弹出的对话框中，选择要绑定的队列（支持多选），单击“确定”。 查看绑定队列详情 在“增强型跨源”页面，选中一条连接，单击选中的连接名称，可以查看绑定队列相关信息。 跨源连接队列详情列表参数 参数 参数说明 对等连接ID 增强型跨源在该队列所在集群中创建的对等连接ID。 说明 每一个增强型跨源对每一个绑定的队列都会创建一个对等连接。该对等连接用于实现跨VPC通信，请确保数据源使用的安全组开放了DLI队列网段的访问，并且在使用跨源过程中不要删除该对等连接。 名称 已绑定的队列名称。 连接状态 跨源连接的状态信息，包括以下三种状态： 创建中 已激活 已失败 说明 当连接状态显示为“已失败”时，单击左边对应的 ，可查看详细的错误信息。 更新时间 每个连接的更新时间，可按更新时间顺序或倒序显示连接列表。 操作 解绑队列：用于解除跨源连接与队列之间的绑定关系。

本章节主要介绍删除队列。 根据实际使用情况，您可以通过删除操作释放队列。 说明 如果待删除的队列中有正在提交或正在运行的作业，将不支持删除操作。 删除队列不会导致您数据库中的表数据丢失。 删除队列步骤 1. 在DLI管理控制台左侧，选择“资源管理 > 队列管理”。 2. 选择待删除的队列，单击“操作”列的“删除”删除。 说明 如果“操作”列的“删除”为灰色，表示当前用户没有删除队列的权限。您可以向管理员申请删除队列的权限。 3. 在弹出的确认对话框中，单击“是”。

本章节主要介绍如何配置资源池的队列容量策略。 操作场景 添加资源池后，需要为YARN任务队列配置在此资源池中可使用资源的容量策略，队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。用户可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后，YARN任务队列与资源池形成关联关系。 该任务指导用户通过MRS配置队列策略。 前提条件 已添加资源池。 任务队列与其他资源池无关联关系。默认情况下，所有队列与“default”资源池存在关联关系。 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.单击“资源分布策略”页签。 3.在“资源池”选择指定的资源池。 “可用资源配额”：表示每个资源池默认所有资源都可分配给队列。 4.在“资源分配”列表指定队列的“操作”列，单击“修改”。 5.在“修改资源分配”窗口设置任务队列在此资源池中的资源容量策略。 “资源容量 (%)”：表示当前租户计算资源使用的资源百分比。 “最大资源容量 (%)”：表示当前租户计算资源使用的最大资源百分比。 6.单击“确定”保存配置。

参数名 参数描述 名称 弹性资源池添加的队列名称。 类型 SQL队列：用于运行SQL作业。 通用队列：用于运行Spark作业 、Flink作业。 执行引擎 如果队列类型选择为“SQL队列”，则可以选择队列引擎是：spark或者trino 企业项目 选择队列的企业项目。弹性资源池支持添加不同企业项目的队列资源。 企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理。 说明 只有开通了企业管理服务的用户才显示该参数。 描述 弹性资源池添加队列的描述信息。

本章节主要介绍翼MapReduce的清除队列容量配置操作。 操作场景 当队列不再需要某个资源池的资源，或资源池需要与队列取消关联关系时，管理员可以在FusionInsight Manager清除队列配置。清除队列配置即取消队列在此资源池中的资源容量策略。 前提条件 如果队列需要清除与某个资源池的绑定关系，该资源池不能作为队列的默认资源池，需要先将队列的默认资源池更改为其他资源池，请参见配置队列。 操作步骤 1. 登录FusionInsight Manager界面。 2. 选择“租户资源 > 动态资源计划”。 3. “集群”参数选择待操作的集群名称，然后在“资源池”，选择待操作的资源池。 4. 在资源分配表格，指定租户资源名的“操作”列，单击“清除”。 5. 在弹出的对话框中单击“确定”，清除队列在当前资源池的配置。

本节介绍了开启网卡多队列功能的操作场景、网卡多队列支持列表、将外部镜像文件导入镜像服务控制台、为镜像添加网卡多队列标签、使用私有镜像创建弹性云主机、执行网卡多队列的配置脚本、查看网卡队列数。 操作场景 随着网络IO的带宽不断提升，单核CPU处理网络中断存在瓶颈，不能完全满足网卡的需求，通过开启网卡多队列功能，您可以将弹性云主机中的网卡中断分散给不同的CPU处理，以满足网卡的需求，从而提升网络PPS和带宽性能。 假设以下场景所述的弹性云主机满足规格和虚拟化类型要求： 使用网卡多队列支持列表中的公共镜像创建的弹性云主机，默认已开启网卡多队列，无需执行本节操作。 对于私有镜像场景，如果您的外部镜像文件的操作系统在网卡多队列支持列表范围内，需要按照如下流程开启网卡多队列： a. 将外部镜像文件导入镜像服务控制台。 b. 为私有镜像添加网卡多队列标签。 c. 使用私有镜像创建弹性云主机。 d. 执行网卡多队列的配置脚本。 说明 云主机开启网卡多队列功能后，如果后续有新增或删除网卡，切换VPC等操作，需要重新对云主机设置网卡多队列，详细操作请参考

本章节介绍同步到Kafka集群中的数据以Avro、JSON和JSONC格式存储。 同步到Kafka集群中的数据以Avro、JSON和JSONC格式存储。 avro格式 Avro格式的schema定义详情请参见record.rar。在实时同步到Kafka集群后，您需要根据schema定义进行数据解析，数据解析样例请参见drsavroread.rar。 JSON格式 MySQL到Kafka的JSON格式定义详情参考表，Oracle到Kafka的JSON格式定义详情参考表。 表 MySQL到Kafka的参数说明 参数名称 说明 :: mysqlType 源端表字段名称和类型。 id DRS内部定义的事件操作的序列号，单调递增。 es 源库产生这一条记录的时间，13位Unix时间戳，单位为毫秒。 ts 写入到目标kafka的时间，13位Unix时间戳，单位为毫秒。 database 数据库名称。 table 表名。 type 操作类型，比如DELETE，UPDATE，INSERT，DDL。 isDdl 是否是DDL操作。 sql DDL的SQL语句，在DML操作中，取值为""。 sqlType 源端表字段的jdbc类型。 data 最新的数据，为JSON数组，如果type参数是插入则表示最新插入的数据，如果是更新，则表示更新后的最新数据。 old 旧数据，如果type参数是更新，则表示更新前的数据；如果是删除，则表示被删除的数据；如果是插入，取值为null。 pkNames 主键名称。 { "mysqlType":{ "c11":"binary", "c10":"varchar", "c13":"text", "c12":"varbinary", "c14":"blob", "c1":"varchar", "c2":"varbinary", "c3":"int", "c4":"datetime", "c5":"timestamp", "c6":"char", "c7":"float", "c8":"double", "c9":"decimal", "id":"int" }, "id":27677, "es":1624614713000, "ts":1625058726990, "database":"test01", "table":"test ", "type":"UPDATE", "isDdl":false, "sql":"", "sqlType":{ "c11":2, "c10":12, "c13":1, "c12":3, "c14":2004, "c1":12, "c2":3, "c3":4, "c4":94, "c5":93, "c6":1, "c7":6, "c8":8, "c9":3, "id":4 }, "data":[ { "c11":"[]", "c10":"cloud", "c13":"asfiajhfiaf9390239uoituqorjoqirfoidjfqrniowejoiwqjroqwjrowqjojoiqgoiegnkjgoi23roiugouofdug9u90weurtg103", "c12":"[106, 103, 111, 106, 103, 111, 105, 100, 115, 106, 103, 111, 106, 111, 115, 111, 103, 57, 51, 52, 48, 57, 52, 51, 48, 57, 116, 106, 104, 114, 103, 106, 101, 119, 57, 116, 117, 48, 57, 51, 52, 48, 116, 101, 114, 111, 101, 106, 103, 57, 56, 51, 48, 52, 105, 101, 117, 114, 103, 57, 101, 119, 117, 114, 103, 48, 119, 101, 117, 116, 57, 114, 48, 52, 117, 48, 57, 53, 116, 117, 51, 48, 57, 50, 117, 116, 48, 57, 51, 117, 116, 48, 119, 57, 101]", "c14":"[106, 103, 111, 106, 103, 111, 105, 100, 115, 106, 103, 111, 106, 111, 115, 111, 103, 57, 51, 52, 48, 57, 52, 51, 48, 57, 116, 106, 104, 114, 103, 106, 101, 119, 57, 116, 117, 48, 57, 51, 52, 48, 116, 101, 114, 111, 101, 106, 103, 57, 56, 51, 48, 52, 105, 55, 57, 56, 52, 54, 53, 52, 54, 54, 54, 49, 52, 54, 53, 33, 64, 35, 36, 37, 94, 42, 40, 41, 95, 41, 43, 95, 43, 124, 125, 34, 63, 62, 58, 58, 101, 117, 114, 103, 57, 101, 119, 117, 114, 103, 48, 119, 101, 117, 116, 57, 114, 48, 52, 117, 48, 57, 53, 116, 117, 51, 48, 57, 50, 117, 116, 48, 57, 51, 117, 116, 48, 119, 57, 101]", "c1":"cf3f70a7756544b0ae3c83bec549ea8e:104", "c2":"[]", "c3":"103", "c4":"20210625 17:51:53", "c5":"1624614713.201", "c6":"!@

本章节介绍Kafka认证方式。 PLAINTEXT方式 无安全认证方式，仅需输入IP和端口进行连接。 图 PLAINTEXT SASLPLAINTEXT认证 使用SASL机制连接Kafka，需要设置SASL相关配置。 图 SASLPLAINTEXT 表 参数信息 参数 描述 SASL机制 用于客户端连接的SASL机制，支持以下四项，Kafka server默认是 GSSAPI 机制。 GSSAPI PLAIN SCRAMSHA256 SCRAMSHA512 令牌委托 是否为委托令牌鉴权，SASL机制选择“SCRAMSHA256”或者“SCRAMSHA512”时可见。 用户名 登录使用的用户名。 密码 登录使用的密码 SSL认证 使用SSL加密方式连接Kafka，需要设置SSL相关配置。 图 SSL 表 参数信息 参数 描述 Truststore证书 后缀名为jks的SSL证书。 Truststore证书密码 证书对应的秘钥。 主机名端点识别算法 指定通过服务端证书验证服务端主机名的端点识别算法，选填，不填表示禁用主机名验证。 SSL双向认证 是否开启SSL双向认证。 Keystore证书 SSL双向认证开启可见，需要上传后缀名为jks的双向认证证书。 Keystore证书密码 SSL双向认证开启可见，SSL双向认证证书对应的秘钥。 Keystore私钥密码 选填，Keystore证书中私钥的密码。

本章节主要介绍弹性扩缩容。 前提条件 新创建的队列需要运行作业后才可进行弹性扩缩容。 注意事项 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。 如果在“弹性扩缩容”页面提示“Status of queue xxx is assigning, which is not available”，表示需要等待队列资源分配完毕才可进行扩缩容。 弹性扩容 当前队列规格不满足业务需要时，可以通过手动变更队列规格来扩容当前队列。 说明 扩容属于耗时操作，在DLI“弹性扩缩容”页面执行扩容操作后，需要等待大约10分钟，具体时长和扩容的CU值有关，等待一段时间后，可以通过刷新“队列管理”页面，对比“规格”和“实际CUs”大小是否一致来判断是否扩容成功。或者在“作业管理”页面，查看“SCALEQUEUE”类型SQL作业的状态，如果作业状态为“弹性扩缩容中”，表示队列正在扩容中。 操作步骤如下： 1. 在DLI管理控制台左侧，选择“资源管理 > 队列管理”。 2. 选择需要扩容的队列，单击“操作”列“更多”中的“弹性扩缩容”。 3. 在“弹性扩缩容”页面，“变更方式”选择“扩容”，设置扩容的CU值。 4. 确认无误后，单击“确定”。 弹性缩容 当计算业务较小，不需要那么大的队列规格时，可以通过手动变更队列规格来缩容当前队列。 说明 缩容属于耗时操作，在DLI“弹性扩缩容”页面执行缩容操作后，需要等待大约10分钟，具体时长和缩容的CU值有关，等待一段时间后，可以通过刷新“队列管理”页面，对比“规格”和“实际CUs”大小是否一致来判断是否缩容成功。或者在“作业管理”页面，查看“SCALEQUEUE”类型SQL作业的状态，如果作业状态为“弹性扩缩容中”，表示队列正在缩容中。 系统不保证完全缩容到设定的目标大小。如果当前队列正在使用或者队列业务量比较大，会出现缩容不成功，或者缩容一部分规格的情况。 系统默认最小CU值为16CU，即当队列规格为16CUs时，不能进行手动缩容。 操作步骤如下： 1. 在DLI管理控制台左侧，选择“资源管理 >队列管理”。 2. 选择需要扩容的队列，单击“操作”列“更多”中的“弹性扩缩容”。 3. 在“弹性扩缩容”页面，“变更方式”选择“缩容”，设置缩容的CU值。 4. 确认无误后，单击“确定”。

操作说明 假设以下场景所述的云主机满足规格和虚拟化类型要求： 使用网卡多队列支持列表中的公共镜像创建的云主机，默认已开启网卡多队列，无需执行本节操作。 对于私有镜像场景，如果您的外部镜像文件的操作系统在网卡多队列支持列表范围内，需要按照如下流程开启网卡多队列： a. 将外部镜像文件导入镜像服务控制台。 b. 为镜像添加网卡多队列标签。 c. 使用私有镜像创建云主机。 d. 开启网卡多队列。 将外部镜像文件导入镜像服务控制台 将外部镜像文件导入镜像服务控制台，详细操作请参见注册镜像（Linux）。 为镜像添加网卡多队列标签 Windows操作系统暂未商用支持网卡多队列，如果对Windows操作系统镜像添加网卡多队列标签，开启网卡多队列功能，可能会引起操作系统启动速度变慢等问题。 用户可以选择以下任意一种方式设置镜像的网卡多队列属性。 方式1 ： 1. 登录控制台。 2. 选择“ 镜像服务”。 进入镜像服务页面。 3. 单击“私有镜像”页签，在对应镜像所在行的“操作”列下，单击“修改”。 4. 设置镜像的网卡多队列属性。 方式2 ： 1. 登录控制台。 2. 选择“镜像服务”。 进入镜像服务页面。 3. 单击“私有镜像”页签，在镜像列表中，单击镜像名称，进入镜像详情页面。 4. 单击右上角的“修改”，在弹出的“修改镜像”对话框中，设置镜像的网卡多队列属性。

本节介绍队列管理常见问题及其解决办法。 队列中的资源如何分配和使用？ 队列可设置CPU、内存、GPU等资源，AI任务会根据队列的优先级进行资源抢占，完成优先级队列调度。

本章节主要介绍ALM18022 Yarn队列资源不足的告警。 告警解释 告警模块按60秒周期检测Yarn队列资源，当队列可用资源或队列AM（ApplicationMaster）可用资源不足时，产生该告警。 当可用资源充足时，该告警自动消除。 告警属性 告警ID 告警级别 是否自动清除 18022 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 队列名 产生告警的队列名。 队列指标名 产生告警的队列指标名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 应用任务结束时间变长。 新应用提交后长时间无法运行。 可能原因 NodeManager节点资源过小。 队列最大资源容量设置过小。 AM最大资源百分比设置过小。 处理步骤 检查告警详情 1.在FusionInsight Manager界面，选择“运维 > 告警 > 告警”，弹出告警页面。 2.查看“Yarn队列资源不足”告警详情中的“定位信息”，查看“定位信息”是否为“队列名root;队列指标名Memory”或“队列名root;队列指标名vCores”。 是，执行步骤3。 否，执行步骤4。 3.出现该定位信息表示Yarn集群内存或CPU不足，登录NodeManager节点，分别使用命令free g和 cat /proc/cpuinfo ，查询节点可用内存和可用CPU，据此在FusionInsight Manager界面增大Yarn NodeManager的资源参数“yarn.nodemanager.resource.memorymb”和“yarn.nodemanager.resource.cpuvcores”的值，然后重启NodeManager实例。查看该告警是否消除。 是，处理完毕。 否，执行步骤4。 4.查看“定位信息”为“队列名 ;队列指标名Memory”或“队列名 ;队列指标名vCores”，然后查看“附加信息”是否包含“available Memory ”或“available vCores ”。 是，执行步骤5。 否，执行步骤7。 5.出现该附加信息表示该租户队列内存或者CPU不足，选择“租户资源 > 动态资源计划 > 资源分布策略”，调大“最大资源容量”的值，查看该告警是否消除。 是，处理完毕。 否，执行步骤6。 6.选择“集群 > 待操作集群的名称 > 服务 > Yarn >配置 > 全部配置”，输入搜索关键字“threshold”，单击“ResourceManager”，调整如下参数阈值： 如果“附加信息”中包含“available Memory ”，调整“yarn.queue.memory.alarm.threshold”的阈值使其小于“附加信息”中的“available Memory ”的值。 如果“附加信息”中包含“available vCores ”，调整“yarn.queue.vcore.alarm.threshold”的阈值使其小于“附加信息”中的“available vCores ”的值。 等待5分钟，查看该告警是否消除。 是，处理完毕。 否，执行步骤9。 7.查看“附加信息”包含“available AmMemory ”或“available AmvCores ”，表示该租户队列的ApplicationMaster内存和CPU不足，选择“租户资源 > 动态资源计划 > 队列配置”，增大“AM最大资源百分比”，查看该告警是否消除。 是，处理完毕。 否，执行步骤8。 8.选择“集群 > 待操作集群的名称 >服务 > Yarn > 配置 > 全部配置”，输入搜索关键字“threshold”，单击“ResourceManager”：调整如下参数阈值： 如果“附加信息”包含“available AmMemory ”，调整“yarn.am.memory.alarm.threshold”的阈值使其小于“附加信息”中的“available AmMemory ”的值。 如果“附加信息”包含“available AmvCores ”，调整“yarn.am.vcore.alarm.threshold”的阈值使其小于“附加信息”中的“available AmvCores ”的值。 等待5分钟，查看该告警是否消除。 是，处理完毕。 否，执行步骤9。

本章节主要介绍 弹性扩缩容定时任务。 弹性扩缩容定时任务使用场景 通常，用户业务繁忙的场景是有周期性的，在某个周期内，用户需要更多的计算资源来处理业务，过了这个周期，则不需要那么多资源。如果用户购买的队列规格比较小，在业务繁忙时会存在资源不足的情况；而如果购买的队列规格比较大，又可能会存在资源浪费的情况。 基于以上场景，DLI提供了队列弹性扩缩容定时任务功能。用户可以根据自己的业务周期或者使用情况，基于现有队列规格，在不同的时间或者周期内设置不同的队列大小，以满足自己的业务需求，节约成本。 弹性扩缩容定时任务注意事项 新创建的队列需要运行作业后才可进行扩缩容。 目前只支持规格为64CUs以上的队列进行定时弹性扩缩容任务，即队列最小规格为64CUs。 对于每个队列，最多支持创建12个定时任务。 每个定时任务开始时，弹性扩缩容的实际开始的时间有5分钟误差。建议扩容时间定时至少比实际使用队列的时间提前20分钟。 每个定时任务之间需要至少有2小时的间隔。 队列的定时弹性扩缩容属于耗时操作，变更所消耗的时间取决于扩缩容目标规格与当前规格的差值大小，用户在“队列管理”页面中可以查看当前队列的规格。 如果当前队列有作业正在运行时，可能无法缩容到目标CU值，而是缩容到当前队列规格和目标规格中间的某个值，系统将在1小时后继续尝试进行缩容，直至下一个定时任务开始。 当一个定时任务没有扩容或者缩容到目标CU值时，系统会在约15分钟后再次触发扩缩计划，直到下一个定时任务开始。

本章节主要介绍翼MapReduce的配置队列操作。 操作场景 根据业务需求，管理员可以在FusionInsight Manager修改指定租户的队列配置。 前提条件 已添加使用Superior调度器的租户。 操作步骤 1. 在FusionInsight Manager，单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“队列配置”页签。 4. “集群”参数选择待操作的集群名称，然后指定租户资源名的“操作”列，单击“修改”。 说明 l 在“租户资源管理”页签左侧租户列表，单击目标的租户，切换到“资源”页签，单击“队列配置（队列名）”后面的也能打开修改队列配置页面。 l 一个队列只能绑定一个非default资源池。 l 对于“每个YARN容器最多分配核数”、“每个YARN容器最大分配内存（MB）”、“最多运行任务数”、“每个用户最多运行任务数”和“最多挂起任务数”等参数，为便于操作，当子租户值为1时，父租户值可以设置为具体限制值；当父租户设置为具体限制值时，子租户可以设置为1。 l “每个YARN容器最多分配核数”和“每个YARN容器最大分配内存（MB）”需要同时修改为非1的值才会生效。 队列配置参数 参数名 描述 AM最多占有资源（%） 表示当前队列内所有Application Master所占的最大资源百分比。 每个YARN容器最多分配核数 表示当前队列内单个YARN容器可分配的最多核数，默认为1，表示取值范围内不限制。 每个YARN容器最大分配内存（MB） 表示当前队列内单个YARN容器可分配的最大内存，默认为1，表示取值范围内不限制。 最多运行任务数 表示当前队列最多同时可执行任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。取值范围为1～2147483647。 每个用户最多运行任务数 表示每个用户在当前队列中最多同时可执行任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。取值范围为1～2147483647。 最多挂起任务数 表示当前队列最多同时可挂起任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可挂起任务。取值范围为1～2147483647。 资源分配规则 表示单个用户任务间的资源分配规则，包括FIFO和FAIR。一个用户若在当前队列上提交了多个任务，FIFO规则代表一个任务完成后再执行其他任务，按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。 默认资源标签 表示在指定资源标签（Label）的节点上执行任务。 Active状态 ACTIVE表示当前队列可接受并执行任务。 INACTIVE表示当前队列可接受但不执行任务，若提交任务，任务将处于挂起状态。 Open状态 OPEN表示当前队列处于打开状态。 CLOSED表示当前队列处于关闭状态，若提交任务，任务直接会被拒绝。 故障时是否队列迁移 集群开启单集群跨AZ高可用时，如果AZ故障后，需要当该租户正在运行的队列重新提交至其他AZ，可设置“故障时是否队列迁移”参数为“是”。 5. 单击“确定”完成配置。

支持权限管理的资源 权限设置说明 “Cluster Admin Operations” 选中时表示授予YARN管理员权限。 “root” YARN的根队列。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。 “Parent Queue” YARN的一种资源类型，表示父队列，可以包含子队列。根队列也属于父队列的一种。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。 “Leaf Queue” YARN的一种资源类型，表示叶子队列。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。

本文介绍如何在科研助手中创建队列。 概述 基于资源池/队列的两级资源分配与隔离，其中资源池一般为物理隔离，队列为逻辑隔离；队列提供动态资源上限，为资源利用率和公平性分配自动寻求最优解。 操作步骤 开始创建 1.登录科研助手管理控制台。 2.在控制台左侧导航栏中，选择【资源配额】的【队列管理】。 3.在【队列管理】页面中，点击左上角的【创建队列】按钮。 创建共享资源池队列 在【创建队列】抽屉中，填写基础信息和高级配置内容。 【基础信息】 基础信息参数 说明 是否必选 队列名称 输入作业名称。要求如下： 长度范围为4~50个字符。名称由小写字母、数字、中划线（）组成。 以小写字母开头。以小写字母或数字结尾。 是 资源池 在选择资源池类型后，再选择资源池，如果还未创建资源池，可单击“创建共享资源池”进行创建，具体操作请参见共享资源池。 是 队列描述 选填，输入对该队列的描述。要求如下：由<>以外的字符组成。长度为0~1024个字符组成。 否 高级配置 高级配置参数 说明 是否必选 资源上限 该队列的资源限制，不同的专属资源池中配有不同规格的最大资源上限。可填资源包括“CPU”核心数（核）、内存（GB）和“GPU”数量（块），保留小数点后两位为有效数字。 是

支持权限管理的资源 权限设置说明 “Cluster Admin Operations” 选中时表示授予YARN管理员权限。 “root” YARN的根队列。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。 “Parent Queue” YARN的一种资源类型，表示父队列，可以包含子队列。根队列也属于父队列的一种。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。 “Leaf Queue” YARN的一种资源类型，表示叶子队列。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。

参数 说明 net.core.rmemdefault 默认的 TCP 数据接收窗口大小（字节）。 net.core.rmemmax 最大的 TCP 数据接收窗口（字节）。 net.core.wmemdefault 默认的 TCP 数据发送窗口大小（字节）。 net.core.wmemmax 最大的 TCP 数据发送窗口（字节）。 net.core.netdevmaxbacklog 在每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目。 net.core.somaxconn 定义了系统中每一个端口最大的监听队列的长度，这是个全局的参数。 net.core.optmemmax 表示每个套接字所允许的最大缓冲区的大小。 net.ipv4.tcpmem 确定 TCP 栈应该如何反映内存使用，每个值的单位都是内存页（通常是 4KB）第一个值是内存使用的下限；第二个值是内存压力模式开始对缓冲区使用应用压力的上限；第三个值是内存使用的上限。在这个层次上可以将报文丢弃，从而减少对内存的使用。对于较大的 BDP 可以增大这些值（注意：其单位是内存页而不是字节）。 net.ipv4.tcprmem 为自动调优定义 socket 使用的内存。第一个值是为 socket 接收缓冲区分配的最少字节数；第二个值是默认值（该值会被 rmemdefault 覆盖），缓冲区在系统负载不重的情况下可以增长到这个值；第三个值是接收缓冲区空间的最大字节数（该值会被 rmemmax 覆盖）。 net.ipv4.tcpwmem 为自动调优定义 socket 使用的内存。第一个值是为 socket 发送缓冲区分配的最少字节数；第二个值是默认值（该值会被 wmemdefault 覆盖），缓冲区在系统负载不重的情况下可以增长到这个值；第三个值是发送缓冲区空间的最大字节数（该值会被 wmemmax 覆盖）。 net.ipv4.tcpkeepalivetime TCP 发送 keepalive 探测消息的间隔时间（秒），用于确认 TCP 连接是否有效。 net.ipv4.tcpkeepaliveintvl 探测消息未获得响应时，重发该消息的间隔时间（秒）。 net.ipv4.tcpkeepaliveprobes 在认定 TCP 连接失效之前，最多发送多少个 keepalive 探测消息。 net.ipv4.tcpsack 启用有选择的应答（1 表示启用），通过有选择地应答乱序接收到的报文来提高性能，让发送者只发送丢失的报文段，（对于广域网通信来说）这个选项应该启用，但是会增加对 CPU 的占用。 net.ipv4.tcpfack 启用转发应答，可以进行有选择应答（SACK）从而减少拥塞情况的发生，这个选项也应该启用。 net.ipv4.tcptimestamps TCP 时间戳（会在 TCP 包头增加 12 B），以一种比重发超时更精确的方法（参考 RFC 1323）来启用对 RTT 的计算，为实现更好的性能应该启用这个选项。 net.ipv4.tcpwindowscaling 启用 RFC 1323 定义的 window scaling，要支持超过 64KB 的 TCP 窗口，必须启用该值（1 表示启用），TCP 窗口最大至 1GB，TCP 连接双方都启用时才生效。 net.ipv4.tcpsyncookies 表示是否打开 TCP 同步标签（syncookie），内核必须打开了 CONFIGSYNCOOKIES 项进行编译，同步标签可以防止一个套接字在有过多试图连接到达时引起过载。默认值 0 表示关闭。 net.ipv4.tcptwreuse 表示是否允许将处于 TIMEWAIT 状态的 socket （TIMEWAIT 的端口）用于新的 TCP 连接。说明该参数在NAT(Network AddressTranslation)场景下不能配置为1，否则将导致云主机远程连接异常。 net.ipv4.tcptwrecycle 能够更快地回收 TIMEWAIT 套接字。说明该参数在NAT(Network AddressTranslation)场景下不能配置为1，否则将导致云主机远程连接异常。 net.ipv4.tcpfintimeout 对于本端断开的 socket 连接，TCP 保持在 FINWAIT2 状态的时间（秒）。对方可能会断开连接或一直不结束连接或不可预料的进程死亡。 net.ipv4.iplocalportrange 表示 TCP/UDP 协议允许使用的本地端口号。 net.ipv4.tcpmaxsynbacklog 对于还未获得对方确认的连接请求，可保存在队列中的最大数目。如果服务器经常出现过载，可以尝试增加这个数字。默认为 1024。 net.ipv4.tcplowlatency 允许 TCP/IP 栈适应在高吞吐量情况下低延时的情况，这个选项应该禁用。 net.ipv4.tcpwestwood 启用发送者端的拥塞控制算法，它可以维护对吞吐量的评估，并试图对带宽的整体利用情况进行优化，对于 WAN 通信来说应该启用这个选项。 net.ipv4.tcpbic 为快速长距离网络启用 Binary Increase Congestion，这样可以更好地利用以 GB 速度进行操作的链接，对于 WAN 通信应该启用这个选项。 net.ipv4.tcpmaxtwbuckets 该参数设置系统的 TIMEWAIT 的数量，如果超过默认值则会被立即清除。默认为 180000。 net.ipv4.tcpsynackretries 指明了处于 SYNRECV 状态时重传 SYN+ACK 包的次数。 net.ipv4.tcpabortonoverflow 设置改参数为 1 时，当系统在短时间内收到了大量的请求，而相关的应用程序未能处理时，就会发送 Reset 包直接终止这些链接。建议通过优化应用程序的效率来提高处理能力，而不是简单地 Reset。默认值： 0 net.ipv4.route.maxsize 内核所允许的最大路由数目。 net.ipv4.ipforward 接口间转发报文。 net.ipv4.ipdefaultttl 报文可以经过的最大跳数。 net.netfilter.nfconntracktcptimeoutestablished 让 iptables 对于已建立的连接，在设置时间内若没有活动，那么则清除掉。 net.netfilter.nfconntrackmax 哈希表项最大值。

本文主要介绍分布式消息服务RabbitMQ的准备环境。 虚拟私有云 虚拟私有云（Virtual Private Cloud，以下简称VPC）为RabbitMQ专享版实例提供一个隔离的、用户自主配置和管理的虚拟网络环境。 1. 在创建RabbitMQ专享版实例前，确保已存在可用的虚拟私有云和子网。 创建方法，请参考创建虚拟私有云和子网。如果您已有虚拟私有云和子网，可重复使用，不需要多次创建。 在创建VPC和子网时应注意如下要求： 创建的VPC与使用的RabbitMQ服务应在相同的区域。 创建VPC和子网时，如无特殊需求，配置参数使用默认配置即可。 2. 在创建RabbitMQ专享版实例前，确保已存在可用的安全组。 创建方法，请参考创建安全组。如果您已有安全组，可重复使用，不需要多次创建。 使用RabbitMQ实例前，添加表1所示安全组规则，其他规则请根据实际需要添加。 表1 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 5672 0.0.0.0/0 访问RabbitMQ实例（关闭SSL加密） 入方向 TCP 5671 0.0.0.0/0 访问RabbitMQ实例（开启SSL加密） 入方向 TCP 15672 0.0.0.0/0 访问Web界面UI地址（关闭SSL加密） 入方向 TCP 15671 0.0.0.0/0 访问Web界面UI地址（开启SSL加密） 说明 创建安全组后，系统默认添加入方向“允许安全组内的弹性云主机彼此通信”规则和出方向“放通全部流量”规则，此时使用内网通过同一个VPC访问RabbitMQ实例，无需添加上表中的规则。

本章节主要介绍如何配置队列。 操作场景 用户根据业务需求，可以在MRS修改指定租户的队列配置。 前提条件 已添加关联Yarn并分配了动态资源的租户。 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.单击“队列配置”页签。 3.在租户队列表格，指定租户队列的“操作”列，单击“修改”。 说明 说明 在“租户管理”页签左侧租户列表，单击目标的租户，切换到“资源”页签，单击也能打开修改队列配置页面。 一个队列只能绑定一个非default资源池。 MRS 3.x之前版本： 队列配置参数 参数名 描述 最大应用数量 表示最大应用程序数量。取值范围从“1”到“2147483647”。 AM最大资源百分比 表示集群中可用于运行application master的最大资源占比。取值范围从“0”到“1”。 用户资源最小上限百分比(%) 表示用户使用的最小资源上限百分比。取值范围从“0”到“100”。 用户资源上限因子 表示用户使用的最大资源限制因子，与当前租户在集群中实际资源百分比相乘，可计算出用户使用的最大资源百分比。最小值为“0”。 状态 表示资源计划当前的状态，“运行”为运行状态，“停止”为停止状态。 默认资源池 表示队列使用的资源池。默认为“default”，如果需要修改为其他资源，需要先配置队列容量，请参见配置资源池的队列容量策略。 MRS 3.x及之后版本： 队列配置参数 参数名 描述 AM最多占有资源（%） 表示当前队列内所有Application Master所占的最大资源百分比。 每个YARN容器最多分配核数 表示当前队列内单个YARN容器可分配的最多核数，默认为1，表示取值范围内不限制。 每个YARN容器最大分配内存（MB） 表示当前队列内单个YARN容器可分配的最大内存，默认为1，表示取值范围内不限制。 最多运行任务数 表示当前队列最多同时可执行任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。取值范围为1～2147483647。 每个用户最多运行任务数 表示每个用户在当前队列中最多同时可执行任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。取值范围为1～2147483647。 最多挂起任务数 表示当前队列最多同时可挂起任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可挂起任务。取值范围为1～2147483647。 资源分配规则 表示单个用户任务间的资源分配规则，包括FIFO和FAIR。 一个用户若在当前队列上提交了多个任务，FIFO规则代表一个任务完成后再执行其他任务，按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。 默认资源标签 表示在指定资源标签（Label）的节点上执行任务。 说明 如果需要使用新的资源池，需要修改默认标签为新的资源池标签。 Active状态 ACTIVE表示当前队列可接受并执行任务。 INACTIVE表示当前队列可接受但不执行任务，若提交任务，任务将处于挂起状态。 Open状态 OPEN表示当前队列处于打开状态。 CLOSED表示当前队列处于关闭状态，若提交任务，任务直接会被拒绝。

本章节主要介绍翼MapReduce服务在不同场景下的应用。 大数据在人们的生活中无处不在，在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用云MRS服务进行大数据处理。 海量数据分析场景 海量数据分析是现代大数据系统中的主要场景。通常企业会包含多种数据源，接入后需要对数据进行ETL（ExtractTransformLoad）处理形成模型化数据，以便提供给各个业务模块进行分析梳理，这类业务通常有以下特点： 对执行实时性要求不高，作业执行时间在数十分钟到小时级别。 数据量巨大。 数据来源和格式多种多样。 数据处理通常由多个任务构成，对资源需要进行详细规划。 例如在环保行业中，可以将天气数据存储在OBS，定期转储到HDFS中进行批量分析，在1小时内MRS可以完成10TB的天气数据分析。 详见下图：环保行业海量数据分析场景 该场景下MRS的优势如下所示。 低成本：利用OBS实现低成本存储。 海量数据分析：利用Hive实现TB/PB级的数据分析。 可视化的导入导出工具：通过可视化导入导出工具Loader，将数据导出到DWS，完成BI分析。 海量数据存储场景 用户拥有大量结构化数据后，通常需要提供基于索引的准实时查询能力，如车联网场景下，根据汽车编号查询汽车维护信息，存储时，汽车信息会基于汽车编号进行索引，以实现该场景下的秒级响应。通常这类数据量比较庞大，用户可能保存1至3年的数据。 例如在车联网行业，某车企将数据储存在HBase中，以支持PB级别的数据存储和毫秒级的数据详单查询。 详见下图：车联网行业海量数据存储场景 该场景下MRS的优势如下所示。 实时：利用Kafka实现海量汽车的消息实时接入。 海量数据存储：利用HBase实现海量数据存储，并实现毫秒级数据查询。 分布式数据查询：利用Spark实现海量数据的分析查询。 实时数据处理 实时数据处理通常用于异常检测、欺诈识别、基于规则告警、业务流程监控等场景，在数据输入系统的过程中，对数据进行处理。 例如在梯联网行业，智能电梯的数据，实时传入到MRS的流式集群中进行实时告警。 详见下图：梯联网行业低时延流式处理场景 该场景下MRS的优势如下所示。 实时数据采集：利用Flume实现实时数据采集，并提供丰富的采集和存储连接方式。 海量的数据源接入：利用Kafka实现万级别的电梯数据的实时接入。

翼MapReduce（翼MR）是一种基于云计算平台的数据处理分析服务，打造了高可靠、高安全、易使用的运行维护平台，对外提供大容量数据的存储和分析能力，可解决用户实时性要求不高的海量数据存储和处理需求，可以独立申请和使用托管Hadoop、Spark、HBase和Hive组件。 支持的事件列表如下： 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 DBServer主备倒换 dbServerSwitchover 次要 DBServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致。 连续触发主备倒换可能影响Hive服务正常使用，导致Hive服务不可用。 Flume Channel溢出 flumeChannelOverflow 次要 Flume Channel溢出 确认flume的channel配置是否合理，业务量是否有突增。 Flume任务无法正常写入数据到后端。 NameNode主备倒换 namenodeSwitchover 次要 NameNode主备倒换 主备倒换需要和运维人员确认是否为正常操作导致。 连续触发主备倒换可能影响HDFS服务正常使用，读写HDFS文件可能失败。 ResourceManager主备倒换 resourceManagerSwitchover 次要 ResourceManager主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Yarn服务正常使用，导致任务出现异常甚至失败 JobHistoryServer主备倒换 jobHistoryServerSwitchover 次要 JobHistoryServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响MapReduce服务正常使用，导致任务日志读取异常 HMaster主备倒换 hmasterFailover 次要 HMaster主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响HBase服务正常使用 Hue发生主备切换 hueFailover 次要 Hue发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 主备倒换可能影响HUE服务正常使用，导致页面无法使用等问题 Impala HaProxy服务发生主备切换 impalaHaProxyFailover 次要 Impala HaProxy服务发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Impala服务正常使用 Impala StateStoreCatalog服务发生主备切换 impalaStateStoreCatalogFailover 次要 Impala StateStoreCatalog服务发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Impala服务正常使用 LdapServer主备倒换 ldapServerFailover 次要 LdapServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响LdapServer服务正常使用 Loader主备倒换 loaderSwitchover 次要 Loader主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 主备倒换可能影响Loader服务正常使用 Manager主备倒换 managerSwitchover 提示 Manager主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 Manager主备倒换可能导致Manager页面无法正常访问，部分监控可能出现异常数值 作业执行失败 jobRunningFailed 提示 作业执行失败 查看作业管理页面，确认失败任务是否有异常 作业执行过程出现失败 作业被终止 jobkilled 提示 作业被终止 确认任务是否人为下发终止命令 作业执行过程被终止 Oozie工作流执行失败 oozieWorkflowExecutionFailure 次要 Oozie工作流执行失败 查看Oozie日志，确认任务失败原因 Oozie工作流执行失败 Oozie定时任务执行失败 oozieScheduledJobExecutionFailure 次要 Oozie定时任务执行失败 查看Oozie日志，确认任务失败原因 Oozie定时任务执行失败 ClickHouse服务不可用 clickHouseServiceUnavailable 紧急 ClickHouse服务不可用 请参考《MapReduce服务用户指南》的“ALM45425 ClickHouse服务不可用”章节。 ClickHouse服务异常，无法通过FusionInsight Manager对ClickHouse进行集群操作，无法使用ClickHouse服务功能。 DBService服务不可用 dbServiceServiceUnavailable 紧急 DBService服务不可用 请参考《MapReduce服务用户指南》的“ALM27001 DBService服务不可用”章节。 数据库服务不可用，无法对上层服务提供数据入库、查询等功能，使部分服务异常。 DBService主备节点间心跳中断 dbServiceHeartbeatInterruption BetweentheActiveAndStandbyNodes 重要 DBService主备节点间心跳中断 请参考《MapReduce服务用户指南》的“ALM27003 DBService主备节点间心跳中断”章节。 DBService主备间心跳中断时只有一个节点提供服务，一旦该节点故障，再无法切换到备节点，就会服务不可用。 DBService主备数据不同步 dataInconsistencyBetween ActiveAndStandbyDBServices 紧急 DBService主备数据不同步 请参考《MapReduce服务用户指南》的“ALM27004 DBService主备数据不同步”章节。 主备DBServer数据不同步，如果此时主实例异常，则会出现数据丢失或者数据异常的情况。 数据库进入只读模式 databaseEnterstheReadOnlyMode 紧急 数据库进入只读模式 请参考《MapReduce服务用户指南》的“ALM27007 数据库进入只读模式”章节。 数据库进入只读模式，业务数据丢失。 Flume服务不可用 flumeServiceUnavailable 紧急 Flume服务不可用 请参考《MapReduce服务用户指南》的“ALM24000 Flume服务不可用”章节。 当Flume服务不可用时，Flume不能正常工作，数据传输业务中断。 Flume Agent异常 flumeAgentException 重要 Flume Agent异常 请参考《MapReduce服务用户指南》的“ALM24001 Flume Agent异常”章节。 产生告警的Flume Agent实例无法正常启动，定义在该实例下的数据传输任务暂时中断，对于实时数据传输，会丢失实时数据。 Flume Client连接中断 flumeClientDisconnected 重要 Flume Client连接中断 请参考《MapReduce服务用户指南》的“ALM24003 Flume Client连接中断”章节。 产生告警的Flume Client无法与Flume Server端进行通信，Flume Client端的数据无法传输到Flume Server端。 Flume读取数据异常 exceptionOccursWhenFlumeReadsData 重要 Flume读取数据异常 请参考《MapReduce服务用户指南》的“ALM24004 Flume读取数据异常”章节。 如果数据源有数据，Flume Source持续读取不到数据，数据采集会停止。 Flume传输数据异常 exceptionOccursWhenFlumeTransmitsData 重要 Flume传输数据异常 请参考《MapReduce服务用户指南》的“ALM24005 Flume传输数据异常”章节。 Flume Channel的磁盘空间使用量有继续增长的趋势，将会使数据导入到指定目的地的时间增长，当Flume Channel的磁盘空间使用量达到100%时会导致Flume Agent进程暂停工作。 Flume 证书文件非法或已损坏 flumeCertificateFileIsinvalid 重要 Flume 证书文件非法或已损坏 请参考《MapReduce服务用户指南》的“ALM24010 Flume证书文件非法或已损坏”章节。 Flume证书文件已经非法或损坏，功能受限，Flume客户端将无法访问Flume服务端。 Flume 证书文件即将过期 flumeCertificateFileIsAboutToExpire 重要 Flume 证书文件即将过期 请参考《MapReduce服务用户指南》的“ALM24011 Flume证书文件即将过期”章节。 Flume证书文件即将失效，对系统目前运行无影响。 Flume 证书文件已过期 flumeCertificateFileIsExpired 重要 Flume 证书文件已过期 请参考《MapReduce服务用户指南》的“ALM24012 Flume证书文件已过期”章节。 Flume证书文件已过期，功能受限，Flume客户端将无法访问Flume服务端。 Flume MonitorServer证书文件失效 flumeMonitorServerCertificateFileIsInvalid 重要 Flume MonitorServer证书文件失效 请参考《MapReduce服务用户指南》的“ALM24013 Flume MonitorServer证书文件非法或已损坏”章节。 MonitorServer证书文件已经非法或损坏，功能受限，Flume客户端将无法访问Flume服务端。 Flume MonitorServer证书文件即将过期 flumeMonitorServerCertificate FileIsAboutToExpire 重要 Flume MonitorServer证书文件即将过期 请参考《MapReduce服务用户指南》的“ALM24014 Flume MonitorServer证书文件即将过期”章节。 MonitorServer证书文件即将失效，对系统目前运行无影响。 Flume MonitorServer证书文件已过期 flumeMonitorServerCertificateFileIsExpired 重要 Flume MonitorServer证书文件已过期 请参考《MapReduce服务用户指南》的“ALM24015 Flume MonitorServer证书文件已过期”章节。 MonitorServer证书文件已过期，功能受限，Flume客户端将无法访问Flume服务端。 HDFS服务不可用 hdfsServiceUnavailable 紧急 HDFS服务不可用 请参考《MapReduce服务用户指南》的“ALM14000 HDFS服务不可用”章节。 无法为基于HDFS服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。 NameService服务异常 nameServiceServiceUnavailable 重要 NameService服务异常 请参考《MapReduce服务用户指南》的“ALM14010 NameService服务异常”章节。 无法为基于该NameService服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。 DataNode数据目录配置不合理 datanodeDataDirectoryIsNotConfiguredProperly 重要 DataNode数据目录配置不合理 请参考《MapReduce服务用户指南》的“ALM14011 DataNode数据目录配置不合理”章节。 如果将DataNode数据目录挂载在根目录等系统关键目录，长时间运行后会将根目录写满，导致系统故障。不合理的DataNode数据目录配置，会造成HDFS的性能下降。 Journalnode数据不同步 journalnodeIsOutOfSynchronization 重要 Journalnode数据不同步 请参考《MapReduce服务用户指南》的“ALM14012 Journalnode数据不同步”章节。 当一个JournalNode节点工作状态异常时，其数据就会与其他JournalNode节点的数据不同步。如 果超过一半的JournalNode节点的数据不同步时，NameNode将无法工作，导致HDFS服务不可用。 NameNode FsImage文件更新失败 failedToUpdateTheNameNodeFsImageFile 重要 NameNode FsImage文件更新失败 请参考《MapReduce服务用户指南》的“ALM14013 NameNode FsImage文件更新失败”章节。 如果主NameNode数据目录的FsImage没有更新，则说明HDFS元数据合并功能异常，需要修复。 如不修复，HDFS在运行一段时间后，Editlog会一直增长。此时如果重启HDFS，由于要加载非常多的Editlog，会导致启动非常耗时。另外，该告警的产生也说明备NameNode功能异常，导致NameNode的HA机制失效。一旦主NameNode故障，则整个HDFS服务将不可用。 DataNode磁盘故障 datanodeDiskFault 重要 DataNode磁盘故障 请参考《MapReduce服务用户指南》的“ALM14027 DataNode磁盘故障”章节。 上报DataNode磁盘故障告警时，表示该DataNode节点上存在故障的磁盘分区，可能会导致已写入的文件丢失。 Yarn服务不可用 yarnServiceUnavailable 紧急 Yarn服务不可用 请参考《MapReduce服务用户指南》的“ALM18000 Yarn服务不可用”章节。 集群无法提供Yarn服务。用户无法执行新的application。已提交的application无法执行。 NodeManager心跳丢失 nodemanagerHeartbeatLost 重要 NodeManager心跳丢失 请参考《MapReduce服务用户指南》的“ALM18002 NodeManager心跳丢失”章节。 丢失的NodeManager节点无法提供Yarn服务。容器减少，集群性能下降。 NodeManager不健康 nodemanagerUnhealthy 重要 NodeManager不健康 请参考《MapReduce服务用户指南》的“ALM18003 NodeManager不健康”章节。 故障的NodeManager节点无法提供Yarn服务。容器减少，集群性能下降。 Yarn 任务执行超时 yarnApplicationTimeout 次要 Yarn 任务执行超时 请参考《MapReduce服务用户指南》的“ALM18020 Yarn任务执行超时”章节。 任务执行超时后的运行时间内，该告警一直存在，但任务仍继续正常执行，没有任何影响。 Mapreduce服务不可用 mapreduceServiceUnavailable 紧急 Mapreduce服务不可用 请参考《MapReduce服务用户指南》的“ALM18021 Mapreduce服务不可用”章节。 集群无法提供Mapreduce服务，如无法通过Mapreduce查看任务日志，无法提供Mapreduce服务的日志归档功能等。 Yarn队列资源不足 insufficientYarnQueueResources 次要 Yarn队列资源不足 请参考《MapReduce服务用户指南》的“ALM18022 Yarn队列资源不足”章节。 应用任务结束时间变长。新应用提交后长时间无法运行。 HBase服务不可用 hbaseServiceUnavailable 紧急 HBase服务不可用 请参考《MapReduce服务用户指南》的“ALM19000 HBase服务不可用”章节。 无法进行数据读写和创建表等操作。 HBase系统表目录或文件丢失 systemTablePathOrFileOfHBaseIsMissing 紧急 HBase系统表目录或文件丢失 请参考《MapReduce服务用户指南》的“ALM19012 HBase系统表目录或文件丢失”章节。 HBase服务重启/启动失败。 Hive服务不可用 hiveServiceUnavailable 紧急 Hive服务不可用 请参考《MapReduce服务用户指南》的“ALM16004 Hive服务不可用”章节。 Hive无法提供数据加载，查询，提取服务。 Hive数据仓库被删除 hiveDataWarehouseIsDeleted 紧急 Hive数据仓库被删除 请参考《MapReduce服务用户指南》的“ALM16045 Hive数据仓库被删除”章节。 Hive默认数据仓库被删除，会导致在默认数据仓库中创建库、创建表失败，影响业务正常使用。 Hive数据仓库权限被修改 hiveDataWarehousePermissionIsModified 紧急 Hive数据仓库权限被修改 请参考《MapReduce服务用户指南》的“ALM16046 Hive数据仓库权限被修改”章节。 Hive默认数据仓库的权限被修改，会影响当前用户，用户组，其他用户在默认数据仓库中创建库、创建表等操作的操作权限范围。会扩大或缩小权限。 HiveServer已从Zookeeper注销 hiveServerHasBeenDeregisteredFromZookeeper 重要 HiveServer已从Zookeeper注销 请参考《MapReduce服务用户指南》的“ALM16047 HiveServer已从Zookeeper注销”章节。 当无法在Zookeeper上读取到Hive的配置，将会导致HiveServer不可用。 tez或者spark库路径不存在 tezlibOrSparklibIsNotExist 重要 tez或者spark库路径不存在 请参考《MapReduce服务用户指南》的“ALM16048 Tez或者Spark库路径不存在”章节。 Tez或者Spark库路径不存在，会影响Hive on Tez，Hive on Spark的功能。 Hue服务不可用 hueServiceUnavailable 紧急 Hue服务不可用 请参考《MapReduce服务用户指南》的“ALM20002 Hue服务不可用”章节。 系统无法提供数据加载，查询，提取服务。 Impala服务不可用 impalaServiceUnavailable 紧急 Impala服务不可用 请参考《MapReduce服务用户指南》的“ALM29000 Impala服务不可用”章节。 Impala服务异常，无法通过FusionInsight Manager对Impala进行集群操作，无法使用Impala服务功能。 Kafka服务不可用 kafkaServiceUnavailable 紧急 Kafka服务不可用 请参考《MapReduce服务用户指南》的“ALM38000 Kafka服务不可用”章节。 集群无法对外提供Kafka服务，用户无法执行新的Kafka任务。 Kafka默认用户状态异常 statusOfKafkaDefaultUserIsAbnormal 紧急 Kafka默认用户状态异常 请参考《MapReduce服务用户指南》的“ALM38007 Kafka默认用户状态异常”章节。 Kafka默认用户状态异常，会影响Broker之间的元数据同步，以及Kafka与ZooKeeper之间的交互，进而影响业务生产、消费和Topic的创建、删除等操作。 Kafka数据目录状态异常 abnormalKafkaDataDirectoryStatus 重要 Kafka数据目录状态异常 请参考《MapReduce服务用户指南》的“ALM38008 Kafka数据目录状态异常”章节。 Kafka数据目录状态异常，会导致该数据目录上所有Partition的当前副本下线，多个节点同时出现数据目录状态异常，可能会导致部分Partition不可用。 存在单副本的Topic topicsWithSingleReplica 警告 存在单副本的Topic 请参考《MapReduce服务用户指南》的“ALM38010 存在单副本的Topic”章节。 单副本的Topic存在单点故障风险，当副本所在节点异常时，会直接导致Partition没有leader，影响该Topic上的业务。 KrbServer服务不可用 krbServerServiceUnavailable 紧急 KrbServer服务不可用 请参考《MapReduce服务用户指南》的“ALM25500 KrbServer服务不可用”章节。 告警发生时，不能对集群中的组件KrbServer进行任何操作。其它组件的KrbServer认证将受影响。集群中依赖KrbServer的组件运行状态将为故障。 Kudu服务不可用 kuduServiceUnavailable 紧急 Kudu服务不可用 请参考《MapReduce服务用户指南》的“ALM29100 Kudu服务不可用”章节。 用户无法使用Kudu服务。 LdapServer服务不可用 ldapServerServiceUnavailable 紧急 LdapServer服务不可用 请参考《MapReduce服务用户指南》的“ALM25000 LdapServer服务不可用”章节。 告警发生时，不能对集群中的KrbServer和LdapServer用户进行任何操作。 例如，无法在FusionInsight Manager页面添加、删除或修改任何用户、用户组或角色，也无法修改用户密码。集群中原有的用户验证不受影响。 LdapServer数据同步异常 abnormalLdapServerDataSynchronization 紧急 LdapServer数据同步异常 请参考《MapReduce服务用户指南》的“ALM25004 LdapServer数据同步异常”章节。 LdapServer数据不一致时，有可能是Manager上的LdapServer数据损坏，也有可能是集群上的LdapServer数据损坏，此时数据损坏的LdapServer进程将无法对外提供服务，影响Manager和集群的认证功能。 Nscd服务异常 nscdServiceIsAbnormal 重要 Nscd服务异常 请参考《MapReduce服务用户指南》的“ALM25005 Nscd服务异常”章节。 nscd服务异常时，可能会影响该节点从LdapServer上同步数据，此时，使用id命令可能会获取不到Ldap中的数据，影响上层业务。 Sssd服务异常 sssdServiceIsAbnormal 重要 Sssd服务异常 请参考《MapReduce服务用户指南》的“ALM25006 Sssd服务异常”章节。 sssd服务异常时，可能会影响该节点从LdapServer上同步数据，此时，使用id命令可能会获取不到ldap中的数据，影响上层业务。 Loader服务不可用 loaderServiceUnavailable 紧急 Loader服务不可用 请参考《MapReduce服务用户指南》的“ALM23001 Loader服务不可用”章节。 如果Loader服务不可用，数据加载，导入，转换的功能也不可用。 Oozie服务不可用 oozieServiceUnavailable 紧急 Oozie服务不可用 请参考《MapReduce服务用户指南》的“ALM17003 Oozie服务不可用”章节。 无法使用Oozie服务提交作业。 Ranger服务不可用 rangerServiceUnavailable 紧急 Ranger服务不可用 请参考《MapReduce服务用户指南》的“ALM45275 Ranger服务不可用”章节。 当Ranger服务不可用时，Ranger无法正常工作，Ranger原生UI无法访问。 RangerAdmin状态异常 abnormalRangerAdminStatus 重要 RangerAdmin状态异常 请参考《MapReduce服务用户指南》的“ALM45276 RangerAdmin状态异常”章节。 当存在单个RangerAdmin状态异常时，不影响Ranger原生UI访问；当两个RangerAdmin状态异常时，Ranger原生UI无法访问，无法执行创建、修改、删除策略等操作。 Spark2x服务不可用 spark2xServiceUnavailable 紧急 Spark2x服务不可用 请参考《MapReduce服务用户指南》的“ALM43001 Spark2x服务不可用”章节。 用户提交的Spark任务执行失败。 Storm服务不可用 stormServiceUnavailable 紧急 Storm服务不可用 请参考《MapReduce服务用户指南》的“ALM26051 Storm服务不可用”章节。 集群无法对外提供Storm服务，用户无法执行新的Storm任务。 ZooKeeper服务不可用 zooKeeperServiceUnavailable 紧急 ZooKeeper服务不可用 请参考《MapReduce服务用户指南》的“ALM13000 ZooKeeper服务不可用”章节。 ZooKeeper无法为上层组件提供协调服务，依赖ZooKeeper的组件可能无法正常运行。 ZooKeeper中组件顶层目录的配额设置失败 failedToSetTheQuotaOfTopDirectoriesOf ZooKeeperComponent 次要 ZooKeeper中组件顶层目录的配额设置失败 请参考《MapReduce服务用户指南》的“ALM13005 ZooKeeper中组件顶层目录的配额设置失败”章节。 组件可以向对应的ZooKeeper顶层目录中写入大量数据，导致Zookeeper服务不可用。

本章节主要介绍数据湖探索（DLI）的“总览”页面。 数据探索服务控制台总览页为您提供数据湖探索服务使用流程及队列资源使用情况总览。 使用流程简介 数据湖探索服务使用流程简介： 1.创建队列 队列是DLI的计算资源：SQL队列和通用队列。SQL队列支持提交Spark SQL作业，通用队列支持Spark程序、Flink opensource SQL、Flink Jar作业。 2.准备数据 通常在执行Spark SQL作业前，需要创建数据库和表；在执行Spark作业、Flink Jar作业需要上传程序包。 3.编辑提交作业 完成作业参数的编辑后，提交作业。 4.查看作业状态 在作业管理页面可以查看作业的执行状态。 总览队列使用时长 总览页面支持查看队列的使用时长。 查看所有队列的使用时长：总览所有队列资源的使用情况 查看单队列的使用时长：单队列近期的使用情况。