本章节主要介绍删除队列。 根据实际使用情况，您可以通过删除操作释放队列。 说明 如果待删除的队列中有正在提交或正在运行的作业，将不支持删除操作。 删除队列不会导致您数据库中的表数据丢失。 删除队列步骤 1. 在DLI管理控制台左侧，选择“资源管理 > 队列管理”。 2. 选择待删除的队列，单击“操作”列的“删除”删除。 说明 如果“操作”列的“删除”为灰色，表示当前用户没有删除队列的权限。您可以向管理员申请删除队列的权限。 3. 在弹出的确认对话框中，单击“是”。

接口功能介绍 云防火墙（原生版）N100型产品退订云防火墙+云主机功能 接口约束 无 URI POST /v1/cngfw/order/placeunsubscribe 路径参数 无 Query参数 无 请求参数 请求头header参数 无 请求体body参数 参数 是否必填 参数类型 说明 示例 下级对象 resources 是 Array of Objects 退订资源id resources 表 resources 参数 是否必填 参数类型 说明 示例 下级对象 resourceIds 是 String of Array(String) 退订资源id数组，包含云防火墙资源id、云主机资源id 响应参数 参数 参数类型 说明 示例 下级对象 statusCode Integer 状态码，800：成功，900：失败 message String 返回信息 成功 error String 错误信息 returnObj Object 接口返回结果 returnObj errorCode String 错误码 表 returnObj 参数 参数类型 说明 示例 下级对象 errorMessage String 下单失败描述，具体订单失败取该错误消息描述 submitted Boolean 是否已提交成功，true：成功，false：失败 true orderPlacedEvents Array of Objects 订单项 orderPlacedEvents 表 orderPlacedEvents 参数 参数类型 说明 示例 下级对象 errorMessage String 下单失败描述，具体订单失败取该错误消息描述 submitted Boolean 是否已提交成功，true：成功，false：失败 true newOrderId String 主订单id newOrderNo String 主订单NO totalPrice Double 订单价格

场景描述 Kafka管理应用用户生产消费权限的场景描述如下： 应用开发和测试：在应用开发和测试阶段，需要为开发人员和测试人员提供适当的生产和消费权限，以便他们能够读取和写入Kafka主题。这样可以确保他们能够有效地测试和验证应用程序的功能。 应用部署和运维：在将应用程序部署到生产环境中时，需要为运维团队提供适当的生产和消费权限。运维团队可以使用这些权限来监控和管理Kafka集群，并处理任何可能的故障或问题。 数据分析和报告：对于数据分析师和报告人员，他们可能需要从Kafka主题中读取数据进行分析和生成报告。为他们提供适当的消费权限可以帮助他们获取所需的数据，并进行相关的数据分析和报告工作。 数据集成和同步：在数据集成和同步的场景中，可能需要为特定的应用或系统提供生产和消费权限。这样可以确保数据的可靠传输和同步，以满足不同系统之间的数据需求。 多租户环境：在多租户环境中，需要管理不同租户之间的生产和消费权限。为每个租户分配独立的权限可以确保数据的隔离和安全性，同时满足不同租户的需求。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页的操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入用户管理界面，该页面展示用户列表。 （5）选择相应的用户，点击其右侧的”用户权限“按钮进行权限管理。 （6）生产权限。先点击”添加生产权限“按钮，在弹窗的左侧选择需要添加生产权限的Topic，然后点击中间按钮，最后点击”确定“完成添加。 （7）消费权限。左上角切换消费权限，点击”添加消费权限“按钮，在弹窗的左侧选择需要添加消费权限的Topic，然后点击中间按钮，最后点击”确定“完成添加。

本节介绍了开启网卡多队列功能的操作场景、网卡多队列支持列表、将外部镜像文件导入镜像服务控制台、为镜像添加网卡多队列标签、使用私有镜像创建弹性云主机、执行网卡多队列的配置脚本、查看网卡队列数。 操作场景 随着网络IO的带宽不断提升，单核CPU处理网络中断存在瓶颈，不能完全满足网卡的需求，通过开启网卡多队列功能，您可以将弹性云主机中的网卡中断分散给不同的CPU处理，以满足网卡的需求，从而提升网络PPS和带宽性能。 假设以下场景所述的弹性云主机满足规格和虚拟化类型要求： 使用网卡多队列支持列表中的公共镜像创建的弹性云主机，默认已开启网卡多队列，无需执行本节操作。 对于私有镜像场景，如果您的外部镜像文件的操作系统在网卡多队列支持列表范围内，需要按照如下流程开启网卡多队列： a. 将外部镜像文件导入镜像服务控制台。 b. 为私有镜像添加网卡多队列标签。 c. 使用私有镜像创建弹性云主机。 d. 执行网卡多队列的配置脚本。 说明 云主机开启网卡多队列功能后，如果后续有新增或删除网卡，切换VPC等操作，需要重新对云主机设置网卡多队列，详细操作请参考

本章节主要介绍配置资源池的队列容量策略。 操作场景 添加资源池后，需要为YARN任务队列配置在此资源池中可使用资源的容量策略，队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。用户可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后，YARN任务队列与资源池形成关联关系。 该任务指导用户通过MRS Manager配置队列策略。 前提条件 已添加资源池。 任务队列与其他资源池无关联关系。默认情况下，所有队列与“Default”资源池存在关联关系。 操作步骤 在MRS Manager，单击“租户管理”。 1. 单击“动态资源计划”页签。 2. 在“资源池”选择指定的资源池。 “可用资源配额”：表示每个资源池默认所有资源都可分配给队列。 3. 在“资源分配”列表指定队列的“操作”列，单击“修改”。 4. 在“修改资源分配”窗口设置任务队列在此资源池中的资源容量策略。 “资源容量 (%)”：表示当前租户计算资源使用的资源百分比。 “最大资源容量 (%)”：表示当前租户计算资源使用的最大资源百分比。 5. 单击“确定”保存配置。

本文介绍如何在科研助手中查询、查看、刷新队列列表及管理队列列表选项显示信息。 查看步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中，选择【资源配额】中的【队列管理】。 【队列列表】展示的字段说明： 参数 说明 搜索框 输入队列名称，支持输入关键字进行检索。 查询按钮 点击”查询“按钮，显示查询结果。 刷新 刷新当前队列列表展示页面。 选项设置 可勾选不同的字段，对列表页面进行筛选。 队列名称 队列的名称。 状态 队列的状态，共有4种，分别为：开启、关闭、关闭中以及未知。 资源池 队列所属的资源池的名称。 资源池类型 队列所属的资源池的类型，共有2种，分别为专属资源池和共享资源池。 实际资源上限（CPU/内存/GPU） 队列在所属资源池中能得到的实际资源上限。 创建时间 队列的创建时间。 查询 输入队列名称，点击”查询“按钮。 刷新 点击”刷新“按钮，系统将刷新队列的最新状态信息。

本章节主要介绍翼MapReduce的配置资源池的队列容量策略操作。 操作场景 添加资源池后，需要为Yarn任务队列配置在此资源池中可使用资源的容量策略，队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。 管理员可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后，Yarn任务队列与资源池形成关联关系。 前提条件 已添加队列，即已创建关联了计算资源的租户。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“租户资源 > 动态资源计划”。 默认显示“资源分布策略”。 3. “集群”参数选择待操作的集群名称，然后在“资源池”，选择待操作的资源池。 4. 在“资源分配”表格，指定租户资源名队列的“操作”列，单击“修改”。 5. 在“修改资源分配”窗口设置任务队列在此资源池中的资源容量策略。 “资源容量（%）”：表示当前租户计算资源使用的资源百分比。 “最大资源容量（%）”：表示当前租户计算资源使用的最大资源百分比。 6. 单击“确定”保存配置。 说明 删除队列的资源容量值并保存，可以取消队列在此资源池中的资源容量策略，表示解除队列与资源池的关联关系。需要先将队列的默认资源池更改为其他资源池，请参见

本章节主要介绍如何清除队列配置。 操作场景 当队列不再需要某个资源池的资源，或资源池需要与队列取消关联关系时，用户可以在MRS清除队列配置。清除队列配置即取消队列在此资源池中的资源容量策略。 前提条件 如果队列需要清除与某个资源池的绑定关系，该资源池不能作为队列的默认资源池，需要先将队列的默认资源池更改为其他资源池，请参见配置队列。 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考使用说明。 2.单击“资源分布策略”页签。 3.在“资源池”选择指定的资源池。 4.在“资源分配”列表指定队列的“操作”列，单击“清除”。 在“清除队列设置”中单击“是”，清除队列在当前资源池的配置。 说明 如果用户未配置队列的资源容量策略，则清除功能默认不可用。

参数 说明 net.core.rmemdefault 默认的 TCP 数据接收窗口大小（字节）。 net.core.rmemmax 最大的 TCP 数据接收窗口（字节）。 net.core.wmemdefault 默认的 TCP 数据发送窗口大小（字节）。 net.core.wmemmax 最大的 TCP 数据发送窗口（字节）。 net.core.netdevmaxbacklog 在每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目。 net.core.somaxconn 定义了系统中每一个端口最大的监听队列的长度，这是个全局的参数。 net.core.optmemmax 表示每个套接字所允许的最大缓冲区的大小。 net.ipv4.tcpmem 确定 TCP 栈应该如何反映内存使用，每个值的单位都是内存页（通常是 4KB）第一个值是内存使用的下限；第二个值是内存压力模式开始对缓冲区使用应用压力的上限；第三个值是内存使用的上限。在这个层次上可以将报文丢弃，从而减少对内存的使用。对于较大的 BDP 可以增大这些值（注意：其单位是内存页而不是字节）。 net.ipv4.tcprmem 为自动调优定义 socket 使用的内存。第一个值是为 socket 接收缓冲区分配的最少字节数；第二个值是默认值（该值会被 rmemdefault 覆盖），缓冲区在系统负载不重的情况下可以增长到这个值；第三个值是接收缓冲区空间的最大字节数（该值会被 rmemmax 覆盖）。 net.ipv4.tcpwmem 为自动调优定义 socket 使用的内存。第一个值是为 socket 发送缓冲区分配的最少字节数；第二个值是默认值（该值会被 wmemdefault 覆盖），缓冲区在系统负载不重的情况下可以增长到这个值；第三个值是发送缓冲区空间的最大字节数（该值会被 wmemmax 覆盖）。 net.ipv4.tcpkeepalivetime TCP 发送 keepalive 探测消息的间隔时间（秒），用于确认 TCP 连接是否有效。 net.ipv4.tcpkeepaliveintvl 探测消息未获得响应时，重发该消息的间隔时间（秒）。 net.ipv4.tcpkeepaliveprobes 在认定 TCP 连接失效之前，最多发送多少个 keepalive 探测消息。 net.ipv4.tcpsack 启用有选择的应答（1 表示启用），通过有选择地应答乱序接收到的报文来提高性能，让发送者只发送丢失的报文段，（对于广域网通信来说）这个选项应该启用，但是会增加对 CPU 的占用。 net.ipv4.tcpfack 启用转发应答，可以进行有选择应答（SACK）从而减少拥塞情况的发生，这个选项也应该启用。 net.ipv4.tcptimestamps TCP 时间戳（会在 TCP 包头增加 12 B），以一种比重发超时更精确的方法（参考 RFC 1323）来启用对 RTT 的计算，为实现更好的性能应该启用这个选项。 net.ipv4.tcpwindowscaling 启用 RFC 1323 定义的 window scaling，要支持超过 64KB 的 TCP 窗口，必须启用该值（1 表示启用），TCP 窗口最大至 1GB，TCP 连接双方都启用时才生效。 net.ipv4.tcpsyncookies 表示是否打开 TCP 同步标签（syncookie），内核必须打开了 CONFIGSYNCOOKIES 项进行编译，同步标签可以防止一个套接字在有过多试图连接到达时引起过载。默认值 0 表示关闭。 net.ipv4.tcptwreuse 表示是否允许将处于 TIMEWAIT 状态的 socket （TIMEWAIT 的端口）用于新的 TCP 连接。说明该参数在NAT(Network AddressTranslation)场景下不能配置为1，否则将导致云主机远程连接异常。 net.ipv4.tcptwrecycle 能够更快地回收 TIMEWAIT 套接字。说明该参数在NAT(Network AddressTranslation)场景下不能配置为1，否则将导致云主机远程连接异常。 net.ipv4.tcpfintimeout 对于本端断开的 socket 连接，TCP 保持在 FINWAIT2 状态的时间（秒）。对方可能会断开连接或一直不结束连接或不可预料的进程死亡。 net.ipv4.iplocalportrange 表示 TCP/UDP 协议允许使用的本地端口号。 net.ipv4.tcpmaxsynbacklog 对于还未获得对方确认的连接请求，可保存在队列中的最大数目。如果服务器经常出现过载，可以尝试增加这个数字。默认为 1024。 net.ipv4.tcplowlatency 允许 TCP/IP 栈适应在高吞吐量情况下低延时的情况，这个选项应该禁用。 net.ipv4.tcpwestwood 启用发送者端的拥塞控制算法，它可以维护对吞吐量的评估，并试图对带宽的整体利用情况进行优化，对于 WAN 通信来说应该启用这个选项。 net.ipv4.tcpbic 为快速长距离网络启用 Binary Increase Congestion，这样可以更好地利用以 GB 速度进行操作的链接，对于 WAN 通信应该启用这个选项。 net.ipv4.tcpmaxtwbuckets 该参数设置系统的 TIMEWAIT 的数量，如果超过默认值则会被立即清除。默认为 180000。 net.ipv4.tcpsynackretries 指明了处于 SYNRECV 状态时重传 SYN+ACK 包的次数。 net.ipv4.tcpabortonoverflow 设置改参数为 1 时，当系统在短时间内收到了大量的请求，而相关的应用程序未能处理时，就会发送 Reset 包直接终止这些链接。建议通过优化应用程序的效率来提高处理能力，而不是简单地 Reset。默认值： 0 net.ipv4.route.maxsize 内核所允许的最大路由数目。 net.ipv4.ipforward 接口间转发报文。 net.ipv4.ipdefaultttl 报文可以经过的最大跳数。 net.netfilter.nfconntracktcptimeoutestablished 让 iptables 对于已建立的连接，在设置时间内若没有活动，那么则清除掉。 net.netfilter.nfconntrackmax 哈希表项最大值。

本章节主要介绍如何绑定/解绑队列。 约束限制 绑定跨源的DLI队列网段和数据源网段不能重合。 不支持绑定系统预置的default队列。 绑定队列 使用增强型跨源连接之前必须绑定队列且对等连接的状态是“active”。 方式一 在“增强型跨源”页面，选择一条连接，单击该连接“操作”列中的“更多 > 绑定队列”，在弹出的对话框中，选择要绑定的队列（支持多选），单击“确定”。 方式二 单击选择的连接名称，进入该连接的“ 详情”页面。单击左上角的“创建”，在弹出的对话框中，选择要绑定的队列（支持多选），单击“确定”。 查看绑定队列详情 在“增强型跨源”页面，选中一条连接，单击选中的连接名称，可以查看绑定队列相关信息。 跨源连接队列详情列表参数 参数 参数说明 对等连接ID 增强型跨源在该队列所在集群中创建的对等连接ID。 说明 每一个增强型跨源对每一个绑定的队列都会创建一个对等连接。该对等连接用于实现跨VPC通信，请确保数据源使用的安全组开放了DLI队列网段的访问，并且在使用跨源过程中不要删除该对等连接。 名称 已绑定的队列名称。 连接状态 跨源连接的状态信息，包括以下三种状态： 创建中 已激活 已失败 说明 当连接状态显示为“已失败”时，单击左边对应的 ，可查看详细的错误信息。 更新时间 每个连接的更新时间，可按更新时间顺序或倒序显示连接列表。 操作 解绑队列：用于解除跨源连接与队列之间的绑定关系。

本章节主要介绍翼MapReduce的清除队列容量配置操作。 操作场景 当队列不再需要某个资源池的资源，或资源池需要与队列取消关联关系时，管理员可以在FusionInsight Manager清除队列配置。清除队列配置即取消队列在此资源池中的资源容量策略。 前提条件 如果队列需要清除与某个资源池的绑定关系，该资源池不能作为队列的默认资源池，需要先将队列的默认资源池更改为其他资源池，请参见配置队列。 操作步骤 1. 登录FusionInsight Manager界面。 2. 选择“租户资源 > 动态资源计划”。 3. “集群”参数选择待操作的集群名称，然后在“资源池”，选择待操作的资源池。 4. 在资源分配表格，指定租户资源名的“操作”列，单击“清除”。 5. 在弹出的对话框中单击“确定”，清除队列在当前资源池的配置。

操作说明 假设以下场景所述的云主机满足规格和虚拟化类型要求： 使用网卡多队列支持列表中的公共镜像创建的云主机，默认已开启网卡多队列，无需执行本节操作。 对于私有镜像场景，如果您的外部镜像文件的操作系统在网卡多队列支持列表范围内，需要按照如下流程开启网卡多队列： a. 将外部镜像文件导入镜像服务控制台。 b. 为镜像添加网卡多队列标签。 c. 使用私有镜像创建云主机。 d. 开启网卡多队列。 将外部镜像文件导入镜像服务控制台 将外部镜像文件导入镜像服务控制台，详细操作请参见注册镜像（Linux）。 为镜像添加网卡多队列标签 Windows操作系统暂未商用支持网卡多队列，如果对Windows操作系统镜像添加网卡多队列标签，开启网卡多队列功能，可能会引起操作系统启动速度变慢等问题。 用户可以选择以下任意一种方式设置镜像的网卡多队列属性。 方式1 ： 1. 登录控制台。 2. 选择“ 镜像服务”。 进入镜像服务页面。 3. 单击“私有镜像”页签，在对应镜像所在行的“操作”列下，单击“修改”。 4. 设置镜像的网卡多队列属性。 方式2 ： 1. 登录控制台。 2. 选择“镜像服务”。 进入镜像服务页面。 3. 单击“私有镜像”页签，在镜像列表中，单击镜像名称，进入镜像详情页面。 4. 单击右上角的“修改”，在弹出的“修改镜像”对话框中，设置镜像的网卡多队列属性。

本章节主要介绍弹性扩缩容。 前提条件 新创建的队列需要运行作业后才可进行弹性扩缩容。 注意事项 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。 如果在“弹性扩缩容”页面提示“Status of queue xxx is assigning, which is not available”，表示需要等待队列资源分配完毕才可进行扩缩容。 弹性扩容 当前队列规格不满足业务需要时，可以通过手动变更队列规格来扩容当前队列。 说明 扩容属于耗时操作，在DLI“弹性扩缩容”页面执行扩容操作后，需要等待大约10分钟，具体时长和扩容的CU值有关，等待一段时间后，可以通过刷新“队列管理”页面，对比“规格”和“实际CUs”大小是否一致来判断是否扩容成功。或者在“作业管理”页面，查看“SCALEQUEUE”类型SQL作业的状态，如果作业状态为“弹性扩缩容中”，表示队列正在扩容中。 操作步骤如下： 1. 在DLI管理控制台左侧，选择“资源管理 > 队列管理”。 2. 选择需要扩容的队列，单击“操作”列“更多”中的“弹性扩缩容”。 3. 在“弹性扩缩容”页面，“变更方式”选择“扩容”，设置扩容的CU值。 4. 确认无误后，单击“确定”。 弹性缩容 当计算业务较小，不需要那么大的队列规格时，可以通过手动变更队列规格来缩容当前队列。 说明 缩容属于耗时操作，在DLI“弹性扩缩容”页面执行缩容操作后，需要等待大约10分钟，具体时长和缩容的CU值有关，等待一段时间后，可以通过刷新“队列管理”页面，对比“规格”和“实际CUs”大小是否一致来判断是否缩容成功。或者在“作业管理”页面，查看“SCALEQUEUE”类型SQL作业的状态，如果作业状态为“弹性扩缩容中”，表示队列正在缩容中。 系统不保证完全缩容到设定的目标大小。如果当前队列正在使用或者队列业务量比较大，会出现缩容不成功，或者缩容一部分规格的情况。 系统默认最小CU值为16CU，即当队列规格为16CUs时，不能进行手动缩容。 操作步骤如下： 1. 在DLI管理控制台左侧，选择“资源管理 >队列管理”。 2. 选择需要扩容的队列，单击“操作”列“更多”中的“弹性扩缩容”。 3. 在“弹性扩缩容”页面，“变更方式”选择“缩容”，设置缩容的CU值。 4. 确认无误后，单击“确定”。

本章节主要介绍 弹性扩缩容定时任务。 弹性扩缩容定时任务使用场景 通常，用户业务繁忙的场景是有周期性的，在某个周期内，用户需要更多的计算资源来处理业务，过了这个周期，则不需要那么多资源。如果用户购买的队列规格比较小，在业务繁忙时会存在资源不足的情况；而如果购买的队列规格比较大，又可能会存在资源浪费的情况。 基于以上场景，DLI提供了队列弹性扩缩容定时任务功能。用户可以根据自己的业务周期或者使用情况，基于现有队列规格，在不同的时间或者周期内设置不同的队列大小，以满足自己的业务需求，节约成本。 弹性扩缩容定时任务注意事项 新创建的队列需要运行作业后才可进行扩缩容。 目前只支持规格为64CUs以上的队列进行定时弹性扩缩容任务，即队列最小规格为64CUs。 对于每个队列，最多支持创建12个定时任务。 每个定时任务开始时，弹性扩缩容的实际开始的时间有5分钟误差。建议扩容时间定时至少比实际使用队列的时间提前20分钟。 每个定时任务之间需要至少有2小时的间隔。 队列的定时弹性扩缩容属于耗时操作，变更所消耗的时间取决于扩缩容目标规格与当前规格的差值大小，用户在“队列管理”页面中可以查看当前队列的规格。 如果当前队列有作业正在运行时，可能无法缩容到目标CU值，而是缩容到当前队列规格和目标规格中间的某个值，系统将在1小时后继续尝试进行缩容，直至下一个定时任务开始。 当一个定时任务没有扩容或者缩容到目标CU值时，系统会在约15分钟后再次触发扩缩计划，直到下一个定时任务开始。

6. Hive导入数据不一致 您可以采取以下方法来排查问题： 1. 检查数据源：重新确认Hive中数据行数的正确性。确保源数据的行数是准确的，以避免源数据本身的错误导致导入后的不一致。 2. 检查数据转换和过滤：在数据导入过程中，检查是否进行了数据转换和过滤操作。确保转换和过滤操作的逻辑正确，不会导致数据丢失或行数不一致的情况。 3. 检查表引擎和去重策略：确认在云数据库ClickHouse中使用的表引擎是否支持去重，例如使用ReplacingMergeTree引擎。某些引擎可能会导致云数据库ClickHouse中的行数小于Hive中的行数。 4. 检查日志和报错信息：查看系统表querylog，检查导入过程中是否有报错信息。报错可能会导致数据丢失或不一致的情况。 通过以上排查方法，您可以逐步确定数据导入过程中的问题，并进行相应的修复和调整。 7. Kafka导入数据不一致 Kafka导入数据到云数据库ClickHouse时，可能会出现数据行数不一致的情况。以下是一些可能的原因和解决方案： 1. 数据消费延迟：Kafka是一个实时数据流平台，数据的消费可能会有一定的延迟。在数据从Kafka写入云数据库ClickHouse的过程中，如果存在数据消费的延迟，那么云数据库ClickHouse中的数据行数可能会与Kafka中的数据行数不一致。解决方法是等待数据消费完全完成，并确保Kafka中的所有数据都被写入ClickHouse。 2. 检查表引擎和去重策略：确认在云数据库ClickHouse中使用的表引擎是否支持去重，例如使用ReplacingMergeTree引擎。某些引擎可能会导致云数据库ClickHouse中的行数小于Hive中的行数。 3. 数据过滤和转换：在将数据从Kafka导入云数据库ClickHouse之前，可能会进行数据过滤和转换操作。这些操作可能会导致数据行数的变化。确保数据过滤和转换的逻辑正确，并检查是否存在数据丢失或数据转换错误的情况。 4. 异常情况处理：在数据导入过程中，可能会出现异常情况，如网络故障、服务中断等。这些异常情况可能导致数据丢失或数据写入不完整。在处理异常情况时，可以通过监控和日志来追踪并解决问题。

本章节主要介绍翼MapReduce的配置队列操作。 操作场景 根据业务需求，管理员可以在FusionInsight Manager修改指定租户的队列配置。 前提条件 已添加使用Superior调度器的租户。 操作步骤 1. 在FusionInsight Manager，单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“队列配置”页签。 4. “集群”参数选择待操作的集群名称，然后指定租户资源名的“操作”列，单击“修改”。 说明 l 在“租户资源管理”页签左侧租户列表，单击目标的租户，切换到“资源”页签，单击“队列配置（队列名）”后面的也能打开修改队列配置页面。 l 一个队列只能绑定一个非default资源池。 l 对于“每个YARN容器最多分配核数”、“每个YARN容器最大分配内存（MB）”、“最多运行任务数”、“每个用户最多运行任务数”和“最多挂起任务数”等参数，为便于操作，当子租户值为1时，父租户值可以设置为具体限制值；当父租户设置为具体限制值时，子租户可以设置为1。 l “每个YARN容器最多分配核数”和“每个YARN容器最大分配内存（MB）”需要同时修改为非1的值才会生效。 队列配置参数 参数名 描述 AM最多占有资源（%） 表示当前队列内所有Application Master所占的最大资源百分比。 每个YARN容器最多分配核数 表示当前队列内单个YARN容器可分配的最多核数，默认为1，表示取值范围内不限制。 每个YARN容器最大分配内存（MB） 表示当前队列内单个YARN容器可分配的最大内存，默认为1，表示取值范围内不限制。 最多运行任务数 表示当前队列最多同时可执行任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。取值范围为1～2147483647。 每个用户最多运行任务数 表示每个用户在当前队列中最多同时可执行任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。取值范围为1～2147483647。 最多挂起任务数 表示当前队列最多同时可挂起任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可挂起任务。取值范围为1～2147483647。 资源分配规则 表示单个用户任务间的资源分配规则，包括FIFO和FAIR。一个用户若在当前队列上提交了多个任务，FIFO规则代表一个任务完成后再执行其他任务，按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。 默认资源标签 表示在指定资源标签（Label）的节点上执行任务。 Active状态 ACTIVE表示当前队列可接受并执行任务。 INACTIVE表示当前队列可接受但不执行任务，若提交任务，任务将处于挂起状态。 Open状态 OPEN表示当前队列处于打开状态。 CLOSED表示当前队列处于关闭状态，若提交任务，任务直接会被拒绝。 故障时是否队列迁移 集群开启单集群跨AZ高可用时，如果AZ故障后，需要当该租户正在运行的队列重新提交至其他AZ，可设置“故障时是否队列迁移”参数为“是”。 5. 单击“确定”完成配置。

本章介绍分布式缓存服务Redis版的典型应用场景。 Redis应用场景 很多大型电商网站、视频直播和游戏应用等，存在 大规模数据访问 ，对 数据查询效率要求高 ，且 数据结构简单 ， 不涉及太多关联查询 。这种场景使用Redis，在速度上对传统磁盘数据库有很大优势，能够有效减少数据库磁盘IO，提高数据查询效率，减轻管理维护工作量，降低数据库存储成本。Redis对传统磁盘数据库是一个重要的补充，成为了互联网应用，尤其是支持高并发访问的互联网应用必不可少的基础服务之一。 以下举几个典型样例： 1. （电商网站）秒杀抢购 电商网站的商品类目、推荐系统以及秒杀抢购活动，适宜使用Redis缓存数据库。 例如秒杀抢购活动，并发高，对于传统关系型数据库来说访问压力大，需要较高的硬件配置（如磁盘IO）支撑。Redis数据库，单节点QPS支撑能达到10万，轻松应对秒杀并发。实现秒杀和数据加锁的命令简单，使用SET、GET、DEL、RPUSH等命令即可。 2. （视频直播）消息弹幕 直播间的在线用户列表，礼物排行榜，弹幕消息等信息，都适合使用Redis中的SortedSet结构进行存储。 例如弹幕消息，可使用ZREVRANGEBYSCORE排序返回，在Redis5.0中，新增了zpopmax，zpopmin命令，更加方便消息处理。 3. （游戏应用）游戏排行榜 在线游戏一般涉及排行榜实时展现，比如列出当前得分最高的10个用户。使用Redis的有序集合存储用户排行榜非常合适，有序集合使用非常简单，提供多达20个操作集合的命令。 4. （社交APP）返回最新评论/回复 在web类应用中，常有“最新评论”之类的查询，如果使用关系型数据库，往往涉及到按评论时间逆排序，随着评论越来越多，排序效率越来越低，且并发频繁。 使用Redis的List（链表），例如存储最新1000条评论，当请求的评论数在这个范围，就不需要访问磁盘数据库，直接从缓存中返回，减少数据库压力的同时，提升APP的响应速度。

混部场景特殊说明 Metastore 和 HiveServer2 相对轻量。混部时，Metastore 保持 2 GB，HiveServer2 可根据实例总内存调整，建议不超过实例总内存的 15%。 Kafka Kafka 所在节点配置升级后，建议配置如下： JVM 堆内存 ：修改kafkaenv.sh，设置export KAFKAHEAPOPTS"Xmx20G Xms20G Xmn4G"。注意堆内存建议不超过物理内存的 50%，且不超过 32 GB。 server.properties 建议修改以下线程参数（基于 CPU 核数）： num.io.threads：写磁盘线程数，建议为 CPU 核数的 50%。 num.replica.fetchers：副本拉取线程数，建议为 CPU 核数 50% 的 1/3。 num.network.threads：数据传输线程数，建议为 CPU 核数 50% 的 2/3。 replica.fetch.max.bytes、socket.send.buffer.bytes、socket.receive.buffer.bytes、socket.request.max.bytes：内存增加时可适当加大。 混部场景特殊说明 Kafka Broker 建议优先独立部署。必须混部时，堆内存不超过实例总内存的 30%，且各线程参数总和应控制在 vCPU 核数的 2~3 倍内。 Kerberos 建议保持默认值，无需修改配置。 Kibana Kibana 是一个基于 NodeJS 的单页 web 应用，一般情况下对内存 CPU 占用很少，无须修改内存、CPU 等配置。 Kyuubi Kyuubi 一般情况下，对内存 CPU 占用很少，无须修改内存、CPU 等配置。若需调整，可在kyuubienv.sh中修改KYUUBIJAVAOPTS的Xmx参数，建议 4 GB。

本章节主要介绍ALM18022 Yarn队列资源不足的告警。 告警解释 告警模块按60秒周期检测Yarn队列资源，当队列可用资源或队列AM（ApplicationMaster）可用资源不足时，产生该告警。 当可用资源充足时，该告警自动消除。 告警属性 告警ID 告警级别 是否自动清除 18022 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 队列名 产生告警的队列名。 队列指标名 产生告警的队列指标名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 应用任务结束时间变长。 新应用提交后长时间无法运行。 可能原因 NodeManager节点资源过小。 队列最大资源容量设置过小。 AM最大资源百分比设置过小。 处理步骤 检查告警详情 1.在FusionInsight Manager界面，选择“运维 > 告警 > 告警”，弹出告警页面。 2.查看“Yarn队列资源不足”告警详情中的“定位信息”，查看“定位信息”是否为“队列名root;队列指标名Memory”或“队列名root;队列指标名vCores”。 是，执行步骤3。 否，执行步骤4。 3.出现该定位信息表示Yarn集群内存或CPU不足，登录NodeManager节点，分别使用命令free g和 cat /proc/cpuinfo ，查询节点可用内存和可用CPU，据此在FusionInsight Manager界面增大Yarn NodeManager的资源参数“yarn.nodemanager.resource.memorymb”和“yarn.nodemanager.resource.cpuvcores”的值，然后重启NodeManager实例。查看该告警是否消除。 是，处理完毕。 否，执行步骤4。 4.查看“定位信息”为“队列名 ;队列指标名Memory”或“队列名 ;队列指标名vCores”，然后查看“附加信息”是否包含“available Memory ”或“available vCores ”。 是，执行步骤5。 否，执行步骤7。 5.出现该附加信息表示该租户队列内存或者CPU不足，选择“租户资源 > 动态资源计划 > 资源分布策略”，调大“最大资源容量”的值，查看该告警是否消除。 是，处理完毕。 否，执行步骤6。 6.选择“集群 > 待操作集群的名称 > 服务 > Yarn >配置 > 全部配置”，输入搜索关键字“threshold”，单击“ResourceManager”，调整如下参数阈值： 如果“附加信息”中包含“available Memory ”，调整“yarn.queue.memory.alarm.threshold”的阈值使其小于“附加信息”中的“available Memory ”的值。 如果“附加信息”中包含“available vCores ”，调整“yarn.queue.vcore.alarm.threshold”的阈值使其小于“附加信息”中的“available vCores ”的值。 等待5分钟，查看该告警是否消除。 是，处理完毕。 否，执行步骤9。 7.查看“附加信息”包含“available AmMemory ”或“available AmvCores ”，表示该租户队列的ApplicationMaster内存和CPU不足，选择“租户资源 > 动态资源计划 > 队列配置”，增大“AM最大资源百分比”，查看该告警是否消除。 是，处理完毕。 否，执行步骤8。 8.选择“集群 > 待操作集群的名称 >服务 > Yarn > 配置 > 全部配置”，输入搜索关键字“threshold”，单击“ResourceManager”：调整如下参数阈值： 如果“附加信息”包含“available AmMemory ”，调整“yarn.am.memory.alarm.threshold”的阈值使其小于“附加信息”中的“available AmMemory ”的值。 如果“附加信息”包含“available AmvCores ”，调整“yarn.am.vcore.alarm.threshold”的阈值使其小于“附加信息”中的“available AmvCores ”的值。 等待5分钟，查看该告警是否消除。 是，处理完毕。 否，执行步骤9。

本章节主要介绍翼MapReduce服务在不同场景下的应用。 大数据在人们的生活中无处不在，在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用云MRS服务进行大数据处理。 海量数据分析场景 海量数据分析是现代大数据系统中的主要场景。通常企业会包含多种数据源，接入后需要对数据进行ETL（ExtractTransformLoad）处理形成模型化数据，以便提供给各个业务模块进行分析梳理，这类业务通常有以下特点： 对执行实时性要求不高，作业执行时间在数十分钟到小时级别。 数据量巨大。 数据来源和格式多种多样。 数据处理通常由多个任务构成，对资源需要进行详细规划。 例如在环保行业中，可以将天气数据存储在OBS，定期转储到HDFS中进行批量分析，在1小时内MRS可以完成10TB的天气数据分析。 详见下图：环保行业海量数据分析场景 该场景下MRS的优势如下所示。 低成本：利用OBS实现低成本存储。 海量数据分析：利用Hive实现TB/PB级的数据分析。 可视化的导入导出工具：通过可视化导入导出工具Loader，将数据导出到DWS，完成BI分析。 海量数据存储场景 用户拥有大量结构化数据后，通常需要提供基于索引的准实时查询能力，如车联网场景下，根据汽车编号查询汽车维护信息，存储时，汽车信息会基于汽车编号进行索引，以实现该场景下的秒级响应。通常这类数据量比较庞大，用户可能保存1至3年的数据。 例如在车联网行业，某车企将数据储存在HBase中，以支持PB级别的数据存储和毫秒级的数据详单查询。 详见下图：车联网行业海量数据存储场景 该场景下MRS的优势如下所示。 实时：利用Kafka实现海量汽车的消息实时接入。 海量数据存储：利用HBase实现海量数据存储，并实现毫秒级数据查询。 分布式数据查询：利用Spark实现海量数据的分析查询。 实时数据处理 实时数据处理通常用于异常检测、欺诈识别、基于规则告警、业务流程监控等场景，在数据输入系统的过程中，对数据进行处理。 例如在梯联网行业，智能电梯的数据，实时传入到MRS的流式集群中进行实时告警。 详见下图：梯联网行业低时延流式处理场景 该场景下MRS的优势如下所示。 实时数据采集：利用Flume实现实时数据采集，并提供丰富的采集和存储连接方式。 海量的数据源接入：利用Kafka实现万级别的电梯数据的实时接入。

本文介绍节点重启后消费者如何重连，以Java中使用的RabbitMQ客户端amqpclient为例。 amqpclient自带重连机制，但是自带的重连机制只会重试一次，一次连不上后就不会再执行了，这时如果消费者没有做额外的重试机制，那么这个消费者就彻底丧失的消费能力。 amqpclient在节点断连后，根据与通道建立的节点不同，产生不同的错误。 如果通道连接的是队列所在的节点，消费者就会收到一个shutdown信号，这时amqpclient的重连机制就会生效，尝试重新连接服务端。如果连上了，这个通道就会继续连接消费。如果连不上，就会执行channel.close方法，关闭这个通道。 如果通道连接的不是队列所在的节点，消费者不会触发关闭动作，而是由服务端发送的一个取消动作，这个动作对amqpclient来说并不是异常行为，所以日志上不会有明显的报错，但是连接最终还是会关闭。 amqpclient出现上面两种错误时，会分别回调handleShutdownSignal以及handleCancel方法，您可以通过重写这两种方法，在回调时执行重写的重连逻辑，就能在通道关闭后重新创建消费者的新通道继续消费。 以下提供一个简单的代码示例，能够解决上面的两种错误，实现消费者的持续消费。 import com.rabbitmq.client.; import java.io.IOException; import java.nio.charset.StandardCharsets; import java.util.concurrent.TimeoutException; public class MyRabbitConsumer { public static void main(String... args) throws IOException, TimeoutException { ConnectionFactory factory new ConnectionFactory(); factory.setHost("192.168.x.x"); factory.setPort(5672); factory.setUsername("name"); factory.setPassword("password"); Connection connection factory.newConnection(); createNewConnection(connection); } public static void createNewConnection(Connection connection) { try { Channel channel connection.createChannel(); channel.basicQos(64); channel.basicConsume("queue1", false, new CustomConsumer(channel, connection)); } catch (Exception e) { createNewConnection(connection); } } static class CustomConsumer implements Consumer { private final Channel channel; private final Connection connection; public CustomConsumer(Channel channel, Connection connection) { channel channel; connection connection; } @Override public void handleConsumeOk(String consumerTag) {} @Override public void handleCancelOk(String consumerTag) {} @Override public void handleCancel(String consumerTag) throws IOException { createNewConnection(connection); } @Override public void handleShutdownSignal(String consumerTag, ShutdownSignalException sig) { createNewConnection(connection); } @Override public void handleRecoverOk(String consumerTag) {} @Override public void handleDelivery(String consumerTag, Envelope env, AMQP.BasicProperties prop, byte[] body) throws IOException { String message new String(body, StandardCharsets.UTF8); System.out.println("收到消息: " + message); channel.basicAck(env.getDeliveryTag(), false); } } }

本章节介绍同步到Kafka集群中的数据以Avro、JSON和JSONC格式存储。 同步到Kafka集群中的数据以Avro、JSON和JSONC格式存储。 avro格式 Avro格式的schema定义详情请参见record.rar。在实时同步到Kafka集群后，您需要根据schema定义进行数据解析，数据解析样例请参见drsavroread.rar。 JSON格式 MySQL到Kafka的JSON格式定义详情参考表，Oracle到Kafka的JSON格式定义详情参考表。 表 MySQL到Kafka的参数说明 参数名称 说明 :: mysqlType 源端表字段名称和类型。 id DRS内部定义的事件操作的序列号，单调递增。 es 源库产生这一条记录的时间，13位Unix时间戳，单位为毫秒。 ts 写入到目标kafka的时间，13位Unix时间戳，单位为毫秒。 database 数据库名称。 table 表名。 type 操作类型，比如DELETE，UPDATE，INSERT，DDL。 isDdl 是否是DDL操作。 sql DDL的SQL语句，在DML操作中，取值为""。 sqlType 源端表字段的jdbc类型。 data 最新的数据，为JSON数组，如果type参数是插入则表示最新插入的数据，如果是更新，则表示更新后的最新数据。 old 旧数据，如果type参数是更新，则表示更新前的数据；如果是删除，则表示被删除的数据；如果是插入，取值为null。 pkNames 主键名称。 { "mysqlType":{ "c11":"binary", "c10":"varchar", "c13":"text", "c12":"varbinary", "c14":"blob", "c1":"varchar", "c2":"varbinary", "c3":"int", "c4":"datetime", "c5":"timestamp", "c6":"char", "c7":"float", "c8":"double", "c9":"decimal", "id":"int" }, "id":27677, "es":1624614713000, "ts":1625058726990, "database":"test01", "table":"test ", "type":"UPDATE", "isDdl":false, "sql":"", "sqlType":{ "c11":2, "c10":12, "c13":1, "c12":3, "c14":2004, "c1":12, "c2":3, "c3":4, "c4":94, "c5":93, "c6":1, "c7":6, "c8":8, "c9":3, "id":4 }, "data":[ { "c11":"[]", "c10":"cloud", "c13":"asfiajhfiaf9390239uoituqorjoqirfoidjfqrniowejoiwqjroqwjrowqjojoiqgoiegnkjgoi23roiugouofdug9u90weurtg103", "c12":"[106, 103, 111, 106, 103, 111, 105, 100, 115, 106, 103, 111, 106, 111, 115, 111, 103, 57, 51, 52, 48, 57, 52, 51, 48, 57, 116, 106, 104, 114, 103, 106, 101, 119, 57, 116, 117, 48, 57, 51, 52, 48, 116, 101, 114, 111, 101, 106, 103, 57, 56, 51, 48, 52, 105, 101, 117, 114, 103, 57, 101, 119, 117, 114, 103, 48, 119, 101, 117, 116, 57, 114, 48, 52, 117, 48, 57, 53, 116, 117, 51, 48, 57, 50, 117, 116, 48, 57, 51, 117, 116, 48, 119, 57, 101]", "c14":"[106, 103, 111, 106, 103, 111, 105, 100, 115, 106, 103, 111, 106, 111, 115, 111, 103, 57, 51, 52, 48, 57, 52, 51, 48, 57, 116, 106, 104, 114, 103, 106, 101, 119, 57, 116, 117, 48, 57, 51, 52, 48, 116, 101, 114, 111, 101, 106, 103, 57, 56, 51, 48, 52, 105, 55, 57, 56, 52, 54, 53, 52, 54, 54, 54, 49, 52, 54, 53, 33, 64, 35, 36, 37, 94, 42, 40, 41, 95, 41, 43, 95, 43, 124, 125, 34, 63, 62, 58, 58, 101, 117, 114, 103, 57, 101, 119, 117, 114, 103, 48, 119, 101, 117, 116, 57, 114, 48, 52, 117, 48, 57, 53, 116, 117, 51, 48, 57, 50, 117, 116, 48, 57, 51, 117, 116, 48, 119, 57, 101]", "c1":"cf3f70a7756544b0ae3c83bec549ea8e:104", "c2":"[]", "c3":"103", "c4":"20210625 17:51:53", "c5":"1624614713.201", "c6":"!@

支持权限管理的资源 权限设置说明 “Cluster Admin Operations” 选中时表示授予YARN管理员权限。 “root” YARN的根队列。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。 “Parent Queue” YARN的一种资源类型，表示父队列，可以包含子队列。根队列也属于父队列的一种。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。 “Leaf Queue” YARN的一种资源类型，表示叶子队列。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。

本节介绍队列管理常见问题及其解决办法。 队列中的资源如何分配和使用？ 队列可设置CPU、内存、GPU等资源，AI任务会根据队列的优先级进行资源抢占，完成优先级队列调度。

本章节主要介绍翼MapReduce的配置队列操作。 操作场景 根据业务需要，管理员可以通过FusionInsight Manager修改指定租户的队列配置。 前提条件 已添加使用Capacity调度器的租户。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“租户资源 > 动态资源计划”。 默认显示“资源分布策略”。 3. 单击“队列配置”页签。 4. “集群”参数选择待操作的集群名称，然后在指定租户资源名的“操作”列，单击“修改”。 说明 l 在“租户管理”页签左侧租户列表，单击目标的租户，切换到“资源”页签，单击也能打开修改队列配置页面。 l 一个队列只能绑定一个非default资源池。 队列配置参数 参数名 描述 租户资源名（队列） 租户及队列名称。 最大应用数量 表示最大应用程序数量。 AM最大资源百分比 表示集群中可用于运行application master的最大资源占比。 用户资源最小上限百分比（%） 表示每个用户最低资源保障（百分比）。任何时刻，一个队列中每个用户可使用的资源量均有一定的限制。当一个队列中同时运行多个用户的应用程序时，每个用户的使用资源量在一个最小值和最大值之间浮动，其中，最小值取决于正在运行的应用程序数目，而最大值则由此参数决定。比如，假设此参数的值设置为25。当两个用户向该队列提交应用程序时，每个用户可使用资源量不能超过50%，如果三个用户提交应用程序，则每个用户可使用资源量不能超多33%，如果四个或者更多用户提交应用程序，则每个用户可用资源量不能超过25%。 用户资源上限因子 表示用户使用的最大资源限制因子，与当前租户在集群中实际资源百分比相乘，可计算出用户使用的最大资源百分比。 状态 表示资源计划当前的状态，“运行”为运行状态，“停止”为停止状态。 默认资源池 表示队列使用的资源池，默认为“default”。如果需要修改为其他资源池，需要先配置队列容量，请参见配置资源池的队列容量策略。 5. 单击“确定”完成配置。

本章节主要介绍创建翼MapReduce服务的方式。 用户可以通过点击翼MapReduce产品页的“立即开通”或翼MR控制台内的“创建集群”进入订购页面，按需完成软件、硬件与基础配置，通过确认订单并支付，完成集群创建。支付后我们将为您尽快拉起集群，您可前往翼MR控制台查看集群的创建进度。 创建数据湖集群：数据湖集群提供更高效、灵活的集群管理，更快地运行大数据的计算引擎，更好地提供数据分析能力，帮助您更加方便快捷的对数据湖的计算、存储资源进行构建和管理。 创建数据分析集群：数据分析集群使用开源的MPP架构的OLAP分析引擎，支持亚秒级的数据查询和多表join，帮助您更加快捷的进行数据分析工作。 创建数据服务集群：数据服务集群提供高度可靠性、可扩展性的数据服务以满足您的数据需求。 创建实时数据流集群：实时数据流集群提供高效的流式计算、消息队列等组件能力，支持实时数据ETL和日志采集分析的业务需求。 创建自定义集群：自定义集群提供丰富灵活的服务搭配，支持自行选择业务所需服务。

本文介绍如何在科研助手中创建队列。 概述 基于资源池/队列的两级资源分配与隔离，其中资源池一般为物理隔离，队列为逻辑隔离；队列提供动态资源上限，为资源利用率和公平性分配自动寻求最优解。 操作步骤 开始创建 1.登录科研助手管理控制台。 2.在控制台左侧导航栏中，选择【资源配额】的【队列管理】。 3.在【队列管理】页面中，点击左上角的【创建队列】按钮。 创建共享资源池队列 在【创建队列】抽屉中，填写基础信息和高级配置内容。 【基础信息】 基础信息参数 说明 是否必选 队列名称 输入作业名称。要求如下： 长度范围为4~50个字符。名称由小写字母、数字、中划线（）组成。 以小写字母开头。以小写字母或数字结尾。 是 资源池 在选择资源池类型后，再选择资源池，如果还未创建资源池，可单击“创建共享资源池”进行创建，具体操作请参见共享资源池。 是 队列描述 选填，输入对该队列的描述。要求如下：由<>以外的字符组成。长度为0~1024个字符组成。 否 高级配置 高级配置参数 说明 是否必选 资源上限 该队列的资源限制，不同的专属资源池中配有不同规格的最大资源上限。可填资源包括“CPU”核心数（核）、内存（GB）和“GPU”数量（块），保留小数点后两位为有效数字。 是

本文介绍总览页面内容。 操作步骤 登录科研助手管理控制台， 此处以【专业版】为例，在左侧导航栏单击“总览”。 总览页面分成功能引导 和数据概览。 功能引导 功能引导面向用户提供全流程、场景化的产品使用指引，帮助用户快速上手核心功能、解决操作疑问，降低科研上云的使用门槛。模块内置 AI 助理，提供场景化问题引导 + 自定义提问双模式。 数据概览 数据概览分成资源数据概览、队列概况、开发机运行概况、热门镜像、套餐包使用概况。 资源数据概览帮助用户实时掌握开发机、并行计算、科研服务、科研文件的资源动态。 队列概况展示当前队列的状态、资源使用量及上限等内容。 开发机运行概况指当前待创建、启用中、运行中等开发环境状态对应的开发机数量。 热门镜像展示的是基于用户实际使用行为，点击量与使用率靠前的镜像内容。 套餐包使用概况指当前套餐包GPU、CPU、内存用量情况。

本章节主要介绍如何配置队列。 操作场景 用户根据业务需求，可以在MRS修改指定租户的队列配置。 前提条件 已添加关联Yarn并分配了动态资源的租户。 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.单击“队列配置”页签。 3.在租户队列表格，指定租户队列的“操作”列，单击“修改”。 说明 说明 在“租户管理”页签左侧租户列表，单击目标的租户，切换到“资源”页签，单击也能打开修改队列配置页面。 一个队列只能绑定一个非default资源池。 MRS 3.x之前版本： 队列配置参数 参数名 描述 最大应用数量 表示最大应用程序数量。取值范围从“1”到“2147483647”。 AM最大资源百分比 表示集群中可用于运行application master的最大资源占比。取值范围从“0”到“1”。 用户资源最小上限百分比(%) 表示用户使用的最小资源上限百分比。取值范围从“0”到“100”。 用户资源上限因子 表示用户使用的最大资源限制因子，与当前租户在集群中实际资源百分比相乘，可计算出用户使用的最大资源百分比。最小值为“0”。 状态 表示资源计划当前的状态，“运行”为运行状态，“停止”为停止状态。 默认资源池 表示队列使用的资源池。默认为“default”，如果需要修改为其他资源，需要先配置队列容量，请参见配置资源池的队列容量策略。 MRS 3.x及之后版本： 队列配置参数 参数名 描述 AM最多占有资源（%） 表示当前队列内所有Application Master所占的最大资源百分比。 每个YARN容器最多分配核数 表示当前队列内单个YARN容器可分配的最多核数，默认为1，表示取值范围内不限制。 每个YARN容器最大分配内存（MB） 表示当前队列内单个YARN容器可分配的最大内存，默认为1，表示取值范围内不限制。 最多运行任务数 表示当前队列最多同时可执行任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。取值范围为1～2147483647。 每个用户最多运行任务数 表示每个用户在当前队列中最多同时可执行任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。取值范围为1～2147483647。 最多挂起任务数 表示当前队列最多同时可挂起任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可挂起任务。取值范围为1～2147483647。 资源分配规则 表示单个用户任务间的资源分配规则，包括FIFO和FAIR。 一个用户若在当前队列上提交了多个任务，FIFO规则代表一个任务完成后再执行其他任务，按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。 默认资源标签 表示在指定资源标签（Label）的节点上执行任务。 说明 如果需要使用新的资源池，需要修改默认标签为新的资源池标签。 Active状态 ACTIVE表示当前队列可接受并执行任务。 INACTIVE表示当前队列可接受但不执行任务，若提交任务，任务将处于挂起状态。 Open状态 OPEN表示当前队列处于打开状态。 CLOSED表示当前队列处于关闭状态，若提交任务，任务直接会被拒绝。

本文主要介绍分布式消息服务RabbitMQ的准备环境。 虚拟私有云 虚拟私有云（Virtual Private Cloud，以下简称VPC）为RabbitMQ专享版实例提供一个隔离的、用户自主配置和管理的虚拟网络环境。 1. 在创建RabbitMQ专享版实例前，确保已存在可用的虚拟私有云和子网。 创建方法，请参考创建虚拟私有云和子网。如果您已有虚拟私有云和子网，可重复使用，不需要多次创建。 在创建VPC和子网时应注意如下要求： 创建的VPC与使用的RabbitMQ服务应在相同的区域。 创建VPC和子网时，如无特殊需求，配置参数使用默认配置即可。 2. 在创建RabbitMQ专享版实例前，确保已存在可用的安全组。 创建方法，请参考创建安全组。如果您已有安全组，可重复使用，不需要多次创建。 使用RabbitMQ实例前，添加表1所示安全组规则，其他规则请根据实际需要添加。 表1 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 5672 0.0.0.0/0 访问RabbitMQ实例（关闭SSL加密） 入方向 TCP 5671 0.0.0.0/0 访问RabbitMQ实例（开启SSL加密） 入方向 TCP 15672 0.0.0.0/0 访问Web界面UI地址（关闭SSL加密） 入方向 TCP 15671 0.0.0.0/0 访问Web界面UI地址（开启SSL加密） 说明 创建安全组后，系统默认添加入方向“允许安全组内的弹性云主机彼此通信”规则和出方向“放通全部流量”规则，此时使用内网通过同一个VPC访问RabbitMQ实例，无需添加上表中的规则。

本章节主要介绍 配置队列。 操作场景 用户根据业务需求，可以在MRS Manager修改指定租户的队列配置。 前提条件 已添加关联Yarn并分配了动态资源的租户。 操作步骤 在MRS Manager，单击“租户管理”。 1. 单击“动态资源计划”页签。 2. 单击“队列配置”页签。 3. 在租户队列表格，指定租户队列的“操作”列，单击“修改”。 说明 在“租户管理”页签左侧租户列表，单击目标的租户，切换到“资源”页签，单击也能打开修改队列配置页面。 队列配置参数 参数名 描述 “最大应用数量” 表示最大应用程序数量。取值范围从“1”到“2147483647”。 “AM最大资源百分比” 表示集群中可用于运行application master的最大资源占比。取值范围从“0”到“1”。 “用户资源最小上限百分比(%)” 表示用户使用的最小资源上限百分比。取值范围从“0”到“100”。 “用户资源上限因子” 表示用户使用的最大资源限制因子，与当前租户在集群中实际资源百分比相乘，可计算出用户使用的最大资源百分比。最小值为“0”。 “状态” 表示资源计划当前的状态，“运行”为运行状态，“停止”为停止状态。 “默认资源池” 表示队列使用的资源池。默认为“Default”，如果需要修改为其他资源，需要先配置队列容量，请参见配置资源池的队列容量策略。

本章节主要介绍如何快速创建实时分析集群。 本章节为您介绍如何快速创建一个实时分析集群，实时分析集群使用Hadoop、Kafka、Flink和ClickHouse组件提供一个海量的数据采集、数据的实时分析和查询的系统。 集群包含的组件信息实时分析： MRS 3.1.0版本：Hadoop 3.1.1、Kafka 2.112.4.0、Flink 1.12.0、ClickHouse 21.3.4.25、ZooKeeper 3.5.6、Ranger 2.0.0。 快速创建实时分析集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3在创建集群页面，选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息，参数详细信息请参考创建自定义集群。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20201130”。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：选择“实时分析集群”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权，通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态 部分 集群列表参数中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。