本章节主要介绍如何绑定/解绑队列。 约束限制 绑定跨源的DLI队列网段和数据源网段不能重合。 不支持绑定系统预置的default队列。 绑定队列 使用增强型跨源连接之前必须绑定队列且对等连接的状态是“active”。 方式一 在“增强型跨源”页面，选择一条连接，单击该连接“操作”列中的“更多 > 绑定队列”，在弹出的对话框中，选择要绑定的队列（支持多选），单击“确定”。 方式二 单击选择的连接名称，进入该连接的“ 详情”页面。单击左上角的“创建”，在弹出的对话框中，选择要绑定的队列（支持多选），单击“确定”。 查看绑定队列详情 在“增强型跨源”页面，选中一条连接，单击选中的连接名称，可以查看绑定队列相关信息。 跨源连接队列详情列表参数 参数 参数说明 对等连接ID 增强型跨源在该队列所在集群中创建的对等连接ID。 说明 每一个增强型跨源对每一个绑定的队列都会创建一个对等连接。该对等连接用于实现跨VPC通信，请确保数据源使用的安全组开放了DLI队列网段的访问，并且在使用跨源过程中不要删除该对等连接。 名称 已绑定的队列名称。 连接状态 跨源连接的状态信息，包括以下三种状态： 创建中 已激活 已失败 说明 当连接状态显示为“已失败”时，单击左边对应的 ，可查看详细的错误信息。 更新时间 每个连接的更新时间，可按更新时间顺序或倒序显示连接列表。 操作 解绑队列：用于解除跨源连接与队列之间的绑定关系。

本章节主要介绍翼MapReduce的清除队列容量配置操作。 操作场景 当队列不再需要某个资源池的资源，或资源池需要与队列取消关联关系时，管理员可以在FusionInsight Manager清除队列配置。清除队列配置即取消队列在此资源池中的资源容量策略。 前提条件 如果队列需要清除与某个资源池的绑定关系，该资源池不能作为队列的默认资源池，需要先将队列的默认资源池更改为其他资源池，请参见配置队列。 操作步骤 1. 登录FusionInsight Manager界面。 2. 选择“租户资源 > 动态资源计划”。 3. “集群”参数选择待操作的集群名称，然后在“资源池”，选择待操作的资源池。 4. 在资源分配表格，指定租户资源名的“操作”列，单击“清除”。 5. 在弹出的对话框中单击“确定”，清除队列在当前资源池的配置。

本章节主要介绍修改队列网段。 使用增强型跨源时，如果DLI队列的网段和用户数据源的网段发生冲突，您可以通过修改网段操作更改队列的网段。 说明 如果待修改网段的队列中有正在提交或正在运行的作业，或者改队列已经绑定了增强型跨源，将不支持修改网段操作。 修改队列网段步骤 1. 在DLI管理控制台左侧，选择“资源管理 > 队列管理”。 2. 选择待修改的队列，单击“操作”列“更多”中的“修改网段”。 3. 填写需要的网段后，单击“确定”。队列修改网段成功后，需要等待5~10分钟，待队列所属集群资源重新拉起后再运行作业。

本章节主要介绍弹性扩缩容。 前提条件 新创建的队列需要运行作业后才可进行弹性扩缩容。 注意事项 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。 如果在“弹性扩缩容”页面提示“Status of queue xxx is assigning, which is not available”，表示需要等待队列资源分配完毕才可进行扩缩容。 弹性扩容 当前队列规格不满足业务需要时，可以通过手动变更队列规格来扩容当前队列。 说明 扩容属于耗时操作，在DLI“弹性扩缩容”页面执行扩容操作后，需要等待大约10分钟，具体时长和扩容的CU值有关，等待一段时间后，可以通过刷新“队列管理”页面，对比“规格”和“实际CUs”大小是否一致来判断是否扩容成功。或者在“作业管理”页面，查看“SCALEQUEUE”类型SQL作业的状态，如果作业状态为“弹性扩缩容中”，表示队列正在扩容中。 操作步骤如下： 1. 在DLI管理控制台左侧，选择“资源管理 > 队列管理”。 2. 选择需要扩容的队列，单击“操作”列“更多”中的“弹性扩缩容”。 3. 在“弹性扩缩容”页面，“变更方式”选择“扩容”，设置扩容的CU值。 4. 确认无误后，单击“确定”。 弹性缩容 当计算业务较小，不需要那么大的队列规格时，可以通过手动变更队列规格来缩容当前队列。 说明 缩容属于耗时操作，在DLI“弹性扩缩容”页面执行缩容操作后，需要等待大约10分钟，具体时长和缩容的CU值有关，等待一段时间后，可以通过刷新“队列管理”页面，对比“规格”和“实际CUs”大小是否一致来判断是否缩容成功。或者在“作业管理”页面，查看“SCALEQUEUE”类型SQL作业的状态，如果作业状态为“弹性扩缩容中”，表示队列正在缩容中。 系统不保证完全缩容到设定的目标大小。如果当前队列正在使用或者队列业务量比较大，会出现缩容不成功，或者缩容一部分规格的情况。 系统默认最小CU值为16CU，即当队列规格为16CUs时，不能进行手动缩容。 操作步骤如下： 1. 在DLI管理控制台左侧，选择“资源管理 >队列管理”。 2. 选择需要扩容的队列，单击“操作”列“更多”中的“弹性扩缩容”。 3. 在“弹性扩缩容”页面，“变更方式”选择“缩容”，设置缩容的CU值。 4. 确认无误后，单击“确定”。

分布式消息服务Kafka提供全托管、免运维的迁移上云服务，用于自建实例或跨云云实例与分布式消息服务Kafka实例之间的数据同步。本文介绍迁移上云的源实例类型、使用限制、跨VPC数据同步以及使用流程。 背景信息 迁移上云可以把源云分布式消息服务Kafka集群的元数据（Topic和Group配置信息）、消息数据和点位信息同步到目标集群，迁移完成后目标集群的元数据与原集群的元数据保持一致，并且支持持续更新和完成后自动停止任务。 使用限制 1. 此功能不收费，会占用当前实例的服务器资源，请结合业务流量和服务器资源占用情况，在合理的情况下进行迁移。 2. 单机版不支持迁移。 计费说明 分布式消息服务Kafka的迁移上云组件处于公测阶段，不会在分布式消息服务Kafka侧产生费用。同时，天翼云不承诺迁移的SLA，使用迁移上云所依赖的其他产品的SLA和费用说明请以对应产品为准。 环境要求 如果您需要通过迁移上云功能将公网的自建实例的数据同步到分布式消息服务Kafka或者跨地域将某个VPC内的分布式消息服务Kafka的数据同步到另一个VPC的分布式消息服务Kafka，您需要为该实例绑定弹性IP开启公网访问，然后在公网上进行数据同步。 如果您需要将某个VPC内的数据通过迁移上云功能同步到另一个VPC的分布式消息服务Kafka，需要手动打通VPC。具体步骤，请参见：使用VPCEP实现跨VPC访问Kafka

本章节主要介绍翼MapReduce的清除队列容量配置操作。 操作场景 当队列不再需要某个资源池的资源，或资源池需要与队列取消关联关系时，管理员可以在FusionInsight Manager清除队列配置。清除队列配置即取消队列在此资源池中的资源容量策略。 前提条件 如果队列需要清除与某个资源池的绑定关系，该资源池不能作为队列的默认资源池，需要先将队列的默认资源池更改为其他资源池，请参见配置队列。 操作步骤 1. 登录FusionInsight Manager界面。 2. 选择“租户资源 > 动态资源计划”。 3. “集群”参数选择待操作的集群名称，然后在“资源池”，选择待操作的资源池。 4. 在资源分配表格，指定租户资源名的“操作”列，单击“清除”。 5. 在弹出的对话框中单击“确定”，清除队列在当前资源池的配置。

本章节主要介绍删除队列。 根据实际使用情况，您可以通过删除操作释放队列。 说明 如果待删除的队列中有正在提交或正在运行的作业，将不支持删除操作。 删除队列不会导致您数据库中的表数据丢失。 删除队列步骤 1. 在DLI管理控制台左侧，选择“资源管理 > 队列管理”。 2. 选择待删除的队列，单击“操作”列的“删除”删除。 说明 如果“操作”列的“删除”为灰色，表示当前用户没有删除队列的权限。您可以向管理员申请删除队列的权限。 3. 在弹出的确认对话框中，单击“是”。

本章节主要介绍如何配置资源池的队列容量策略。 操作场景 添加资源池后，需要为YARN任务队列配置在此资源池中可使用资源的容量策略，队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。用户可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后，YARN任务队列与资源池形成关联关系。 该任务指导用户通过MRS配置队列策略。 前提条件 已添加资源池。 任务队列与其他资源池无关联关系。默认情况下，所有队列与“default”资源池存在关联关系。 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.单击“资源分布策略”页签。 3.在“资源池”选择指定的资源池。 “可用资源配额”：表示每个资源池默认所有资源都可分配给队列。 4.在“资源分配”列表指定队列的“操作”列，单击“修改”。 5.在“修改资源分配”窗口设置任务队列在此资源池中的资源容量策略。 “资源容量 (%)”：表示当前租户计算资源使用的资源百分比。 “最大资源容量 (%)”：表示当前租户计算资源使用的最大资源百分比。 6.单击“确定”保存配置。

参数名 参数描述 名称 弹性资源池添加的队列名称。 类型 SQL队列：用于运行SQL作业。 通用队列：用于运行Spark作业 、Flink作业。 执行引擎 如果队列类型选择为“SQL队列”，则可以选择队列引擎是：spark或者trino 企业项目 选择队列的企业项目。弹性资源池支持添加不同企业项目的队列资源。 企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理。 说明 只有开通了企业管理服务的用户才显示该参数。 描述 弹性资源池添加队列的描述信息。

本节介绍了开启网卡多队列功能的操作场景、网卡多队列支持列表、将外部镜像文件导入镜像服务控制台、为镜像添加网卡多队列标签、使用私有镜像创建弹性云主机、执行网卡多队列的配置脚本、查看网卡队列数。 操作场景 随着网络IO的带宽不断提升，单核CPU处理网络中断存在瓶颈，不能完全满足网卡的需求，通过开启网卡多队列功能，您可以将弹性云主机中的网卡中断分散给不同的CPU处理，以满足网卡的需求，从而提升网络PPS和带宽性能。 假设以下场景所述的弹性云主机满足规格和虚拟化类型要求： 使用网卡多队列支持列表中的公共镜像创建的弹性云主机，默认已开启网卡多队列，无需执行本节操作。 对于私有镜像场景，如果您的外部镜像文件的操作系统在网卡多队列支持列表范围内，需要按照如下流程开启网卡多队列： a. 将外部镜像文件导入镜像服务控制台。 b. 为私有镜像添加网卡多队列标签。 c. 使用私有镜像创建弹性云主机。 d. 执行网卡多队列的配置脚本。 说明 云主机开启网卡多队列功能后，如果后续有新增或删除网卡，切换VPC等操作，需要重新对云主机设置网卡多队列，详细操作请参考

本文主要介绍管理实例标签。 标签是Kafka实例的标识，为Kafka实例添加标签，可以方便用户识别和管理拥有的Kafka实例资源。 您可以在创建Kafka实例时添加标签，也可以在Kafka实例创建完成后，在“标签”页面添加标签，您最多可以给实例添加20个标签。另外，您还可以进行修改和删除标签。 标签共由两部分组成：“标签键”和“标签值”，其中，“标签键”和“标签值”的命名规则如下表所示。 表 标签命名规则 参数名称 规则 标签键 不能为空。 对于同一个实例，Key值唯一。 长度不超过36个字符。 不能包含“”,“”,“ ”,“”,“,”,“ 标签值 不能为空。 长度不超过43个字符。 不能包含“”,“”,“ ”,“”,“,”,“ 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 在实例所在行，单击实例名称，进入实例详情页面。 步骤 5 单击“标签”页签，进入标签管理页面。 界面显示该实例的标签列表。 步骤 6 您可以根据实际需要，执行以下操作： 添加标签 单击“创建/删除标签”，弹出“创建/删除标签”对话框。 在“标签键”和“标签值”中，输入标签的键/值，单击“添加”。如果您已经预定义了标签，在“标签键”和“标签值”中选择已经定义的标签键/值，单击“添加”。 单击“确定”，成功为实例添加标签。 删除标签 通过以下任意一种方法，删除标签。 在待删除的标签所在行，单击“删除”，弹出“删除标签”对话框。单击“是”，完成标签的删除。 单击“创建/删除标签”，弹出“创建/删除标签”对话框。在待删除的标签后，单击，然后单击“确定”，完成标签的删除。

本章节主要介绍ALM18022 Yarn队列资源不足的告警。 告警解释 告警模块按60秒周期检测Yarn队列资源，当队列可用资源或队列AM（ApplicationMaster）可用资源不足时，产生该告警。 当可用资源充足时，该告警自动消除。 告警属性 告警ID 告警级别 是否自动清除 18022 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 队列名 产生告警的队列名。 队列指标名 产生告警的队列指标名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 应用任务结束时间变长。 新应用提交后长时间无法运行。 可能原因 NodeManager节点资源过小。 队列最大资源容量设置过小。 AM最大资源百分比设置过小。 处理步骤 检查告警详情 1.在FusionInsight Manager界面，选择“运维 > 告警 > 告警”，弹出告警页面。 2.查看“Yarn队列资源不足”告警详情中的“定位信息”，查看“定位信息”是否为“队列名root;队列指标名Memory”或“队列名root;队列指标名vCores”。 是，执行步骤3。 否，执行步骤4。 3.出现该定位信息表示Yarn集群内存或CPU不足，登录NodeManager节点，分别使用命令free g和 cat /proc/cpuinfo ，查询节点可用内存和可用CPU，据此在FusionInsight Manager界面增大Yarn NodeManager的资源参数“yarn.nodemanager.resource.memorymb”和“yarn.nodemanager.resource.cpuvcores”的值，然后重启NodeManager实例。查看该告警是否消除。 是，处理完毕。 否，执行步骤4。 4.查看“定位信息”为“队列名 ;队列指标名Memory”或“队列名 ;队列指标名vCores”，然后查看“附加信息”是否包含“available Memory ”或“available vCores ”。 是，执行步骤5。 否，执行步骤7。 5.出现该附加信息表示该租户队列内存或者CPU不足，选择“租户资源 > 动态资源计划 > 资源分布策略”，调大“最大资源容量”的值，查看该告警是否消除。 是，处理完毕。 否，执行步骤6。 6.选择“集群 > 待操作集群的名称 > 服务 > Yarn >配置 > 全部配置”，输入搜索关键字“threshold”，单击“ResourceManager”，调整如下参数阈值： 如果“附加信息”中包含“available Memory ”，调整“yarn.queue.memory.alarm.threshold”的阈值使其小于“附加信息”中的“available Memory ”的值。 如果“附加信息”中包含“available vCores ”，调整“yarn.queue.vcore.alarm.threshold”的阈值使其小于“附加信息”中的“available vCores ”的值。 等待5分钟，查看该告警是否消除。 是，处理完毕。 否，执行步骤9。 7.查看“附加信息”包含“available AmMemory ”或“available AmvCores ”，表示该租户队列的ApplicationMaster内存和CPU不足，选择“租户资源 > 动态资源计划 > 队列配置”，增大“AM最大资源百分比”，查看该告警是否消除。 是，处理完毕。 否，执行步骤8。 8.选择“集群 > 待操作集群的名称 >服务 > Yarn > 配置 > 全部配置”，输入搜索关键字“threshold”，单击“ResourceManager”：调整如下参数阈值： 如果“附加信息”包含“available AmMemory ”，调整“yarn.am.memory.alarm.threshold”的阈值使其小于“附加信息”中的“available AmMemory ”的值。 如果“附加信息”包含“available AmvCores ”，调整“yarn.am.vcore.alarm.threshold”的阈值使其小于“附加信息”中的“available AmvCores ”的值。 等待5分钟，查看该告警是否消除。 是，处理完毕。 否，执行步骤9。

本节介绍了设置镜像的网卡多队列属性的方法。 操作场景 随着网络IO的带宽不断提升，单核CPU处理网络中断存在瓶颈，不能完全满足网卡的需求，通过开启网卡多队列功能，您可以将弹性云主机中的网卡中断分散给不同的CPU处理，以满足网卡的需求，从而提升网络PPS和带宽性能。 网卡多队列支持列表 网卡多队列的支持情况和实例规格、虚拟化类型、镜像的操作系统有关，只有同时满足这些要求，云主机才能开启网卡多队列功能。 支持网卡多队列的实例规格请参见《弹性云主机用户指南》的“产品介绍 > 实例 > 实例规格 > 规格清单”章节。 说明： 网卡多队列数为大于1的值，表示支持网卡多队列。 虚拟化类型必须为KVM，XEN类型不支持网卡多队列。 Linux云主机网卡多队列支持列表所列的Linux公共镜像，支持网卡多队列。 说明： Windows操作系统暂未商用支持网卡多队列，如果对Windows操作系统镜像开启网卡多队列功能，可能会引起操作系统启动速度变慢等问题。 Linux操作系统弹性云主机建议将操作系统内核版本升级至2.6.35及以上，否则不支持网卡多队列。 建议您使用命令uname r查询内核版本，如果低于2.6.35请联系技术支持升级内核。 Windows云主机网卡多队列支持列表 类别 镜像 是否支持多队列 ::: Windows Windows Server 2008 WEB R2 64bit 可通过私有镜像支持 Windows Windows Server 2008 Enterprise SP2 64bit 可通过私有镜像支持 Windows Windows Server 2008 R2 Standard/Datacenter/Enterprise 64bit 可通过私有镜像支持 Windows Windows Server 2008 R2 Enterprise 64bitWithGPUdriver 可通过私有镜像支持 Windows Windows Server 2012 R2 Standard 64bitWithGPUdriver 可通过私有镜像支持 Windows Windows Server 2012 R2 Standard/Datacenter 64bit 可通过私有镜像支持 表Linux云主机网卡多队列支持列表 类别 镜像 是否支持多队列 是否默认开启多队列 :::: Linux Ubuntu 14.04/16.04 Server 64bit 是 是 Linux openSUSE 42.2 64bit 是 是 Linux SUSE Enterprise 12 SP1/SP2 64bit 是 是 Linux CentOS 6.8/6.9/7.0/7.1/7.2/7.3/7.4/7.5/7.6 64bit 是 是 Linux Debian 8.0.0/8.8.0/8.9.0/9.0.0 64bit 是 是 Linux Fedora 24/25 64bit 是 是 Linux EulerOS 2.2 64bit 是 是

本节介绍队列管理常见问题及其解决办法。 队列中的资源如何分配和使用？ 队列可设置CPU、内存、GPU等资源，AI任务会根据队列的优先级进行资源抢占，完成优先级队列调度。

本章介绍分布式缓存服务Redis版的典型应用场景。 Redis应用场景 很多大型电商网站、视频直播和游戏应用等，存在 大规模数据访问 ，对 数据查询效率要求高 ，且 数据结构简单 ， 不涉及太多关联查询 。这种场景使用Redis，在速度上对传统磁盘数据库有很大优势，能够有效减少数据库磁盘IO，提高数据查询效率，减轻管理维护工作量，降低数据库存储成本。Redis对传统磁盘数据库是一个重要的补充，成为了互联网应用，尤其是支持高并发访问的互联网应用必不可少的基础服务之一。 以下举几个典型样例： 1. （电商网站）秒杀抢购 电商网站的商品类目、推荐系统以及秒杀抢购活动，适宜使用Redis缓存数据库。 例如秒杀抢购活动，并发高，对于传统关系型数据库来说访问压力大，需要较高的硬件配置（如磁盘IO）支撑。Redis数据库，单节点QPS支撑能达到10万，轻松应对秒杀并发。实现秒杀和数据加锁的命令简单，使用SET、GET、DEL、RPUSH等命令即可。 2. （视频直播）消息弹幕 直播间的在线用户列表，礼物排行榜，弹幕消息等信息，都适合使用Redis中的SortedSet结构进行存储。 例如弹幕消息，可使用ZREVRANGEBYSCORE排序返回，在Redis5.0中，新增了zpopmax，zpopmin命令，更加方便消息处理。 3. （游戏应用）游戏排行榜 在线游戏一般涉及排行榜实时展现，比如列出当前得分最高的10个用户。使用Redis的有序集合存储用户排行榜非常合适，有序集合使用非常简单，提供多达20个操作集合的命令。 4. （社交APP）返回最新评论/回复 在web类应用中，常有“最新评论”之类的查询，如果使用关系型数据库，往往涉及到按评论时间逆排序，随着评论越来越多，排序效率越来越低，且并发频繁。 使用Redis的List（链表），例如存储最新1000条评论，当请求的评论数在这个范围，就不需要访问磁盘数据库，直接从缓存中返回，减少数据库压力的同时，提升APP的响应速度。

本文主要介绍 重置消费进度。 重置消费进度即修改消费者的消费位置。 说明 重置消费进度可能会导致重复消费，请谨慎操作。 前提条件 Kafka实例不支持在线重置消费进度，请先将待重置消费进度的消费组停止消费，然后重置消费进度。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏选择“消费组管理”，进入消费组列表页面。 步骤 6 单击待重置消费进度的消费组名称，进入消费组详情页。 步骤 7 在“消费进度”页签，通过以下方法，重置消费进度。 重置单个Topic所有分区的消费进度：在待重置消费进度的Topic后，单击“重置消费进度”。 重置单个Topic中单个分区的消费进度：在待重置消费进度的Topic分区后，单击“重置消费进度”。 步骤 8 在弹出的“重置消费进度”对话框中，参考下表，设置重置消费进度参数。 表 重置消费进度参数说明 参数 说明 重置类型 选择重置类型： 时间：重置消费进度到指定的时间。 偏移量：重置消费进度到指定的偏移量。 一键重置消费进度只支持重置消费进度到指定时间。 时间 当“重置类型”为“时间”时，需要设置此参数。 选择重置消费进度的时间点，重置完成后，将从此时间点开始消费。 最早：最早偏移量 自定义：自定义时间点 最晚：最晚偏移量 偏移量 当“重置类型”为“偏移量”时，需要设置此参数。 选择重置消费进度的偏移量，此偏移量不能小于0，重置完成后，将从此偏移量开始消费。 步骤 9 单击“确定”，弹出确认对话框。 步骤 10 单击“是”，完成消费进度的重置。

本文主要介绍修改Topic分区数。 说明 修改分区数，不会影响业务。 修改Topic分区数的方法如下： 方法1：在控制台修改 方法2：在Kafka Manager上修改 方式3：在Kafka客户端上修改 方法1：在控制台修改 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 选择“Topic管理”页签，显示已创建的Topic详情。 步骤 6 通过以下任意一种方法，修改Topic分区数。 勾选Topic名称左侧的方框，可选一个或多个，单击信息栏左上侧的“编辑Topic”。 在待修改分区数的Topic所在行，单击“编辑”。 步骤 7 在“编辑Topic”对话框中，输入分区数，单击“确定”。 说明 分区数只支持增加，不支持减少。 出于性能考虑，Kafka控制台限定单个Topic的分区数上限为100。 所有Topic分区数总和不能超过实例允许的分区上限。 方法2：在Kafka Manager上修改 步骤 1 登录Kafka Manager。 步骤 2 在Kafka Manager中，单击“Topic > List”，进入Topic列表界面。 步骤 3 单击Topic名称，进入Topic详情界面。 步骤 4 单击“Add Partitions”，进入增加分区界面。 图 Topic详情界面 步骤 5 输入分区数，单击“Add Partitions”。 图 增加分区数量 显示“Done”，表示分区增加成功。 图分区增加成功 说明 分区数只支持增加，不支持减少。 所有Topic分区数总和不能超过实例允许的分区上限。

参数 说明 net.core.rmemdefault 默认的 TCP 数据接收窗口大小（字节）。 net.core.rmemmax 最大的 TCP 数据接收窗口（字节）。 net.core.wmemdefault 默认的 TCP 数据发送窗口大小（字节）。 net.core.wmemmax 最大的 TCP 数据发送窗口（字节）。 net.core.netdevmaxbacklog 在每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目。 net.core.somaxconn 定义了系统中每一个端口最大的监听队列的长度，这是个全局的参数。 net.core.optmemmax 表示每个套接字所允许的最大缓冲区的大小。 net.ipv4.tcpmem 确定 TCP 栈应该如何反映内存使用，每个值的单位都是内存页（通常是 4KB）第一个值是内存使用的下限；第二个值是内存压力模式开始对缓冲区使用应用压力的上限；第三个值是内存使用的上限。在这个层次上可以将报文丢弃，从而减少对内存的使用。对于较大的 BDP 可以增大这些值（注意：其单位是内存页而不是字节）。 net.ipv4.tcprmem 为自动调优定义 socket 使用的内存。第一个值是为 socket 接收缓冲区分配的最少字节数；第二个值是默认值（该值会被 rmemdefault 覆盖），缓冲区在系统负载不重的情况下可以增长到这个值；第三个值是接收缓冲区空间的最大字节数（该值会被 rmemmax 覆盖）。 net.ipv4.tcpwmem 为自动调优定义 socket 使用的内存。第一个值是为 socket 发送缓冲区分配的最少字节数；第二个值是默认值（该值会被 wmemdefault 覆盖），缓冲区在系统负载不重的情况下可以增长到这个值；第三个值是发送缓冲区空间的最大字节数（该值会被 wmemmax 覆盖）。 net.ipv4.tcpkeepalivetime TCP 发送 keepalive 探测消息的间隔时间（秒），用于确认 TCP 连接是否有效。 net.ipv4.tcpkeepaliveintvl 探测消息未获得响应时，重发该消息的间隔时间（秒）。 net.ipv4.tcpkeepaliveprobes 在认定 TCP 连接失效之前，最多发送多少个 keepalive 探测消息。 net.ipv4.tcpsack 启用有选择的应答（1 表示启用），通过有选择地应答乱序接收到的报文来提高性能，让发送者只发送丢失的报文段，（对于广域网通信来说）这个选项应该启用，但是会增加对 CPU 的占用。 net.ipv4.tcpfack 启用转发应答，可以进行有选择应答（SACK）从而减少拥塞情况的发生，这个选项也应该启用。 net.ipv4.tcptimestamps TCP 时间戳（会在 TCP 包头增加 12 B），以一种比重发超时更精确的方法（参考 RFC 1323）来启用对 RTT 的计算，为实现更好的性能应该启用这个选项。 net.ipv4.tcpwindowscaling 启用 RFC 1323 定义的 window scaling，要支持超过 64KB 的 TCP 窗口，必须启用该值（1 表示启用），TCP 窗口最大至 1GB，TCP 连接双方都启用时才生效。 net.ipv4.tcpsyncookies 表示是否打开 TCP 同步标签（syncookie），内核必须打开了 CONFIGSYNCOOKIES 项进行编译，同步标签可以防止一个套接字在有过多试图连接到达时引起过载。默认值 0 表示关闭。 net.ipv4.tcptwreuse 表示是否允许将处于 TIMEWAIT 状态的 socket （TIMEWAIT 的端口）用于新的 TCP 连接。说明该参数在NAT(Network AddressTranslation)场景下不能配置为1，否则将导致云主机远程连接异常。 net.ipv4.tcptwrecycle 能够更快地回收 TIMEWAIT 套接字。说明该参数在NAT(Network AddressTranslation)场景下不能配置为1，否则将导致云主机远程连接异常。 net.ipv4.tcpfintimeout 对于本端断开的 socket 连接，TCP 保持在 FINWAIT2 状态的时间（秒）。对方可能会断开连接或一直不结束连接或不可预料的进程死亡。 net.ipv4.iplocalportrange 表示 TCP/UDP 协议允许使用的本地端口号。 net.ipv4.tcpmaxsynbacklog 对于还未获得对方确认的连接请求，可保存在队列中的最大数目。如果服务器经常出现过载，可以尝试增加这个数字。默认为 1024。 net.ipv4.tcplowlatency 允许 TCP/IP 栈适应在高吞吐量情况下低延时的情况，这个选项应该禁用。 net.ipv4.tcpwestwood 启用发送者端的拥塞控制算法，它可以维护对吞吐量的评估，并试图对带宽的整体利用情况进行优化，对于 WAN 通信来说应该启用这个选项。 net.ipv4.tcpbic 为快速长距离网络启用 Binary Increase Congestion，这样可以更好地利用以 GB 速度进行操作的链接，对于 WAN 通信应该启用这个选项。 net.ipv4.tcpmaxtwbuckets 该参数设置系统的 TIMEWAIT 的数量，如果超过默认值则会被立即清除。默认为 180000。 net.ipv4.tcpsynackretries 指明了处于 SYNRECV 状态时重传 SYN+ACK 包的次数。 net.ipv4.tcpabortonoverflow 设置改参数为 1 时，当系统在短时间内收到了大量的请求，而相关的应用程序未能处理时，就会发送 Reset 包直接终止这些链接。建议通过优化应用程序的效率来提高处理能力，而不是简单地 Reset。默认值： 0 net.ipv4.route.maxsize 内核所允许的最大路由数目。 net.ipv4.ipforward 接口间转发报文。 net.ipv4.ipdefaultttl 报文可以经过的最大跳数。 net.netfilter.nfconntracktcptimeoutestablished 让 iptables 对于已建立的连接，在设置时间内若没有活动，那么则清除掉。 net.netfilter.nfconntrackmax 哈希表项最大值。

步骤二：创建元数据导入任务 1.登陆管理控制台。 2.在管理控制台左上角单击，选择区域（请选择Kafka实例所在的区域）。 3.在管理控制台左上角单击，选择“企业中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka控制台页面。 4.单击集群迁移>元数据迁移>单击创建任务，进入实例详情页面。 5.输入任务名称，选择目标实例，单击上传元数据文件。 6.点击下一步，到Topic编辑页面，这里可以手动增加、删除、修改topic 7.点击下一步，到group编辑页面，这里可以手动增加、删除、修改group 8.点击创建，这样就生成了一条元数据迁移任务 步骤三：查看迁移结果 1.在左侧导航栏，单击实例列表。 2.在实例列表页面，单击目标实例名称。 3.查看资源列表。 4.在左侧导航栏，单击Topic 管理 ，在Topic 管理页面的Topic列表中查看已创建的Topic。 5.在左侧导航栏，单击消费组管理 ，在消费组管理页面的Group列表中查看已创建的Group。

本章节主要介绍如何配置队列。 操作场景 用户根据业务需求，可以在MRS修改指定租户的队列配置。 前提条件 已添加关联Yarn并分配了动态资源的租户。 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.单击“队列配置”页签。 3.在租户队列表格，指定租户队列的“操作”列，单击“修改”。 说明 说明 在“租户管理”页签左侧租户列表，单击目标的租户，切换到“资源”页签，单击也能打开修改队列配置页面。 一个队列只能绑定一个非default资源池。 MRS 3.x之前版本： 队列配置参数 参数名 描述 最大应用数量 表示最大应用程序数量。取值范围从“1”到“2147483647”。 AM最大资源百分比 表示集群中可用于运行application master的最大资源占比。取值范围从“0”到“1”。 用户资源最小上限百分比(%) 表示用户使用的最小资源上限百分比。取值范围从“0”到“100”。 用户资源上限因子 表示用户使用的最大资源限制因子，与当前租户在集群中实际资源百分比相乘，可计算出用户使用的最大资源百分比。最小值为“0”。 状态 表示资源计划当前的状态，“运行”为运行状态，“停止”为停止状态。 默认资源池 表示队列使用的资源池。默认为“default”，如果需要修改为其他资源，需要先配置队列容量，请参见配置资源池的队列容量策略。 MRS 3.x及之后版本： 队列配置参数 参数名 描述 AM最多占有资源（%） 表示当前队列内所有Application Master所占的最大资源百分比。 每个YARN容器最多分配核数 表示当前队列内单个YARN容器可分配的最多核数，默认为1，表示取值范围内不限制。 每个YARN容器最大分配内存（MB） 表示当前队列内单个YARN容器可分配的最大内存，默认为1，表示取值范围内不限制。 最多运行任务数 表示当前队列最多同时可执行任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。取值范围为1～2147483647。 每个用户最多运行任务数 表示每个用户在当前队列中最多同时可执行任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。取值范围为1～2147483647。 最多挂起任务数 表示当前队列最多同时可挂起任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可挂起任务。取值范围为1～2147483647。 资源分配规则 表示单个用户任务间的资源分配规则，包括FIFO和FAIR。 一个用户若在当前队列上提交了多个任务，FIFO规则代表一个任务完成后再执行其他任务，按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。 默认资源标签 表示在指定资源标签（Label）的节点上执行任务。 说明 如果需要使用新的资源池，需要修改默认标签为新的资源池标签。 Active状态 ACTIVE表示当前队列可接受并执行任务。 INACTIVE表示当前队列可接受但不执行任务，若提交任务，任务将处于挂起状态。 Open状态 OPEN表示当前队列处于打开状态。 CLOSED表示当前队列处于关闭状态，若提交任务，任务直接会被拒绝。

本章节主要介绍 弹性扩缩容定时任务。 弹性扩缩容定时任务使用场景 通常，用户业务繁忙的场景是有周期性的，在某个周期内，用户需要更多的计算资源来处理业务，过了这个周期，则不需要那么多资源。如果用户购买的队列规格比较小，在业务繁忙时会存在资源不足的情况；而如果购买的队列规格比较大，又可能会存在资源浪费的情况。 基于以上场景，DLI提供了队列弹性扩缩容定时任务功能。用户可以根据自己的业务周期或者使用情况，基于现有队列规格，在不同的时间或者周期内设置不同的队列大小，以满足自己的业务需求，节约成本。 弹性扩缩容定时任务注意事项 新创建的队列需要运行作业后才可进行扩缩容。 目前只支持规格为64CUs以上的队列进行定时弹性扩缩容任务，即队列最小规格为64CUs。 对于每个队列，最多支持创建12个定时任务。 每个定时任务开始时，弹性扩缩容的实际开始的时间有5分钟误差。建议扩容时间定时至少比实际使用队列的时间提前20分钟。 每个定时任务之间需要至少有2小时的间隔。 队列的定时弹性扩缩容属于耗时操作，变更所消耗的时间取决于扩缩容目标规格与当前规格的差值大小，用户在“队列管理”页面中可以查看当前队列的规格。 如果当前队列有作业正在运行时，可能无法缩容到目标CU值，而是缩容到当前队列规格和目标规格中间的某个值，系统将在1小时后继续尝试进行缩容，直至下一个定时任务开始。 当一个定时任务没有扩容或者缩容到目标CU值时，系统会在约15分钟后再次触发扩缩计划，直到下一个定时任务开始。

参数名 描述 AM最多占有资源（%） 表示当前队列内所有Application Master所占的最大资源百分比。 每个YARN容器最多分配核数 表示当前队列内单个YARN容器可分配的最多核数，默认为1，表示取值范围内不限制。 每个YARN容器最大分配内存（MB） 表示当前队列内单个YARN容器可分配的最大内存，默认为1，表示取值范围内不限制。 最多运行任务数 表示当前队列最多同时可执行任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。取值范围为1～2147483647。 每个用户最多运行任务数 表示每个用户在当前队列中最多同时可执行任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。取值范围为1～2147483647。 最多挂起任务数 表示当前队列最多同时可挂起任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可挂起任务。取值范围为1～2147483647。 资源分配规则 表示单个用户任务间的资源分配规则，包括FIFO和FAIR。一个用户若在当前队列上提交了多个任务，FIFO规则代表一个任务完成后再执行其他任务，按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。 默认资源标签 表示在指定资源标签（Label）的节点上执行任务。 Active状态 ACTIVE表示当前队列可接受并执行任务。 INACTIVE表示当前队列可接受但不执行任务，若提交任务，任务将处于挂起状态。 Open状态 OPEN表示当前队列处于打开状态。 CLOSED表示当前队列处于关闭状态，若提交任务，任务直接会被拒绝。 故障时是否队列迁移 集群开启单集群跨AZ高可用时，如果AZ故障后，需要当该租户正在运行的队列重新提交至其他AZ，可设置“故障时是否队列迁移”参数为“是”。

实例连接地址与端口 实例创建后，从实例的“基本信息”页签的“连接信息”中获取。 查看RabbitMQ实例连接地址与端口 访问实例的用户名和token 实例创建后，从实例的“集群管理”页签的“用户”中获取用户名及token。如果没有则新建。

支持权限管理的资源 权限设置说明 “Cluster Admin Operations” 选中时表示授予YARN管理员权限。 “root” YARN的根队列。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。 “Parent Queue” YARN的一种资源类型，表示父队列，可以包含子队列。根队列也属于父队列的一种。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。 “Leaf Queue” YARN的一种资源类型，表示叶子队列。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。

本文介绍如何在科研助手中创建队列。 概述 基于资源池/队列的两级资源分配与隔离，其中资源池一般为物理隔离，队列为逻辑隔离；队列提供动态资源上限，为资源利用率和公平性分配自动寻求最优解。 操作步骤 开始创建 1.登录科研助手管理控制台。 2.在控制台左侧导航栏中，选择【资源配额】的【队列管理】。 3.在【队列管理】页面中，点击左上角的【创建队列】按钮。 创建共享资源池队列 在【创建队列】抽屉中，填写基础信息和高级配置内容。 【基础信息】 基础信息参数 说明 是否必选 队列名称 输入作业名称。要求如下： 长度范围为4~50个字符。名称由小写字母、数字、中划线（）组成。 以小写字母开头。以小写字母或数字结尾。 是 资源池 在选择资源池类型后，再选择资源池，如果还未创建资源池，可单击“创建共享资源池”进行创建，具体操作请参见共享资源池。 是 队列描述 选填，输入对该队列的描述。要求如下：由<>以外的字符组成。长度为0~1024个字符组成。 否 高级配置 高级配置参数 说明 是否必选 资源上限 该队列的资源限制，不同的专属资源池中配有不同规格的最大资源上限。可填资源包括“CPU”核心数（核）、内存（GB）和“GPU”数量（块），保留小数点后两位为有效数字。 是

支持权限管理的资源 权限设置说明 “Cluster Admin Operations” 选中时表示授予YARN管理员权限。 “root” YARN的根队列。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。 “Parent Queue” YARN的一种资源类型，表示父队列，可以包含子队列。根队列也属于父队列的一种。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。 “Leaf Queue” YARN的一种资源类型，表示叶子队列。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。

本章节主要介绍数据湖探索（DLI）的“总览”页面。 数据探索服务控制台总览页为您提供数据湖探索服务使用流程及队列资源使用情况总览。 使用流程简介 数据湖探索服务使用流程简介： 1.创建队列 队列是DLI的计算资源：SQL队列和通用队列。SQL队列支持提交Spark SQL作业，通用队列支持Spark程序、Flink opensource SQL、Flink Jar作业。 2.准备数据 通常在执行Spark SQL作业前，需要创建数据库和表；在执行Spark作业、Flink Jar作业需要上传程序包。 3.编辑提交作业 完成作业参数的编辑后，提交作业。 4.查看作业状态 在作业管理页面可以查看作业的执行状态。 总览队列使用时长 总览页面支持查看队列的使用时长。 查看所有队列的使用时长：总览所有队列资源的使用情况 查看单队列的使用时长：单队列近期的使用情况。

维度 原有队列，无弹性资源池时 弹性资源池 扩容时长 手工扩容时间长，扩容时长在分钟级别 不需要手工干预，秒级动态扩容。 资源利用率 不同队列之间资源不能共享。 例如：队列1当前还剩余10CU资源，队列2当前负载高需要扩容时，队列2不能使用队列1中的资源，只能单独对队列1进行扩容。 添加到同一个弹性资源池的多个队列，CU资源可以共享，达到资源的合理利用。 资源利用率 配置跨源时，必须为每个队列分配不重合的网段，占用大量VPC网段。 多队列通过弹性资源池统一进行网段划分，减少跨源配置的复杂度。 资源调配 多个队列同时扩容时不能设置优先级，在资源不够时，会导致部分队列扩容申请失败。 您可以根据当前业务波峰和波谷时间段，设置各队列在弹性资源池中的优先级，保证资源的合理调配。

本章节主要介绍翼MapReduce的配置队列操作。 操作场景 根据业务需要，管理员可以通过FusionInsight Manager修改指定租户的队列配置。 前提条件 已添加使用Capacity调度器的租户。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“租户资源 > 动态资源计划”。 默认显示“资源分布策略”。 3. 单击“队列配置”页签。 4. “集群”参数选择待操作的集群名称，然后在指定租户资源名的“操作”列，单击“修改”。 说明 l 在“租户管理”页签左侧租户列表，单击目标的租户，切换到“资源”页签，单击也能打开修改队列配置页面。 l 一个队列只能绑定一个非default资源池。 队列配置参数 参数名 描述 租户资源名（队列） 租户及队列名称。 最大应用数量 表示最大应用程序数量。 AM最大资源百分比 表示集群中可用于运行application master的最大资源占比。 用户资源最小上限百分比（%） 表示每个用户最低资源保障（百分比）。任何时刻，一个队列中每个用户可使用的资源量均有一定的限制。当一个队列中同时运行多个用户的应用程序时，每个用户的使用资源量在一个最小值和最大值之间浮动，其中，最小值取决于正在运行的应用程序数目，而最大值则由此参数决定。比如，假设此参数的值设置为25。当两个用户向该队列提交应用程序时，每个用户可使用资源量不能超过50%，如果三个用户提交应用程序，则每个用户可使用资源量不能超多33%，如果四个或者更多用户提交应用程序，则每个用户可用资源量不能超过25%。 用户资源上限因子 表示用户使用的最大资源限制因子，与当前租户在集群中实际资源百分比相乘，可计算出用户使用的最大资源百分比。 状态 表示资源计划当前的状态，“运行”为运行状态，“停止”为停止状态。 默认资源池 表示队列使用的资源池，默认为“default”。如果需要修改为其他资源池，需要先配置队列容量，请参见配置资源池的队列容量策略。 5. 单击“确定”完成配置。

本节介绍如何关闭Smart Connect。 如果不再使用Smart Connect相关功能，您可以关闭Smart Connect，释放资源。 关闭Smart Connect不会影响业务。 约束与限制 关闭Smart Connect后，实例会停止收取用于Smart Connect的代理费用，并自动删除用于Smart Connect的代理。 关闭Smart Connect后，再重新开启Smart Connect，已删除的Smart Connect任务无法找回，需要重新创建。 前提条件 已创建Kafka实例，且实例状态为“运行中”。 关闭Smart Connect前，请先删除所有的Smart Connect任务，否则无法关闭Smart Connect。此操作是为了防止关闭Smart Connect导致正在运行的Smart Connect任务丢失。 关闭Smart Connect 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、通过以下任意一种方法，关闭Smart Connect。 在待关闭Smart Connect的Kafka实例所在行，单击“更多 > 关闭Smart Connect”。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 关闭Smart Connect”。 5、单击，将Smart Connect设置为关闭，单击“下一步”。 6、确认“Smart Connect”为关闭状态，单击“提交”。 结束

本章节主要介绍 配置队列。 操作场景 用户根据业务需求，可以在MRS Manager修改指定租户的队列配置。 前提条件 已添加关联Yarn并分配了动态资源的租户。 操作步骤 在MRS Manager，单击“租户管理”。 1. 单击“动态资源计划”页签。 2. 单击“队列配置”页签。 3. 在租户队列表格，指定租户队列的“操作”列，单击“修改”。 说明 在“租户管理”页签左侧租户列表，单击目标的租户，切换到“资源”页签，单击也能打开修改队列配置页面。 队列配置参数 参数名 描述 “最大应用数量” 表示最大应用程序数量。取值范围从“1”到“2147483647”。 “AM最大资源百分比” 表示集群中可用于运行application master的最大资源占比。取值范围从“0”到“1”。 “用户资源最小上限百分比(%)” 表示用户使用的最小资源上限百分比。取值范围从“0”到“100”。 “用户资源上限因子” 表示用户使用的最大资源限制因子，与当前租户在集群中实际资源百分比相乘，可计算出用户使用的最大资源百分比。最小值为“0”。 “状态” 表示资源计划当前的状态，“运行”为运行状态，“停止”为停止状态。 “默认资源池” 表示队列使用的资源池。默认为“Default”，如果需要修改为其他资源，需要先配置队列容量，请参见配置资源池的队列容量策略。

操作场景 分布式消息服务 Kafka 版支持按主题或用户/客户端来配置限流策略，避免因资源消耗过高而影响全量业务。 前提条件 流控管理仅支持集群版实例。 操作步骤 1. 登录管理控制台。 2. 进入Kafka管理控制台。 3. 在实例列表页的操作列，目标实例行点击“管理”按钮。 4. 点击“智能运维”、“流控管理”菜单进入流控管理页面。 5. 如需配置主题流控 ，在流控配置页卡的下拉框选择“Topic”选项并点击“创建流控”按钮。 6. 在弹窗填入主题名、生产上限速率、消费上限速率，点击“确定”按钮。 Topic：填入需要限流的主题名 速率范围：1MB/s — 1024MB/s 7. 如需配置用户/客户端流控 ，在流控配置页卡的下拉框选择“User/Client”选项并点击“创建流控”按钮。 8. 在弹窗填入用户名、客户端ID、生产上限速率、消费上限速率，点击“确定”按钮。 用户名：填入需要限流的用户名，与客户端ID不能同时为空 客户端ID：填入需要限流的客户端ID，与用户名不能同时为空 速率范围：1MB/s — 1024MB/s