本章节主要介绍如何删除Vhost。 操作场景 本章节主要介绍删除Vhost的操作，有以下几种方式，您可以根据实际情况选择任意一种方式： 方式一：在控制台删除 方式二：使用RabbitMQ WebUI删除 方式三：调用API删除 方式一：在控制台删除 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 此处请选择RabbitMQ实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”>“分布式消息服务”>“RabbitMQ专享版”，进入分布式消息服务RabbitMQ专享版页面。 步骤 4 单击实例名称，进入实例详情页面。 步骤 5 在左侧导航栏选择“Vhost列表”，进入Vhost列表页面。 步骤 6 通过以下任意一种方法，删除Vhost。 勾选Vhost名称左侧的方框，可选一个或多个，单击信息栏左上侧的“删除Vhost”。 在待删除的Vhost所在行，单击“删除”。 步骤 7 在弹出的确认删除对话框中，单击“是”。 方式二：使用RabbitMQ WebUI删除 步骤 1 登录RabbitMQ WebUI。 步骤 2 在顶部导航栏选择“Admin”，进入Admin页面。 步骤 3 在右侧导航栏选择“Virtual Hosts”，进入Virtual Hosts页面。 图1 Virtual Hosts页面 步骤 4 单击待删除的Vhost名称，进入Vhost详情页。 图2 待删除的Vhost 步骤 5 在“Delete this vhost”区域，单击“Delete this virtual host”，弹出确认删除对话框。 图3 删除Vhost 步骤 6 单击“确定”，完成Vhost的删除。

本章节主要介绍队列相关问题中有关运维指导的问题。 查看DLI队列负载 场景概述 如果需要确认DLI队列的运行状态，决定是否运行更多的作业时需要查看队列负载。 操作步骤 1. 在控制台搜索“云监控服务 CES”。 2. 进入CES后，在页面左侧“云服务监控”列表中，单击“数据湖探索”。 3. 选择队列进行查看。 如何判断当前DLI队列中的作业是否有积压？ 问题描述 需要查看DLI的队列中作业状态为“提交中”和“运行中”的作业数，判断当前队列中的作业是否有积压。 解决方案 可以通过“云监控服务 CES”来查看DLI队列中不同状态的作业情况，具体操作步骤如下： 1. 在控制台搜索“云监控服务 CES”，进入云监控服务控制台。 2. 在左侧导航栏选择“云服务监控 > 数据湖探索”，进入到云服务监控页面。 3. 在云服务监控页面，“名称”列对应队列名称，单击对应队列名称，进入到队列监控页面。 4. 在队列监控页面，分别查看以下指标查看当前队列的作业运行情况。 a.“提交中作业数”：展示当前队列中状态为“提交中”的作业数量。 b.“运行中作业数”：展示当前队列中状态为“运行中”的作业数量。 c.“已完成作业数”：展示当前队列中状态为“已成功”的作业数量。 如何将老版本的Spark队列切换成通用型队列 当前DLI服务包括“SQL队列”和“通用队列”两种队列类型。 其中，“SQL队列”用于运行SQL作业，“通用队列”兼容老版本的Spark队列，用于运行Spark作业和Flink作业。 通过以下步骤，可以将老版本的“Spark队列”转换为新的“通用队列”。 1. 重新购买“通用队列”。 2. 将在旧的“Spark队列”中的作业迁移到新的“通用型队列”中，即在提交Spark作业时指定新的队列。 3. 释放旧的“Spark队列”，即删除或退订队列。

场景 弹性资源池实际CUs 队列A资源分配 队列B资源分配 弹性资源池CU数分配说明 弹性资源池添加了两个队列，分别为队列A和队列B。两个队列设置的扩缩容策略如下： l 队列A扩缩容策略：时间段：00:009:00，最小CU是32，最大CU是64 l 队列B扩缩容策略：00:009:00，最小CU是64，最大CU是128 192CUs 64CUs 128CUs 当弹性资源池实际cu大于等于两个队列最大 cu之和，队列都分配最大值 弹性资源池添加了两个队列，分别为队列A和队列B。两个队列设置的扩缩容策略如下： l 队列A扩缩容策略：时间段：00:009:00，最小CU是32，最大CU是64 l 队列B扩缩容策略：00:009:00，最小CU是64，最大CU是128 96CUs 32CUs 64CUs 弹性资源池会优先满足两个队列的最小CU， 两个队列分配了最小CU后，无可用资源进行分配 弹性资源池添加了两个队列，分别为队列A和队列B。两个队列设置的扩缩容策略如下： l 队列A扩缩容策略：时间段：00:009:00，最小CU是32，最大CU是64 l 队列B扩缩容策略：00:009:00，最小CU是64，最大CU是128 128CUs 32CUs64CUs 64CUs96CUs 弹性资源池会优先满足两个队列的最小CU，即队列A先分配32CUs，队列B分配64CUs，有剩余32CUs可供分配。 剩余部分按照队列的负载以及队列优先级进行分配。队列实际CU会在列出的范围内变化。

APM适合多种运维监控场景,此篇例举部分应用场景如下。 场景一：定位应用性能瓶颈与故障异常 场景说明 随着业务不断发展，业务逻辑日益复杂，导致应用性能问题分析与定位日益艰难，给监控运维带来了巨大的挑战： 应用之间的依赖关系复杂，难以梳理。 调用链路长，排查和定位群体困难。 接口调用、数据库调用关系复杂，管理难度大。APM提供了大型分布式应用的异常诊断能力，当应用出现请求失败或性能下降时，通过应用拓扑、调用链、性能指标监控等能力组合，可以帮助用户快速定位问题。 业务价值 应用拓扑展示：自动梳理业务应用，以拓扑图的方式全面展示相关应用调用关系。 丰富的指标监控：提供包括JVM、资源监控、Netty内存等基础监控；Kafka、RocketMQ等消息监控；Mysql，redis，es等数据库监控；httpClient、grpc等调用监控。 慢SQL分析：通过自定义的慢查询阈值、结合SQL的调用频次，获取导致数据库性能下降的不规范的SQL语句。 告警：针对接口响应时间、异常调用、数据库、JVM等性能指标做一定阈值的告警，先于客户之前发现并解决问题。 场景二：容器运维监控 场景说明 众所周知，Prometheus 是容器场景的最佳监控工具，但自建 Prometheus 对运维人力有限的中小企业成本过高，对业务快速发展的企业又易出现性能瓶颈。因此使用云托管 Prometheus 已成为越来越多上云企业的首选。

注意事项 在全天的任意一个时间段内，弹性资源池中所有队列的最小CU数之和需要小于等于弹性资源池的最小CU数。 在全天的任意一个时间段内，弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。 同一队列不同扩缩容策略的时间段区间不能有交集。 弹性资源池队列中的扩缩容策略时间段仅支持整点的时间段设置，并且包含设置的开启时间，不包含设置的结束时间，例如设置时间段0009，则时间段范围为：[00:00，09:00)。默认的扩缩容策略不支持时间段配置修改。 弹性资源池扩缩容策略生效规则为：在任意一个时间段周期内，优先满足所有队列的最小CU数。剩余的CU（弹性资源池最大CU所有队列的最小CU数之和）则根据配置的优先级顺序分配： −如果队列的优先级不同，根据配置的优先级顺序分配，直到剩余的CU数分配完成。 −如果队列的优先级相同，资源会被随机分配到某一队列，如果分配后资源还有剩余会随机分配到剩下的某一队列中，直到剩余的CU数分配完成。 弹性资源池扩缩容CU分配场景说明 场景 弹性资源池CU数分配说明 :: 弹性资源池当前最大CU为256CU，添加了两个队列，分别为队列A和队列B。两个队列设置的扩缩容策略如下： l 队列A扩缩容策略：优先级5，时间段：00:009:00，最小CU是32，最大CU是128 l 队列B扩缩容策略：优先级10，时间段：00:009:00，最小CU是64，最大CU是128 到了00:009:00时间段： 1. 弹性资源池优先满足两个队列的最小CU，队列A先分配32CU，队列B分配64CU，剩余CU数为160CU：弹性资源池的最大CU两个队列的最小CU之和2563264160CU。 2. 剩余CU数根据优先级高低来分配，因为队列B的优先级高于队列A，则优先将64CU分配给队列B，剩余的96CU全部分配给队列A。 弹性资源池当前最大CU为96CU，添加了两个队列，分别为队列A和队列B。两个队列设置的扩缩容策略如下： l 队列A扩缩容策略：优先级5，时间段：00:009:00，最小CU是32，最大CU是64 l 队列B扩缩容策略：优先级10，时间段：00:009:00，最小CU是64，最大CU是128 到了00:009:00时间段： 1. 弹性资源池优先满足两个队列的最小CU，队列A先分配32CU，队列B分配64CU，剩余CU数为0CU：弹性资源池的最大CU两个队列的最小CU之和9632640CU。 2. 因为剩余的CU数已经没有，则停止分配。 弹性资源池当前最大CU为128CU，添加了两个队列，分别为队列A和队列B。两个队列设置的扩缩容策略如下： l 队列A扩缩容策略：优先级5，时间段：00:009:00，最小CU是32，最大CU是64 l 队列B扩缩容策略：优先级10，时间段：00:009:00，最小CU是64，最大CU是128 到了00:009:00时间段： 1. 弹性资源池优先满足两个队列的最小CU，队列A先分配32CU，队列B分配64CU，剩余CU数为32CU：弹性资源池的最大CU两个队列的最小CU之和128326432CU。 2. 按照优先级，则优先将剩余的32CU分配给B队列后停止分配。 弹性资源池当前最大CU为128CU，添加了两个队列，分别为队列A和队列B。两个队列设置的扩缩容策略如下： l 队列A扩缩容策略：优先级5，时间段：00:009:00，最小CU是32，最大CU是64 l 队列B扩缩容策略：优先级5，时间段：00:009:00，最小CU是64，最大CU是128 到了00:009:00时间段： 1. 弹性资源池优先满足两个队列的最小CU，队列A先分配32CU，队列B分配64CU，剩余CU数为32CU：弹性资源池的最大CU两个队列的最小CU之和128326432CU。 2. 因为两个队列的优先级相同，则剩余32CU随机分配给两个队列。

功能 单机实例 主备实例/集群版实例 数据库数量 100 100 数据库帐号数量 无限制 无限制 邮件功能 不支持 不支持 数据集成功能（SSIS） 不支持 不支持 数据分析功能（SSAS） 不支持 不支持 数据报表功能（SSRS） 不支持 不支持 R语言服务 不支持 不支持 公共语言运行时集成（CLR） 不支持 不支持 异步消息通讯 不支持 不支持 复制订阅功能 不支持 不支持 策略管理 不支持 不支持

本文介绍了如何在天翼云上使用弹性云主机的Linux实例部署RabbitMQ。 本文介绍了如何在天翼云上使用弹性云主机的Linux实例部署RabbitMQ。RabbitMQ是采用Erlang语言实现AMQP（Advanced Message Queuing Protocol，高级消息队列协议）的消息中间件，它最初起源于金融系统，用于在分布式系统中存储转发消息。RabbitMQ凭借其高可靠、易扩展、高可用及丰富的功能特性成为目前非常热门的一款消息中间件。 前提条件 弹性云主机所在安全组添加了如下表所示的安全组规则，具体步骤参见为安全组添加安全组规则。 方向 类型 协议 端口/范围 源地址 入方向 IPv4 TCP 5672 0.0.0.0/0 入方向 IPv4 TCP 15672 0.0.0.0/0 操作步骤 1. 安装相关依赖包和perl。 登录弹性云主机。 执行以下命令，安装相关依赖包。 plaintext yum y install make gcc gccc++ m4 ncursesdevel openssldevel unixODBCdevel 执行如下命令，安装perl。 plaintext yum install perl 2. 安装erlang。 执行如下命令，下载erlang安装包。 plaintext wget 执行如下命令，解压缩安装包。 plaintext tar xzf otpsrc19.3.tar.gz 解压后生成一个“otpsrc19.3”文件夹。 执行如下命令，创建文件夹“erlang”。 plaintext mkdir /usr/local/erlang 执行如下命令，进入解压后生成的文件夹“otpsrc19.3”。 plaintext cd otpsrc19.3 执行如下命令，检查系统是否符合安装要求。 plaintext ./configure prefix/usr/local/erlang withoutjavac 执行如下命令，编译并安装Erlang。 plaintext make && make install 执行如下命令，配置erlang环境变量。 执行如下命令打开配置文件"profile"。 plaintext vi /etc/profile 按i键进入编辑模式。 修改打开的“profile”文件，将如下内容添加到文件末尾。 plaintext export PATH$PATH:/usr/local/erlang/bin 按Esc键退出编辑模式，并输入:wq保存后退出。 执行如下命令，使环境变量生效。 plaintext source /etc/profile 执行如下命令，检查安装结果。 plaintext erl version 回显类似如下信息，说明erlang安装成功。 plaintext [root@ecsrabbitmq ~]

本节介绍天翼量子AI云电脑电脑客户端的基本设置操作。 1. 右上角功能总览 右上角功能：订购、个性装扮、更多、退出、全屏/窗口化功能。 2. 订购 如需订购天翼量子AI电脑公众版和政企版，点击“订购AI云电脑”入口，选择适合您需要的AI云电脑。 （1）公众版：适用于个人和家庭，一站式购买、管理、使用，即开即用，轻松上手，满足日常办公娱乐多种需求。 （2）政企版：适用于企业和组织，由管理员分配电脑及密码，集中管控，按需创建，广泛应用于安全办公、金融、教育等领域。 3. 个性装扮 如需设置个性装扮，支持浅漾蓝、典雅灰、极光紫、幻彩沙、金蓝叙、商务蓝六大主题。 4. 更多菜单 点击“三”展开更多功能面板，分别是个人信息、安全中心、家庭管理、消息中心、设置、报障、帮助手册、关于（版本号）。 5.

本文为您介绍如何在科研助手中编辑队列。 开始编辑 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中，选择【队列管理】。 3. 单击对应队列右侧的【编辑】，即可对该队列进行编辑操作。 编辑共享资源池队列 共享资源池的队列的【编辑队列】页面，队列基础信息不允许修改，只能对队列的高级配置进行修改。 【基础信息】 参数 说明 队列名称 队列的名称。 状态 队列的状态，共有4种，分别为：开启、关闭、关闭中以及未知。 资源池 队列所属的资源池名称。 资源池类型 共享资源池。 创建时间 队列的创建时间。 【高级配置】 参数 说明 资源上限 该队列的资源的上限，队列中的正在运行的各种资源累计不能超过限制资源的上限，若应用超出该上限，超出部分的资源将不会被调度成功。 完成编辑 点击【立即编辑 】，完成队列的编辑；点击【取消】，放弃队列的编辑。

通过Flink SQL导入 要通过Flink SQL导入数据到云数据库ClickHouse，您可以按照以下步骤进行操作： 1. 准备工作： 确保您已经安装了Flink，并配置好了与云数据库ClickHouse的连接。 确保您已经准备好要导入的数据源，例如Kafka、文件系统等。 2. 创建Flink SQL作业： 在Flink的SQL CLI或Web界面中，创建一个新的Flink SQL作业。 在作业中使用 CREATE TABLE语句定义云数据库ClickHouse目标表的结构。例如： sql CREATE TABLE clickhousetable ( id INT, name STRING, age INT ) WITH ( 'connector' 'clickhouse', 'url' 'jdbc:clickhouse://yourclickhousehost:port/database', 'tablename' 'yourtable', 'username' 'yourusername', 'password' 'yourpassword' ); clickhousetable：定义的云数据库ClickHouse目标表的名称。 id INT, name STRING, age INT：定义表的字段和对应的数据类型。 'url' 'jdbc:clickhouse://yourclickhousehost:port/database'：替换为实际的云数据库ClickHouse连接URL和目标数据库。 'tablename' 'yourtable'：替换为目标表的名称。 'username' 'yourusername'：替换为云数据库ClickHouse的用户名。 'password' 'yourpassword'：替换为云数据库ClickHouse的密码。 3. 定义输入源： 在作业中使用 CREATE TABLE语句定义输入源，例如Kafka或文件系统。 在输入源中，您可以指定适当的连接器和配置选项以从源中读取数据。例如，如果您的数据源是Kafka，您可以使用以下语句定义输入源： sql CREATE TABLE sourcetable ( id INT, name STRING, age INT ) WITH ( 'connector' 'kafka', 'topic' 'yourtopic', 'properties.bootstrap.servers' 'kafkaservers', 'format' 'json', 'json.failonmissingfield' 'false' ); sourcetable：定义输入源表的名称。 id INT, name STRING, age INT：定义源表的字段和对应的数据类型。 'connector' 'kafka'：指定使用Kafka连接器。 'topic' 'yourtopic'：替换为实际的Kafka主题名称。 'properties.bootstrap.servers' 'kafkaservers'：替换为实际的Kafka服务器地址。 'format' 'json'：指定数据格式为JSON，如果您的数据源是其他格式，请相应调整。 'json.failonmissingfield' 'false'：设置为 false以忽略缺失字段。 4. 编写INSERT INTO语句： 在作业中使用 INSERT INTO语句将数据从输入源表插入到云数据库ClickHouse目标表。例如： sql INSERT INTO clickhousetable SELECT id, name, age FROM sourcetable; 这将从源表中选取数据，并将其插入到云数据库ClickHouse目标表中。 5. 运行Flink SQL作业： 在Flink SQL CLI或Web界面中，提交并运行您的Flink SQL作业。 说明 上述示例代码仅提供了一个基本的框架，您可能需要根据实际需求进行调整和优化。此外，根据您的数据源类型和目标表的字段类型，您可能需要自定义适当的数据转换器。

2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）重启FlinkHistoryServer服务，推荐滚动重启。 Kyuubi 1、修改配置 1）前往Manager页面，集群服务> Kyuubi集群> 配置管理> default配置组> 配置文件kyuubidefaults.conf > 配置项kyuubi.ha.addresses。 2）将新的ZK节点，添加到配置项kyuubi.ha.addresses中。 3）相同操作：同时修改client配置组的配置项。 2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）需要重启Kyuubi服务，推荐滚动重启。 HBase 1、修改配置 1）前往Manager页面，集群服务> HBase集群> 配置管理> default配置组> 配置文件hbasesite.xml > 配置项hbase.zookeeper.quorum。 2）将新的ZK节点，添加到配置项hbase.zookeeper.quorum中。 3）相同操作：同时修改client配置组的配置项。 2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）需要重启HBase所有服务，包含HMaster和HRegionServer，推荐滚动重启。 Kafka 警告：Kafka不建议重启，所以不建议修改ZK节点。 原因：Kafka每个节点都是有状态的，每个节点的主分区都不一样，重启会导致业务受影响。 1、修改配置 1）前往Manager页面，集群服务> Kafka集群> 配置管理> default配置组> 配置文件server.properties > 配置项zookeeper.connect。 2）将新的ZK节点，通过vs统一修改3个配置，添加到配置项zookeeper.connect中。 2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）需要重启Kafka所有服务。请谨慎进行Kafka集群的重启操作。

翼MapReduce（翼MR）是一种基于云计算平台的数据处理分析服务，打造了高可靠、高安全、易使用的运行维护平台，对外提供大容量数据的存储和分析能力，可解决用户实时性要求不高的海量数据存储和处理需求，可以独立申请和使用托管Hadoop、Spark、HBase和Hive组件。 支持的事件列表如下： 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 DBServer主备倒换 dbServerSwitchover 次要 DBServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致。 连续触发主备倒换可能影响Hive服务正常使用，导致Hive服务不可用。 Flume Channel溢出 flumeChannelOverflow 次要 Flume Channel溢出 确认flume的channel配置是否合理，业务量是否有突增。 Flume任务无法正常写入数据到后端。 NameNode主备倒换 namenodeSwitchover 次要 NameNode主备倒换 主备倒换需要和运维人员确认是否为正常操作导致。 连续触发主备倒换可能影响HDFS服务正常使用，读写HDFS文件可能失败。 ResourceManager主备倒换 resourceManagerSwitchover 次要 ResourceManager主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Yarn服务正常使用，导致任务出现异常甚至失败 JobHistoryServer主备倒换 jobHistoryServerSwitchover 次要 JobHistoryServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响MapReduce服务正常使用，导致任务日志读取异常 HMaster主备倒换 hmasterFailover 次要 HMaster主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响HBase服务正常使用 Hue发生主备切换 hueFailover 次要 Hue发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 主备倒换可能影响HUE服务正常使用，导致页面无法使用等问题 Impala HaProxy服务发生主备切换 impalaHaProxyFailover 次要 Impala HaProxy服务发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Impala服务正常使用 Impala StateStoreCatalog服务发生主备切换 impalaStateStoreCatalogFailover 次要 Impala StateStoreCatalog服务发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Impala服务正常使用 LdapServer主备倒换 ldapServerFailover 次要 LdapServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响LdapServer服务正常使用 Loader主备倒换 loaderSwitchover 次要 Loader主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 主备倒换可能影响Loader服务正常使用 Manager主备倒换 managerSwitchover 提示 Manager主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 Manager主备倒换可能导致Manager页面无法正常访问，部分监控可能出现异常数值 作业执行失败 jobRunningFailed 提示 作业执行失败 查看作业管理页面，确认失败任务是否有异常 作业执行过程出现失败 作业被终止 jobkilled 提示 作业被终止 确认任务是否人为下发终止命令 作业执行过程被终止 Oozie工作流执行失败 oozieWorkflowExecutionFailure 次要 Oozie工作流执行失败 查看Oozie日志，确认任务失败原因 Oozie工作流执行失败 Oozie定时任务执行失败 oozieScheduledJobExecutionFailure 次要 Oozie定时任务执行失败 查看Oozie日志，确认任务失败原因 Oozie定时任务执行失败 ClickHouse服务不可用 clickHouseServiceUnavailable 紧急 ClickHouse服务不可用 请参考《MapReduce服务用户指南》的“ALM45425 ClickHouse服务不可用”章节。 ClickHouse服务异常，无法通过FusionInsight Manager对ClickHouse进行集群操作，无法使用ClickHouse服务功能。 DBService服务不可用 dbServiceServiceUnavailable 紧急 DBService服务不可用 请参考《MapReduce服务用户指南》的“ALM27001 DBService服务不可用”章节。 数据库服务不可用，无法对上层服务提供数据入库、查询等功能，使部分服务异常。 DBService主备节点间心跳中断 dbServiceHeartbeatInterruption BetweentheActiveAndStandbyNodes 重要 DBService主备节点间心跳中断 请参考《MapReduce服务用户指南》的“ALM27003 DBService主备节点间心跳中断”章节。 DBService主备间心跳中断时只有一个节点提供服务，一旦该节点故障，再无法切换到备节点，就会服务不可用。 DBService主备数据不同步 dataInconsistencyBetween ActiveAndStandbyDBServices 紧急 DBService主备数据不同步 请参考《MapReduce服务用户指南》的“ALM27004 DBService主备数据不同步”章节。 主备DBServer数据不同步，如果此时主实例异常，则会出现数据丢失或者数据异常的情况。 数据库进入只读模式 databaseEnterstheReadOnlyMode 紧急 数据库进入只读模式 请参考《MapReduce服务用户指南》的“ALM27007 数据库进入只读模式”章节。 数据库进入只读模式，业务数据丢失。 Flume服务不可用 flumeServiceUnavailable 紧急 Flume服务不可用 请参考《MapReduce服务用户指南》的“ALM24000 Flume服务不可用”章节。 当Flume服务不可用时，Flume不能正常工作，数据传输业务中断。 Flume Agent异常 flumeAgentException 重要 Flume Agent异常 请参考《MapReduce服务用户指南》的“ALM24001 Flume Agent异常”章节。 产生告警的Flume Agent实例无法正常启动，定义在该实例下的数据传输任务暂时中断，对于实时数据传输，会丢失实时数据。 Flume Client连接中断 flumeClientDisconnected 重要 Flume Client连接中断 请参考《MapReduce服务用户指南》的“ALM24003 Flume Client连接中断”章节。 产生告警的Flume Client无法与Flume Server端进行通信，Flume Client端的数据无法传输到Flume Server端。 Flume读取数据异常 exceptionOccursWhenFlumeReadsData 重要 Flume读取数据异常 请参考《MapReduce服务用户指南》的“ALM24004 Flume读取数据异常”章节。 如果数据源有数据，Flume Source持续读取不到数据，数据采集会停止。 Flume传输数据异常 exceptionOccursWhenFlumeTransmitsData 重要 Flume传输数据异常 请参考《MapReduce服务用户指南》的“ALM24005 Flume传输数据异常”章节。 Flume Channel的磁盘空间使用量有继续增长的趋势，将会使数据导入到指定目的地的时间增长，当Flume Channel的磁盘空间使用量达到100%时会导致Flume Agent进程暂停工作。 Flume 证书文件非法或已损坏 flumeCertificateFileIsinvalid 重要 Flume 证书文件非法或已损坏 请参考《MapReduce服务用户指南》的“ALM24010 Flume证书文件非法或已损坏”章节。 Flume证书文件已经非法或损坏，功能受限，Flume客户端将无法访问Flume服务端。 Flume 证书文件即将过期 flumeCertificateFileIsAboutToExpire 重要 Flume 证书文件即将过期 请参考《MapReduce服务用户指南》的“ALM24011 Flume证书文件即将过期”章节。 Flume证书文件即将失效，对系统目前运行无影响。 Flume 证书文件已过期 flumeCertificateFileIsExpired 重要 Flume 证书文件已过期 请参考《MapReduce服务用户指南》的“ALM24012 Flume证书文件已过期”章节。 Flume证书文件已过期，功能受限，Flume客户端将无法访问Flume服务端。 Flume MonitorServer证书文件失效 flumeMonitorServerCertificateFileIsInvalid 重要 Flume MonitorServer证书文件失效 请参考《MapReduce服务用户指南》的“ALM24013 Flume MonitorServer证书文件非法或已损坏”章节。 MonitorServer证书文件已经非法或损坏，功能受限，Flume客户端将无法访问Flume服务端。 Flume MonitorServer证书文件即将过期 flumeMonitorServerCertificate FileIsAboutToExpire 重要 Flume MonitorServer证书文件即将过期 请参考《MapReduce服务用户指南》的“ALM24014 Flume MonitorServer证书文件即将过期”章节。 MonitorServer证书文件即将失效，对系统目前运行无影响。 Flume MonitorServer证书文件已过期 flumeMonitorServerCertificateFileIsExpired 重要 Flume MonitorServer证书文件已过期 请参考《MapReduce服务用户指南》的“ALM24015 Flume MonitorServer证书文件已过期”章节。 MonitorServer证书文件已过期，功能受限，Flume客户端将无法访问Flume服务端。 HDFS服务不可用 hdfsServiceUnavailable 紧急 HDFS服务不可用 请参考《MapReduce服务用户指南》的“ALM14000 HDFS服务不可用”章节。 无法为基于HDFS服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。 NameService服务异常 nameServiceServiceUnavailable 重要 NameService服务异常 请参考《MapReduce服务用户指南》的“ALM14010 NameService服务异常”章节。 无法为基于该NameService服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。 DataNode数据目录配置不合理 datanodeDataDirectoryIsNotConfiguredProperly 重要 DataNode数据目录配置不合理 请参考《MapReduce服务用户指南》的“ALM14011 DataNode数据目录配置不合理”章节。 如果将DataNode数据目录挂载在根目录等系统关键目录，长时间运行后会将根目录写满，导致系统故障。不合理的DataNode数据目录配置，会造成HDFS的性能下降。 Journalnode数据不同步 journalnodeIsOutOfSynchronization 重要 Journalnode数据不同步 请参考《MapReduce服务用户指南》的“ALM14012 Journalnode数据不同步”章节。 当一个JournalNode节点工作状态异常时，其数据就会与其他JournalNode节点的数据不同步。如 果超过一半的JournalNode节点的数据不同步时，NameNode将无法工作，导致HDFS服务不可用。 NameNode FsImage文件更新失败 failedToUpdateTheNameNodeFsImageFile 重要 NameNode FsImage文件更新失败 请参考《MapReduce服务用户指南》的“ALM14013 NameNode FsImage文件更新失败”章节。 如果主NameNode数据目录的FsImage没有更新，则说明HDFS元数据合并功能异常，需要修复。 如不修复，HDFS在运行一段时间后，Editlog会一直增长。此时如果重启HDFS，由于要加载非常多的Editlog，会导致启动非常耗时。另外，该告警的产生也说明备NameNode功能异常，导致NameNode的HA机制失效。一旦主NameNode故障，则整个HDFS服务将不可用。 DataNode磁盘故障 datanodeDiskFault 重要 DataNode磁盘故障 请参考《MapReduce服务用户指南》的“ALM14027 DataNode磁盘故障”章节。 上报DataNode磁盘故障告警时，表示该DataNode节点上存在故障的磁盘分区，可能会导致已写入的文件丢失。 Yarn服务不可用 yarnServiceUnavailable 紧急 Yarn服务不可用 请参考《MapReduce服务用户指南》的“ALM18000 Yarn服务不可用”章节。 集群无法提供Yarn服务。用户无法执行新的application。已提交的application无法执行。 NodeManager心跳丢失 nodemanagerHeartbeatLost 重要 NodeManager心跳丢失 请参考《MapReduce服务用户指南》的“ALM18002 NodeManager心跳丢失”章节。 丢失的NodeManager节点无法提供Yarn服务。容器减少，集群性能下降。 NodeManager不健康 nodemanagerUnhealthy 重要 NodeManager不健康 请参考《MapReduce服务用户指南》的“ALM18003 NodeManager不健康”章节。 故障的NodeManager节点无法提供Yarn服务。容器减少，集群性能下降。 Yarn 任务执行超时 yarnApplicationTimeout 次要 Yarn 任务执行超时 请参考《MapReduce服务用户指南》的“ALM18020 Yarn任务执行超时”章节。 任务执行超时后的运行时间内，该告警一直存在，但任务仍继续正常执行，没有任何影响。 Mapreduce服务不可用 mapreduceServiceUnavailable 紧急 Mapreduce服务不可用 请参考《MapReduce服务用户指南》的“ALM18021 Mapreduce服务不可用”章节。 集群无法提供Mapreduce服务，如无法通过Mapreduce查看任务日志，无法提供Mapreduce服务的日志归档功能等。 Yarn队列资源不足 insufficientYarnQueueResources 次要 Yarn队列资源不足 请参考《MapReduce服务用户指南》的“ALM18022 Yarn队列资源不足”章节。 应用任务结束时间变长。新应用提交后长时间无法运行。 HBase服务不可用 hbaseServiceUnavailable 紧急 HBase服务不可用 请参考《MapReduce服务用户指南》的“ALM19000 HBase服务不可用”章节。 无法进行数据读写和创建表等操作。 HBase系统表目录或文件丢失 systemTablePathOrFileOfHBaseIsMissing 紧急 HBase系统表目录或文件丢失 请参考《MapReduce服务用户指南》的“ALM19012 HBase系统表目录或文件丢失”章节。 HBase服务重启/启动失败。 Hive服务不可用 hiveServiceUnavailable 紧急 Hive服务不可用 请参考《MapReduce服务用户指南》的“ALM16004 Hive服务不可用”章节。 Hive无法提供数据加载，查询，提取服务。 Hive数据仓库被删除 hiveDataWarehouseIsDeleted 紧急 Hive数据仓库被删除 请参考《MapReduce服务用户指南》的“ALM16045 Hive数据仓库被删除”章节。 Hive默认数据仓库被删除，会导致在默认数据仓库中创建库、创建表失败，影响业务正常使用。 Hive数据仓库权限被修改 hiveDataWarehousePermissionIsModified 紧急 Hive数据仓库权限被修改 请参考《MapReduce服务用户指南》的“ALM16046 Hive数据仓库权限被修改”章节。 Hive默认数据仓库的权限被修改，会影响当前用户，用户组，其他用户在默认数据仓库中创建库、创建表等操作的操作权限范围。会扩大或缩小权限。 HiveServer已从Zookeeper注销 hiveServerHasBeenDeregisteredFromZookeeper 重要 HiveServer已从Zookeeper注销 请参考《MapReduce服务用户指南》的“ALM16047 HiveServer已从Zookeeper注销”章节。 当无法在Zookeeper上读取到Hive的配置，将会导致HiveServer不可用。 tez或者spark库路径不存在 tezlibOrSparklibIsNotExist 重要 tez或者spark库路径不存在 请参考《MapReduce服务用户指南》的“ALM16048 Tez或者Spark库路径不存在”章节。 Tez或者Spark库路径不存在，会影响Hive on Tez，Hive on Spark的功能。 Hue服务不可用 hueServiceUnavailable 紧急 Hue服务不可用 请参考《MapReduce服务用户指南》的“ALM20002 Hue服务不可用”章节。 系统无法提供数据加载，查询，提取服务。 Impala服务不可用 impalaServiceUnavailable 紧急 Impala服务不可用 请参考《MapReduce服务用户指南》的“ALM29000 Impala服务不可用”章节。 Impala服务异常，无法通过FusionInsight Manager对Impala进行集群操作，无法使用Impala服务功能。 Kafka服务不可用 kafkaServiceUnavailable 紧急 Kafka服务不可用 请参考《MapReduce服务用户指南》的“ALM38000 Kafka服务不可用”章节。 集群无法对外提供Kafka服务，用户无法执行新的Kafka任务。 Kafka默认用户状态异常 statusOfKafkaDefaultUserIsAbnormal 紧急 Kafka默认用户状态异常 请参考《MapReduce服务用户指南》的“ALM38007 Kafka默认用户状态异常”章节。 Kafka默认用户状态异常，会影响Broker之间的元数据同步，以及Kafka与ZooKeeper之间的交互，进而影响业务生产、消费和Topic的创建、删除等操作。 Kafka数据目录状态异常 abnormalKafkaDataDirectoryStatus 重要 Kafka数据目录状态异常 请参考《MapReduce服务用户指南》的“ALM38008 Kafka数据目录状态异常”章节。 Kafka数据目录状态异常，会导致该数据目录上所有Partition的当前副本下线，多个节点同时出现数据目录状态异常，可能会导致部分Partition不可用。 存在单副本的Topic topicsWithSingleReplica 警告 存在单副本的Topic 请参考《MapReduce服务用户指南》的“ALM38010 存在单副本的Topic”章节。 单副本的Topic存在单点故障风险，当副本所在节点异常时，会直接导致Partition没有leader，影响该Topic上的业务。 KrbServer服务不可用 krbServerServiceUnavailable 紧急 KrbServer服务不可用 请参考《MapReduce服务用户指南》的“ALM25500 KrbServer服务不可用”章节。 告警发生时，不能对集群中的组件KrbServer进行任何操作。其它组件的KrbServer认证将受影响。集群中依赖KrbServer的组件运行状态将为故障。 Kudu服务不可用 kuduServiceUnavailable 紧急 Kudu服务不可用 请参考《MapReduce服务用户指南》的“ALM29100 Kudu服务不可用”章节。 用户无法使用Kudu服务。 LdapServer服务不可用 ldapServerServiceUnavailable 紧急 LdapServer服务不可用 请参考《MapReduce服务用户指南》的“ALM25000 LdapServer服务不可用”章节。 告警发生时，不能对集群中的KrbServer和LdapServer用户进行任何操作。 例如，无法在FusionInsight Manager页面添加、删除或修改任何用户、用户组或角色，也无法修改用户密码。集群中原有的用户验证不受影响。 LdapServer数据同步异常 abnormalLdapServerDataSynchronization 紧急 LdapServer数据同步异常 请参考《MapReduce服务用户指南》的“ALM25004 LdapServer数据同步异常”章节。 LdapServer数据不一致时，有可能是Manager上的LdapServer数据损坏，也有可能是集群上的LdapServer数据损坏，此时数据损坏的LdapServer进程将无法对外提供服务，影响Manager和集群的认证功能。 Nscd服务异常 nscdServiceIsAbnormal 重要 Nscd服务异常 请参考《MapReduce服务用户指南》的“ALM25005 Nscd服务异常”章节。 nscd服务异常时，可能会影响该节点从LdapServer上同步数据，此时，使用id命令可能会获取不到Ldap中的数据，影响上层业务。 Sssd服务异常 sssdServiceIsAbnormal 重要 Sssd服务异常 请参考《MapReduce服务用户指南》的“ALM25006 Sssd服务异常”章节。 sssd服务异常时，可能会影响该节点从LdapServer上同步数据，此时，使用id命令可能会获取不到ldap中的数据，影响上层业务。 Loader服务不可用 loaderServiceUnavailable 紧急 Loader服务不可用 请参考《MapReduce服务用户指南》的“ALM23001 Loader服务不可用”章节。 如果Loader服务不可用，数据加载，导入，转换的功能也不可用。 Oozie服务不可用 oozieServiceUnavailable 紧急 Oozie服务不可用 请参考《MapReduce服务用户指南》的“ALM17003 Oozie服务不可用”章节。 无法使用Oozie服务提交作业。 Ranger服务不可用 rangerServiceUnavailable 紧急 Ranger服务不可用 请参考《MapReduce服务用户指南》的“ALM45275 Ranger服务不可用”章节。 当Ranger服务不可用时，Ranger无法正常工作，Ranger原生UI无法访问。 RangerAdmin状态异常 abnormalRangerAdminStatus 重要 RangerAdmin状态异常 请参考《MapReduce服务用户指南》的“ALM45276 RangerAdmin状态异常”章节。 当存在单个RangerAdmin状态异常时，不影响Ranger原生UI访问；当两个RangerAdmin状态异常时，Ranger原生UI无法访问，无法执行创建、修改、删除策略等操作。 Spark2x服务不可用 spark2xServiceUnavailable 紧急 Spark2x服务不可用 请参考《MapReduce服务用户指南》的“ALM43001 Spark2x服务不可用”章节。 用户提交的Spark任务执行失败。 Storm服务不可用 stormServiceUnavailable 紧急 Storm服务不可用 请参考《MapReduce服务用户指南》的“ALM26051 Storm服务不可用”章节。 集群无法对外提供Storm服务，用户无法执行新的Storm任务。 ZooKeeper服务不可用 zooKeeperServiceUnavailable 紧急 ZooKeeper服务不可用 请参考《MapReduce服务用户指南》的“ALM13000 ZooKeeper服务不可用”章节。 ZooKeeper无法为上层组件提供协调服务，依赖ZooKeeper的组件可能无法正常运行。 ZooKeeper中组件顶层目录的配额设置失败 failedToSetTheQuotaOfTopDirectoriesOf ZooKeeperComponent 次要 ZooKeeper中组件顶层目录的配额设置失败 请参考《MapReduce服务用户指南》的“ALM13005 ZooKeeper中组件顶层目录的配额设置失败”章节。 组件可以向对应的ZooKeeper顶层目录中写入大量数据，导致Zookeeper服务不可用。

组件名称 组件告警目录 Hbase /hbase Hive /beelinesql Yarn /rmstore Storm /stormroot Streaming /storm Kafka /kafka

本章主要介绍翼MapReduce的配置Kafka数据传输加密功能。 操作场景 Kafka客户端和Broker之间的数据传输默认采用明文传输，客户端可能部署在不受信任的网络中，传输的数据可能遭到泄漏和篡改。 操作步骤 默认情况下，组件间的通道是不加密的。用户可以配置如下参数，设置安全通道为加密的。 参数修改入口：在FusionInsight Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 配置”，展开“全部配置”页签。在搜索框中输入参数名称。 说明 配置后应重启对应服务使参数生效。 Kafka服务端的传输加密相关配置参数详见下表。 配置项 描述 默认值 ssl.mode.enable 是否开启SSL对应服务。如果设置为“true”，那么Broker启动过程中会启动SSL的相关服务。 false security.inter.broker.protocol Broker间通信协议。支持PLAINTEXT、SSL、SASLPLAINTEXT、SASLSSL这四种协议类型。 SASLPLAINTEXT “ssl.mode.enable”配置为“true”后，Broker会开启SSL、SASLSSL两种协议的服务，然后服务端或者客户端才能配置相关的SSL协议，进行传输加密通信。

前置条件 1.账号为主账号或者角色为IAM管理员的子账号 2.开通专属集群 操作步骤 队列旨在帮助用户精细化管理资源，队列是一个资源池中部分资源的集合，用于工作负载，比如训练任务、在线服务的运行，一个资源池中可创建多个队列。用户购买资源池后可将资源池划分成若干个队列，并使用队列中的资源处理不同业务的工作负载。 打开队列管理，顶部导航栏下拉选择集群的位置，选择到自己所有的专属集群。 【创建队列】操作 点击【创建队列】按钮，进入创建队列页面，填写相应信息。 说明 负载类型：选择的负载类型，代表对应的任务可以提交到该队列，占用该队列资源。比如某队列，负载类型选择了大模型微调、在线服务，则代表这两类任务可以提交到该队列，其他任务比如IDE、大模型评估等不可以提交到该队列。 实例规格和实例数：共同决定了该队列的资源额度上限。 管理员和成员：管理员的权限高于成员，成员只能使用该队列的资源，管理员除了能使用资源以外，还能管理该队列，具体包含管理用户，编辑，更配、启动/停止、删除操作。 【查询】操作 创建好的队列会出现在队列列表里，可通过负载类型、状态筛选，也可以通过队列ID、名称搜索。

本章节主要介绍翼MapReduce集群组件使用规则。 Kafka支持四种协议类型的访问，分别为：PLAINTEXT、SSL、SASLPLAINTEXT、SASLSSL。当前，翼MR集群默认采用Kerberos安全验证服务，Kafka协议类型建议使用SASLPLAINTEXT、SASLSSL这两种。

本章节主要介绍如何创建Kerberos跨源认证。 操作场景 通过在DLI控制台创建的Kerberos类型的跨源认证，将数据源的认证信息存储到DLI，无需在SQL作业中配置帐号密码，安全访问数据源。 说明 MRS Kafka开启Kerberos认证，未开启SSL认证时，创建Kerberos类型的认证。建表时通过krbauthname关联跨源认证。 MRS Kafka开启Kerberos认证，同时开启了SSL认证时，需要同时创建Kerberos和KafkaSSL类型的认证。建表时分别通过krbauthname和sslauthname关联跨源认证。 MRS Kafka未开启Kerberos认证，仅开启了SASL认证时（例如使用帐号密码认证PlainLoginModule场景），无需使用跨源认证。 MRS Kafka未开启Kerberos认证，仅开启了SSL认证时，创建KafkaSSL类型的认证。建表时通过sslauthname关联跨源认证。 MRS Kafka未开启Kerberos认证，开启了SASL认证和SSL认证时，创建KafkaSSL类型的认证。建表时通过sslauthname关联跨源认证。 操作步骤 1. 下载数据源的认证凭证。 a.登录MRS Manager界面。 b.选择“系统 > 权限 > 用户”。 c.单击“更多 > 下载认证凭据”，保存后解压得到用户的keytab文件与krb5.conf文件。 2. 上传认证凭证到OBS桶。 3. 创建跨源认证。 a.登录DLI管理控制台。 b.选择“跨源管理 > 跨源认证”。 c.单击“创建”。 填写Kerberos认证信息，详细参数说明请参考下表。 参数说明 参数 参数说明 类型 选择kerberos。 认证信息名称 所创建的跨源认证信息名称。 名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 输入长度不能超过128个字符。 建议名称中包含MRS安全集群的名称，便于区分不同集群的安全认证信息。 用户名 安全集群的登录用户名。 krb5conf路径 上传“krb5.conf”文件的OBS路径。 说明 “krb5.conf”中需移除[libdefaults]下的“renewlifetime”配置项，否则可能会遇到“Message stream modified (41)”问题。 keytab路径 上传“user.keytab”文件的OBS路径。 4. 访问MRS的表。 跨源认证创建成功后，在创建访问数据源时只需关联跨源认证即可安全访问数据源。

给予 systemd 服务文件可执行权限 sudo chmod +x /etc/systemd/system/filebeat.service 启用并启动 Filebeat 服务 echo "Enabling and starting Filebeat service..." sudo systemctl daemonreload sudo systemctl enable filebeat sudo systemctl start filebeat echo "Filebeat service has been started." 输出 Filebeat 的进程状态 echo "Filebeat service status:" sudo systemctl status filebeat cat 2. 登录数据归集节点的ECS并部署Filebeat（与步骤2部署方式相同）数据归集节点Filebeat.yml： filebeat.inputs: type: kafka enabled: true hosts: kafka机器ip:kafka端口 topics: ["icmpprobe"] groupid: "filebeaticmpprobeopensearchtest" worker: 6 fields: type: "icmp" type: kafka enables: true hosts: kafka机器ip:kafka端口 topics: ["httpprobe"] groupid: "filebeathttpprobeopensearchtest" fields: type: "http" filebeat.config.modules: enabled: false path: /opt/filebeat/filebeat8.12.2linuxx8664/modules.d/.yml reload.enabled: false setup.template.settings: index.numberofshards: 1 setup.kibana: processors: decodejsonfields: fields: ["message"] overwritekeys: true target: "" dropfields: when: equals: fields.type: "icmp" fields: ["log","ecs","agent","host","input","kafka","Total","SourceIP","RemoteIP","JobId","message","Rtts ms"] ignoremissing: true dropfields: when: equals: fields.type: "http" fields: ["log","ecs","agent","host","input","kafka","message","JobId","SourceIP","HttpUrl"] ignoremissing: true output.elasticsearch: enabled: true hosts: [" username: "OpenSearch用户名" password: "OpenSearch密码" ssl.verificationmode: none worker: 6 indices: index: "icmpindex%{+yyyyMMdd}" when.contains: fields: type: "icmp" index: "httpindex%{+yyyyMMdd}" when.contains: fields: type: "http" logging.level: info seccomp: defaultaction: allow syscalls: action: allow names: rseq 3. 配置OpenSearch： a. 查看是否数据成功投递到了OpenSearch中。 b. 创建Visualization需要用到的indexpattern。 4. 配置Visualization： a.创建Visualization： b.配置横纵坐标。 c.展示效果图:

本章节主要介绍创建队列。 执行作业前需要先创建队列。 说明 用户首次使用子帐号创建队列时，需要先使用用主帐号登录控制台，在DLI的数据库中保持记录，才能创建队列。 新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。 队列创建完成后，如果在1小时内未运行作业，系统将进行释放。 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。 创建队列步骤 1.创建队列的操作入口有三个，分别在“总览”页面、“SQL编辑器”页面和“队列管理”页面。 单击总览页面右上角“创建队列”进行创建队列。 在“队列管理”页面创建队列。 在DLI管理控制台的左侧导航栏中，选择“资源管理 > 队列管理”。 单击“队列管理”页面右上角“创建队列”进行创建队列。 在“SQL编辑器”页面创建队列。 在DLI管理控制台的左侧导航栏中，选择“SQL编辑器”。 在左侧导航栏的队列页签，单击右侧的创建队列。 2.在“创建队列”页面，参见下表设置相关参数。 详见下表： 参数说明 参数名称 描述 名称 队列的名称。 只能包含数字、英文字母和下划线，但不能是纯数字，不能以下划线开头，且不能为空。 输入长度不能超过128个字符。 说明 队列名称不区分大小写，系统会自动转换为小写。 类型 SQL队列：SQL作业的计算资源。 通用队列：Spark作业 、Flink作业的计算资源。 说明 可勾选“专属资源模式”，该模式下可创建增强型跨源。 规格 队列规格指的是计算节点所有CU数的总和，1CU1核4GB。DLI系统会自动分配各计算节点的内存和CPU大小，具体计算节点个数客户端不感知。 描述 所创建队列的相应描述。输入长度不能超过128个字符。 高级选项 在“队列类型”中，勾选了“专属资源模式”后，需要选择“高级选项”。 默认配置：由系统自动配置。 自定义配置： “网段”：指定使用的网段范围，请参考修改队列网段。如需使用DLI增强型跨源，DLI队列网段与数据源网段不能重合。 “队列特性”：运行AI相关SQL作业时选择“AI增强型”队列，运行其他作业时选择“基础型”队列。 3.单击“立即创建”，完成队列创建。 队列创建成功后，您可以在“队列管理”页面面查看和选择使用对应的队列。 说明 新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。

本文向您介绍如何开启网卡多队列功能。 操作场景 随着网络IO的带宽不断提升，单核CPU处理网络中断存在瓶颈，不能完全满足网卡的需求，通过开启网卡多队列功能，您可以将弹性云主机中的网卡中断分散给不同的CPU处理，以满足网卡的需求，从而提升网络PPS和带宽性能。 假设以下场景所述的弹性云主机满足规格和虚拟化类型要求： 使用网卡多队列支持列表中的公共镜像创建的弹性云主机，默认已开启网卡多队列，无需执行本节操作。 对于私有镜像场景，如果您的外部镜像文件的操作系统在网卡多队列支持列表范围内，需要按照如下流程开启网卡多队列： 将外部镜像文件导入镜像服务控制台。 使用私有镜像创建弹性云主机。 执行网卡多队列的配置脚本。 说明 云主机开启网卡多队列功能后，如果后续有新增或删除网卡，切换VPC等操作，需要重新对云主机设置网卡多队列。 网卡多队列支持列表 网卡多队列的支持情况和实例规格、虚拟化类型、镜像的操作系统有关，只有同时满足这些要求，弹性云主机才能开启网卡多队列功能。 支持网卡多队列的规格请参考弹性云主机产品规格，网卡多队列数大于1的表示支持多队列。 所有公共镜像均支持网卡多队列。

接口描述 本接口可用于切换非基础版Postgresql实例的主备实例，切换主备实例后，原来的备实例成为主实例并承担业务流量。 请求方法 POST URI /v1/node/switch 请求参数 名称 位置 类型 必选 说明 prodInstId query Long 是 实例id nodeId query Long 是 节点id 响应参数 名称 类型 说明 message String 消息提示 statusCode Integer 状态码 returnObj Object 所有的返回信息都以JSON形式保存 示例 请求示例 /v1/node/switch { "prodInstId":1, "nodeId":1 } 响应示例 { "message": "SUCCESS", "returnObj": null, "statusCode": 800 } 错误码 访问ErrorCodes说明文档查看更多错误码。

本章节主要介绍修改队列网段。 使用增强型跨源时，如果DLI队列的网段和用户数据源的网段发生冲突，您可以通过修改网段操作更改队列的网段。 说明 如果待修改网段的队列中有正在提交或正在运行的作业，或者改队列已经绑定了增强型跨源，将不支持修改网段操作。 修改队列网段步骤 1. 在DLI管理控制台左侧，选择“资源管理 > 队列管理”。 2. 选择待修改的队列，单击“操作”列“更多”中的“修改网段”。 3. 填写需要的网段后，单击“确定”。队列修改网段成功后，需要等待5~10分钟，待队列所属集群资源重新拉起后再运行作业。

接口功能介绍 云防火墙（原生版）N100型产品退订云防火墙+云主机功能 接口约束 无 URI POST /v1/cngfw/order/placeunsubscribe 路径参数 无 Query参数 无 请求参数 请求头header参数 无 请求体body参数 参数 是否必填 参数类型 说明 示例 下级对象 resources 是 Array of Objects 退订资源id resources 表 resources 参数 是否必填 参数类型 说明 示例 下级对象 resourceIds 是 String of Array(String) 退订资源id数组，包含云防火墙资源id、云主机资源id 响应参数 参数 参数类型 说明 示例 下级对象 statusCode Integer 状态码，800：成功，900：失败 message String 返回信息 成功 error String 错误信息 returnObj Object 接口返回结果 returnObj errorCode String 错误码 表 returnObj 参数 参数类型 说明 示例 下级对象 errorMessage String 下单失败描述，具体订单失败取该错误消息描述 submitted Boolean 是否已提交成功，true：成功，false：失败 true orderPlacedEvents Array of Objects 订单项 orderPlacedEvents 表 orderPlacedEvents 参数 参数类型 说明 示例 下级对象 errorMessage String 下单失败描述，具体订单失败取该错误消息描述 submitted Boolean 是否已提交成功，true：成功，false：失败 true newOrderId String 主订单id newOrderNo String 主订单NO totalPrice Double 订单价格

本章节主要介绍翼MapReduce的清除队列容量配置操作。 操作场景 当队列不再需要某个资源池的资源，或资源池需要与队列取消关联关系时，管理员可以在FusionInsight Manager清除队列配置。清除队列配置即取消队列在此资源池中的资源容量策略。 前提条件 如果队列需要清除与某个资源池的绑定关系，该资源池不能作为队列的默认资源池，需要先将队列的默认资源池更改为其他资源池，请参见配置队列。 操作步骤 1. 登录FusionInsight Manager界面。 2. 选择“租户资源 > 动态资源计划”。 3. “集群”参数选择待操作的集群名称，然后在“资源池”，选择待操作的资源池。 4. 在资源分配表格，指定租户资源名的“操作”列，单击“清除”。 5. 在弹出的对话框中单击“确定”，清除队列在当前资源池的配置。

本章节主要介绍如何配置资源池的队列容量策略。 操作场景 添加资源池后，需要为YARN任务队列配置在此资源池中可使用资源的容量策略，队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。用户可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后，YARN任务队列与资源池形成关联关系。 该任务指导用户通过MRS配置队列策略。 前提条件 已添加资源池。 任务队列与其他资源池无关联关系。默认情况下，所有队列与“default”资源池存在关联关系。 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.单击“资源分布策略”页签。 3.在“资源池”选择指定的资源池。 “可用资源配额”：表示每个资源池默认所有资源都可分配给队列。 4.在“资源分配”列表指定队列的“操作”列，单击“修改”。 5.在“修改资源分配”窗口设置任务队列在此资源池中的资源容量策略。 “资源容量 (%)”：表示当前租户计算资源使用的资源百分比。 “最大资源容量 (%)”：表示当前租户计算资源使用的最大资源百分比。 6.单击“确定”保存配置。

本章节主要介绍如何为弹性资源池添加队列。 创建完弹性资源池后，弹性资源池可以添加一个或多个队列用于后续作业的运行。本节操作介绍在弹性资源池中添加队列的操作步骤。 注意事项 Flink作业不支持触发弹性资源池自动扩缩容。 弹性资源池界面添加队列 1.在左侧导航栏单击“弹性资源池”，可进入弹性资源池管理页面。 2.选择要操作的弹性资源池，在“操作”列，单击“添加队列”。 3.在“添加队列”界面，首先需要配置队列的基础配置，具体参数信息如下。 弹性资源池添加队列基础配置 参数名 参数描述 名称 弹性资源池添加的队列名称。 类型 SQL队列：用于运行SQL作业。 通用队列：用于运行Spark作业 、Flink作业。 执行引擎 如果队列类型选择为“SQL队列”，则可以选择队列引擎是：spark或者trino 企业项目 选择队列的企业项目。弹性资源池支持添加不同企业项目的队列资源。 企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理。 说明 只有开通了企业管理服务的用户才显示该参数。 描述 弹性资源池添加队列的描述信息。 4.单击“下一步”，在“扩缩容策略”界面配置当前队列在弹性资源池的扩缩容策略。 单击“新增”，可以添加不同优先级、时间段、“最小CU”和“最大CU”扩缩容策略。每条扩缩容策略的参数说明如下： 参数名 参数描述 优先级 当前弹性资源池中的优先级数字越大表示优先级越高。当前优先级支持的范围为：1到100。 时间段 时间段设置仅支持整点，左侧为开始时间，右侧为结束时间。请注意以下说明： 时间区间包括开始时间，不包括结束时间即开始时间,结束时间)。 例如当前选择的时间段范围为：0117，则表示当前扩缩容规则生效时间范围为[01,17)。 同一队列不同优先级的时间段区间不能有交集。 最小CU 当前扩缩容策略支持的最小CU数。 注意：在全天的任意一个时间段内，弹性资源池中所有队列的最小CU数之和必须小于等于弹性资源池的最小CU数。 最大CU 当前扩缩容策略支持的最大CU数。 注意：在全天的任意一个时间段内，弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。 说明 首条扩缩容策略是默认策略，不能删除和修改时间段配置。 5.单击“确定”完成添加队列配置。弹性资源池队列添加完成后，可以参考[弹性资源池队列管理查看弹性资源池添加的所有队列配置和策略信息。

场景描述 Kafka管理应用用户生产消费权限的场景描述如下： 应用开发和测试：在应用开发和测试阶段，需要为开发人员和测试人员提供适当的生产和消费权限，以便他们能够读取和写入Kafka主题。这样可以确保他们能够有效地测试和验证应用程序的功能。 应用部署和运维：在将应用程序部署到生产环境中时，需要为运维团队提供适当的生产和消费权限。运维团队可以使用这些权限来监控和管理Kafka集群，并处理任何可能的故障或问题。 数据分析和报告：对于数据分析师和报告人员，他们可能需要从Kafka主题中读取数据进行分析和生成报告。为他们提供适当的消费权限可以帮助他们获取所需的数据，并进行相关的数据分析和报告工作。 数据集成和同步：在数据集成和同步的场景中，可能需要为特定的应用或系统提供生产和消费权限。这样可以确保数据的可靠传输和同步，以满足不同系统之间的数据需求。 多租户环境：在多租户环境中，需要管理不同租户之间的生产和消费权限。为每个租户分配独立的权限可以确保数据的隔离和安全性，同时满足不同租户的需求。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页的操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入用户管理界面，该页面展示用户列表。 （5）选择相应的用户，点击其右侧的”用户权限“按钮进行权限管理。 （6）生产权限。先点击”添加生产权限“按钮，在弹窗的左侧选择需要添加生产权限的Topic，然后点击中间按钮，最后点击”确定“完成添加。 （7）消费权限。左上角切换消费权限，点击”添加消费权限“按钮，在弹窗的左侧选择需要添加消费权限的Topic，然后点击中间按钮，最后点击”确定“完成添加。

本章节主要介绍删除队列。 根据实际使用情况，您可以通过删除操作释放队列。 说明 如果待删除的队列中有正在提交或正在运行的作业，将不支持删除操作。 删除队列不会导致您数据库中的表数据丢失。 删除队列步骤 1. 在DLI管理控制台左侧，选择“资源管理 > 队列管理”。 2. 选择待删除的队列，单击“操作”列的“删除”删除。 说明 如果“操作”列的“删除”为灰色，表示当前用户没有删除队列的权限。您可以向管理员申请删除队列的权限。 3. 在弹出的确认对话框中，单击“是”。

本节介绍了开启网卡多队列功能的操作场景、网卡多队列支持列表、将外部镜像文件导入镜像服务控制台、为镜像添加网卡多队列标签、使用私有镜像创建弹性云主机、执行网卡多队列的配置脚本、查看网卡队列数。 操作场景 随着网络IO的带宽不断提升，单核CPU处理网络中断存在瓶颈，不能完全满足网卡的需求，通过开启网卡多队列功能，您可以将弹性云主机中的网卡中断分散给不同的CPU处理，以满足网卡的需求，从而提升网络PPS和带宽性能。 假设以下场景所述的弹性云主机满足规格和虚拟化类型要求： 使用网卡多队列支持列表中的公共镜像创建的弹性云主机，默认已开启网卡多队列，无需执行本节操作。 对于私有镜像场景，如果您的外部镜像文件的操作系统在网卡多队列支持列表范围内，需要按照如下流程开启网卡多队列： a. 将外部镜像文件导入镜像服务控制台。 b. 为私有镜像添加网卡多队列标签。 c. 使用私有镜像创建弹性云主机。 d. 执行网卡多队列的配置脚本。 说明 云主机开启网卡多队列功能后，如果后续有新增或删除网卡，切换VPC等操作，需要重新对云主机设置网卡多队列，详细操作请参考

服务名称 Spark SQL作业 Spark jar作业 Flink SQL作业 Flink jar作业 APIG x x √ x CSS √ √ √ √ DCS Redis √ √ √ √ DDS Mongo √ √ √ √ DMS Kafka x x √ √ DWS √ √ √ √ MRS HBase √ √ √ √ MRS Kafka x x √ √ MRS OpenTSDB √ √ x √ RDS MySQL √ √ √ √ RDS PostGre √ √ √ √

本章节介绍Kafka认证方式。 PLAINTEXT方式 无安全认证方式，仅需输入IP和端口进行连接。 图 PLAINTEXT SASLPLAINTEXT认证 使用SASL机制连接Kafka，需要设置SASL相关配置。 图 SASLPLAINTEXT 表 参数信息 参数 描述 SASL机制 用于客户端连接的SASL机制，支持以下四项，Kafka server默认是 GSSAPI 机制。 GSSAPI PLAIN SCRAMSHA256 SCRAMSHA512 令牌委托 是否为委托令牌鉴权，SASL机制选择“SCRAMSHA256”或者“SCRAMSHA512”时可见。 用户名 登录使用的用户名。 密码 登录使用的密码 SSL认证 使用SSL加密方式连接Kafka，需要设置SSL相关配置。 图 SSL 表 参数信息 参数 描述 Truststore证书 后缀名为jks的SSL证书。 Truststore证书密码 证书对应的秘钥。 主机名端点识别算法 指定通过服务端证书验证服务端主机名的端点识别算法，选填，不填表示禁用主机名验证。 SSL双向认证 是否开启SSL双向认证。 Keystore证书 SSL双向认证开启可见，需要上传后缀名为jks的双向认证证书。 Keystore证书密码 SSL双向认证开启可见，SSL双向认证证书对应的秘钥。 Keystore私钥密码 选填，Keystore证书中私钥的密码。

本章节主要介绍如何操作弹性资源池关联队列。 操作场景 参考创建弹性资源池创建完弹性资源池后，您可以将已有的队列关联至弹性资源池，即可将弹性资源池的资源用于后续作业的运行 您可以在弹性资源池页面通过“关联队列”将队列添加到弹性资源池。还可以在队列管理页面分配队列至弹性资源池。 说明 弹性资源池Flink版本只支持1.10及其以上版本，如果准备分配到弹性资源池的作业使用Flink1.7版本可能会出现兼容性问题，需要提前做好Flink版本适配。 约束与限制 弹性资源池和队列均是可用状态。 队列是按需专属队列。 队列和弹性资源池状态正常，资源未被冻结。 弹性资源池仅支持关联同一企业项目的队列资源。 在弹性资源池页面关联队列 1.在左侧导航栏单击“资源管理 > 弹性资源池”，可进入弹性资源池管理页面。 2.选择要操作的弹性资源池，在“操作”列，单击“更多 > 关联队列”。 3.在“关联队列”界面，选择待添加的队列，单击“确定”完成操作。 在队列管理页面分配队列至弹性资源池 1.在左侧导航栏单击“资源管理 > 队列管理”，可进入队列管理页面。 2.选择要操作的队列，在“操作”列，单击“更多 > 分配至弹性资源池”。 3.选择资源池，单击“确定”完成操作。