本章节主要介绍ALM18023 Yarn任务挂起数超过阈值的告警。 告警解释 告警模块按60秒周期检测Yarn队列上pending的应用的数量，当root队列上处于pending状态的应用的数量超过60时，触发该告警。 告警属性 告警ID 告警级别 是否自动清除 18023 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 队列名 产生告警的队列名。 队列指标名 产生告警的队列指标名。 对系统的影响 应用任务结束时间变长。 新应用提交后长时间无法运行。 可能原因 NodeManager节点资源过小。 队列最大资源容量设置过小，AM最大资源百分比设置过小。 监控阈值设置过小。 处理步骤 检查NodeManager节点资源 1.在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 服务 > Yarn > ResourceManager(主)”，进入ResourceManager的WebUI页面。 2.单击“Scheduler”，在“Application Queues”中查看root队列是否资源用满。 是，执行步骤3。 否，执行步骤4。 3.对Yarn服务的NodeManager实例进行扩容。扩容后，查看告警是否消除。 是，处理完毕。 否，执行步骤6。 检查队列最大资源容量和AM最大资源百分比 4.查看pending任务对应的队列的资源是否用满。 是，执行步骤5。 否，执行步骤6。 5.在FusionInsight Manager界面，选择 “租户资源 > 动态资源计划”，根据实际需要，适当增加相应的队列资源。查看告警是否消除。 是，处理完毕。 否，执行步骤6。

本章节主要介绍 配置队列。 操作场景 用户根据业务需求，可以在MRS Manager修改指定租户的队列配置。 前提条件 已添加关联Yarn并分配了动态资源的租户。 操作步骤 在MRS Manager，单击“租户管理”。 1. 单击“动态资源计划”页签。 2. 单击“队列配置”页签。 3. 在租户队列表格，指定租户队列的“操作”列，单击“修改”。 说明 在“租户管理”页签左侧租户列表，单击目标的租户，切换到“资源”页签，单击也能打开修改队列配置页面。 队列配置参数 参数名 描述 “最大应用数量” 表示最大应用程序数量。取值范围从“1”到“2147483647”。 “AM最大资源百分比” 表示集群中可用于运行application master的最大资源占比。取值范围从“0”到“1”。 “用户资源最小上限百分比(%)” 表示用户使用的最小资源上限百分比。取值范围从“0”到“100”。 “用户资源上限因子” 表示用户使用的最大资源限制因子，与当前租户在集群中实际资源百分比相乘，可计算出用户使用的最大资源百分比。最小值为“0”。 “状态” 表示资源计划当前的状态，“运行”为运行状态，“停止”为停止状态。 “默认资源池” 表示队列使用的资源池。默认为“Default”，如果需要修改为其他资源，需要先配置队列容量，请参见配置资源池的队列容量策略。

用户 数据工程师A （游戏数据分析） 数据工程师B （音乐数据分析） 队列 队列A（队列使用权限） 队列B（队列使用权限） 数据（表） gameTable（表管理和使用权限） musicTable（表管理和使用权限） 数据（表） userTable（表管理和使用权限） userTable（表查询权限）

参数名称 参数含义 来源 产生告警的集群名称。 队列名 产生告警的队列名。 队列指标名 产生告警的队列指标名。

本章节主要介绍翼MapReduce的配置资源池的队列容量策略操作。 操作场景 添加资源池后，需要为Yarn任务队列配置在此资源池中可使用资源的容量策略，队列中的任务才可以正常在这个资源池中执行。 该任务指导系统管理员通过FusionInsight Manager配置队列策略。使用Superior调度器的租户队列，可以配置使用不同资源池的资源。 前提条件 已登录FusionInsight Manager。 已添加资源池。 任务队列不与其他队列相关联资源池，除了默认资源池。 操作步骤 1. 在FusionInsight Manager，单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“资源分布策略”页签。 4. “集群”参数选择待操作的集群名称，然后在“资源池”选择指定的资源池。 5. 在“资源分配”列表指定队列的“操作”列，单击“修改”。 6. 在“修改资源分配”窗口的“资源配置策略”页签设置任务队列在此资源池中的资源配置策略。 “权重”：表示租户能获得的资源。其初始值与最小资源百分比值一致。 “最小资源”：表示租户能获得的最少资源。 “最大资源”：表示租户能获得的最多资源。 “预留资源”：表示保留给租户自身队列，且不能借用给其他租户队列的资源。 7. 在“修改资源分配”窗口的“用户策略”页签设置用户策略。 说明 defaultUser(builtin)表示如果一个用户未配置策略，则默认使用defaultUser所指定的策略。该策略不可删除。 单击“添加用户策略”添加用户策略。 − “用户名”：表示用户的名称。 − “权重”：表示用户能获得的资源。 − “最多核数”：表示用户最多可以使用的虚拟核数。 − “最大内存”：表示用户最大可以使用的内存。 单击“操作”列的“修改”修改现有用户策略。 单击“操作”列的“清除”删除现有用户策略。 8. 单击“确定”保存配置。

专属云Kafka包括2个计费项：专属计费资源、专属存储（可选）。

创建弹性资源池 1.登录DLI管理控制台，在左侧导航栏单击“资源管理 > 弹性资源池”，可进入弹性资源池管理页面。 2.在弹性资源池管理界面，单击界面右上角的“购买弹性资源池”。 3. 在“购买弹性资源池”界面，填写具体的弹性资源池参数，具体参数填写参考如下。 −名称：填写具体的弹性资源池名称。例如设置为：pooltest。 −CU范围：弹性资源池扩缩容的CU范围。 −网段：配置弹性资源池网段。例如当前配置为172.16.0.0/18。 −其他参数根据需要选择和配置。 详细的弹性资源池创建流程可以参考创建弹性资源池。 4.参数填写完成后，单击“立即购买”，确认配置信息无误后，单击“提交”完成弹性资源池创建。 5.弹性资源池创建任务提交后，会在弹性资源池管理界面的“状态”列显示当前资源池的创建状态，当状态显示为“可使用”时表示资源池可以正常使用。 添加队列到弹性资源池 1.在已创建的弹性资源池的“操作”列，单击“添加队列”进入弹性资源池添加的队列的操作界面。 2.首先配置弹性资源池队列的基本信息，具体参数参考如下。 −名称：添加的队列的名称。 −类型：根据作业需要选择队列类型。本示例选择为：通用队列。 SQL队列类型：用于运行Spark SQL和Trino作业。 通用队列类型：用于运行Flink和Spark Jar作业。 −其他参数请根据需要配置。 3.配置完基本参数后，单击“下一步”，在队列的扩缩容策略配置界面，修改扩缩容策略配置：最小CU：64、最大CU：64。 4.单击“确定”完成添加队列操作。

指标ID 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） queuecunum 队列CU使用量 展示用户队列申请的CU数 ≥0 队列 5分钟 queuejoblaunchingnum 提交中作业数 展示用户队列中状态为提交中的作业数。 ≥0 队列 5分钟 queuejobrunningnum 运行中作业数 展示用户队列中状态为运行中的作业数。 ≥0 队列 5分钟 queuejobsucceednum 已完成作业数 展示用户队列中状态为已完成的作业数。 ≥0 队列 5分钟 queuejobfailednum 已失败作业数 展示用户队列中状态为已失败的作业数。 ≥0 队列 5分钟 queuejobcancellednum 已取消作业数 展示用户队列中状态为已取消的作业数。 ≥0 队列 5分钟 queuecpuusage 队列CPU使用率 展示用户队列的CPU使用率。 0~100 队列 5分钟 queuediskusage 队列磁盘使用率 展示用户队列的磁盘使用率。 0~100 队列 5分钟 queuediskused 队列磁盘使用率最大值 展示用户队列的磁盘使用率的最大值。 0~100 队列 5分钟 queuememusage 队列内存使用率 展示用户队列的内存使用率。 0~100 队列 5分钟 queuememused 队列内存使用量 展示用户队列的内存使用量。 ≥0 队列 5分钟 flinkreadrecordspersecond Flink作业数据输入速率 展示用户Flink作业的数据输入速率，供监控和调试使用。 ≥0 Flink作业 10秒钟 flinkwriterecordspersecond Flink作业数据输出速率 展示用户Flink作业的数据输出速率，供监控和调试使用。 ≥0 Flink作业 10秒钟 flinkreadrecordstotal Flink作业数据输入总数 展示用户Flink作业的数据输入总数，供监控和调试使用。 ≥0 Flink作业 10秒钟 flinkwriterecordstotal Flink作业数据输出总数 展示用户Flink作业的数据输出总数，供监控和调试使用。 ≥0 Flink作业 10秒钟 flinkreadbytespersecond Flink作业字节输入速率 展示用户Flink作业每秒输入的字节数。 ≥0 Flink作业 10秒钟 flinkwritebytespersecond Flink作业字节输出速率 展示用户Flink作业每秒输出的字节数。 ≥0 Flink作业 10秒钟 flinkreadbytestotal Flink作业字节输入总数 展示用户Flink作业字节的输入总数。 ≥0 Flink作业 10秒钟 flinkwritebytestotal Flink作业字节输出总数 展示用户Flink作业字节的输出总数。 ≥0 Flink作业 10秒钟 flinkcpuusage Flink作业CPU使用率 展示用户Flink作业的CPU使用率。 0~100 Flink作业 10秒钟 flinkmemusage Flink作业内存使用率 展示用户Flink作业的内存使用率。 0~100 Flink作业 10秒钟 flinkmaxoplatency Flink作业最大算子延迟 展示用户Flink作业的最大算子延迟时间，单位ms。 ≥0 Flink作业 10秒钟 flinkmaxopbackpressurelevel Flink作业最大算子反压 展示用户Flink作业的最大算子反压值，数值越大，反压越严重。 0：表示OK 50：表示Low 100：表示High 0~100 Flink作业 10秒钟

触发器名称 调用方式 文档链接 Http触发器 同步调用 定时触发器 同步调用 Kafka触发器 同步/异步调用 RocketMQ触发器 同步/异步调用

创建队列 第一次提交Spark作业，需要先创建队列，例如创建名为“sparktest”的队列，队列类型选择为“通用队列”。 1.登录DLI管理控制台。 2.在DLI管理控制台的左侧导航栏中，选择“资源管理 > 队列管理”。 3.单击“队列管理”页面右上角“创建队列”进行创建队列。 4.创建名为“sparktest”的队列，队列类型选择为“通用队列”。创建队列详细介绍请参考《数据湖探索用户指南》>《创建队列》。 5.单击“立即创建”，完成队列创建。 创建程序包 提交Spark作业之前需要创建程序包，例如“sparkexamples.jar”。 1.在管理控制台左侧，单击“数据管理”>“程序包管理”。 2.在“程序包管理”页面，单击右上角“创建”可创建程序包。 3.在“创建程序包”对话框，“包类型”选择“JAR”，“OBS路径”选择步骤2：上传数据至OBS中“sparkexamples.jar”的包路径，“分组设置”参数选择为“不分组”。 4.单击“确定”，完成创建程序包。 程序包创建成功后，您可以在“程序包管理”页面查看和选择使用对应的包。 创建程序包详细介绍请参考《数据湖探索用户指南》>《创建程序包》。 提交Spark作业 1.在DLI管理控制台，单击左侧导航栏中的“作业管理”>“Spark作业”，单击“创建作业”，进入创建Spark作业页面。 2.在Spark作业编辑页面中，“所属队列”选择步骤4：创建队列中创建的队列，“应用程序”选择步骤5：创建程序包创建的程序包。 其他参数请参考《数据湖探索用户指南》>《创建Spark作业》中关于Spark作业编辑页面的说明。 3.单击Spark作业编辑页面右上方“执行”，阅读并同意隐私协议，单击“确定”。提交作业，页面显示“作业提交成功”。 4.（可选）可到“作业管理”>“Spark作业”页面查看提交作业的状态及日志。 说明 在DLI管理控制台第一次单击“执行”操作时，需要阅读隐私协议，同意确定后，后续操作将不会再提示。

本章节主要介绍如何快速创建实时分析集群。 本章节为您介绍如何快速创建一个实时分析集群，实时分析集群使用Hadoop、Kafka、Flink和ClickHouse组件提供一个海量的数据采集、数据的实时分析和查询的系统。 集群包含的组件信息实时分析： MRS 3.1.0版本：Hadoop 3.1.1、Kafka 2.112.4.0、Flink 1.12.0、ClickHouse 21.3.4.25、ZooKeeper 3.5.6、Ranger 2.0.0。 快速创建实时分析集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3在创建集群页面，选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息，参数详细信息请参考创建自定义集群。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20201130”。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：选择“实时分析集群”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权，通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态 部分 集群列表参数中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

本章节主要介绍准备Flink作业数据。 创建Flink作业需要输入数据源和数据输出通道，即常说的Source和Sink。用户使用其他服务作为数据源或输出通道时，需要先开通相应服务。 Flink作业支持以下数据源和输出通道： OBS数据源 如果用户作业需要对象存储服务（OBS）作为数据源，则要先开通OBS服务，具体操作请参见对象存储用户指南中的有关开通OBS服务的章节。 开通OBS服务后，用户需要将本地文件通过Internet上传至OBS指定的位置，具体操作请参见对象存储用户指南中的“上传文件”章节。 RDS输出通道 如果用户作业需要RDS作为输出通道，需要创建RDS实例，具体操作请参见对应版本关系数据库产品《用户指南》中“创建实例”章节。 SMN输出通道 如果用户作业需要SMN作为输出通道，需要先在SMN中创建主题，获取URN资源标识，再添加订阅。 Kafka数据源和输出通道 如果用户作业需要Kafka作为数据源和输出通道，则必须要通过创建增强型跨源连接与Kafka进行对接，具体操作请参见增强型跨源连接。 如果Kafka服务端的端口监听在hostname上，则需要将Kafka Broker节点的hostname和ip的对应关系添加到跨源连接中。 CloudTable数据源和输出通道 如果用户作业需要CloudTable作为数据源和输出通道，需要先在CloudTable中创建集群，获取集群ID。 云搜索服务输出通道 如果用户作业需要云搜索服务作为输出通道，需要先在云搜索服务中创建集群，获取集群内网访问地址。具体操作请参见云搜索服务用户指南中的“快速入门”章节。 DCS输出通道 如果用户作业需要DCS作为输出通道，需要先在DCS中创建Redis类型的缓存实例，获取Redis实例连接地址。

本章节主要介绍翼MR Manager的租户与资源特性。 翼MR Manager提供的租户与资源主要包含：LDAP租户管理、Kerberos安全凭证、YARN队列管理、HBase数据库管理。 前置操作 使用租户与管理功能，需要进入Manager页面，操作步骤如下： 1. 登录翼MR管理控制台。 2. 单击“我的集群”，单击指定的集群名称，进入集群信息页面。 3. 单击“翼MR Manager”tab，单击“前往翼MR Manager”。 租户与资源功能介绍 LDAP租户管理 进入到翼MR Manager以后，点击菜单“租户与资源 > LDAP租户管理”，进入LDAP租户管理页面。如图所示： 支持查看LDAP中的租户和租户组。 支持新增租户、租户组。 支持为租户关联租户组、租户组关联租户以及取消关联关系。 支持以租户为维度的Principal管理以及Keytab的分发。 Kerberos安全凭证 进入到翼MR Manager以后，点击菜单“租户与资源 > Kerberos安全凭证”，进入Kerberos安全凭证页面。如图所示： 支持新建Principal、删除Principal。 支持Keytab分发与下载，并支持查看Keytab的分发记录。 YARN队列管理 进入到翼MR Manager以后，点击菜单“租户与资源 > YARN队列管理”，进入YARN队列管理页面。如图所示: 支持YARN队列新建、编辑与删除。 支持YARN队列启动与停止。 支持YARN队列容量设置和YARN队列授权。 支持YARN队列capacityscheduler.xml的全局属性配置。 支持YARN队列的同步生效并支持查看同步生效记录。

本章节主要介绍Spark作业相关问题中有关运维指导的问题。 添加Python包后，找不到指定的Python环境 添加Python3包后，找不到指定的Python环境。 可以通过在conf文件中，设置spark.yarn.appMasterEnv.PYSPARKPYTHONpython3，指定计算集群环境为Python3环境。 目前，新建集群环境均已默认为Python3环境。 为什么Spark jar 作业 一直处于“提交中”？ Spark jar 作业 一直处于“提交中”可能是队列剩余的CU量不足导致作业无法提交。 查看队列的的剩余步骤如下： 1. 查看队列CU使用量。 点击“云监控服务 > 云服务监控 > 数据探索湖 > 队列监控 > 队列CU使用量” 。 2. 计算剩余CU量。 队列剩余CU量队列CU量 队列CU使用量。 当队列剩余CU量小于用户提交的CU量，则需要等待资源，才能提交成功。

资源 操作 说明 DLI FullAccess DLI ReadOnlyAccess Tenant Administrator DLI Service Admin 队列 DROPQUEUE 删除队列 √ × √ √ 队列 SUBMITJOB 提交作业 √ × √ √ 队列 CANCELJOB 终止作业 √ × √ √ 队列 RESTART 重启队列 √ × √ √ 队列 GRANTPRIVILEGE 队列的赋权 √ × √ √ 队列 REVOKEPRIVILEGE 队列权限的回收 √ × √ √ 队列 SHOWPRIVILEGES 查看其他用户具备的队列权限 √ × √ √ 数据库 DROPDATABASE 删除数据库 √ × √ √ 数据库 CREATETABLE 创建表 √ × √ √ 数据库 CREATEVIEW 创建视图 √ × √ √ 数据库 EXPLAIN 将SQL语句解释为执行计划 √ × √ √ 数据库 CREATEROLE 创建角色 √ × √ √ 数据库 DROPROLE 删除角色 √ × √ √ 数据库 SHOWROLES 显示角色 √ × √ √ 数据库 GRANTROLE 绑定角色 √ × √ √ 数据库 REVOKEROLE 解除角色绑定 √ × √ √ 数据库 SHOWUSERS 显示所有角色和用户的绑定关系 √ × √ √ 数据库 GRANTPRIVILEGE 数据库的赋权 √ × √ √ 数据库 REVOKEPRIVILEGE 数据库权限的回收 √ × √ √ 数据库 SHOWPRIVILEGES 查看其他用户具备的数据库权限 √ × √ √ 数据库 DISPLAYALLTABLES 显示数据库中的表信息 √ × √ √ 数据库 DISPLAYDATABASE 显示数据库信息 √ × √ √ 数据库 CREATEFUNCTION 创建函数 √ × √ √ 数据库 DROPFUNCTION 删除函数 √ × √ √ 数据库 SHOWFUNCTIONS 显示所有函数 √ × √ √ 数据库 DESCRIBEFUNCTION 显示函数详情 √ × √ √ 表 DROPTABLE 删除表 √ × √ √ 表 SELECT 查询表 √ × √ √ 表 INSERTINTOTABLE 插入 √ × √ √ 表 ALTERTABLEADDCOLUMNS 添加列 √ × √ √ 表 INSERTOVERWRITETABLE 重写 √ × √ √ 表 ALTERTABLERENAME 重命名表 √ × √ √ 表 ALTERTABLEADDPARTITION 在分区表中添加分区 √ × √ √ 表 ALTERTABLERENAMEPARTITION 重命名表分区 √ × √ √ 表 ALTERTABLEDROPPARTITION 删除分区表的分区 √ × √ √ 表 SHOWPARTITIONS 显示所有分区 √ × √ √ 表 ALTERTABLERECOVERPARTITION 恢复表分区 √ × √ √ 表 ALTERTABLESETLOCATION 设置分区路径 √ × √ √ 表 GRANTPRIVILEGE 表的赋权 √ × √ √ 表 REVOKEPRIVILEGE 表权限的回收 √ × √ √ 表 SHOWPRIVILEGES 查看其他用户具备的表权限 √ × √ √ 表 DISPLAYTABLE 显示表 √ √ √ √ 表 DESCRIBETABLE 显示表信息 √ × √ √

本文介绍如何使用云搜索Elasticsearch、Kibana、Logstash实例搭建日志分析平台。 使用ELK Stack（Elasticsearch、Logstash、Kibana、Beats）进行日志管理是一种流行的开源解决方案，用于集中式日志收集、存储、分析和可视化。ELK Stack可以从分布式系统中采集和聚合日志，帮助运维和开发人员更好地理解系统的运行状态、排查问题并监控关键业务指标。 本文将使用Filebeat、Logstash、Elasticsearch、Kibana搭建一个简单的日志分析平台，其中需要自行部署Filebeat并且打通和天翼云云搜索Elasticsearch、Kibana以及Logstash实例之间的网络。 ELK Stack组件 Elasticsearch 是一个分布式搜索引擎，作为ELK堆栈的核心，它负责存储和索引日志数据。Elasticsearch提供强大的全文搜索、过滤和分析功能，可以快速处理大规模数据并允许实时查询。 Logstash 是一个数据处理管道工具，负责从各种输入源收集数据，进行过滤、处理并将其输出到 Elasticsearch。Logstash 支持多种数据源（如文件、数据库、消息队列），并且能够通过过滤器对数据进行处理，比如解析、格式转换等。 Kibana 是一个数据可视化和分析工具，允许用户在浏览器中直观地查询和展示Elasticsearch 中存储的日志数据。Kibana提供多种图表、仪表盘和地图，可以帮助用户监控系统、分析日志、生成报表等。 Beats是一组轻量级数据收集器，用于将各种类型的数据发送到Elasticsearch或Logstash进行索引和分析。其中Filebeat是 ELK Stack 中的一个轻量级日志数据收集器，用于收集日志文件数据。它监视指定的日志文件或位置，并将其发送到Elasticsearch或Logstash以进行存储和分析。

本章节主要介绍ALM24005 Flume传输数据异常的告警。 告警解释 告警模块对Flume Channel的容量状态进行监控，当Channel满的时长超过阈值，或Source向Channel放数据失败的次数超过阈值后，系统即时上报告警。 默认阈值为10，用户可通过conf目录下的配置文件properties.properties修改阈值：修改对应channel的“channelfullcount”参数。 当Flume Channel空间被释放，且告警处理完成时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 24005 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 主机名 产生告警的主机名。 AgentId 产生告警的Agent id。 部件类型 产生告警的元素类型。 部件名 产生告警的元素名称。 对系统的影响 Flume Channel的磁盘空间使用量有继续增长的趋势，将会使数据导入到指定目的地的时间增长，当Flume Channel的磁盘空间使用量达到100%时会导致Flume Agent进程暂停工作。 可能原因 Flume Sink故障，导致数据无法发送。 网络故障，导致数据无法发送。 处理步骤 检查Flume Sink是否故障 1.本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“type hdfs”关键字确认Flume Sink是否是HDFS类型。 是，执行步骤2。 否，执行步骤3。 2.在FusionInsight Manager的告警列表中查看是否有“HDFS服务不可用”告警产生，服务列表中HDFS是否已停止。 是，如果有告警参考“ALM14000 HDFS服务不可用”的处理步骤处理该故障；如果HDFS已停止，启动HDFS服务，执行步骤7。 否，执行步骤7。 3.本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“type hbase”关键字确认Flume Sink是否是HBase类型。 是，执行步骤4。 否，执行步骤5。 4.在FusionInsight Manager的告警列表中，查看是否有“HBase服务不可用”告警产生，服务列表中HBase是否已停止。 是，如果有告警参考“ALM19000 HBase服务不可用”的处理步骤处理该故障，如果HBase已停止，启动HBase服务。执行步骤7。 否，执行步骤7。 5.本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“org.apache.flume.sink.kafka.KafkaSink”关键字确认Flume Sink是否是Kafka类型。 是，执行步骤6。 否，执行步骤9。 6.在FusionInsight Manager的告警列表中，查看是否有“Kafka服务不可用”告警产生，服务列表中Kafka是否已停止。 是，如果有告警参考“ALM38000 Kafka服务不可用”的处理步骤处理该故障；如果Kafka已停止，启动Kafka服务，执行步骤7。 否，执行步骤7。 7.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Flume > 实例”。 8.单击进入故障节点的Flume实例页面，查看指标“Sink速度指标”，检查其速度是否为0。 是，执行步骤13。 否，执行步骤9。

创建队列 队列是使用DLI服务的基础，执行SQL作业前需要先创建队列。 DLI有预置的可用队列“default”。 用户也可根据需要自己创建队列。 a. 登录DLI管理控制台 b. 在DLI管理控制台，单击左侧导航栏中的“SQL编辑器”，可进入SQL作业“数据库”页面。 c. 在左侧导航栏，选择队列页签，单击右侧的创建队列。 创建队列详细介绍请参考《数据湖探索用户指南》>《创建队列》。 创建数据库 在进行数据查询之前还需要创建一个数据库，例如db1。 说明 “default”为内置数据库，不能创建名为“default”的数据库。 1.在DLI管理控制台，单击左侧导航栏中的“SQL编辑器”，可进入SQL作业“数据库”页面。 2.在“SQL编辑器”页面右侧的编辑窗口中，输入如下SQL语句，单击“执行”。阅读并同意隐私协议，单击“确定”。 create database db1 数据库创建成功后，左侧单击“”刷新数据库页面，新建建的数据库db1会在“数据库”列表中出现。 说明 在DLI管理控制台第一次单击“执行”操作时，需要阅读隐私协议，确认同意后才能执行作业，且后续“执行”操作将不会再提示阅读隐私协议。

本章节主要介绍删除工作负载队列。 删除工作负载队列 1. 登录DWS 管理控制台。 2. 在集群列表中单击需要访问“资源管理”页面的集群名称。 3. 切换至“资源管理”页签。 4. 在左侧“资源池”中单击需要删除的资源池名称。 5. 单击右侧的“删除资源池” 说明 删除队列时如果队列中有关联的数据库用户，那么队列删除后这些用户将被关联默认队列。

服务后缀 服务说明 zos dns msgc crs apm lts faas gts 全局事务：该服务由天翼云全局事务服务提供，全局事务服务是一款专为实现分布式环境下高性能事务一致性而设计的服务工具。它可以与MySQL、PostgreSQL等数据源，以及Spring Cloud、Dubbo等RPC框架和消息队列等中间件产品配合混合使用，以支持用户各种分布式数据库事务、多库事务、消息事务和服务链路级事务的组合需要 prome 应用性能监控：Prometheus监控为云上托管Prometheus服务，可为您的容器集群提供多种开箱即用的预置监控大盘与监控规则，实现免搭建的高效运维场景。 ags Agent沙箱：Agent 沙箱提供安全、弹性、可扩展的云端沙箱运行环境。在使用Agent沙箱产品时，通过连接该终端节点服务，可实现在内网调用沙箱服务。

本章节主要介绍数据湖探索（DLI）队列的退订操作。 按需计费 按需购买的队列无需退订，直接删除即可。 提示 ： 退订前建议您做好数据备份 。 1.登录天翼云官网，进入控制中心； 2.进入控制中心，选择资源池，选择“数据湖探索”； 3.进入“队列管理”页面，找到需要退订的队列，在队列“操作”项下，点击“删除”即可；

介绍分布式消息服务RabbitMQ删除虚拟主机的操作内容。 场景描述 在RabbitMQ中，删除虚拟主机（Virtual Host）的场景描述如下： 应用迁移或清理：当需要迁移应用或进行系统清理时，可能需要删除不再使用的虚拟主机。例如，如果某个应用已经停用或迁移到其他环境，可以删除相关的虚拟主机，以释放资源和减少管理工作。 安全审计和合规性要求：根据安全审计和合规性要求，可能需要删除不再需要的虚拟主机。例如，当某个虚拟主机涉及敏感数据或权限配置存在问题时，可以选择删除该虚拟主机以避免安全风险。 故障处理和恢复：在某些情况下，当虚拟主机发生故障或出现严重问题时，可能需要删除虚拟主机并重新创建。这可以作为一种故障处理和恢复的手段，以解决虚拟主机相关的问题并恢复正常运行。 系统资源管理和优化：如果虚拟主机过多或占用了过多的系统资源，可能需要删除一些不再使用或不需要的虚拟主机。这有助于优化系统资源的利用和提高整体性能。 需要注意的是，在删除虚拟主机之前，务必确保相关的队列、交换机和绑定等对象已经被删除或迁移。否则，删除虚拟主机可能会导致数据丢失或系统异常。 操作步骤 （1）在虚拟主机管理页面，在目标虚拟主机行点击“删除”，即可删除虚拟主机。 注意事项： 删除虚拟主机会删除该虚拟主机内所有数据且不可恢复，请谨慎操作。

标签名 节点数 硬件和网络配置 添加到 关联 Normal 10 一般 资源池A 普通的任务队列 HighCPU 10 高性能CPU 资源池B 计算密集型的任务队列 HighMEM 10 大量内存 资源池C 内存密集型的任务队列 HighIO 10 高性能网络 资源池D IO密集型的任务队列

如何下载客户端？ 登录翼MR管理控制台，单击“我的集群”，单击指定的集群名称，进入集群信息页面。 单击“基础信息”tab，在“软件信息”中单击“客户端”右侧的“前往下载客户端”按钮，即可下载集群服务的客户端信息。 如何启动/停止所有集群服务？ 登录翼MR管理控制台，单击“我的集群”，单击指定的集群名称，进入集群信息页面。 单击“翼MR Manager”tab，单击菜单“集群服务”，进入集群服务列表页面。单击“更多操作>启动所有集群服务”或“停止所有集群服务”，确认操作后开始启动/停止所有集群服务，等待完成即可。 如何滚动重启集群服务？ 登录翼MR管理控制台，单击“我的集群”，单击指定的集群名称，进入集群信息页面。 单击“翼MR Manager”tab，单击菜单“集群服务”，进入集群服务列表页面。选择要滚动重启的集群服务，单击集群服务名称进入集群服务详情页面。单击“运维操作>滚动重启集群服务”，进入到滚动重启集群服务页面，按照引导进行下一步操作，等待滚动重启集群服务完成后即可。 如何配置YARN队列？ 登录翼MR管理控制台，单击“我的集群”，单击指定的集群名称，进入集群信息页面。 单击“翼MR Manager”tab，点击菜单“租户与资源 > YARN队列管理”，即可对集群进行YARN队列配置，包括：新建队列、启动队列、停止队列、设置队列容量、队列授权、修改全局属性等操作。

本文为您介绍如何在科研助手中删除队列。 删除步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中，选择【资源配额】中的【队列管理】。 3. 选择一个队列，在右边单击【删除】。 4. 在二次确认的弹框输入框中输入“确认删除“，并且点击【确认 】完成删除。队列下没有作业任务和开发机任务时才可删除成功。

同步方向 数据流向 源数据库 目标数据库 目标库实例类型 入云 MySQL>MySQL 本地自建数据库 ECS自建数据库 其他云上数据库 RDS for MySQL RDS for MySQL 单机实例 主备实例 入云 MySQL>DWS 本地自建数据库 ECS自建数据库 其他云上数据库 RDS for MySQL DWS集群 集群 入云 MySQL>GaussDB(for MySQL) 本地自建数据库 ECS自建数据库 其他云上数据库 RDS for MySQL GaussDB(for MySQL) 主备实例 入云 PostgreSQL>PostgreSQL 本地自建数据库 ECS自建数据库 其他云上数据库 RDS for PostgreSQL RDS for PostgreSQL 单机实例 主备实例 入云 Oracle>DWS 本地自建数据库 ECS自建数据库 DWS集群 集群 入云 Oracle>PostgreSQL 本地自建数据库 ECS自建数据库 RDS for PostgreSQL 单机实例 主备实例 入云 Oracle>MySQL 本地自建数据库 ECS自建数据库 RDS for MySQL 单机实例 主备实例 入云 Oracle>GaussDB(for MySQL) 本地自建数据库 ECS自建数据库 GaussDB(for MySQL) 主备实例 入云 Oracle>DRDS 本地自建数据库 ECS自建数据库 DRDS 入云 DRDS>MySQL DRDS RDS for MySQL 单机实例 主备实例 入云 DRDS>DRDS DRDS DRDS 集群 出云 MySQL>MySQL RDS for MySQL 本地自建数据库 ECS自建数据库 其他云上数据库 RDS for MySQL 出云 DRDS>MySQL DRDS 本地自建数据库 ECS自建数据库 单机实例 主备实例 自建自建 Oracle>Kafka 本地自建数据库 ECS自建数据库 Kafka 集群 单机 自建自建 MySQL>Kafka 本地自建数据库 ECS自建数据库 Kafka 集群 单机

安全组 安全组可重复使用，您也可以根据实际情况使用不同的安全组，请根据实际需要进行配置。 创建安全组的操作指导，请参考虚拟私有云创建安全组。 若需要为安全组添加规则，请参考虚拟私有云安全组添加安全组规则。 弹性云主机 用户若需要自己客户应用接入RocketMQ发送、消费消息，需先购买弹性云主机并确保和RocketMQ实例在同一VPC下。创建操作说明请参见创建弹性云主机。 订购实例 实例介绍 RocketMQ实例订购支持用户自定义规格和自定义特性，采用物理隔离的方式部署。租户独占RocketMQ实例，可根据业务需要可定制相应规格的RocketMQ实例。在新的资源池节点上，还支持选择主机类型和存储规格等丰富用户选项。 操作步骤 1、在产品详情页点击立即开通按钮，或者进入消息管理控制台创建实例，进入订购分布式消息RocketMQ页面。 2、点击创建实例进入对应页面，左上角选择目标资源池。 1）填写实例名称，系统默认实例名称，用户可直接修改。 2）选择引擎类型，目前默认选择RocketMQ引擎，完全兼容开源客户端的高性能低延时的消息队列。 3）选择计费模式：包年包月/按需计费，两种模式说明参见计费模式。 4）购买时长按照计费模式选择变化： 计费模式为包年包月，可选择购买时长16个月、1年。该模式提供自动续期功能，勾选后可以自动续期购买时长：16个月、1年。 计费模式为按需计费，则该选项隐藏无需选择。 5）部署方式有单可用区和多可用区两个选项，目前仅支持单可用区和3可用区部署，单可用区部署请选中任意一个AZ；多可用区部署请选中3个AZ，系统会自动将Broker节点平均分配至各可用区。 6）设置主备节点对数，可输入1~16。主备节点通常是指主题（Topic）的生产者和消费者之间的角色切换。当主节点发生故障或不可用时，备节点可以自动接管并继续提供服务。这种主备节点的设计可以确保系统的稳定性和可靠性。 7）主机类型为计算增强型。计算增强型云主机独享宿主机的CPU资源，实例间无CPU争抢，并且没有进行资源超配，同时搭载全新网络加速引擎，实现接近物理服务器的强劲稳定性能。 8）选择实例规格，分布式消息服务RocketMQ提供计算增强型2C4G、4C8G等一系列规格，各规格详细说明参见弹性云主机规格。 9）选择存储空间，包括磁盘类型和空间。 磁盘类型提供高IO/超高IO。高IO：适用于主流的高性能、高可靠应用场景。超高IO：适用于超高IOPS、超大带宽需求的读写密集型应用场景。了解更多磁盘类型说明参见云硬盘规格。 磁盘空间以100G起步，可以以100倍数增加磁盘空间。 10）选择已有虚拟私有云，若无虚拟私有云，点击创建跳转到虚拟私有云页面新增，了解更多内容参见虚拟私有云。 11）选择已有子网，若无子网，点击创建跳转到子网页面新增。 12）选择已有安全组，若无安全组，点击创建跳转到安全组页面新增。 13） 填写完上述信息后，单击“下一步”，进入费用确认页面。 14）确认实例信息无误后，提交请求。 15）在实例列表页面，查看RocketMQ实例是否创建成功。创建实例大约需要3到15分钟，此时实例状态为“创建中”。

服务 实例 是否支持滚动重启 HDFS NameNode 是 HDFS Zkfc 是 HDFS JournalNode 是 HDFS HttpFS 是 HDFS DataNode 是 Yarn ResourceManager 是 Yarn NodeManager 是 Hive MetaStore 是 Hive WebHCat 是 Hive HiveServer 是 Mapreduce JobHistoryServer 是 HBase HMaster 是 HBase RegionServer 是 HBase ThriftServer 是 HBase RESTServer 是 Spark JobHistory 是 Spark JDBCServer 是 Spark SparkResource 否 Hue Hue 否 Tez TezUI 否 Loader Sqoop 否 Zookeeper Quorumpeer 是 Kafka Broker 是 Kafka MirrorMaker 否 Flume Flume 是 Flume MonitorServer 是 Storm Nimbus 是 Storm UI 是 Storm Supervisor 是 Storm Logviewer 是

服务 实例 是否支持滚动重启 HDFS NameNode 是 HDFS Zkfc 是 HDFS JournalNode 是 HDFS HttpFS 是 HDFS DataNode 是 Yarn ResourceManager 是 Yarn NodeManager 是 Hive MetaStore 是 Hive WebHCat 是 Hive HiveServer 是 Mapreduce JobHistoryServer 是 HBase HMaster 是 HBase RegionServer 是 HBase ThriftServer 是 HBase RESTServer 是 Spark JobHistory 是 Spark JDBCServer 是 Spark SparkResource 否 Hue Hue 否 Tez TezUI 否 Loader Sqoop 否 Zookeeper Quorumpeer 是 Kafka Broker 是 Kafka MirrorMaker 否 Flume Flume 是 Flume MonitorServer 是 Storm Nimbus 是 Storm UI 是 Storm Supervisor 是 Storm Logviewer 是

配置项 说明 计费说明 选择扩容节点的付费类型。可选项如下： 包年包月：按月计费，以自然月为计费单位。 按量付费：一种后付费模式，即先使用再付费。 队列 1.选择扩容节点加入的队列。 2.可创建新的队列，并将节点扩容在新队列中。 计算节点规格 选择扩容节点的规格。 镜像 选择计算节点的镜像。 注：该镜像为弹性高性能计算平台定制镜像，请优先保持集群同一镜像。 计算节点硬盘 选择扩容节点规格所对应的硬盘。 子网 选择子网，建议同一个队列保持子网一致。 计算节点数量 选择需要扩容的计算节点数量。

组件 配置文件目录 ClickHouse 客户端安装路径 /ClickHouse/clickhouse/config Flink 客户端安装路径 /Flink/flink/conf Flume 客户端安装目录 /fusioninsightflume xxx /conf HBase 客户端安装路径 /HBase/hbase/conf HDFS 客户端安装路径 /HDFS/hadoop/etc/hadoop Hive 客户端安装路径 /Hive/config Hudi 客户端安装路径 /Hudi/hudi/conf Kafka 客户端安装路径 /Kafka/kafka/config Loader 客户端安装路径 /Loader/loadertools xxx /loadertool/conf 客户端安装路径 /Loader/loadertools xxx /scheduletool/conf 客户端安装路径 /Loader/loadertools xxx /shellclient/conf 客户端安装路径 /Loader/loadertools xxx /sqoopshell/conf Oozie 客户端安装路径 /Oozie/oozieclient xxx /conf Spark2x 客户端安装路径 /Spark2x/spark/conf Yarn 客户端安装路径 /Yarn/config ZooKeeper 客户端安装路径 /Zookeeper/zookeeper/conf

云资源集成系统产品使用手册 一、 产品概述 1.1 产品介绍 云资源集成管理系统CRIMS 是一款数据中心资产监测管理软件，旨在帮助数据中 心管理相关人员或资产所有人解决资产管理混乱、资产状态未知、已有资产使用不明确 等问题。 本系统以功能模块做标准版及增购版的区分，标准版含：首页、监测、数据分析、 发现、告警、系统；增购版另有能耗、资产、机房、报修、专线、存储、自动装机、vKVM、 控制管理模块可组合加购。 1.2 产品核心能力 CRIMS 采用领先的带外与带内结合管理技术实现对业务硬件与软件的全方面监控， 可对数据中心 IT 基础设施进行监测、管理运营，为软硬件设备提供全生命周期管理，实 现设备从采购、安装使用，再到运维、报废的全过程服务。并对监测数据进行分析、管 理，为日常运营提供支持。CRIMS 无需在每台服务器上安装代理软件，减少对操作系 统的影响。可以有效帮助用户减少繁琐、重复、费时的各项运维工作，保障数据中心设 备安全、稳定运行，同时降低数据中心运营成本。 1.3 产品优势 CRIMS 硬件监控方面支持各个品牌各个型号的小型机、刀片服务器、刀箱、塔式& 机柜式服务器的硬件状态和各个厂家的高端存储、中端存储、低端存储、虚拟化存储、 虚拟带库、物理带库等存储资源，硬件监控内容包括：电源、风扇、内置磁盘、CPU、 内存、网卡、HBA 卡、拓展模块等服务器各个部件运行状态，配置信息，电源、风扇、 电池、磁盘柜、硬盘、控制器、Array、机械手、磁带机等； CRIMS 软件监控方面支持监控主流操作系统：Linux，Windows，AIX，AS400， ScoUnix，Solaris，HP Unix，国产 UOS 的服务状态；主流云平台：VMWare，Red Hat， FusionCompute，Amazon，阿里云，Docker 的虚 机状态；主流数据库：DB， MySQL,Oracle,Oracle Rac,Oscar,PostgreSQL,SQLServer,SyBase 的库状态,主流应用 程序：AD，Apache，HACMP，IBM MQ，IIS，Nginx，PowerHA，RHCS，Resin， Exchange，JBoss，JBoss EAP，Kafka，Lotus，Memcached，PolyCom，Redis，Tomcat， Tuxedo，Url Recored，WebLogic，Zookeeper 的进程状态，软件监控内容包括：时间 校验，文件数量，进程数量，IO 性能，网络速率，服务状态，Lun，Cache 统计，控制 器，，FC 端口，PCIe 端口，FCoE 端口，NE 节点，异网 IP，文件系统，线程缓存，缓 冲排序，Query 缓存，访问量(QPS)，数据库引擎，主备复制，表空间信息，数据目录等。 更多产品使用具体方法请下载附件查看。 云资源集成系统产品使用手册part1智能运维标准服务.pdf