删除DataNode数据目录中与磁盘规划不符的目录 3.选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例”，在实例列表中单击产生告警的节点主机上的DataNode实例。 4.单击“实例配置”，查看DataNode数据目录配置参数“dfs.datanode.data.dir”的值。 5.查看所有的DataNode数据目录，是否有与磁盘规划不一致的目录。 是，执行步骤6。 否，执行步骤9。 6.修改该DataNode节点的配置参数“dfs.datanode.data.dir”的值，删除错误的路径。 7.选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例”，重启该DataNode实例。 8.检查该告警是否恢复。 是，处理完毕。 否，执行步骤9。 9.以root用户登录到产生告警的DataNode的节点。 如果告警原因为“DataNode数据目录创建失败”，执行步骤10。 如果告警原因为“DataNode数据目录与系统关键目录（/或/boot）使用同一磁盘”，执行步骤17。 如果告警原因为“DataNode数据目录中多个目录使用同一磁盘”，执行步骤21。 检查DataNode数据目录是否创建失败 10.执行su omm命令，切换到omm用户。 11.步骤 8 使用ls命令查看DataNode数据目录中的每个目录是否存在。 是，执行步骤26。 否，执行步骤12。 12.使用mkdir 数据目录命令创建该目录，查看是否可以创建成功。 是，执行步骤24。 否，执行步骤13。 13.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，查看是否存在告警“ALM12017 磁盘容量不足”。 是，执行步骤14。 否，执行步骤15。 14.参考“ALM12017 磁盘容量不足”对磁盘容量问题进行处理，查看“ALM12017 磁盘容量不足”告警是否消除。 是，执行步骤12。 否，执行步骤15。 15.查看omm用户对该目录的所有上层目录是否有“rwx”或者“x”权限。（例如“/tmp/abc/”，“tmp”目录有“x”权限，“abc”目录有“rwx”权限。） 是，执行步骤24。 否，执行步骤16。 16.在root用户下，执行chmod u+rwx path 或者chmod u+x path命令给这些路径添加omm用户的“rwx”或者“x”权限，然后执行步骤12。

收集故障信息 11. 在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 12. 在“服务”中勾选待操作集群的如下节点信息。 ZooKeeper HDFS 13. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 14. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

检查集群磁盘容量是否已满 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”页面，查看是否存在“ALM14001 HDFS磁盘空间使用率超过阈值”告警。 是，执行步骤 2。 否，执行步骤 4。 2.参考“ALM14001 HDFS磁盘空间使用率超过阈值”进行处理，查看对应告警是否清除。 是，执行步骤 3。 否，执行步骤11。 3.在“运维 > 告警 > 告警”页面查看本告警是否清除。 是，处理完毕。 否，执行步骤4。 检查DataNode节点平衡状态 4.在FusionInsight Manager首页，单击“主机”，查看各个机架上的DataNode节点数目分布是否大致相等，如果差异过大，调整DataNode节点所属机架，保证各个机架上的DataNode数量大致相等。重启HDFS服务生效。 5.选择“集群 > 待操作集群的名称 > 服务 > HDFS”。 6.在“基本信息”区域，单击“NameNode(主)”，进入HDFS WebUI页面。 说明 admin用户默认不具备其他组件的管理权限，如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时，可手动创建具备对应组件管理权限的用户进行登录。 7.在HDFS WebUI的“Summary”区域，查看“DataNodes usages”中“Max”的值是否比“Median”的值大10%。 l是，执行步骤 8。 否，执行步骤11。 8.数据倾斜，需要均衡集群中的数据。以root用户登录MRS客户端。如果集群为普通模式，执行su omm切换到omm用户。执行cd命令进入客户端安装目录，然后执行 source bigdataenv 。如果集群采用安全版本，要进行安全认证。执行kinit hdfs命令，按提示输入密码。向管理员获取密码。 9.执行以下命令，均衡数据分布： hdfs balancer threshold 10 10.等待几分钟，检查本告警是否恢复。 是，处理完毕。 否，执行步骤 11。 收集故障信息 11.在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 12.在“服务”中勾选待操作集群的“HDFS”。 13.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 14.请联系运维人员，并发送已收集的故障日志信息。

告警ID 告警级别 是否自动清除 14000 紧急 是

收集故障信息 8. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 9. 在“服务”中勾选待操作集群的“ZooKeeper”。 10. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 11. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍 查看角色实例日志。 操作场景 FusionInsight Manager支持在线直接查看各角色实例的日志内容。 操作步骤 1.登录FusionInsight Manager。 2.选择“集群 > 待操作的集群名称 > 服务 > 服务名称 > 实例”，单击需要查看日志的实例名称，进入实例状态页面。 3.在“日志”区域，单击要查看的日志文件名称，即可在线预览对应日志内容。 说明 在“主机”页面单击主机名称，在主机详情页面的“实例”区域，也可查看该主机上所有角色实例的日志文件。 日志内容默认最多显示100行，可单击“加载更多”按钮查看更多日志内容。单击“下载”按钮，可将该日志文件下载到本地。如需批量下载服务日志，请参考 查看实例日志

本章节主要介绍ALM13006 Znode数量或容量超过阈值。 告警解释 系统每4小时周期性检测ZooKeeper服务数据目录下二级znode状态，当检测到二级Znode数量或者容量超过阈值时产生该告警。 告警属性 告警ID 告警级别 是否自动清除 13006 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 服务目录 产生告警的目录名称。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 向ZooKeeper数据目录空间写入大量数据，导致ZooKeeper无法对外正常提供服务。 可能原因 往ZooKeeper数据目录空间写入大量数据，或者自定义阈值设置不合理。 处理步骤 检查告警目录是否写入大量数据 1. 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，单击告警“Znode数量或容量超过阈值”所在行的下拉菜单，在定位信息中确认告警上报的Znode。 2. 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 >ZooKeeper”，单击“资源”，在表“资源使用（按二级Znode）”中，查看告警对应Znode是否被写入较多数据。 是，执行步骤 3。 否，执行步骤 4。 3. 登录ZooKeeper客户端，删除告警对应Znode下的无用数据。 4. 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 >ZooKeeper”，在“资源”的“资源使用(按二级Znode)”中，选择“ > 按Znode数量”，进入“按Znode数量”的“阈值设置”页面，单击“操作”下的“修改”。参考“集群 >待操作集群的名称 > 服务 >ZooKeeper > 配置 > 全部配置 > 配额”中参数“max.znode.count”的值，调大阈值。 5. 在“资源使用(按二级Znode)”中，选择“ > 按Znode数量”，进入“按容量”的“阈值设置”页面，单击“操作”下的“修改”。参考“集群 > 待操作集群的名称 > 服务 > ZooKeeper > 配置 > 全部配置 > 配额”中参数“max.data.size”的值，调大阈值。 6. 观察界面告警是否清除。 是，处理完毕。 否，执行步骤 7。

重新绑定委托 4. 登录MapReduce服务管理控制台。 5. 选择“集群列表 > 现有集群”，单击集群名称，进入集群概览页面，查看集群是否绑定委托。 是，执行步骤7。 否，执行步骤6。 6. 单击“委托管理”，重新绑定委托，等待几分钟后查看告警是否恢复。 是，操作结束。 否，执行步骤7。 7. 联系运维人员。

告警ID 告警级别 是否自动清除 12089 重要 是

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。

可能原因 计算资源（Yarn）不健康。 存储资源（HDFS）不健康。 存储资源（HDFS）部分不健康。 除Yarn与HDFS以外，关键角色不健康。 处理步骤 关闭容灾演练 1.在FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 跨AZ高可用”，打开跨AZ高可用页面。 2.检查AZ容灾列表中健康状态为“非健康”的AZ所在行的操作列中的“容灾演练”是否为灰色。 是，执行步骤4。 否，执行步骤3。 3.单击目标AZ行“操作”列中的“恢复”，待恢复后。等待2分钟，刷新页面查看该AZ健康状态。查看是否健康恢复。 是，处理完毕。 否，执行步骤4。 收集故障信息 4.以root用户登录主管理节点。 5.查看不健康服务的日志信息。 HDFS的日志文件存储路径为“/var/log/Bigdata/hdfs/nn/hdfsazstate.log”。 Yarn的日志文件存储路径为“/var/log/Bigdata/yarn/rm/yarnazstate.log”。 其余服务请查看对应服务日志目录下的服务健康检查日志。 6.请联系运维人员，并提供日志文件详细信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 12077 重要 是

收集故障信息 5.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 6.在“服务”中勾选“OmmServer”，单击“确定”。 7.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 8.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 12074 重要 是

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。

告警ID 告警级别 是否自动清除 12072 重要 是

本章节主要介绍 ALM12063 磁盘不可用。 告警解释 系统每一个小时，整点检查一次当前主机的磁盘是否可用，只检查数据盘，在磁盘对应的挂载目录下执行创建文件，写文件和删文件等操作，如果能够成功则认为磁盘可用，发送恢复告警，如果不能成功，则发送故障告警。 告警属性 告警ID 告警级别 是否自动清除 12063 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名称。 对系统的影响 数据盘不可写或者不可读，会导致业务异常。 可能原因 磁盘挂载目录权限异常或磁盘坏道。 处理步骤 检查磁盘挂载目录权限是否正常 1.打开FusionInsight Manager页面，在告警列表中，单击此告警所在行的，查看该告警的主机地址和告警的磁盘名称DiskName。 2.以root用户登录告警所在主机。 3.执行命令 df h grep DiskName ，获取对应的挂载点，查看挂载目录的权限，是否存在不可写或者不可读。 是，执行步骤4。 否，执行步骤8。 说明 如果挂载目录权限为000，或者属主为root，则表示当前状态为不可读不可写。 4.修改目录权限为合适的目录权限。 5.等待一小时，查看告警是否恢复。 是，操作结束。 否，执行6。 6.联系硬件工程师，修复磁盘故障。 7.等待一小时，查看告警是否恢复。 是，操作结束。 否，执行步骤8。

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

收集故障信息 6.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 7.在“服务”中勾选“Controller”，单击“确定”。 8.单击右上角的设置日志收集的时间范围，一般为告警产生时间的前后10分钟，单击“下载”。 9.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

告警ID 告警级别 是否自动清除 12047 重要 是

本章节主要介绍ALM12049 网络读吞吐率超过阈值。 告警解释 系统每30秒周期性检测网络读吞吐率，并把实际吞吐率和阈值（系统默认阈值80%）进行比较，当检测到网络读吞吐率连续多次（默认值为5）超过阈值时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络读信息 > 读吞吐率”修改阈值。 平滑次数为1，网络读吞吐率小于或等于阈值时，告警恢复；平滑次数大于1，网络读吞吐率小于或等于阈值的90%时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12049 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 网口名 产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务系统运行不正常或不可用。 可能原因 告警阈值配置不合理。 网口速率不满足当前业务需求。 处理步骤

告警ID 告警级别 是否自动清除 12028 重要 是

检查网络是否异常 17. 联系系统管理员，检查网络是否存在异常。 是，恢复网络故障，执行步骤 18。 否，执行步骤 19。 18. 等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行步骤 19。 收集故障信息 19. 在主集群的FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 20. 在“服务”中勾选“OMS”，单击“确定”。 21. 设置“主机”为告警所在节点和主OMS节点。 22. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟，单击“下载”。 23. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍如何停止作业。 背景信息 Spark SQL作业不支持停止。作业停止后状态更新为“已终止”，并且该作业不可重新执行。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名。 进入集群基本信息页面。 3.选择“作业管理”。 4.选择一个运行中的作业，在作业对应的“操作”列中，选择“更多 > 停止”。 作业状态由“运行中”更新为“已终止”。

告警ID 告警级别 是否自动清除 12039 紧急 是

收集故障信息 13. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 14. 在“服务”中勾选“Controller”，单击“确定”。 15. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 16. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 12018 重要 是

本章节主要介绍 ALM12011 Manager主备节点同步数据异常 。 告警解释 系统按60秒周期检测Manager主备节点同步数据情况，当备Manager无法与主Manager同步文件时，产生该告警。 当备Manager与主Manager正常同步文件时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12011 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 备Manager的配置文件没有更新。主备倒换之后，一些配置可能会丢失。Manager及部分组件可能无法正常运行。 可能原因 主备Manager节点间链路中断，/srv/BigData/LocalBackup目录存储空间已满。 同步文件不存在，或者文件权限有误。 处理步骤 检查主备Manager服务器间的网络是否正常 1. 在FusionInsight Manager页面，选择“运维 > 告警 > 告警”，单击此告警所在行的，获取该告警的备Manager（即Peer Manager）IP地址。 2. 以root用户登录主Manager服务器。 3. 执行ping 备Manager IP地址命令检查备Manager服务器是否可达。 是，执行步骤6。 否，执行步骤4。 4. 联系网络管理员查看是否为网络故障。 是，执行步骤5。 否，执行步骤6。 5. 修复网络故障，查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行步骤6。

本章节主要介绍 ALM12027 主机PID使用率超过阈值。 告警解释 系统每30秒周期性检测PID使用率，并把实际PID使用率和阈值进行比较，PID使用率默认提供一个阈值。当检测到PID使用率超出阈值时产生该告警。 平滑次数为1，主机PID使用率小于或等于阈值时，告警恢复；平滑次数大于1，主机PID使用率小于或等于阈值的90%时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12027 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 无法分配PID给新的业务进程，业务进程不可用。 可能原因 节点同时运行的进程过多，需要扩展pidmax值。 处理步骤 扩展pidmax值 1.打开FusionInsight Manager页面，在实时告警列表中，单击此告警所在行的，获取告警所在主机IP地址。 2.以root用户登录告警所在主机。 3.执行命令 cat /proc/sys/kernel/pidmax ，查看系统当前运行的PID最大值pidmax。 4.若PID使用率超过阈值，执行以下命令将pidmax值增大一倍。 echo 新pidmax 值 > /proc/sys/kernel/pidmax 例如： echo 65536 > /proc/sys/kernel/pidmax 说明 “pidmax”最大可设置为： 32位系统：32768 64位系统：4194304（2的22次方） 5.等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行步骤6。

收集故障信息 14. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 15. 在“服务”中勾选“OMS”，单击“确定”。 16. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 17. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 12016 重要 是