告警ID 告警级别 是否自动清除 14000 紧急 是

本章节主要介绍 查看角色实例日志。 操作场景 FusionInsight Manager支持在线直接查看各角色实例的日志内容。 操作步骤 1.登录FusionInsight Manager。 2.选择“集群 > 待操作的集群名称 > 服务 > 服务名称 > 实例”，单击需要查看日志的实例名称，进入实例状态页面。 3.在“日志”区域，单击要查看的日志文件名称，即可在线预览对应日志内容。 说明 在“主机”页面单击主机名称，在主机详情页面的“实例”区域，也可查看该主机上所有角色实例的日志文件。 日志内容默认最多显示100行，可单击“加载更多”按钮查看更多日志内容。单击“下载”按钮，可将该日志文件下载到本地。如需批量下载服务日志，请参考 查看实例日志

本章节主要介绍ALM13006 Znode数量或容量超过阈值。 告警解释 系统每4小时周期性检测ZooKeeper服务数据目录下二级znode状态，当检测到二级Znode数量或者容量超过阈值时产生该告警。 告警属性 告警ID 告警级别 是否自动清除 13006 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 服务目录 产生告警的目录名称。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 向ZooKeeper数据目录空间写入大量数据，导致ZooKeeper无法对外正常提供服务。 可能原因 往ZooKeeper数据目录空间写入大量数据，或者自定义阈值设置不合理。 处理步骤 检查告警目录是否写入大量数据 1. 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，单击告警“Znode数量或容量超过阈值”所在行的下拉菜单，在定位信息中确认告警上报的Znode。 2. 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 >ZooKeeper”，单击“资源”，在表“资源使用（按二级Znode）”中，查看告警对应Znode是否被写入较多数据。 是，执行步骤 3。 否，执行步骤 4。 3. 登录ZooKeeper客户端，删除告警对应Znode下的无用数据。 4. 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 >ZooKeeper”，在“资源”的“资源使用(按二级Znode)”中，选择“ > 按Znode数量”，进入“按Znode数量”的“阈值设置”页面，单击“操作”下的“修改”。参考“集群 >待操作集群的名称 > 服务 >ZooKeeper > 配置 > 全部配置 > 配额”中参数“max.znode.count”的值，调大阈值。 5. 在“资源使用(按二级Znode)”中，选择“ > 按Znode数量”，进入“按容量”的“阈值设置”页面，单击“操作”下的“修改”。参考“集群 > 待操作集群的名称 > 服务 > ZooKeeper > 配置 > 全部配置 > 配额”中参数“max.data.size”的值，调大阈值。 6. 观察界面告警是否清除。 是，处理完毕。 否，执行步骤 7。

重新绑定委托 4. 登录MapReduce服务管理控制台。 5. 选择“集群列表 > 现有集群”，单击集群名称，进入集群概览页面，查看集群是否绑定委托。 是，执行步骤7。 否，执行步骤6。 6. 单击“委托管理”，重新绑定委托，等待几分钟后查看告警是否恢复。 是，操作结束。 否，执行步骤7。 7. 联系运维人员。

告警ID 告警级别 是否自动清除 12089 重要 是

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。

可能原因 计算资源（Yarn）不健康。 存储资源（HDFS）不健康。 存储资源（HDFS）部分不健康。 除Yarn与HDFS以外，关键角色不健康。 处理步骤 关闭容灾演练 1.在FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 跨AZ高可用”，打开跨AZ高可用页面。 2.检查AZ容灾列表中健康状态为“非健康”的AZ所在行的操作列中的“容灾演练”是否为灰色。 是，执行步骤4。 否，执行步骤3。 3.单击目标AZ行“操作”列中的“恢复”，待恢复后。等待2分钟，刷新页面查看该AZ健康状态。查看是否健康恢复。 是，处理完毕。 否，执行步骤4。 收集故障信息 4.以root用户登录主管理节点。 5.查看不健康服务的日志信息。 HDFS的日志文件存储路径为“/var/log/Bigdata/hdfs/nn/hdfsazstate.log”。 Yarn的日志文件存储路径为“/var/log/Bigdata/yarn/rm/yarnazstate.log”。 其余服务请查看对应服务日志目录下的服务健康检查日志。 6.请联系运维人员，并提供日志文件详细信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 12077 重要 是

告警ID 告警级别 是否自动清除 12074 重要 是

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。

告警ID 告警级别 是否自动清除 12072 重要 是

本章节主要介绍 ALM12063 磁盘不可用。 告警解释 系统每一个小时，整点检查一次当前主机的磁盘是否可用，只检查数据盘，在磁盘对应的挂载目录下执行创建文件，写文件和删文件等操作，如果能够成功则认为磁盘可用，发送恢复告警，如果不能成功，则发送故障告警。 告警属性 告警ID 告警级别 是否自动清除 12063 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名称。 对系统的影响 数据盘不可写或者不可读，会导致业务异常。 可能原因 磁盘挂载目录权限异常或磁盘坏道。 处理步骤 检查磁盘挂载目录权限是否正常 1.打开FusionInsight Manager页面，在告警列表中，单击此告警所在行的，查看该告警的主机地址和告警的磁盘名称DiskName。 2.以root用户登录告警所在主机。 3.执行命令 df h grep DiskName ，获取对应的挂载点，查看挂载目录的权限，是否存在不可写或者不可读。 是，执行步骤4。 否，执行步骤8。 说明 如果挂载目录权限为000，或者属主为root，则表示当前状态为不可读不可写。 4.修改目录权限为合适的目录权限。 5.等待一小时，查看告警是否恢复。 是，操作结束。 否，执行6。 6.联系硬件工程师，修复磁盘故障。 7.等待一小时，查看告警是否恢复。 是，操作结束。 否，执行步骤8。

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

收集故障信息 6.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 7.在“服务”中勾选“Controller”，单击“确定”。 8.单击右上角的设置日志收集的时间范围，一般为告警产生时间的前后10分钟，单击“下载”。 9.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

告警ID 告警级别 是否自动清除 12047 重要 是

本章节主要介绍ALM12049 网络读吞吐率超过阈值。 告警解释 系统每30秒周期性检测网络读吞吐率，并把实际吞吐率和阈值（系统默认阈值80%）进行比较，当检测到网络读吞吐率连续多次（默认值为5）超过阈值时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络读信息 > 读吞吐率”修改阈值。 平滑次数为1，网络读吞吐率小于或等于阈值时，告警恢复；平滑次数大于1，网络读吞吐率小于或等于阈值的90%时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12049 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 网口名 产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务系统运行不正常或不可用。 可能原因 告警阈值配置不合理。 网口速率不满足当前业务需求。 处理步骤

告警ID 告警级别 是否自动清除 12028 重要 是

检查网络是否异常 17. 联系系统管理员，检查网络是否存在异常。 是，恢复网络故障，执行步骤 18。 否，执行步骤 19。 18. 等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行步骤 19。 收集故障信息 19. 在主集群的FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 20. 在“服务”中勾选“OMS”，单击“确定”。 21. 设置“主机”为告警所在节点和主OMS节点。 22. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟，单击“下载”。 23. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍如何停止作业。 背景信息 Spark SQL作业不支持停止。作业停止后状态更新为“已终止”，并且该作业不可重新执行。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名。 进入集群基本信息页面。 3.选择“作业管理”。 4.选择一个运行中的作业，在作业对应的“操作”列中，选择“更多 > 停止”。 作业状态由“运行中”更新为“已终止”。

告警ID 告警级别 是否自动清除 12039 紧急 是

收集故障信息 13. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 14. 在“服务”中勾选“Controller”，单击“确定”。 15. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 16. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍 ALM12011 Manager主备节点同步数据异常 。 告警解释 系统按60秒周期检测Manager主备节点同步数据情况，当备Manager无法与主Manager同步文件时，产生该告警。 当备Manager与主Manager正常同步文件时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12011 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 备Manager的配置文件没有更新。主备倒换之后，一些配置可能会丢失。Manager及部分组件可能无法正常运行。 可能原因 主备Manager节点间链路中断，/srv/BigData/LocalBackup目录存储空间已满。 同步文件不存在，或者文件权限有误。 处理步骤 检查主备Manager服务器间的网络是否正常 1. 在FusionInsight Manager页面，选择“运维 > 告警 > 告警”，单击此告警所在行的，获取该告警的备Manager（即Peer Manager）IP地址。 2. 以root用户登录主Manager服务器。 3. 执行ping 备Manager IP地址命令检查备Manager服务器是否可达。 是，执行步骤6。 否，执行步骤4。 4. 联系网络管理员查看是否为网络故障。 是，执行步骤5。 否，执行步骤6。 5. 修复网络故障，查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行步骤6。

本章节主要介绍 ALM12027 主机PID使用率超过阈值。 告警解释 系统每30秒周期性检测PID使用率，并把实际PID使用率和阈值进行比较，PID使用率默认提供一个阈值。当检测到PID使用率超出阈值时产生该告警。 平滑次数为1，主机PID使用率小于或等于阈值时，告警恢复；平滑次数大于1，主机PID使用率小于或等于阈值的90%时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12027 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 无法分配PID给新的业务进程，业务进程不可用。 可能原因 节点同时运行的进程过多，需要扩展pidmax值。 处理步骤 扩展pidmax值 1.打开FusionInsight Manager页面，在实时告警列表中，单击此告警所在行的，获取告警所在主机IP地址。 2.以root用户登录告警所在主机。 3.执行命令 cat /proc/sys/kernel/pidmax ，查看系统当前运行的PID最大值pidmax。 4.若PID使用率超过阈值，执行以下命令将pidmax值增大一倍。 echo 新pidmax 值 > /proc/sys/kernel/pidmax 例如： echo 65536 > /proc/sys/kernel/pidmax 说明 “pidmax”最大可设置为： 32位系统：32768 64位系统：4194304（2的22次方） 5.等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行步骤6。

收集故障信息 14. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 15. 在“服务”中勾选“OMS”，单击“确定”。 16. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 17. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 12016 重要 是

收集故障信息 12. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 13. 在“服务”中勾选如下节点信息，单击“确定”。 NodeAgent Controller OS 14. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 15. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 12010 重要 是

最小密码长度 字符种类 对比用户密码策略结果 重置后的密码 8到17位 4 已满足用户密码策略 Admin@123Test@123 18位 4 需补充一个@ Admin@123@Test@123 19位 4 需补充两个@ Admin@123@@Test@123 8到18位 5 需补充一个空格 Admin@123 Test@123 19位 5 需补充一个空格和一个@ Admin@123 @Test@123 20位 5 需补充一个空格和两个@ Admin@123 @@Test@123

检查磁盘空间是否不足 7.在FusionInsight Manager的告警列表中，查看是否有“ALM12017 磁盘容量不足”告警产生。 是，执行步骤8。 否，执行步骤11。 8.按ALM12017 磁盘容量不足提供的步骤处理该故障。 9.等待5分钟，查看告警列表中，“ALM12017 磁盘容量不足”告警是否已清除。 是，执行步骤10。 否，执行步骤11。 10.等待5分钟，查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行步骤11。 收集故障信息 11.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 12.根据在步骤1获取的服务名称，在“服务”中勾选对应的组件及“NodeAgent”，单击“确定”。 13.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 14.请联系运维人员，并发送已收集的故障日志信息。

本章节主要介绍配置跨集群互信后的用户权限。 操作场景 配置完跨Manager集群互信后，需要在互信的系统上设置访问用户的权限，这样指定的用户才能在互信系统上进行对应的业务操作。 前提条件 两个系统已完成互信配置。 操作步骤 1.登录本端系统的FusionInsight Manager。 2.选择“系统 > 权限 > 用户”，检查本次业务操作的用户是否在已存在： 是，执行步骤3。 否，执行步骤4。 3.单击指定用户左侧的，检查该用户所在的用户组和角色分配的权限是否满足本次业务需求。若不满足，参见权限设置创建新角色并绑定用户，也可以直接修改用户的用户组或角色权限。 4.参见创建用户，创建本次业务所需要的用户，同时关联业务所需要的用户组或者角色信息。 5.登录互信系统的FusionInsight Manager，重复步骤2～步骤4，创建相同名字的用户并设置权限。

本章节主要介绍例行维护。 为了保证系统长期正常、稳定的运行，管理员或维护工程师需要定期对下表所示的项目进行检查，并根据检查出的异常结果排除故障。建议检查人员根据企业管理规范，记录每个任务场景的结果并签名确认。 项目一览表 例行维护周期 任务场景 例行维护内容 每天 检查集群服务状态 l 检查每个服务的运行状态和配置状态是否正常，是否为绿色。 l 检查每个服务中，角色实例的运行状态和配置状态是否正常，是否为绿色。 l 检查每个服务中，角色实例的主备状态是否可以正常显示。 l 检查服务与角色实例的“概览”显示结果是否正常。 每天 检查集群主机状态 l 检查每个主机当前的运行状态是否正常，是否为绿色。 l 检查每个主机当前的磁盘使用率、内存使用率和CPU使用率。关注当前内存与CPU使用率是否处于上升趋势。 每天 检查集群告警信息 检查前一天是否生成了未处理异常告警，包含已自动恢复的告警。 每天 检查集群审计信息 检查前一天是否有“高危”和“危险”的操作，是否已确认操作的合法性。 每天 检查集群备份情况 检查前一天OMS、LDAP、DBService和NameNodeOMS、LDAP和DBServiceOMS、LDAP是否自动备份。 每天 检查健康检查结果 在FusionInsight Manager执行健康检查，下载健康检查报告确认当前集群是否存在异常状态。建议启用自动健康检查，并及时导出最新的集群健康检查结果，根据检查结果修复不健康项目。 每天 检查网络通讯 检查集群网络工作状态，节点之间的网络通讯是否存在延时。 每天 检查存储状态 检查集群总体数据存储量是否出现了突然的增长： l 磁盘使用量是否已接近阈值，排查原因，例如是否有业务留下的垃圾数据或冷数据需要清理。 l 业务是否有增长需求，磁盘分区是否需要扩容。 每天 检查日志情况 l 检查是否有失败、失去响应的MapReduce、Spark任务，查看HDFS中“/tmp/logs/${username}/logs/${application id}”日志文件并排除问题。 l 检查Yarn的任务日志，查看失败、失去响应的任务日志，并删除重复数据。 l 检查Storm的worker日志。 l 备份日志到存储服务器。 每周 用户管理 检查用户密码是否将要过期并通知修改。“机机用户”用户修改密码需要重新下载keytab文件。 每周 分析告警 导出指定周期内产生的告警并分析。 每周 扫描磁盘 对磁盘健康状态进行检查，建议使用专门的磁盘检查工具。 每周 统计存储 分批次排查集群节点磁盘数据是否均匀存储，筛选出明显数据增加或不足的硬盘，并确认硬盘是否正常。 每周 记录变更 安排并记录对集群配置参数和文件实施的操作，为故障分析处理场景提供依据。 每月 分析日志 l 收集集群节点服务器的硬件日志，例如BMC系统日志，并进行分析。 l 收集集群节点服务器的操作系统日志，并进行分析。 l 收集集群日志，并进行分析。 每月 诊断网络 对集群的网络健康状态进行分析。 每月 管理硬件 检查设备运行的机房环境，安排清洁设备。