告警ID 告警级别 是否自动清除 24000 紧急 是

本章节主要介绍ALM20002 Hue服务不可用的告警。 告警解释 系统按60秒周期性检测Hue服务状态。当Hue服务不可用时产生该告警。 当Hue服务恢复时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 20002 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 系统无法提供数据加载，查询，提取服务。 可能原因 Hue服务所依赖内部服务KrbServer故障。 Hue服务所依赖内部服务DBService故障。 与DBService连接的网络异常。 处理步骤 检查KrbServer服务是否正常 1.在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 服务”，在服务列表中查看“KrbServer”的“运行状态”是否为“良好”。 是，执行步骤4。 否，执行步骤2。 2.手动重启KrbServer服务。 3.等待几分钟。检查“Hue服务不可用”告警是否恢复。 是，处理完毕。 否，执行步骤4。 检查DBService是否正常 4.登录FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 服务”。 5.在服务列表中查看DBService服务运行状态是否为“良好”。 是，执行步骤8。 否，执行步骤6。 6.重启DBService服务。 说明 重启服务需要输入FusionInsight Manager管理员密码。 7.等待几分钟。检查“Hue服务不可用”告警是否恢复。 是，操作结束。 否，执行步骤8。

检查系统中是否有不需要的文件 6. 以root用户登录HDFS客户端。执行cd命令进入客户端安装目录，然后执行source bigdataenv命令设置环境变量。 如果集群采用安全版本，要进行安全认证。 执行kinit hdfs命令，按提示输入密码。向管理员获取密码。 7. 执行hdfs dfs ls 文件或目录路径命令，检查该目录下的文件或目录是否是可以删除的无用文件。 是，执行步骤8。 否，执行步骤9。 8. 执行hdfs dfs rm r 文件或目录路径命令。确认删除无用的文件后，等待文件在垃圾站中超过保留时间后（NameNode的配置参数“fs.trash.interval”指定了垃圾站中数据的保留时间），检查本告警是否清除。 说明 说明 删除文件为高危操作，在执行操作前请务必确认对应文件是否不再需要。 是，处理完毕。 否，执行步骤 9。 收集故障信息 9. 在FusionInsight Manager首页，单击“运维 > 日志 > 下载”。 10. 在“服务”中勾选待操作集群的“HDFS”。 11. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 12. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 NameNodeJVM参数配置规则 NameNode JVM参数“GCOPTS”默认值为： Xms2G Xmx4G XX:NewSize128M XX:MaxNewSize256M XX:MetaspaceSize128M XX:MaxMetaspaceSize128M XX:+UseConcMarkSweepGC XX:+CMSParallelRemarkEnabled XX:CMSInitiatingOccupancyFraction65 XX:+PrintGCDetails Dsun.rmi.dgc.client.gcInterval0x7FFFFFFFFFFFFFE Dsun.rmi.dgc.server.gcInterval0x7FFFFFFFFFFFFFE XX:OmitStackTraceInFastThrow XX:+PrintGCDateStamps XX:+UseGCLogFileRotation XX:NumberOfGCLogFiles10 XX:GCLogFileSize1M Djdk.tls.ephemeralDHKeySize3072 Djdk.tls.rejectClientInitiatedRenegotiationtrue Djava.io.tmpdir${Bigdatatmpdir} NameNode文件数量和NameNode使用的内存大小成比例关系，文件对象变化时请修改默认值中的“Xms2G Xmx4G XX:NewSize128M XX:MaxNewSize256M”。参考值如下表所示。 文件对象数量 参考值 10,000,000 Xms6G Xmx6G XX:NewSize512M XX:MaxNewSize512M 20,000,000 Xms12G Xmx12G XX:NewSize1G XX:MaxNewSize1G 50,000,000 Xms32G Xmx32G XX:NewSize3G XX:MaxNewSize3G 100,000,000 Xms64G Xmx64G XX:NewSize6G XX:MaxNewSize6G 200,000,000 Xms96G Xmx96G XX:NewSize9G XX:MaxNewSize9G 300,000,000 Xms164G Xmx164G XX:NewSize12G XX:MaxNewSize12G

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。

告警ID 告警级别 是否自动清除 19019 重要 是

检查DataNode实例 1. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HDFS>实例”。 2. 查看所有DataNode实例的状态是否为“良好”。 是，执行步骤11。 否，执行步骤12。 3. 重启DataNode实例，查看能否成功启动。 是，执行步骤4。 否，执行步骤 5。 4. 选择“运维 > 告警 > 告警”，查看该告警是否恢复。 是，处理完毕。 否，执行步骤 5。 删除被破坏的文件 5. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HDFS>NameNode(主)”，在HDFS的WebUI页面，查看列出的丢失块信息。 注意 如果有丢块，WebUI上会有一行红字显示。 admin用户默认不具备其他组件的管理权限，如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时，可手动创建具备对应组件管理权限的用户进行登录。 6. 用户确认丢失块所在的文件是否有用。 说明 MapReduce任务运行过程中在“/mrhistory”、“/tmp/hadoopyarn”、“/tmp/logs”这三个目录中生成的文件不属于有用文件。 是，执行步骤7。 否，执行步骤8。 7. 用户确认丢失块所在的文件是否已备份。 是，执行步骤 8。 否，执行步骤 11。 8. 以root用户登录HDFS客户端，用户密码为安装前用户自定义，请咨询系统管理员。执行如下命令： 安全模式： cd 客户端安装目录 source bigdataenv kinit hdfs 普通模式： suomm cd 客户端安装目录 source bigdataenv 9. 在节点客户端执行 hdfs fsck / delete ，删除丢失文件。如果丢失块所在的文件为有用文件，需要再次写入文件，恢复数据。 说明 删除文件为高危操作，在执行操作前请务必确认对应文件是否不再需要。 10. 选择“运维 > 告警 > 告警”，查看该告警是否恢复。 是，处理完毕。 否，执行步骤 11。

告警ID 告警级别 是否自动清除 19018 次要 是

本章节主要介绍ALM19008 HBase服务进程堆内存使用率超出阈值的告警。 告警解释 系统每30秒周期性检测HBase服务堆内存使用状态，当检测到HBase服务堆内存使用率超出阈值（最大内存的90%）时产生该告警。 说明 若集群启用了多实例功能且安装了多个HBase服务，请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如HBase1服务不可用，则“定位信息”中显示服务名HBase1，处理步骤中的操作对象也应由HBase调整为HBase1。 告警属性 告警ID 告警级别 是否自动清除 19008 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 HBase可用内存不足，可能会造成内存溢出导致服务崩溃。 可能原因 该节点HBase服务堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。 处理步骤 检查堆内存使用率 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“告警ID”为“19008”的告警，查看“定位信息”中的角色名并确定实例的IP地址。 告警上报的角色是HMaster，执行步骤2。 告警上报的角色是RegionServer，执行步骤3。 2.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HBase > 实例”，单击告警上报的HMaster，进入实例“概览”页面，单击图表区域右上角的下拉菜单，选择“定制 > CPU和内存 > HMaster堆内存使用率与直接内存使用率统计”，单击“确定”，查看HBase服务进程使用的堆内存是否已达到HBase服务进程设定的最大堆内存的90%。 是，执行步骤4。 否，执行步骤6。 3.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HBase > 实例”，单击告警上报的RegionServer，进入实例“概览”页面，单击图表区域右上角的下拉菜单，选择“定制 > CPU和内存 > RegionServer堆内存使用率与直接内存使用率统计”，单击“确定”，查看HBase服务进程使用的堆内存是否已达到HBase服务进程设定的最大堆内存的90%。 是，执行步骤4。 否，执行步骤6。 4.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HBase > 配置”，单击“全部配置”， 选择“HMaster/RegionServer > 系统”，将“GCOPTS”参数中“Xmx”的值参考以下说明进行调大。 说明 a.HMaster的GC参数配置建议 建议“Xms”和“Xmx”设置成相同的值，这样可以避免JVM动态调整堆内存大小时影响性能。 调整“XX:NewSize”大小的时候，建议把其设置成和“XX:MaxNewSize”相同，均为“Xmx”大小的1/8。 当HBase集群规模越大、Region数量越多时，可以适当调大HMaster的GCOPTS参数，配置建议如下：Region总数小于10万个，“Xmx”设置为4G；超过10万个，“Xmx”设置为不小于6G；超过10万时，每增加35000个Region，增加2G的“Xmx”，整体的“Xmx”的大小不超过32G。 b.RegionServer的GC参数配置建议 建议“Xms”和“Xmx”设置成相同的值，这样可以避免JVM动态调整堆内存大小时影响性能。 调整“XX:NewSize”大小的时候，建议把其设置为“Xmx”大小的1/8。 RegionServer需要的内存一般比HMaster要大。在内存充足的情况下，堆内存可以相对设置大一些。 根据机器的内存大小设置“Xmx”大小：机器内存>200G，“Xmx”设置为32G；128G<机器内存<200G，“Xmx”设置为16G；机器内存<128G，“Xmx”设置为8G。“Xmx”配置为32G，可支持单RegionServer节点2000个Region，200个热点Region。 5.观察界面告警是否清除。 是，处理完毕。 否，执行步骤6。

收集故障信息 7. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 8. 在“服务”中勾选待操作集群的“ZooKeeper”。 9. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 10. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 14001 重要 是

本章节主要介绍ALM19007 HBase GC时间超出阈值的告警。 告警解释 系统每60秒周期性检测HBase服务的老年代GC时间，当检测到HBase服务的老年代GC时间超出阈值（默认连续3次检测超过5秒）时产生该告警。 在FusionInsight Manager首页，用户可通过选择“运维 > 告警 > 阈值设置> HBase > GC > GC中回收old区所花时长”修改阈值。 当HBase服务的老年代GC时间小于或等于阈值时，告警恢复。 说明 若集群启用了多实例功能且安装了多个HBase服务，请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如HBase1服务不可用，则“定位信息”中显示服务名HBase1，处理步骤中的操作对象也应由HBase调整为HBase1。 告警属性 告警ID 告警级别 是否自动清除 19007 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 老年代GC时间超出阈值，会影响到HBase数据的读写。 可能原因 该节点HBase实例内存使用率过大，或配置的堆内存不合理，或HBase存在大量的IO操作，导致进程GC频繁。

检查HDFS服务状态 5.在告警列表中，查看是否有“ALM14000 HDFS服务不可用”告警产生。 是，执行步骤6。 否，执行步骤8。 6.参考“ALM14000 HDFS服务不可用”的处理步骤处理该故障。 7.等待几分钟后检查本告警是否恢复。 是，处理完毕。 否，执行步骤8。 8.在FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > HDFS”，查看HDFS“安全模式”是否为“ON”。 是，执行步骤9。 否，执行步骤12。 9.以root用户登录HDFS客户端。执行cd命令进入客户端安装目录，然后执行 source bigdataenv 。 如果集群采用安全版本，要进行安全认证。预先向管理员获取hdfs用户的密码，执行kinit hdfs命令，按提示输入密码。 10.执行以下命令手动退出安全模式。 hdfs dfsadmin safemode leave 11.等待几分钟后检查本告警是否恢复。 是，处理完毕。 否，执行步骤12。 检查HBase服务状态 12.在FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > HBase”。 13.查看2个HMaster的状态是否为一“主”一“备”。 是，执行步骤15。 否，执行步骤14。 14.单击“实例”，选择非主状态的HMaster实例，单击“更多 > 重启实例”重启HMaster，再次查看2个HMaster的状态是否为一“主”一“备”。 是，执行步骤15。 否，执行步骤21。 15.选择“集群 > 待操作集群的名称 > 服务 > HBase > HMaster(主)”，进入HMaster的WebUI页面。 说明 admin用户默认不具备其他组件的管理权限，如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时，可手动创建具备对应组件管理权限的用户进行登录。 16.查看Region Servers下是否存在至少一个RegionServer。 是，执行步骤17。 否，执行步骤21。 17.查看“Tables > System Tables”，如下图，查看该标签的“Table Name”列下是否存在“hbase:meta”、“hbase:namespace”和“hbase:acl”。 是，执行步骤18。 否，执行步骤19。 HBase系统表 18.如上图，分别单击“hbase:meta”、“hbase:namespace”和“hbase:acl”超链接，查看所有页面是否能正常打开。如果页面能正常打开，说明表都正常。 是，执行步骤19。 否，执行步骤23。 说明 由于普通模式下的HBase默认未开启ACL权限控制，只有在手动开启ACL权限控制后才会存在“hbase:acl”表，需要检查该表，否则不需要检查该表。 19.查看HMaster的启动状态。 如下图在“Tasks” 下有“RUNNING”的状态表示HMaster正在启动，“State”列有HMaster处于“RUNNING”状态的时间。如下图中的“COMPLETE”状态表示HMaster启动完成。 查看HMaster是否持续了很长一段时间处于“RUNNING”状态。 HMaster正在启动的状态 HMaster启动完成的状态 是，执行步骤20。 否，执行步骤21。 20.查看HMaster页面是否有hbase:meta长时间处于“Region in Transition”的状态。 详见下图：Region处于Region in Transition的状态 是，执行步骤21。 否，执行步骤22。 21.确认在不影响业务的情况下，登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > HBase > 更多 > 重启服务”，输入密码，单击“确定”。 是，执行步骤22。 否，执行步骤23。 22.等待几分钟后检查本告警是否恢复。 是，处理完毕。 否，执行步骤23。

本章节主要介绍ALM13003 ZooKeeper进程垃圾回收（GC）时间超过阈值。 告警解释 系统每60秒周期性检测ZooKeeper进程的垃圾回收（GC）占用时间，当检测到ZooKeeper进程的垃圾回收（GC）时间超出阈值（默认12秒）时，产生该告警。 垃圾回收（GC）时间小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 13003 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 ZooKeeper进程的垃圾回收时间过长，可能影响该ZooKeeper进程正常提供服务。 可能原因 该节点ZooKeeper实例堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。 处理步骤 检查GC时间 1. 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，单击告警“ZooKeeper进程垃圾回收（GC）时间超过阈值”所在行的下拉菜单。查看告警上报的实例的IP地址。 2. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 >ZooKeeper > 实例 >quorumpeer”。单击图表区域右上角的下拉菜单，选择“定制 > GC”，勾选“ZooKeeper垃圾回收（GC）时间”，单击“确定”，查看ZooKeeper每分钟的垃圾回收时间统计情况。 3. 查看ZooKeeper每分钟的垃圾回收时间统计值是否大于告警阈值（默认12秒）。 是，执行步骤 4。 否，执行步骤 8。 4. 请先排查应用程序是否存在内存泄露等问题。 5. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 >ZooKeeper > 配置 > 全部配置 > quorumpeer > 系统”。将“GCOPTS”参数值根据实际情况调大。 说明 Xmx一般配置为ZooKeeper数据容量的2倍，如果ZooKeeper容量达到2GB，则GCOPTS建议配置为： Xms4G Xmx4G XX:NewSize512M XX:MaxNewSize512M XX:MetaspaceSize64M XX:MaxMetaspaceSize64M XX:CMSFullGCsBeforeCompaction1 6. 保存配置，并重启ZooKeeper服务。 7. 观察界面告警是否清除。 是，处理完毕。 否，执行步骤 8。 收集故障信息 8. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 9. 在“服务”中勾选待操作集群的“ZooKeeper”。 10. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 11. 请联系运维人员，并发送已收集的故障日志信息。

本章节主要介绍ALM13004 ZooKeeper堆内存使用率超过阈值。 告警解释 系统每60秒周期性检测ZooKeeper服务堆内存使用状态，当检测到ZooKeeper实例堆内存使用率超出阈值（最大内存的95%）时产生该告警。 堆内存使用率小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 13004 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 ZooKeeper可用内存不足，可能会造成内存溢出导致服务崩溃。 可能原因 该节点ZooKeeper实例堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。 处理步骤 检查堆内存使用率 1. 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，单击告警“ZooKeeper堆内存使用率超过阈值”所在行的下拉菜单，在定位信息中确认告警上报的主机名所在的节点IP地址。 2. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 >ZooKeeper > 实例”，单击对应IP地址的“角色”列的“quorumpeer”。单击图表区域右上角的下拉菜单，选择“定制 > CPU 和内存”，勾选“ZooKeeper堆内存与直接内存使用率”，单击“确定”，查看堆内存使用情况。 3. 查看ZooKeeper使用的堆内存是否已达到ZooKeeper设定的最大堆内存的95%。 是，执行步骤 4。 否，执行步骤 7。 4. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 >ZooKeeper > 配置 > 全部配置 > quorumpeer > 系统”。将GCOPTS参数中Xmx的值根据实际情况调大，具体调整方案如下： a.单击“实例”，选择对应IP地址的“角色”列的“quorumpeer”，单击图表区域右上角的下拉菜单，选择“定制 > CPU 和内存”，勾选“ZooKeeper堆内存与直接内存资源状况”，单击“确定”，查看ZooKeeper实际使用的堆内存大小。 b.根据堆内存实际使用量，修改GCOPTS参数中的Xmx值，该值一般为Zookeeper数据容量的2倍。例如当前ZooKeeper堆内存使用达到2G，则GCOPTS建议配置为“Xms4G Xmx4G XX:NewSize512MXX:MaxNewSize512M XX:MetaspaceSize64M XX:MaxMetaspaceSize64MXX:CMSFullGCsBeforeCompaction1”。 5. 保存配置，并重启ZooKeeper服务。 6. 观察界面告警是否清除？ 是，处理完毕。 否，执行步骤7。

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

调整监控阈值 6.在FusionInsight Manager界面，选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Yarn > 任务 > 正在挂起的任务”，根据实际需要，适当增加该告警的监控阈值。 7.等待5分钟，查看该告警是否消除。 是，处理完毕。 否，执行步骤8。 收集故障信息 8.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 9.在“服务”中勾选待操作集群的“Yarn”。 10.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 11.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 18025 重要 是

本章节主要介绍 ALM12073 cep资源异常。 告警解释 HA每60秒周期性检测Manager的cep资源。当HA连续2次检测到cep资源异常时，产生该告警。 当HA检测到cep资源正常后，告警恢复。 cep资源为单主资源，一般资源异常会导致主备倒换，看到告警时，基本已经主备倒换，并在新主环境上启动新的cep资源，告警恢复。该告警用于提示用户，Manager主备倒换的原因。 告警属性 告警ID 告警级别 是否自动清除 12073 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 Manager主备倒换。 cep进程持续重启，可能会导致监控数据异常。 可能原因 cep进程异常。 处理步骤 检查cep进程是否异常 1.打开FusionInsight Manager页面，在告警列表中，单击此告警所在行的，查看该告警的主机名称。 2.以root用户登录该告警的主机地址。 3.执行命令 su omm ，执行 sh ${BIGDATAHOME}/omserver/OMS/workspace0/ha/module/hacom/script/statusha.sh，查询当前HA管理的cep资源状态是否正常（单机模式下面，cep资源为normal状态；双机模式下，cep资源在主节点为normal状态，在备节点为stopped状态。）。 是，执行步骤6。 否，执行步骤4。 4.执行命令 vi $BIGDATALOGHOME/omm/oms/cep/cep.log 和 vi $BIGDATALOGHOME/omm/oms/cep/scriptlog/cepha.log ，查看ha的cep资源日志，是否有关键字“ERROR”，分析日志查看资源异常原因并修复。 5.等待五分钟，查看告警是否恢复。 是，操作结束。 否，执行步骤6。

参数名称 参数含义 来源 产生告警的集群名称。 队列名 产生告警的队列名。 队列指标名 产生告警的队列指标名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

检查Zookeeper服务状态 5.在FusionInsight Manager的告警列表中，查看是否有“ALM13000 ZooKeeper服务不可用”告警产生。 是，执行步骤6。 否，执行步骤7。 6.参考“ALM13000 ZooKeeper服务不可用”的处理步骤处理故障后，检查本告警是否恢复。 是，处理完毕。 否，执行步骤7。 检查HDFS服务状态 7.在FusionInsight Manager的告警列表中，查看是否有“ALM14000 HDFS服务不可用”告警产生。 是，执行步骤8。 否，执行步骤9。 8.参考“ALM14000 HDFS服务不可用”的处理步骤处理故障后，检查本告警是否恢复。 是，处理完毕。 否，执行步骤9。 检查Yarn服务状态 9.在FusionInsight Manager的告警列表中，查看是否有“ALM18000 Yarn服务不可用”告警产生。 是，执行步骤10。 否，执行步骤11。 10.参考“ALM18000 Yarn服务不可用”的处理步骤处理故障后，检查本告警是否恢复。 是，处理完毕。 否，执行步骤11。 收集故障信息 11.在主集群的FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 12.在“服务”中勾选待操作集群的“Mapreduce”。 13.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 14.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。

告警ID 告警级别 是否自动清除 12085 次要 是

本章节主要介绍ALM18012 JobHistoryServer进程垃圾回收（GC）时间超过阈值的告警。 告警解释 系统每60秒周期性检测JobHistoryServer进程的垃圾回收（GC）占用时间，当检测到JobHistoryServer进程的垃圾回收（GC）时间超出阈值（默认12秒）时，产生该告警。 垃圾回收（GC）时间小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 18012 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 JobHistoryServer进程的垃圾回收时间过长，可能影响该JobHistoryServer进程正常提供服务。 可能原因 该节点JobHistoryServer实例堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。 处理步骤 检查GC时间 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > ALM18012 JobHistoryServer进程垃圾回收（GC）时间超过阈值 > 定位信息”。查看告警上报的实例的IP地址。 2.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > MapReduce > 实例 > JobHistoryServer（对应上报告警实例IP地址）”，单击图表区域右上角的下拉菜单，选择“定制 > 垃圾回收”，勾选“JobHistoryServer垃圾回收（GC）时间”。查看JobHistoryServer每分钟的垃圾回收时间统计情况。 3.查看JobHistoryServer每分钟的垃圾回收时间统计值是否大于告警阈值（默认12秒）。 是，执行步骤4。 否，执行步骤7。 4.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Mapreduce > 配置 > 全部配置 > JobHistoryServer > 系统”。将“GCOPTS”参数根据实际情况调大。 说明 历史任务数10000和JobHistoryServer内存的对应关系如下： Xms30G Xmx30G XX:NewSize1G XX:MaxNewSize2G 5.保存配置，并重启JobHistoryServer实例。 6.观察界面告警是否清除。 是，处理完毕。 否，执行步骤7。

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。

本章节主要介绍 ALM12066 节点间互信失效。 告警解释 系统每一个小时检查一次主OMS节点和其他Agent节点间的互信是否正常，如果存在互信失效的节点，则发送告警。待客户修复改问题，该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除 12066 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 可能会导致管理面的一些操作异常。 可能原因 /etc/ssh/sshdconfig配置文件被破坏。 omm密码过期。 处理步骤 查看/etc/ssh/sshdconfig配置文件状态 1.打开FusionInsight Manager页面，在告警列表中，单击此告警所在行的，查看告警详情中涉及的主机列表。 2.以omm用户登录主OMS管理节点。 3.依次在告警详情中的节点执行ssh 命令：ssh host2 （host2为告警详情中OMS节点之外的其它节点），看是否连接失败。 是，执行步骤4。 否，执行步骤6。 4.打开host2主机上的“/etc/ssh/sshdconfig”配置文件，查看另外节点是否配置在AllowUsers 、DenyUsers等白名单或者黑名单中。 是，执行步骤5。 否，联系OS专家处理。 5.修改白名单或者黑名单设置，保证omm用户在白名单中或者不在黑名单中。然后持续一段时间观察告警是否清除。 是，操作结束。 否，执行步骤6。

本章节主要介绍ALM17005 Oozie非堆内存使用率超过阈值的告警。 告警解释 系统每30秒周期性检测Oozie服务非堆内存使用状态，当检测到Oozie实例非堆内存使用率超出阈值（最大内存的80%）时产生该告警。非堆内存使用率小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 17005 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 非堆内存溢出可能导致服务崩溃。 可能原因 该节点Oozie实例非堆内存使用率过大，或配置的非堆内存不合理，导致使用率超过阈值。 处理步骤 检查非堆内存使用率 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > Oozie非堆内存使用率超过阈值”，检查该告警的“定位信息”。查看告警上报的实例主机名。 2.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Oozie > 实例”，选择上报告警实例主机名对应的角色，单击图表区域右上角的下拉菜单，选择“定制 > 内存”中的“Oozie非堆内存使用率”，单击“确定”。 3.查看Oozie使用的非堆内存是否已达到Oozie设定的阈值（默认值为最大非堆内存的80%）。 是，执行步骤4。 否，执行步骤6。 4.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务> Oozie > 配置”，选择“全部配置”，在搜索栏里搜索“GCOPTS”参数，查看参数中是否有“XX: MaxMetaspaceSize”。如果是，将“XX: MaxMetaspaceSize”的值根据实际情况调大。如果否，手动添加“XX: MaxMetaspaceSize”并将值设置成为“Xmx”大小的1/8。单击“保存”，单击“确定”。 说明 JDK1.8不再支持MaxPermSize。 Oozie的GC参数配置建议： 建议将“XX:MaxMetaspaceSize”值设置成为“Xmx”大小的1/8，比如：“Xmx”设置为2G时，“XX:MaxMetaspaceSize”设置为256M；“Xmx”设置为4G时，“XX:MaxMetaspaceSize”设置为512M。 5.重启受影响的服务或实例，观察界面告警是否清除。 是，处理完毕。 否，执行步骤6。

本章节主要介绍ALM12014 设备分区丢失。 告警解释 系统按60秒周期进行扫描，如果检测到挂载服务目录的设备分区丢失（如由于设备拔出、设备离线、删除分区等原因）时，产生此告警。 此告警需要手动恢复。 告警属性 告警ID 告警级别 是否自动清除 12014 重要 否 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 挂载目录名 产生告警的挂载目录名。 设备分区名 产生告警的设备分区名。 对系统的影响 造成服务数据无法写入，业务系统运行不正常。 可能原因 硬盘被拔出 硬盘离线、硬盘坏道等故障。 处理步骤 1. 打开FusionInsight Manager页面，选择“运维 > 告警 > 告警”，单击此告警所在行的。 2. 从“定位信息”中获取“主机名”、“设备分区名”和“挂载目录名”。 3. 确认“主机名”节点的“设备分区名”对应的磁盘是否在对应服务器的插槽上。 是，执行步骤4。 否，执行步骤5。 4. 联系硬件工程师将故障磁盘在线拔出。 5. 以root用户登录发生告警的“主机名”节点，检查“/etc/fstab”文件中是否包含“挂载目录名”的行。 是，执行步骤6。 否，执行步骤7。 6. 执行vi /etc/fstab命令编辑文件，将包含“挂载目录名”的行删除。 7. 联系硬件工程师插入全新磁盘，具体操作请参考对应型号的硬件产品文档，如果原来故障的磁盘是RAID，那么请按照对应RAID卡的配置方法配置RAID。 8. 等待20～30分钟后执行mount命令（具体时间依赖磁盘的大小），检查磁盘是否已经挂载在目录“挂载目录名”上。 是，手动清除该告警，操作结束。 否，执行步骤9。

告警ID 告警级别 是否自动清除 12048 重要 是

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。

告警ID 告警级别 是否自动清除 12050 重要 是

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

告警ID 告警级别 是否自动清除 16006 重要 是