收集故障信息 9.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 10.在“服务”中勾选待操作集群的“HBase”。 11.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 12.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 4. 在FusionInsight Manager首页，单击“运维 > 日志 > 下载”。 5. 在“服务”中勾选待操作集群的如下节点信息。 Kudu 6. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 7. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 29104 紧急 是

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。

告警ID 告警级别 是否自动清除 12081 重要 是

本章节主要介绍 ALM12082 ommdba用户即将过期。 告警解释 系统每天零点开始，每8小时检测当前系统中ommdba用户是否即将过期，如果用户即将在15天内过期，则发送告警。 当系统中ommdba用户过期的期限重置，当前状态为正常，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12082 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 ommdba用户过期，OMS数据库无法管理，数据不能被访问。 可能原因 该主机ommdba用户即将过期。 处理步骤 检查系统中ommdba用户是否即将过期 1.以root用户登录集群故障节点。 执行chage l ommdba命令来查看当前ommdba用户设置信息。 2.查找“Account expires”对应值，查看用户设置是否即将过期。 说明 如果参数值为“never”，则代表永不过期；如果为日期值，则查看是否在15天内过期。 是，执行步骤3。 否，执行步骤4。 3.执行 chage E 'yyyyMMdd' ommdba命令设置 ommdba 用户过期的期限，等待8小时，观察告警是否自动清除。 是，操作结束。 否，执行步骤4。

本章节主要介绍ALM29006 Impalad ODBC连接数超过阈值的告警。 告警解释 以30s为周期检测连接到该Impalad节点的客户端连接数，当检测到的连接数超过自定义阈值（默认60）时，系统产生此告警。 当系统检测到客户端连接数减少到阈值以下时，告警将自动解除。 告警属性 告警ID 告警级别 是否自动清除 29006 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 Trigger Condition 系统当前指标取值满足自定义的告警设置条件 对系统的影响 后续新建立客户端连接可能会阻塞甚至失败。 可能原因 该Impalad服务维护的客户端连接过多，或者阈值设定的太小。 处理步骤 1. 在FusionInsight Manager首页，选择“运维 > 告警 > 阈值设置 > Impala > 连接数 > 已经连接到Impalad进程的ODBC数量" ，检查阈值大小。 2. 检查连接到当前Impalad进程的ODBC应用数，并关闭闲置的应用，观察告警是否自动清除。 是，处理完毕。 否，执行步骤3，修改并发Impalad支持的并发连接数。 3. 在FusionInsight Manager首页，选择“集群 > Impala > 配置 > 全部配置 > Impalad > 自定义”，增加自定义参数 feservicethreads，该参数默认值64，请按照需要修改该值，单击“保存”按钮保存配置。 4. 在所有客户端的查询任务都执行完成后，选择“实例”页签，勾选所有“Impalad”实例并重启。 5. 重启完成后告警将消失，请重新运行使用ODBC方式连接Impalad的应用。

本章节主要介绍ALM29100 Kudu服务不可用的告警。 告警解释 系统每60秒周期性检测Kudu的服务状态，当检测到所有的Kudu实例都异常时，就会认为Kudu服务不可用，此时产生该告警。 至少一个Kudu实例正常后，系统认为Kudu实例服务恢复，告警清除。 告警属性 告警ID 告警级别 是否自动清除 29100 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 用户无法使用Kudu服务。 可能原因 Kudu有实例存在异常。 处理步骤 处理Kudu实例异常 1. 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”页面，找到“ALM29100 Kudu服务异常”告警。 2. 查看告警的“定位信息”一栏，记录主机名与角色名。 3. 选择“集群 > 服务 > Kudu > 实例”，单击步骤2中对应主机名的角色名称，通过查看本实例的日志，修复这个实例，然后查看是否消除各个Kudu实例异常告警。 是，执行步骤4。 否，执行步骤5。 4. 在“运维 > 告警 > 告警”页签，查看该告警是否恢复。 是，处理完毕。 否，执行步骤5。

告警ID 告警级别 是否自动清除 29004 次要 是

告警ID 告警级别 是否自动清除 29000 紧急 是

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。

告警ID 告警级别 是否自动清除 18000 紧急 是

检查NodeManager状态 1.在FusionInsight Manager界面，选择“运维 > 告警 > 告警”，在告警列表中找到当前告警，单击获取告警详细信息，在“附加信息”中获取丢失状态的节点。 2.确认处于丢失状态的节点是否是人为未经过退服操作，直接主动删除的主机。 是，执行步骤3。 否，执行步骤5。 3.选择“集群 > 待操作集群的名称 > 服务 > Yarn”，进入“配置”页面，选择“全部配置”，搜索“yarn.nodemanager.lost.alarm.threshold”，修改值为未退服主动删除的主机个数。设置成功后检查告警是否清除。 是，处理完毕。 否，执行步骤4。 4.手动清除此告警，后续删除主机前务必进行退服操作。 5.在FusionInsight Manager界面，选择“集群> 主机”，查看步骤1中获取的节点是否健康。 是，执行步骤7。 否，执行步骤6。 6.参考“ALM12006 节点故障”的操作步骤进行处理，节点恢复正常后，查看本告警是否恢复。 是，处理完毕。 否，执行步骤7。 检查进程状态 7.在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 实例”，查看是否存在状态为非“良好”的NodeManager。 是，执行步骤10。 否，执行步骤8。 8.确认此NodeManager实例是否被删除。 是，执行步骤9。 否，执行步骤11。 9.重启ResourceManager的主备实例，然后检查该告警是否恢复。 是，处理完毕。 否，执行步骤13。

收集故障信息 7.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 8.在“服务”中勾选待操作集群的“ResourceManager”。 9.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 10.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 12051 重要 是

收集故障信息 6.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 7.在“服务”中勾选“Controller”和“OmmServer”，单击“确定”。 8.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 9.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 16045 紧急 是

本章节主要介绍ALM16047 HiveServer已从Zookeeper注销的告警。 告警解释 系统每60秒周期性检测Hive服务，若Hive在Zookeeper上的注册信息丢失，或者Hive无法连接上Zookeeper，将会发出告警。 告警属性 告警ID 告警级别 是否自动清除 16047 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 当无法在Zookeeper上读取到Hive的配置，将会导致HiveServer不可用。 可能原因 网络故障。 ZooKeeper实例状态异常。 处理步骤 重启相关实例 1.登录FusionInsight Manager，在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，单击告警“Hive解注Zookeeper”所在行的下拉菜单，在“定位信息”中查看告警上报的角色名并确定实例IP地址。 2.选择“集群 > 待操作集群的名称 > 服务 > Hive > 实例”，勾选上报告警IP对应的实例，选择“更多 > 重启实例”。 3.重启完成后，等待5分钟，查看告警是否消除。 是，处理完毕。 否，执行步骤4。 收集故障信息 4.在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 5.在“服务”中勾选待操作集群的“Hive”。 6.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 7.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍ALM17004 Oozie堆内存使用率超过阈值的告警。 告警解释 系统每60秒周期性检测Oozie服务堆内存使用状态，当检测到Oozie实例堆内存使用率超出阈值（最大内存的95%）时产生该告警。堆内存使用率小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 17004 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 堆内存溢出可能导致服务崩溃。 可能原因 该节点Oozie实例堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。 处理步骤 检查堆内存使用率 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > Oozie堆内存使用率超过阈值”，检查该告警的“定位信息”。查看告警上报的实例主机名。 2.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Oozie > 实例”，选择上报告警实例主机名对应的角色，单击图表区域右上角的下拉菜单，选择“定制 > 内存”中的“Oozie堆内存使用率”，单击“确定”。 3.查看Oozie使用的堆内存是否已达到Oozie设定的阈值（默认值为最大堆内存的95%）。 是，执行步骤4。 否，执行步骤6。 4.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务> Oozie > 配置”，选择“全部配置”。在搜索栏里搜索“GCOPTS”参数，将“Xmx”的值根据实际情况调大，并单击“保存”，单击“确定”。 说明 admin用户默认不具备其他组件的管理权限，如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时，可手动创建具备对应组件管理权限的用户进行登录。 5.重启受影响的服务或实例，观察界面告警是否清除。 是，处理完毕。 否，执行步骤6。

收集故障信息。 6. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 7. 在“服务”中勾选待操作集群的如下节点信息。 NodeAgent Storm 8. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 9. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

检查主备Nimbus状态 8.选择“集群 > 待操作集群的名称 > 服务 > Storm Nimbus”，进入Nimbus实例页面。 9.查看“角色”中是否存在且仅存在一个状态为主的Nimbus节点。 是，执行步骤13。 否，执行步骤10。 10.勾选两个Nimbus角色实例，选择“更多 > 重启实例”，查看是否重启成功。 是，执行步骤11。 否，执行步骤13。 11.重新登录FusionInsight Manager管理界面，选择“集群 > 待操作集群的名称 > 服务 > Storm > Nimbus”，查看运行状态是否为“良好”。 是，执行步骤12。 否，执行步骤13。 12.等待30秒，查看告警是否恢复。 是，处理完毕。 否，执行步骤13。 收集故障信息 13.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 14.在“服务”中勾选待操作集群的如下节点信息。 KrbServer 说明 普通模式不需要下载KrbServer日志。 ZooKeeper Storm 15.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 16.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 26053 重要 是

检查网络是否异常 4.联系系统管理员，检查网络是否存在异常。 是，恢复网络故障，执行步骤 5。 否，执行步骤 6。 5.等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行步骤6。 收集故障信息 6.在主集群的FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 7.在“服务”中勾选“OMS”，单击“确定”。 8.设置“主机”为告警所在节点和主OMS节点。 9.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟，单击“下载”。 10.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。

检查JournalNode实例状态 6.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务”。 7.选择“HDFS > 实例”。 8.在实例页面中，查看JournalNode的“运行状态”是否为“良好”。 是，执行步骤11。 否，执行步骤9。 9.选择故障的JournalNode，选择“更多 > 重启实例”。查看JournalNode能否成功启动。 是，执行步骤10。 否，执行步骤24。 10.在“运维 > 告警 > 告警”页签，查看该告警是否恢复。 是，处理完毕。 否，执行步骤11。 检查DataNode实例状态 11.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HDFS”。 12.单击“实例”查看所有DataNode节点的“运行状态”是否为“良好”。 是，执行步骤15。 否，执行步骤13。 13.单击“实例”。在DataNode管理页面，选择故障DataNode，选择“更多 > 重启实例”。查看DataNode能否成功启动。 是，执行步骤14。 否，执行步骤15。 14.在“运维 > 告警 > 告警”页签，查看该告警是否恢复。 是，处理完毕。 否，执行步骤15。 检查磁盘状态 15.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 主机”。 16.在“磁盘”列，检查磁盘空间是否不足。 是，执行步骤17。 否，执行步骤19。 17.对磁盘进行扩容。 18.在“运维 > 告警 > 告警”页签，查看该告警是否恢复。 是，处理完毕。 否，执行步骤19。

告警ID 告警级别 是否自动清除 14028 次要 是

检查HDFS、Yarn、ZooKeeper等是否正常 8.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务”。 9.在服务列表查看HDFS、Yarn、ZooKeeper等服务是否正常。 是，执行步骤12。 否，执行步骤10。 10.查看告警界面的相关告警，参照对应告警帮助进行处理。 11.输入正确的HQL语句，观察命令是否正确执行。 是，执行步骤12。 否，执行步骤13。 12.等待一分钟，查看本告警是否清除。 是，处理结束。 否，执行步骤13。 收集故障信息 13.在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 14.在“服务”中勾选待操作集群的如下节点信息。 Mapreduce Hive 15.单击右上角的设置日志收集的“开始时间”和“结束时间”，分别为告警产生时间的前后10分钟，单击“下载”。 16.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

检查Hive与ZooKeeper、HDFS、Yarn和DBService之间的网络连接 17.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Hive”。 18.单击“实例”。 显示HiveServer实例列表。 19.单击“HiveServer”行的“主机名称”。 弹出HiveServer主机状态页面。 20.记录“基本信息”下的IP地址。 21.以omm用户通过步骤20获取的IP地址登录HiveServer所在的主机。 22.执行ping命令，查看HiveServer所在主机与ZooKeeper、HDFS、Yarn和DBService服务所在主机的网络连接是否正常。（获取ZooKeeper、HDFS、Yarn和DBService服务所在主机的IP地址的方式和获取HiveServer IP地址的方式相同。） 是，执行步骤25。 否，执行步骤23。 23.联系网络管理员恢复网络。 24.在告警列表中，查看“Hive服务不可用”告警是否清除。 是，处理完毕。 否，执行步骤25。 收集故障信息 25.在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 26.在“服务”中勾选待操作集群的如下节点信息。 ZooKeeper HDFS Yarn DBService Hive 27.单击右上角的设置日志收集的“开始时间”和“结束时间”，分别为告警产生时间的前后10分钟，单击“下载”。 28.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍ALM24015 Flume MonitorServer证书文件已过期的告警。 告警解释 MonitorServer每隔一个小时健康检查时，检查当前系统中的证书文件是否已过期。如果服务端证书已过期，产生该告警。服务端证书恢复的有效期内，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 24015 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 MonitorServer证书文件已过期，功能受限，Flume客户端将无法访问Flume服务端。 可能原因 MonitorServer证书文件已过期。 处理步骤 查看告警信息 1.登录FusionInsight Manager首页，选择“运维 > 告警 > 告警 > ALM24015 MonitorServer证书文件已过期 > 定位信息”。查看告警上报的实例的IP地址。 检查系统中合法证书文件的有效期，重新生成证书文件 2.以root用户登录告警所在节点主机，并执行su omm切换用户。 3.执行以下命令进入MonitorServer证书目录。 cd ${BIGDATAHOME}/FusionInsightPorter/install/FusionInsightFlume/flume/conf 4.执行以下命令查看用户证书的生效时间与失效时间，查看目前时间是否在有效期内。 openssl x509 noout text in mssChat.crt 是，执行步骤9。 否，执行步骤5。 5.执行以下命令进入Flume脚本目录。 cd ${BIGDATAHOME}/FusionInsightPorter/install/FusionInsightFlume/flume/bin 6.执行以下命令重新生成证书，等待1小时，观察此告警是否被清除。 sh geneJKS.sh m sKitty12@ n cKitty12@ 是，执行步骤8。 否，执行步骤7。 7.使用omm用户在Flume实例产生告警的节点，重复执行步骤5~步骤6，等待1小时，观察此告警是否被清除。 是，执行步骤8。 否，执行步骤9。 8.查看系统在定时检查时是否会再次产生此告警。 是，执行步骤9。 否，处理完毕。