本章节主要介绍ALM38008 Kafka数据目录状态异常的告警。 告警解释 系统每60秒周期性检测Kafka数据目录状态，当检测到某数据目录状态异常时产生该告警。 平滑次数为1，当数据目录状态恢复正常后，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 38008 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名称。 目录名 产生告警的目录名称。 Trigger Condition Kafka数据目录状态异常。 对系统的影响 Kafka数据目录状态异常，会导致该数据目录上所有Partition的当前副本下线，多个节点同时出现数据目录状态异常，可能会导致部分Partition不可用。 可能原因 数据目录权限被篡改。 数据目录所在磁盘故障。 处理步骤 检查故障的数据目录权限 根据告警提示的主机信息，登录到该节点上。 1. 查看告警详细信息中所提示的数据目录及其子目录，属组是否为omm:wheel。 是，记录当前节点主机名，并执行步骤4。 否，执行步骤3。 2. 恢复数据目录及其子目录的属组为omm:wheel。 检查数据目录所在磁盘是否故障 使用omm用户，在所提示的数据目录的上一级目录下，进行创建、删除文件测试，看能够正常读写磁盘。 是，执行步骤6。 否，执行步骤5。 3. 更换或者修复数据目录所在磁盘，保证其可以正常读写。 4. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 实例”，进入Kafka实例页面，重启步骤2中主机名上的Broker实例。 5. 等待Broker启动完成之后，观察界面告警是否清除。 是，处理完毕。 否，执行步骤8。

收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 7. 在“服务”中勾选待操作集群的“Kafka”。 8. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 9. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

检查Kafka配置的直接内存大小 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 配置 > 全部配置 > Broker（角色）> 环境变量”。将“KAFKAHEAPOPTS”参数中配置的“Xmx”值参考如下说明调大。 说明 建议“KAFKAHEAPOPTS”参数中“Xmx”和“Xms”值保持一致。 建议根据步骤2查看“Kafka直接内存使用率”，调整“KAFKAHEAPOPTS”的值为“Kafka使用的直接内存大小”的两倍（可根据实际业务场景进行修改）。 3. 保存配置，并重启Kafka服务。 4. 观察界面告警是否清除。 是，处理完毕。 否，执行步骤7。 收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 5. 在“服务”中勾选待操作集群的“Kafka”。 6. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 7. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 38001 重要 是

检查Kafka配置的堆内存大小 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 配置 > 全部配置 > Broker（角色） > 环境变量”。将“KAFKAHEAPOPTS”参数的值参考如下说明调大。 说明 建议“KAFKAHEAPOPTS”参数中“Xmx”和“Xms”值保持一致。 建议根据步骤2查看“Kafka堆内存使用率”，调整“KAFKAHEAPOPTS”的值为“Kafka使用的堆内存大小”的两倍（可根据实际业务场景进行修改）。 3. 观察界面告警是否清除。 是，处理完毕。 否，执行步骤6。 收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 4. 在“服务”中勾选待操作集群的“Kafka”。 5. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 6. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍ALM18018 NodeManager堆内存使用率超过阈值的告警。 告警解释 系统每30秒周期性检测Yarn服务堆内存使用状态，当检测到NodeManager实例堆内存使用率超出阈值（最大内存的95%）时产生该告警。 堆内存使用率小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 18018 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 NodeManager堆内存使用率过高，会影响Yarn任务提交和运行的性能，甚至可能会造成内存溢出导致Yarn服务崩溃。 可能原因 该节点NodeManager实例堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。 处理步骤 检查堆内存使用率 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > ALM18018 NodeManager堆内存使用率超过阈值 > 定位信息”。查看告警上报的实例的IP地址。 2.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 实例 > NodeManager（对应上报告警实例IP地址）”，单击图表区域右上角的下拉菜单，选择“定制 > 资源”，勾选“NodeManager内存使用率”。查看堆内存使用情况。 3.查看NodeManager使用的堆内存是否已达到NodeManager设定的最大堆内存的95%(默认阈值)。 是，执行步骤4。 否，执行步骤6。 4.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置 > 全部配置 > NodeManager > 系统”。将“GCOPTS”参数的值根据实际情况调大。保存配置，并重启NodeManager实例。 说明 集群中的NodeManager实例数量和NodeManager内存大小的对应关系参考如下： 集群中的NodeManager实例数据达到100，NodeManager实例的JVM参数建议配置为：Xms2G Xmx4G XX:NewSize512M XX:MaxNewSize1G。 集群中的NodeManager实例数据达到200，NodeManager实例的JVM参数建议配置为：Xms4G Xmx4G XX:NewSize512M XX:MaxNewSize1G。 集群中的NodeManager实例数据达到500以上，NodeManager实例的JVM参数建议配置为：Xms8G Xmx8G XX:NewSize1G XX:MaxNewSize2G。 5.观察界面告警是否清除。 是，处理完毕。 否，执行步骤6。

告警ID 告警级别 是否自动清除 18019 重要 是

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

收集故障信息 9.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 10.在“服务”中勾选待操作集群的“HBase”。 11.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 12.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 4. 在FusionInsight Manager首页，单击“运维 > 日志 > 下载”。 5. 在“服务”中勾选待操作集群的如下节点信息。 Kudu 6. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 7. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 29104 紧急 是

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。

告警ID 告警级别 是否自动清除 12081 重要 是

本章节主要介绍 ALM12082 ommdba用户即将过期。 告警解释 系统每天零点开始，每8小时检测当前系统中ommdba用户是否即将过期，如果用户即将在15天内过期，则发送告警。 当系统中ommdba用户过期的期限重置，当前状态为正常，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12082 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 ommdba用户过期，OMS数据库无法管理，数据不能被访问。 可能原因 该主机ommdba用户即将过期。 处理步骤 检查系统中ommdba用户是否即将过期 1.以root用户登录集群故障节点。 执行chage l ommdba命令来查看当前ommdba用户设置信息。 2.查找“Account expires”对应值，查看用户设置是否即将过期。 说明 如果参数值为“never”，则代表永不过期；如果为日期值，则查看是否在15天内过期。 是，执行步骤3。 否，执行步骤4。 3.执行 chage E 'yyyyMMdd' ommdba命令设置 ommdba 用户过期的期限，等待8小时，观察告警是否自动清除。 是，操作结束。 否，执行步骤4。

本章节主要介绍ALM29006 Impalad ODBC连接数超过阈值的告警。 告警解释 以30s为周期检测连接到该Impalad节点的客户端连接数，当检测到的连接数超过自定义阈值（默认60）时，系统产生此告警。 当系统检测到客户端连接数减少到阈值以下时，告警将自动解除。 告警属性 告警ID 告警级别 是否自动清除 29006 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 Trigger Condition 系统当前指标取值满足自定义的告警设置条件 对系统的影响 后续新建立客户端连接可能会阻塞甚至失败。 可能原因 该Impalad服务维护的客户端连接过多，或者阈值设定的太小。 处理步骤 1. 在FusionInsight Manager首页，选择“运维 > 告警 > 阈值设置 > Impala > 连接数 > 已经连接到Impalad进程的ODBC数量" ，检查阈值大小。 2. 检查连接到当前Impalad进程的ODBC应用数，并关闭闲置的应用，观察告警是否自动清除。 是，处理完毕。 否，执行步骤3，修改并发Impalad支持的并发连接数。 3. 在FusionInsight Manager首页，选择“集群 > Impala > 配置 > 全部配置 > Impalad > 自定义”，增加自定义参数 feservicethreads，该参数默认值64，请按照需要修改该值，单击“保存”按钮保存配置。 4. 在所有客户端的查询任务都执行完成后，选择“实例”页签，勾选所有“Impalad”实例并重启。 5. 重启完成后告警将消失，请重新运行使用ODBC方式连接Impalad的应用。

本章节主要介绍ALM29100 Kudu服务不可用的告警。 告警解释 系统每60秒周期性检测Kudu的服务状态，当检测到所有的Kudu实例都异常时，就会认为Kudu服务不可用，此时产生该告警。 至少一个Kudu实例正常后，系统认为Kudu实例服务恢复，告警清除。 告警属性 告警ID 告警级别 是否自动清除 29100 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 用户无法使用Kudu服务。 可能原因 Kudu有实例存在异常。 处理步骤 处理Kudu实例异常 1. 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”页面，找到“ALM29100 Kudu服务异常”告警。 2. 查看告警的“定位信息”一栏，记录主机名与角色名。 3. 选择“集群 > 服务 > Kudu > 实例”，单击步骤2中对应主机名的角色名称，通过查看本实例的日志，修复这个实例，然后查看是否消除各个Kudu实例异常告警。 是，执行步骤4。 否，执行步骤5。 4. 在“运维 > 告警 > 告警”页签，查看该告警是否恢复。 是，处理完毕。 否，执行步骤5。

告警ID 告警级别 是否自动清除 29004 次要 是

告警ID 告警级别 是否自动清除 29000 紧急 是

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。

告警ID 告警级别 是否自动清除 18000 紧急 是

检查NodeManager状态 1.在FusionInsight Manager界面，选择“运维 > 告警 > 告警”，在告警列表中找到当前告警，单击获取告警详细信息，在“附加信息”中获取丢失状态的节点。 2.确认处于丢失状态的节点是否是人为未经过退服操作，直接主动删除的主机。 是，执行步骤3。 否，执行步骤5。 3.选择“集群 > 待操作集群的名称 > 服务 > Yarn”，进入“配置”页面，选择“全部配置”，搜索“yarn.nodemanager.lost.alarm.threshold”，修改值为未退服主动删除的主机个数。设置成功后检查告警是否清除。 是，处理完毕。 否，执行步骤4。 4.手动清除此告警，后续删除主机前务必进行退服操作。 5.在FusionInsight Manager界面，选择“集群> 主机”，查看步骤1中获取的节点是否健康。 是，执行步骤7。 否，执行步骤6。 6.参考“ALM12006 节点故障”的操作步骤进行处理，节点恢复正常后，查看本告警是否恢复。 是，处理完毕。 否，执行步骤7。 检查进程状态 7.在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 实例”，查看是否存在状态为非“良好”的NodeManager。 是，执行步骤10。 否，执行步骤8。 8.确认此NodeManager实例是否被删除。 是，执行步骤9。 否，执行步骤11。 9.重启ResourceManager的主备实例，然后检查该告警是否恢复。 是，处理完毕。 否，执行步骤13。

收集故障信息 7.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 8.在“服务”中勾选待操作集群的“ResourceManager”。 9.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 10.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 12051 重要 是

收集故障信息 6.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 7.在“服务”中勾选“Controller”和“OmmServer”，单击“确定”。 8.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 9.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 16045 紧急 是

本章节主要介绍ALM16047 HiveServer已从Zookeeper注销的告警。 告警解释 系统每60秒周期性检测Hive服务，若Hive在Zookeeper上的注册信息丢失，或者Hive无法连接上Zookeeper，将会发出告警。 告警属性 告警ID 告警级别 是否自动清除 16047 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 当无法在Zookeeper上读取到Hive的配置，将会导致HiveServer不可用。 可能原因 网络故障。 ZooKeeper实例状态异常。 处理步骤 重启相关实例 1.登录FusionInsight Manager，在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，单击告警“Hive解注Zookeeper”所在行的下拉菜单，在“定位信息”中查看告警上报的角色名并确定实例IP地址。 2.选择“集群 > 待操作集群的名称 > 服务 > Hive > 实例”，勾选上报告警IP对应的实例，选择“更多 > 重启实例”。 3.重启完成后，等待5分钟，查看告警是否消除。 是，处理完毕。 否，执行步骤4。 收集故障信息 4.在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 5.在“服务”中勾选待操作集群的“Hive”。 6.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 7.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍ALM17004 Oozie堆内存使用率超过阈值的告警。 告警解释 系统每60秒周期性检测Oozie服务堆内存使用状态，当检测到Oozie实例堆内存使用率超出阈值（最大内存的95%）时产生该告警。堆内存使用率小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 17004 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 堆内存溢出可能导致服务崩溃。 可能原因 该节点Oozie实例堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。 处理步骤 检查堆内存使用率 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > Oozie堆内存使用率超过阈值”，检查该告警的“定位信息”。查看告警上报的实例主机名。 2.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Oozie > 实例”，选择上报告警实例主机名对应的角色，单击图表区域右上角的下拉菜单，选择“定制 > 内存”中的“Oozie堆内存使用率”，单击“确定”。 3.查看Oozie使用的堆内存是否已达到Oozie设定的阈值（默认值为最大堆内存的95%）。 是，执行步骤4。 否，执行步骤6。 4.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务> Oozie > 配置”，选择“全部配置”。在搜索栏里搜索“GCOPTS”参数，将“Xmx”的值根据实际情况调大，并单击“保存”，单击“确定”。 说明 admin用户默认不具备其他组件的管理权限，如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时，可手动创建具备对应组件管理权限的用户进行登录。 5.重启受影响的服务或实例，观察界面告警是否清除。 是，处理完毕。 否，执行步骤6。

收集故障信息。 6. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 7. 在“服务”中勾选待操作集群的如下节点信息。 NodeAgent Storm 8. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 9. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

检查主备Nimbus状态 8.选择“集群 > 待操作集群的名称 > 服务 > Storm Nimbus”，进入Nimbus实例页面。 9.查看“角色”中是否存在且仅存在一个状态为主的Nimbus节点。 是，执行步骤13。 否，执行步骤10。 10.勾选两个Nimbus角色实例，选择“更多 > 重启实例”，查看是否重启成功。 是，执行步骤11。 否，执行步骤13。 11.重新登录FusionInsight Manager管理界面，选择“集群 > 待操作集群的名称 > 服务 > Storm > Nimbus”，查看运行状态是否为“良好”。 是，执行步骤12。 否，执行步骤13。 12.等待30秒，查看告警是否恢复。 是，处理完毕。 否，执行步骤13。 收集故障信息 13.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 14.在“服务”中勾选待操作集群的如下节点信息。 KrbServer 说明 普通模式不需要下载KrbServer日志。 ZooKeeper Storm 15.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 16.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 26053 重要 是