本章节主要介绍 ALM13008 ZooKeeper Znode数量使用率超出阈值。 告警解释 系统每小时周期性检测ZooKeeper服务数据目录下二级znode状态，当检测到二级znode的总数量超过阈值时产生该告警。 告警属性 告警ID 告警级别 是否自动清除 13008 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 服务目录 产生告警的目录名称。 角色名 产生告警的角色名称。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 向ZooKeeper数据目录空间写入大量数据，导致ZooKeeper无法对外正常提供服务。 可能原因 往ZooKeeper数据目录空间写入大量数据。 自定义阈值设置不合理。 处理步骤 检查告警目录是否写入大量数据 1. 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 >ZooKeeper”，单击“资源”，在精细化监控“资源使用（按二级Znode）”中单击“按Znode数量”，查看监控中是否有顶级Znode被写入较多数据。 是，执行步骤2。 否，执行步骤4。 2. 登录FusionInsight Manager，选择“运维 > 告警 > 告警”，打开告警“ALM13008 ZooKeeper Znode数量使用率超出阈值”左侧下拉菜单，在“定位信息”的“服务目录”中获取告警的Znode路径。 3. 以集群用户登录ZooKeeper客户端，删除告警对应Znode下的无用数据。 4. 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 >ZooKeeper > 配置 > 全部配置”，搜索“max.znode.count”，即ZooKeeper目录的数量配额的最大值，告警阈值为该值的80%，修改调大该配置项，单击“保存”，重启服务使配置生效。 5. 观察界面告警是否清除。 是，处理完毕。 否，执行步骤 6。

调整阈值 16.在FusionInsight Manager首页，选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > HBase > 单个RegionServer的Region数目”，选中目前应用的规则，单击“修改”查看目前的阈值设置是否合理。 如果过小，则根据集群实际情况，增大阈值，执行步骤17。 如果阈值设置合理，则执行步骤18。 17.观察该告警是否清除。 是，处理完毕。 否，执行步骤18。 系统扩容 18.对HBase集群扩容，增加节点，并在节点上增加RegionServer实例，然后按照“负载均衡”小节中，打开负载均衡功能并手动触发。 19.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务”，单击产生该告警的HBase服务实例，单击“HMaster(主)”，打开该HBase实例的WebUI，刷新页面查看Region分布是否均衡。 是，执行步骤20。 否，执行步骤21。 20.观察该告警是否清除。 是，处理完毕。 否，执行步骤21。 收集故障信息 21.在主备集群的FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 22.在“服务”中勾选待操作集群的“HBase”。 23.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 24.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

检查HiveServer background线程池容量 5.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Hive > 具体的HiveServer实例 ”，找到“Background线程数”与“Background线程使用率”监控信息。 6.查看“${BIGDATAHOME}/FusionInsightHD8.1.0.1/123HiveServer/etc/hivesite.xml”文件中“hive.server2.async.exec.threads”数量，适当增大该数值（如：增大原数值的20%）。 7.保存更新配置。 8.查看本告警是否恢复。 是，操作结束。 否，执行步骤9。 收集故障信息 9.在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 10.在“服务”中勾选待操作集群的“Hive”。 11.单击右上角的设置日志收集的“开始时间”和“结束时间”，分别为告警产生时间的前后10分钟，单击“下载”。 12.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Threshold 产生告警的阈值。

更换磁盘 18. 在FusionInsight Manager界面，选择“运维 > 告警 > 告警”。 19. 查看该告警的详细信息，查看定位信息中对应的“主机名”字段和“磁盘名”字段的值，获取该告警上报的故障磁盘信息。 20. 更换硬盘。 21. 检查告警是否清除。 是，操作结束。 否，执行步骤22。 收集故障信息 22. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 23. 在“服务”中勾选“OMS”，单击“确定”。 24. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 25. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 43013 重要 是

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

告警ID 告警级别 是否自动清除 43010 重要 是

本章节主要介绍ALM43011 JDBCServer2x进程非堆内存使用超出阈值的告警。 告警解释 系统每30秒周期性检测JDBCServer2x进程非堆内存使用状态，当检测到JDBCServer2x进程非堆内存使用率超出阈值（最大内存的95%）时产生该告警。 告警属性 告警ID 告警级别 是否自动清除 43011 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 JDBCServer2x进程非堆内存使用率过高，会影响JDBCServer2x进程运行的性能，甚至造成内存溢出导致JDBCServer2x进程不可用。 可能原因 该节点JDBCServer2x进程非堆内存使用率过大，或配置的非堆内存不合理，导致使用率超过阈值。 处理步骤 检查非堆内存使用率 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“ID”为“43011”的告警，查看“定位信息”中的角色名以及确认主机名所在的IP地址。 1. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 实例”，单击告警上报的JDBCServer2x，进入实例“概览”页面，单击图表区域右上角的下拉菜单，选择“定制 > JDBCServer2x内存使用率统计”，单击“确定”，查看JDBCServer2x进程使用的非堆内存是否已达到JDBCServer2x进程设定的最大非堆内存的阈值（默认95%）。 是，执行步骤3。 否，执行步骤7。 2. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 实例”，单击告警上报的JDBCServer2x，进入实例“概览”页面，单击图表区域右上角的下拉菜单，选择“定制 > JDBCServer2x进程的非堆内存统计” ，单击“确定”，根据告警产生时间，查看对应时间段的“JDBCServer2x进程使用的非堆内存”的值，获取最大值。 3. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，选择“JDBCServer2x > 性能”，将“spark.driver.extraJavaOptions”参数中XX:MaxMetaspaceSize的值根据如下原则调整：告警时间段内JDBCServer2x使用的非堆内存的最大值和“JDBCServer2x非堆内存使用率统计（JDBCServer2x）”阈值的比值。 说明 在FusionInsight Manager首页，选择“运维 > 告警 > 阈值设置 >待操作集群名称 > Spark2x > 内存 > JDBCServer2x非堆内存使用率统计（JDBCServer2x）”，可查看“阈值”。 4. 重启所有的JDBCServer2x实例。 5. 等待10分钟，观察界面告警是否清除。 是，处理完毕。 否，执行步骤7。

本章节主要介绍ALM12015 设备分区文件系统只读。 告警解释 系统按60秒周期进行扫描，如果检测到挂载服务目录的设备分区变为只读模式（如设备有坏扇区、文件系统存在故障等原因），则触发此告警。 系统如果检测到挂载服务目录的设备分区的只读模式消失（比如文件系统修复为读写模式、设备拔出、设备被重新格式化等原因），则告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12015 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 挂载目录名 产生告警的挂载目录名。 设备分区名 产生告警的设备分区名。 对系统的影响 造成服务数据无法写入，业务系统运行不正常。 可能原因 硬盘存在坏道等故障。 处理步骤 1.打开FusionInsight Manager页面，选择“运维 > 告警 > 告警”，单击此告警所在行的。 2.从“定位信息”中获取“主机名”和“设备分区名”，其中“主机名”为故障告警的节点，“设备分区名”为故障磁盘的分区。 3.联系硬件工程师确认为磁盘硬件故障之后，将服务器上故障磁盘在线拔出。 4.拔出磁盘后系统会上报“ALM12014 分区丢失”告警，参考ALM12014 分区丢失进行处理，处理完成后，本告警即可自动消除。

本章节主要介绍ALM14024 租户空间使用率超过阈值的告警。 告警解释 系统每小时周期性检测租户所关联的每个目录的空间使用率（每个目录已使用的空间大小/每个目录分配的空间大小），并把每个目录实际的空间使用率和该目录设置的阈值相比较。当检测到租户所关联的目录空间使用率高于该目录设置的阈值时，产生该告警。 当上报告警的目录的空间使用率小于或等于该目录设置的阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 14024 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名称。 租户名 产生告警的租户名称。 目录名 产生告警的目录名称。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 当监控的租户目录空间使用率超过用户自定义设置的阈值时触发该告警，但不影响对该目录继续写入文件。一旦超过该目录分配的最大存储空间，则HDFS写入数据会失败。 可能原因 告警阈值配置不合理。 租户分配的空间容量不合理

本章节主要介绍ALM38008 Kafka数据目录状态异常的告警。 告警解释 系统每60秒周期性检测Kafka数据目录状态，当检测到某数据目录状态异常时产生该告警。 平滑次数为1，当数据目录状态恢复正常后，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 38008 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名称。 目录名 产生告警的目录名称。 Trigger Condition Kafka数据目录状态异常。 对系统的影响 Kafka数据目录状态异常，会导致该数据目录上所有Partition的当前副本下线，多个节点同时出现数据目录状态异常，可能会导致部分Partition不可用。 可能原因 数据目录权限被篡改。 数据目录所在磁盘故障。 处理步骤 检查故障的数据目录权限 根据告警提示的主机信息，登录到该节点上。 1. 查看告警详细信息中所提示的数据目录及其子目录，属组是否为omm:wheel。 是，记录当前节点主机名，并执行步骤4。 否，执行步骤3。 2. 恢复数据目录及其子目录的属组为omm:wheel。 检查数据目录所在磁盘是否故障 使用omm用户，在所提示的数据目录的上一级目录下，进行创建、删除文件测试，看能够正常读写磁盘。 是，执行步骤6。 否，执行步骤5。 3. 更换或者修复数据目录所在磁盘，保证其可以正常读写。 4. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 实例”，进入Kafka实例页面，重启步骤2中主机名上的Broker实例。 5. 等待Broker启动完成之后，观察界面告警是否清除。 是，处理完毕。 否，执行步骤8。

收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 7. 在“服务”中勾选待操作集群的“Kafka”。 8. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 9. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

检查Kafka配置的直接内存大小 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 配置 > 全部配置 > Broker（角色）> 环境变量”。将“KAFKAHEAPOPTS”参数中配置的“Xmx”值参考如下说明调大。 说明 建议“KAFKAHEAPOPTS”参数中“Xmx”和“Xms”值保持一致。 建议根据步骤2查看“Kafka直接内存使用率”，调整“KAFKAHEAPOPTS”的值为“Kafka使用的直接内存大小”的两倍（可根据实际业务场景进行修改）。 3. 保存配置，并重启Kafka服务。 4. 观察界面告警是否清除。 是，处理完毕。 否，执行步骤7。 收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 5. 在“服务”中勾选待操作集群的“Kafka”。 6. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 7. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 38001 重要 是

检查Kafka配置的堆内存大小 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 配置 > 全部配置 > Broker（角色） > 环境变量”。将“KAFKAHEAPOPTS”参数的值参考如下说明调大。 说明 建议“KAFKAHEAPOPTS”参数中“Xmx”和“Xms”值保持一致。 建议根据步骤2查看“Kafka堆内存使用率”，调整“KAFKAHEAPOPTS”的值为“Kafka使用的堆内存大小”的两倍（可根据实际业务场景进行修改）。 3. 观察界面告警是否清除。 是，处理完毕。 否，执行步骤6。 收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 4. 在“服务”中勾选待操作集群的“Kafka”。 5. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 6. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍ALM18018 NodeManager堆内存使用率超过阈值的告警。 告警解释 系统每30秒周期性检测Yarn服务堆内存使用状态，当检测到NodeManager实例堆内存使用率超出阈值（最大内存的95%）时产生该告警。 堆内存使用率小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 18018 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 NodeManager堆内存使用率过高，会影响Yarn任务提交和运行的性能，甚至可能会造成内存溢出导致Yarn服务崩溃。 可能原因 该节点NodeManager实例堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。 处理步骤 检查堆内存使用率 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > ALM18018 NodeManager堆内存使用率超过阈值 > 定位信息”。查看告警上报的实例的IP地址。 2.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 实例 > NodeManager（对应上报告警实例IP地址）”，单击图表区域右上角的下拉菜单，选择“定制 > 资源”，勾选“NodeManager内存使用率”。查看堆内存使用情况。 3.查看NodeManager使用的堆内存是否已达到NodeManager设定的最大堆内存的95%(默认阈值)。 是，执行步骤4。 否，执行步骤6。 4.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置 > 全部配置 > NodeManager > 系统”。将“GCOPTS”参数的值根据实际情况调大。保存配置，并重启NodeManager实例。 说明 集群中的NodeManager实例数量和NodeManager内存大小的对应关系参考如下： 集群中的NodeManager实例数据达到100，NodeManager实例的JVM参数建议配置为：Xms2G Xmx4G XX:NewSize512M XX:MaxNewSize1G。 集群中的NodeManager实例数据达到200，NodeManager实例的JVM参数建议配置为：Xms4G Xmx4G XX:NewSize512M XX:MaxNewSize1G。 集群中的NodeManager实例数据达到500以上，NodeManager实例的JVM参数建议配置为：Xms8G Xmx8G XX:NewSize1G XX:MaxNewSize2G。 5.观察界面告警是否清除。 是，处理完毕。 否，执行步骤6。

告警ID 告警级别 是否自动清除 18019 重要 是

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

收集故障信息 9.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 10.在“服务”中勾选待操作集群的“HBase”。 11.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 12.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 4. 在FusionInsight Manager首页，单击“运维 > 日志 > 下载”。 5. 在“服务”中勾选待操作集群的如下节点信息。 Kudu 6. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 7. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 29104 紧急 是

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。

告警ID 告警级别 是否自动清除 12081 重要 是

本章节主要介绍 ALM12082 ommdba用户即将过期。 告警解释 系统每天零点开始，每8小时检测当前系统中ommdba用户是否即将过期，如果用户即将在15天内过期，则发送告警。 当系统中ommdba用户过期的期限重置，当前状态为正常，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12082 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 ommdba用户过期，OMS数据库无法管理，数据不能被访问。 可能原因 该主机ommdba用户即将过期。 处理步骤 检查系统中ommdba用户是否即将过期 1.以root用户登录集群故障节点。 执行chage l ommdba命令来查看当前ommdba用户设置信息。 2.查找“Account expires”对应值，查看用户设置是否即将过期。 说明 如果参数值为“never”，则代表永不过期；如果为日期值，则查看是否在15天内过期。 是，执行步骤3。 否，执行步骤4。 3.执行 chage E 'yyyyMMdd' ommdba命令设置 ommdba 用户过期的期限，等待8小时，观察告警是否自动清除。 是，操作结束。 否，执行步骤4。

本章节主要介绍ALM29006 Impalad ODBC连接数超过阈值的告警。 告警解释 以30s为周期检测连接到该Impalad节点的客户端连接数，当检测到的连接数超过自定义阈值（默认60）时，系统产生此告警。 当系统检测到客户端连接数减少到阈值以下时，告警将自动解除。 告警属性 告警ID 告警级别 是否自动清除 29006 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 Trigger Condition 系统当前指标取值满足自定义的告警设置条件 对系统的影响 后续新建立客户端连接可能会阻塞甚至失败。 可能原因 该Impalad服务维护的客户端连接过多，或者阈值设定的太小。 处理步骤 1. 在FusionInsight Manager首页，选择“运维 > 告警 > 阈值设置 > Impala > 连接数 > 已经连接到Impalad进程的ODBC数量" ，检查阈值大小。 2. 检查连接到当前Impalad进程的ODBC应用数，并关闭闲置的应用，观察告警是否自动清除。 是，处理完毕。 否，执行步骤3，修改并发Impalad支持的并发连接数。 3. 在FusionInsight Manager首页，选择“集群 > Impala > 配置 > 全部配置 > Impalad > 自定义”，增加自定义参数 feservicethreads，该参数默认值64，请按照需要修改该值，单击“保存”按钮保存配置。 4. 在所有客户端的查询任务都执行完成后，选择“实例”页签，勾选所有“Impalad”实例并重启。 5. 重启完成后告警将消失，请重新运行使用ODBC方式连接Impalad的应用。

本章节主要介绍ALM29100 Kudu服务不可用的告警。 告警解释 系统每60秒周期性检测Kudu的服务状态，当检测到所有的Kudu实例都异常时，就会认为Kudu服务不可用，此时产生该告警。 至少一个Kudu实例正常后，系统认为Kudu实例服务恢复，告警清除。 告警属性 告警ID 告警级别 是否自动清除 29100 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 用户无法使用Kudu服务。 可能原因 Kudu有实例存在异常。 处理步骤 处理Kudu实例异常 1. 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”页面，找到“ALM29100 Kudu服务异常”告警。 2. 查看告警的“定位信息”一栏，记录主机名与角色名。 3. 选择“集群 > 服务 > Kudu > 实例”，单击步骤2中对应主机名的角色名称，通过查看本实例的日志，修复这个实例，然后查看是否消除各个Kudu实例异常告警。 是，执行步骤4。 否，执行步骤5。 4. 在“运维 > 告警 > 告警”页签，查看该告警是否恢复。 是，处理完毕。 否，执行步骤5。

告警ID 告警级别 是否自动清除 29004 次要 是

告警ID 告警级别 是否自动清除 29000 紧急 是

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。