处理步骤 检查内存使用量 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > MapReduce JobHistoryServer堆内存使用率超过阈值 > 定位信息”。查看告警上报的实例主机名。 2.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Mapreduce > 实例 > JobHistoryServer（对应上报告警实例主机名）”，单击图表区域右上角的下拉菜单，选择“定制 > 资源”，勾选“JobHistoryServer堆内存使用百分比统计”。查看堆内存使用情况。 3.查看JobHistoryServer使用的堆内存是否已达到JobHistoryServer设定的最大堆内存的95%。 是，执行步骤4。 否，执行步骤6。 4.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Mapreduce > 配置 > 全部配置 > JobHistoryServer > 系统”。将“GCOPTS”参数根据实际情况调大，并单击“保存”，单击“确定”并进重启。 说明 历史任务数10000和JobHistoryServer内存的对应关系如下： Xms30G Xmx30G XX:NewSize1G XX:MaxNewSize2G 5.观察界面告警是否清除？ 是，处理完毕。 否，执行步骤6。 收集故障信息 6.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 7.在“服务”中勾选待操作集群的如下节点信息。 NodeAgent Mapreduce 8.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 9.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 19. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 20. 在“服务”中勾选待操作集群的“DBService”和“NodeAgent”。 21. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 22. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Local DBService HA Name 本地DBService HA名称。 Peer DBService HA Name 对端DBService HA名称。

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

告警ID 告警级别 是否自动清除 14026 次要 是

告警ID 告警级别 是否自动清除 14029 次要 是

告警ID 告警级别 是否自动清除 16001 次要 是

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

收集故障息 6.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 7.在“服务”框中勾选待操作集群的“Flume”。 8.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 9.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 9.在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 10.在“服务”中勾选待操作集群的“HDFS”，单击“确定”。 11.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 12.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 45280 重要 是

收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 5. 在“服务”框中勾选待操作集群的“Ranger”。 6. 单击右上角的 设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 7. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。

告警ID 告警级别 是否自动清除 45176 次要 是

本章节主要介绍ALM45178 OBS数据写操作接口调用成功率低于阈值的告警。 告警解释 系统每30秒周期性检测OBS数写操作接口调用成功率是否小于阈值，当检测到小于所设置阈值时就会产生该告警 。 当OBS数据写操作接口调用成功率大于阈值时，该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除 45178 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS数据写操作接口调用成功率小于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。 可能原因 OBS服务端出现执行异常或严重超时。 处理步骤 检查堆内存使用率 在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > OBS数据写操作接口调用成功率低于阈值”，查看“定位信息”中的角色名并确定实例的IP地址。 1. 选择“集群 > 待操作集群的名称 > 服务 > meta > 实例 > meta（对应上报告警实例IP地址）”。单击图表区域右上角的下拉菜单，选择“定制”，在“OBS数据写操作”中勾选“OBS数据写操作接口调用成功率”，单击“确定”，查看OBS数据写操作接口调用成功率，确定是否有接口调用成功率低于阈值。 是，执行步骤3。 否，执行步骤5。 2. 选择“集群 > 待操作集群的名称 > 运维 > 告警 > 阈值设置 > meta > OBS数据写操作接口调用成功率”，将阈值或平滑次数参数的值根据实际情况调小。 3. 观察界面告警是否清除。 是，处理完毕。 否，执行步骤5。

收集故障信息 1.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 2.在“服务”中勾选操作集群的“Presto ”，单击“确定”。 3.单击右上角的 设置日志收集的“开始时间”和“结束时间”，分别为告警产生时间的前后30分钟，单击“下载”。 4.请联系运维人员，并发送已收集的故障日志信息。 参考信息 无。

告警ID 告警级别 可自动清除 44005 严重 是

参考信息 无。

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

本章节主要介绍ALM43018 JobHistory2x进程Full GC次数超出阈值的告警。 告警解释 系统每60秒周期性检测JobHistory2x进程的Full GC次数，当检测到JobHistory2x进程的Full GC次数超出阈值（连续3次检测超过12次）时产生该告警。用户可通过“运维 > 阈值设置 > 待操作集群的名称 > Spark2x > GC次数 > JobHistory2x的Full GC次数”修改阈值。当JobHistory2x进程Full GC次数小于或等于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 43018 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 GC次数超出阈值，会影响JobHistory2x进程运行的性能，甚至造成JobHistory2x进程不可用。 可能原因 该节点JobHistory2x进程堆内存使用率过大，或配置的堆内存不合理，导致进程Full GC频繁。 处理步骤 检查Full GC次数 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“告警ID”为“43018”的告警，查看“定位信息”中的角色名以及确认主机名所在的IP地址。 1. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 实例”，单击上报告警的JobHistory2x，进入实例“概览”页面，单击图表区域右上角的下拉菜单，选择“定制 > JobHistory2x的Full GC次数”，单击“确定”，查看JobHistory2x进程的Full GC次数是否大于阈值（默认值12）。 是，执行步骤3。 否，执行步骤6。 2. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，选择“JobHistory2x > 默认”，将“SPARKDAEMONMEMORY”参数的默认值为4G，可根据如下原则进行调整：若偶现告警，可以按0.5倍速率调大。若告警次数比较频繁，可以按1倍速率调大。 3. 重启所有的JobHistory2x实例。 4. 等待10分钟，观察界面告警是否清除。 是，处理完毕。 否，执行步骤6。

收集故障信息 6.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 7.在“服务”中勾选待操作集群的如下节点信息。 NodeAgent。 Yarn。 8.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 9.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍ALM43017 JDBCServer2x进程Full GC次数超出阈值的告警。 告警解释 系统每60秒周期性检测JDBCServer2x进程的Full GC次数，当检测到JDBCServer2x进程的Full GC次数超出阈值（连续3次检测超过12次）时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Spark2x > GC次数 > JDBCServer2x的Full GC次数”修改阈值。当JDBCServer2x进程Full GC次数小于或等于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 43017 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 GC次数超出阈值，会影响JDBCServer2x进程运行的性能，甚至造成JDBCServer2x进程不可用。 可能原因 该节点JDBCServer2x进程堆内存使用率过大，或配置的堆内存不合理，导致进程Full GC频繁。 处理步骤 检查Full GC次数 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“告警ID”为“43017”的告警，查看“定位信息”中的角色名以及确认主机名所在的IP地址。 1. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 实例”，单击上报告警的JDBCServer2x，进入实例“概览”页面，单击图表区域右上角的下拉菜单，选择“定制 > JDBCServer2x的Full GC次数”，单击“确定”，查看JDBCServer进程的Full GC次数是否大于阈值（默认12）。 是，执行步骤3。 否，执行步骤6。 2. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，选择“JDBCServer2x > 性能”，“SPARKDRIVERMEMORY”参数的默认值为4G，可根据如下原则进行调整：若偶现告警，可以按0.5倍速率调大。若告警次数比较频繁，可以按1倍速率调大。多业务量、高并发的情况可以考虑增加实例。 3. 重启所有的JDBCServer2x实例。 4. 等待10分钟，观察界面告警是否清除。 是，处理完毕。 否，执行步骤6。

告警ID 告警级别 是否自动清除 13005 次要 是

本章节主要介绍 ALM13007 ZooKeeper客户端可用连接数不足。 告警解释 系统每60秒周期性检测ZooKeeper客户端连接到ZooKeeper服务器上的活动进程数，当检测到连接数目超过阈值时产生该告警。 告警属性 告警ID 告警级别 是否自动清除 13007 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 ClientIP 客户端IP。 ServerIP 服务端IP。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 大量进程连接到ZooKeeper，导致ZooKeeper连接数被占满，无法对外正常提供服务。 可能原因 客户端大量进程连接到ZooKeeper，或者自定义阈值设置不合理。 处理步骤 检查客户端是否存在大量进程连接ZooKeeper的情况 1. 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，单击告警“ZooKeeper客户端可用连接数不足”所在行的下拉菜单，在定位信息中确认告警上报的主机名所在的节点IP地址。 2. 选择“集群 > 待操作集群的名称 > 服务 >ZooKeeper”，单击“资源”进入资源页面，在表“连接数（按客户端IP）”中查看告警对应客户端IP的连接数是否较大。 是，执行步骤3。 否，执行步骤4。 3. 请确认并排查该客户端是否存在进程连接泄露的情况。 4. 单击“连接数（按客户端IP）”中的 ，进入“阈值设置”页面，单击“操作”下的“修改”。参考“集群 > 待操作集群的名称 > 服务 > ZooKeeper > 配置 > 全部配置 > quorumpeer”中参数“ maxClientCnxns”的值，调大阈值。 5. 观察界面告警是否清除。 是，处理完毕。 否，执行步骤 6。

本章节主要介绍 ALM13008 ZooKeeper Znode数量使用率超出阈值。 告警解释 系统每小时周期性检测ZooKeeper服务数据目录下二级znode状态，当检测到二级znode的总数量超过阈值时产生该告警。 告警属性 告警ID 告警级别 是否自动清除 13008 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 服务目录 产生告警的目录名称。 角色名 产生告警的角色名称。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 向ZooKeeper数据目录空间写入大量数据，导致ZooKeeper无法对外正常提供服务。 可能原因 往ZooKeeper数据目录空间写入大量数据。 自定义阈值设置不合理。 处理步骤 检查告警目录是否写入大量数据 1. 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 >ZooKeeper”，单击“资源”，在精细化监控“资源使用（按二级Znode）”中单击“按Znode数量”，查看监控中是否有顶级Znode被写入较多数据。 是，执行步骤2。 否，执行步骤4。 2. 登录FusionInsight Manager，选择“运维 > 告警 > 告警”，打开告警“ALM13008 ZooKeeper Znode数量使用率超出阈值”左侧下拉菜单，在“定位信息”的“服务目录”中获取告警的Znode路径。 3. 以集群用户登录ZooKeeper客户端，删除告警对应Znode下的无用数据。 4. 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 >ZooKeeper > 配置 > 全部配置”，搜索“max.znode.count”，即ZooKeeper目录的数量配额的最大值，告警阈值为该值的80%，修改调大该配置项，单击“保存”，重启服务使配置生效。 5. 观察界面告警是否清除。 是，处理完毕。 否，执行步骤 6。

调整阈值 16.在FusionInsight Manager首页，选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > HBase > 单个RegionServer的Region数目”，选中目前应用的规则，单击“修改”查看目前的阈值设置是否合理。 如果过小，则根据集群实际情况，增大阈值，执行步骤17。 如果阈值设置合理，则执行步骤18。 17.观察该告警是否清除。 是，处理完毕。 否，执行步骤18。 系统扩容 18.对HBase集群扩容，增加节点，并在节点上增加RegionServer实例，然后按照“负载均衡”小节中，打开负载均衡功能并手动触发。 19.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务”，单击产生该告警的HBase服务实例，单击“HMaster(主)”，打开该HBase实例的WebUI，刷新页面查看Region分布是否均衡。 是，执行步骤20。 否，执行步骤21。 20.观察该告警是否清除。 是，处理完毕。 否，执行步骤21。 收集故障信息 21.在主备集群的FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 22.在“服务”中勾选待操作集群的“HBase”。 23.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 24.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

检查HiveServer background线程池容量 5.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Hive > 具体的HiveServer实例 ”，找到“Background线程数”与“Background线程使用率”监控信息。 6.查看“${BIGDATAHOME}/FusionInsightHD8.1.0.1/123HiveServer/etc/hivesite.xml”文件中“hive.server2.async.exec.threads”数量，适当增大该数值（如：增大原数值的20%）。 7.保存更新配置。 8.查看本告警是否恢复。 是，操作结束。 否，执行步骤9。 收集故障信息 9.在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 10.在“服务”中勾选待操作集群的“Hive”。 11.单击右上角的设置日志收集的“开始时间”和“结束时间”，分别为告警产生时间的前后10分钟，单击“下载”。 12.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Threshold 产生告警的阈值。

更换磁盘 18. 在FusionInsight Manager界面，选择“运维 > 告警 > 告警”。 19. 查看该告警的详细信息，查看定位信息中对应的“主机名”字段和“磁盘名”字段的值，获取该告警上报的故障磁盘信息。 20. 更换硬盘。 21. 检查告警是否清除。 是，操作结束。 否，执行步骤22。 收集故障信息 22. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 23. 在“服务”中勾选“OMS”，单击“确定”。 24. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 25. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 43013 重要 是