本章节主要介绍 ALM12073 cep资源异常。 告警解释 HA每60秒周期性检测Manager的cep资源。当HA连续2次检测到cep资源异常时，产生该告警。 当HA检测到cep资源正常后，告警恢复。 cep资源为单主资源，一般资源异常会导致主备倒换，看到告警时，基本已经主备倒换，并在新主环境上启动新的cep资源，告警恢复。该告警用于提示用户，Manager主备倒换的原因。 告警属性 告警ID 告警级别 是否自动清除 12073 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 Manager主备倒换。 cep进程持续重启，可能会导致监控数据异常。 可能原因 cep进程异常。 处理步骤 检查cep进程是否异常 1.打开FusionInsight Manager页面，在告警列表中，单击此告警所在行的，查看该告警的主机名称。 2.以root用户登录该告警的主机地址。 3.执行命令 su omm ，执行 sh ${BIGDATAHOME}/omserver/OMS/workspace0/ha/module/hacom/script/statusha.sh，查询当前HA管理的cep资源状态是否正常（单机模式下面，cep资源为normal状态；双机模式下，cep资源在主节点为normal状态，在备节点为stopped状态。）。 是，执行步骤6。 否，执行步骤4。 4.执行命令 vi $BIGDATALOGHOME/omm/oms/cep/cep.log 和 vi $BIGDATALOGHOME/omm/oms/cep/scriptlog/cepha.log ，查看ha的cep资源日志，是否有关键字“ERROR”，分析日志查看资源异常原因并修复。 5.等待五分钟，查看告警是否恢复。 是，操作结束。 否，执行步骤6。

参数名称 参数含义 来源 产生告警的集群名称。 队列名 产生告警的队列名。 队列指标名 产生告警的队列指标名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

检查Zookeeper服务状态 5.在FusionInsight Manager的告警列表中，查看是否有“ALM13000 ZooKeeper服务不可用”告警产生。 是，执行步骤6。 否，执行步骤7。 6.参考“ALM13000 ZooKeeper服务不可用”的处理步骤处理故障后，检查本告警是否恢复。 是，处理完毕。 否，执行步骤7。 检查HDFS服务状态 7.在FusionInsight Manager的告警列表中，查看是否有“ALM14000 HDFS服务不可用”告警产生。 是，执行步骤8。 否，执行步骤9。 8.参考“ALM14000 HDFS服务不可用”的处理步骤处理故障后，检查本告警是否恢复。 是，处理完毕。 否，执行步骤9。 检查Yarn服务状态 9.在FusionInsight Manager的告警列表中，查看是否有“ALM18000 Yarn服务不可用”告警产生。 是，执行步骤10。 否，执行步骤11。 10.参考“ALM18000 Yarn服务不可用”的处理步骤处理故障后，检查本告警是否恢复。 是，处理完毕。 否，执行步骤11。 收集故障信息 11.在主集群的FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 12.在“服务”中勾选待操作集群的“Mapreduce”。 13.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 14.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。

告警ID 告警级别 是否自动清除 12085 次要 是

本章节主要介绍ALM18012 JobHistoryServer进程垃圾回收（GC）时间超过阈值的告警。 告警解释 系统每60秒周期性检测JobHistoryServer进程的垃圾回收（GC）占用时间，当检测到JobHistoryServer进程的垃圾回收（GC）时间超出阈值（默认12秒）时，产生该告警。 垃圾回收（GC）时间小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 18012 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 JobHistoryServer进程的垃圾回收时间过长，可能影响该JobHistoryServer进程正常提供服务。 可能原因 该节点JobHistoryServer实例堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。 处理步骤 检查GC时间 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > ALM18012 JobHistoryServer进程垃圾回收（GC）时间超过阈值 > 定位信息”。查看告警上报的实例的IP地址。 2.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > MapReduce > 实例 > JobHistoryServer（对应上报告警实例IP地址）”，单击图表区域右上角的下拉菜单，选择“定制 > 垃圾回收”，勾选“JobHistoryServer垃圾回收（GC）时间”。查看JobHistoryServer每分钟的垃圾回收时间统计情况。 3.查看JobHistoryServer每分钟的垃圾回收时间统计值是否大于告警阈值（默认12秒）。 是，执行步骤4。 否，执行步骤7。 4.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Mapreduce > 配置 > 全部配置 > JobHistoryServer > 系统”。将“GCOPTS”参数根据实际情况调大。 说明 历史任务数10000和JobHistoryServer内存的对应关系如下： Xms30G Xmx30G XX:NewSize1G XX:MaxNewSize2G 5.保存配置，并重启JobHistoryServer实例。 6.观察界面告警是否清除。 是，处理完毕。 否，执行步骤7。

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。

本章节主要介绍 ALM12066 节点间互信失效。 告警解释 系统每一个小时检查一次主OMS节点和其他Agent节点间的互信是否正常，如果存在互信失效的节点，则发送告警。待客户修复改问题，该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除 12066 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 可能会导致管理面的一些操作异常。 可能原因 /etc/ssh/sshdconfig配置文件被破坏。 omm密码过期。 处理步骤 查看/etc/ssh/sshdconfig配置文件状态 1.打开FusionInsight Manager页面，在告警列表中，单击此告警所在行的，查看告警详情中涉及的主机列表。 2.以omm用户登录主OMS管理节点。 3.依次在告警详情中的节点执行ssh 命令：ssh host2 （host2为告警详情中OMS节点之外的其它节点），看是否连接失败。 是，执行步骤4。 否，执行步骤6。 4.打开host2主机上的“/etc/ssh/sshdconfig”配置文件，查看另外节点是否配置在AllowUsers 、DenyUsers等白名单或者黑名单中。 是，执行步骤5。 否，联系OS专家处理。 5.修改白名单或者黑名单设置，保证omm用户在白名单中或者不在黑名单中。然后持续一段时间观察告警是否清除。 是，操作结束。 否，执行步骤6。

本章节主要介绍ALM17005 Oozie非堆内存使用率超过阈值的告警。 告警解释 系统每30秒周期性检测Oozie服务非堆内存使用状态，当检测到Oozie实例非堆内存使用率超出阈值（最大内存的80%）时产生该告警。非堆内存使用率小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 17005 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 非堆内存溢出可能导致服务崩溃。 可能原因 该节点Oozie实例非堆内存使用率过大，或配置的非堆内存不合理，导致使用率超过阈值。 处理步骤 检查非堆内存使用率 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > Oozie非堆内存使用率超过阈值”，检查该告警的“定位信息”。查看告警上报的实例主机名。 2.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Oozie > 实例”，选择上报告警实例主机名对应的角色，单击图表区域右上角的下拉菜单，选择“定制 > 内存”中的“Oozie非堆内存使用率”，单击“确定”。 3.查看Oozie使用的非堆内存是否已达到Oozie设定的阈值（默认值为最大非堆内存的80%）。 是，执行步骤4。 否，执行步骤6。 4.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务> Oozie > 配置”，选择“全部配置”，在搜索栏里搜索“GCOPTS”参数，查看参数中是否有“XX: MaxMetaspaceSize”。如果是，将“XX: MaxMetaspaceSize”的值根据实际情况调大。如果否，手动添加“XX: MaxMetaspaceSize”并将值设置成为“Xmx”大小的1/8。单击“保存”，单击“确定”。 说明 JDK1.8不再支持MaxPermSize。 Oozie的GC参数配置建议： 建议将“XX:MaxMetaspaceSize”值设置成为“Xmx”大小的1/8，比如：“Xmx”设置为2G时，“XX:MaxMetaspaceSize”设置为256M；“Xmx”设置为4G时，“XX:MaxMetaspaceSize”设置为512M。 5.重启受影响的服务或实例，观察界面告警是否清除。 是，处理完毕。 否，执行步骤6。

告警ID 告警级别 是否自动清除 12048 重要 是

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。

告警ID 告警级别 是否自动清除 12050 重要 是

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

告警ID 告警级别 是否自动清除 16006 重要 是

收集故障信息 6.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 7.在“服务”中勾选“NodeAgent”，单击“确定”。 8.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 9.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 /etc/fstab 检查文件的检查标准 检查“/etc/fstab”文件中配置的分区，是否在“/proc/mounts”中能找到。 检查在“fstab”中配置的swap分区，是否和“/proc/swaps”一一对应。 /etc/hosts 检查文件的检查标准 通过命令cat /etc/hosts查看是否存在以下几种情况，如果是，则说明该配置文件配置异常。 a. “/etc/hosts”文件不存在。 b. 该主机的主机名不在文件中配置。 c. 该主机名对应的IP不唯一。 d. 该主机名对应的IP在ifconfig命令下的回显列表中不存在。 e. 该文件中存在一个IP对应多个主机名的情况。 /etc/ssh/sshdconfig 检查文件的检查标准 通过命令vi /etc/ssh/sshdconfig查看下面几个配置项是否正确。 a. “UseDNS”项必须配置为“no”。 b. “MaxStartups”必须配置为大于等于1000。 c. “PasswordAuthentication”和“ChallengeResponseAuthentication”两个配置项中必须至少有一项没有配置或者至少有一项配置为“yes”。

告警ID 告警级别 是否自动清除 12038 重要 是

对系统的影响 发生连接数告警时，表示连接到HiveServer的session数过多，将会导致无法建立新的连接。 可能原因 连接HiveServer的客户端过多。 处理步骤 增加Hive最大连接数配置 1.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Hive > 配置”，选择“全部配置”。 2.然后查找“hive.server.session.control.maxconnections”，调大该配置项的数值。设该配置项的值为A，阈值为B，连接到HiveServer的session数为C，调整策略为A x B > C ，连接到HiveServer的session数可在Hive的监控界面查看监控指标“HiveServer的session数统计”。 3.查看本告警是否恢复。 是，操作结束。 否，执行步骤4。 收集故障信息 4.在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 5.在“服务”中勾选待操作集群的“Hive”。 6.单击右上角的设置日志收集的“开始时间”和“结束时间”，分别为告警产生时间的前后10分钟，单击“下载”。 7.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

处理步骤 查看阈值设置是否合理 1.查看告警定位信息，获取上报告警的租户名称，租户目录。 2.在FusiongInsight Manager首页，单击“租户资源”页面选择上报告警的租户名称，单击“资源”，查看上报告警的租户目录所对应的文件数阈值配置设置是否合理（默认90%为合理值，用户可以根据自己的实际需求调节）。 是，执行步骤5。 否，执行步骤3。 3.根据该租户该目录文件数的实际使用情况，在“资源”页面单击“修改”修改或取消上报告警的租户目录所对应的文件数阈值配置。 4.等待1分钟，检查该告警是否恢复。 是，处理完毕。 否，执行步骤5。 查看租户分配的文件对象数是否合理 5.在FusionInsight Manager首页，在“租户资源”页面选择上报告警的租户名称，单击“资源”，查看上报告警的租户目录所对应的文件目录数上限设置是否合理（根据该租户该目录实际业务情况而定）。 是，执行步骤8。 否，执行步骤6。 6.根据租户该目录的实际业务情况，在“资源”页面单击“修改”修改或取消上报告警的租户目录所对应的文件目录数上限。 7.等待1分钟，检查该告警是否恢复。 是，处理完毕。 否，执行步骤8。 收集故障信息 8.在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 9.在“服务”中勾选待操作集群的“HDFS”和Manager下的NodeAgent。 10.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后20分钟，单击“下载”。 11.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

服务 是否鉴权 是否支持开关鉴权 ClickHouse 鉴权 不支持修改 Flume 无鉴权 不支持修改 HBase 无鉴权 支持修改 HDFS 鉴权 支持修改 Hive 无鉴权 不支持修改 Hue 无鉴权 不支持修改 Kafka 无鉴权 不支持修改 Loader 无鉴权 不支持修改 Mapreduce 无鉴权 不支持修改 Oozie 鉴权 不支持修改 Spark2x 无鉴权 不支持修改 Storm 无鉴权 不支持修改 Yarn 无鉴权 支持修改 ZooKeeper 鉴权 支持修改

本章节主要介绍认证策略。 大数据平台用户需要对用户进行身份认证，防止不合法用户访问集群。安全模式或者普通模式的集群均提供认证能力。 安全模式 安全模式的集群统一使用Kerberos认证协议进行安全认证。Kerberos协议支持客户端与服务端进行相互认证，提高了安全性，可有效消除使用网络发送用户凭据进行模拟认证的安全风险。集群中由KrbServer服务提供Kerberos认证支持。 Kerberos用户对象 Kerberos协议中，每个用户对象即一个principal。一个完整的用户对象包含两个部分信息：用户名和域名。在运维管理或应用开发的场景中，需要在客户端认证用户身份后才能连接到集群服务端。系统操作运维与业务场景中主要使用的用户分为“人机”用户和“机机”用户。二者主要区别在于“机机”用户密码由系统随机生成。 Kerberos认证 Kerberos认证支持两种方式：密码认证及keytab认证。认证有效时间默认为24小时。 密码认证：通过输入用户正确的密码完成身份认证。主要在运维管理场景中使用“人机”用户进行认证，命令为kinit 用户名 。 keytab认证：keytab文件包含了用户principal和用户凭据的加密信息。使用keytab文件认证时，系统自动使用加密的凭据信息进行认证无需输入用户密码。主要在组件应用开发场景中使用“机机”用户进行认证。keytab文件也支持在kinit命令中使用。 普通模式 普通模式的集群不同组件使用原生开源的认证机制，不支持kinit认证命令。FusionInsight Manager（含DBService、KrbServer和LdapServer）使用的认证方式为用户名密码方式。组件使用的认证机制如下表所示。 表 组件认证方式一览表 服务 认证方式 ClickHouse simple认证 Flume 无认证 HBase WebUI：无认证 客户端：simple认证 HDFS WebUI：无认证 客户端：simple认证 Hive simple认证 Hue 用户名密码认证 Kafka 无认证 Loader WebUI：用户名密码认证 客户端：无认证 Mapreduce WebUI：无认证 客户端：无认证 Oozie WebUI：用户名密码认证 客户端：simple认证 Spark2x WebUI：无认证 客户端：simple认证 Storm 无认证 Yarn WebUI：无认证 客户端：simple认证 ZooKeeper simple认证 认证方式解释如下： “simple认证”：在客户端连接服务端的过程中，默认以客户端执行用户（例如操作系统用户“root”或“omm”）自动进行认证，管理员或业务用户不显式感知认证，不需要kinit完成认证过程。 “用户名密码认证”：使用集群中“人机”用户的用户名与密码进行认证。 “无认证”：默认任意的用户都可以访问服务端。

告警ID 告警级别 是否自动清除 14017 重要 是

本章节主要介绍ALM14019 DataNode非堆内存使用率超过阈值的告警。 告警解释 系统每30秒周期性检测HDFS DataNode非堆内存使用率，并把实际的HDFS DataNode非堆内存使用率和阈值相比较。HDFS DataNode非堆内存使用率指标默认提供一个阈值范围。当HDFS DataNode非堆内存使用率超出阈值范围时，产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > HDFS”修改阈值。 当HDFS DataNode非堆内存使用率小于或等于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 14019 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS DataNode非堆内存使用率过高，会影响HDFS的数据读写性能。 可能原因 HDFS DataNode配置的非堆内存不足。 处理步骤 清除无用文件 1.以root用户登录HDFS客户端。执行cd命令进入客户端安装目录，然后执行 source bigdataenv 。 如果集群采用安全版本，要进行安全认证。 2.执行hdfs dfs rm r 文件或目录路径命令，确认删除无用的文件。 3.检查本告警是否恢复。 是，处理完毕。 否，执行步骤4。

收集故障信息 7.在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 8.在“服务”中勾选待操作集群的“DataNode”。 9.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 10.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 14014 重要 是

可能原因 备NameNode被停止。 备NameNode实例运行状态异常。 备NameNode合并新的FsImage失败。 备NameNode数据目录空间不足。 备NameNode推送FsImage到主NameNode失败。 主NameNode数据目录空间不足。 处理步骤 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，在告警列表中单击此告警。 2.在告警详情区域，查看“定位信息”，获取告警产生的主NameNode的主机名和所在的NameService名称。 3.选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例”，在实例列表中找到该NameService的备NameNode实例，查看其“配置状态”是否为“已同步”。 是，执行步骤6。 否，执行步骤4。 4.勾选该备NameNode实例，单击“启动实例”，等待启动完成。 5.等待1个NameNode合并元数据的周期时间后，查看告警是否清除。 是，处理完毕。 否，执行步骤6。 查看备NameNode实例运行状态是否正常 6.查看该备NameNode实例的“运行状态”是否为“良好”。 是，执行步骤9。 否，执行步骤7。 7.勾选该备NameNode实例，单击“更多 > 重启实例”，等待启动完成。 8.启动完成后，等待1个NameNode合并元数据的周期时间，然后查看告警是否清除。 是，处理完毕。 否，执行步骤30。 备NameNode合并新的FsImage是否失败 9.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”，搜索并获取“dfs.namenode.checkpoint.period”的值，该值即为NameNode合并元数据的周期。 10.选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例”，获取产生该告警的NameService的主、备NameNode节点的业务IP地址。 11.单击“NameNode( xx ,备)”，单击“实例配置”，获取配置项“dfs.namenode.name.dir”的值，该值即为备NameNode的FsImage存储目录。 12.以root或omm用户登录备NameNode节点。 13.进入到FsImage存储目录，查看最新的FsImage的生成时间。 cd 备NameNode存储目录 /current stat c %y $(ls t grep "fsimage[09]$" head 1) 14.执行date命令获取系统当前时间。 15.计算最新FsImage的生成时间和当前时间的时间差，判断该时间差是否大于元数据合并周期的三倍。 是，执行步骤16。 否，执行步骤20。 16.备NameNode合并元数据的功能异常。执行以下命令查看是否为存储空间不足造成。 进入到FsImage存储目录，查看最近一个的FsImage的大小（单位为MB）。 cd 备NameNode存储目录 /current du m $(ls t grep "fsimage[09]$" head 1) awk '{print $1}' 17.执行命令查看备NameNode的磁盘剩余空间（单位为MB）。 df m ./ awk 'END{print $4}' 18.对比FsImage的大小和目录剩余空间大小，看剩余空间是否还能存储一个FsImage文件。 是，执行步骤7。 否，执行步骤19。 19.清理该目录所在磁盘的冗余文件，以便给元数据存放预留足够的空间。空间清理完毕后等待1个NameNode合并元数据的周期时间，查看告警是否清除。 是，处理完毕。 否，执行步骤20。

查看NameNode和DataNode之间的网络情况 8.以root用户登录管理页面上存在且处于故障状态DataNode的业务平面IP节点，执行ping NameNode的IP地址命令以检查DataNode和NameNode之间的网络是否异常。 在FusionInsight Manager界面，单击“集群 > 待操作集群的名称 > 服务 > HDFS > 实例”，在实例列表中可查看处于故障状态DataNode的业务平面IP地址。 是，执行步骤9。 否，执行步骤10。 9.修复网络故障，查看该告警是否恢复。 是，处理完毕。 否，执行步骤10。 查看DataNode是否负荷过高 10.在FusionInsight Manager首页，单击“运维 > 告警 > 告警”，查看否存在“ALM14008 HDFS DataNode内存使用率超过阈值”的告警。 是，执行步骤11。 否，执行步骤13。 11.参考“ALM14008 HDFS DataNode内存使用率超过阈值”的处理步骤，对该异常告警进行处理，查看是否消除该告警。 是，执行步骤12。 否，执行步骤13。 12. 在告警列表中查看本告警是否恢复。 是，处理完毕。 否，执行步骤13。 查看NameNode是否负荷过高 13.在FusionInsight Manager首页，单击“运维 > 告警 > 告警”，查看是否存在“ALM14007 HDFS NameNode内存使用率超过阈值”的告警。 是，执行步骤14。 否，执行步骤16。 14.参考“ALM14007 HDFS NameNode内存使用率超过阈值”的处理步骤，对该异常告警进行处理，查看是否消除告警。 是，执行步骤15。 否，执行步骤16。 15.在告警列表中查看本告警是否恢复。 是，处理完毕。 否，执行步骤16。

删除DataNode数据目录中与磁盘规划不符的目录 3.选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例”，在实例列表中单击产生告警的节点主机上的DataNode实例。 4.单击“实例配置”，查看DataNode数据目录配置参数“dfs.datanode.data.dir”的值。 5.查看所有的DataNode数据目录，是否有与磁盘规划不一致的目录。 是，执行步骤6。 否，执行步骤9。 6.修改该DataNode节点的配置参数“dfs.datanode.data.dir”的值，删除错误的路径。 7.选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例”，重启该DataNode实例。 8.检查该告警是否恢复。 是，处理完毕。 否，执行步骤9。 9.以root用户登录到产生告警的DataNode的节点。 如果告警原因为“DataNode数据目录创建失败”，执行步骤10。 如果告警原因为“DataNode数据目录与系统关键目录（/或/boot）使用同一磁盘”，执行步骤17。 如果告警原因为“DataNode数据目录中多个目录使用同一磁盘”，执行步骤21。 检查DataNode数据目录是否创建失败 10.执行su omm命令，切换到omm用户。 11.步骤 8 使用ls命令查看DataNode数据目录中的每个目录是否存在。 是，执行步骤26。 否，执行步骤12。 12.使用mkdir 数据目录命令创建该目录，查看是否可以创建成功。 是，执行步骤24。 否，执行步骤13。 13.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，查看是否存在告警“ALM12017 磁盘容量不足”。 是，执行步骤14。 否，执行步骤15。 14.参考“ALM12017 磁盘容量不足”对磁盘容量问题进行处理，查看“ALM12017 磁盘容量不足”告警是否消除。 是，执行步骤12。 否，执行步骤15。 15.查看omm用户对该目录的所有上层目录是否有“rwx”或者“x”权限。（例如“/tmp/abc/”，“tmp”目录有“x”权限，“abc”目录有“rwx”权限。） 是，执行步骤24。 否，执行步骤16。 16.在root用户下，执行chmod u+rwx path 或者chmod u+x path命令给这些路径添加omm用户的“rwx”或者“x”权限，然后执行步骤12。

收集故障信息 11. 在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 12. 在“服务”中勾选待操作集群的如下节点信息。 ZooKeeper HDFS 13. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 14. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

检查集群磁盘容量是否已满 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”页面，查看是否存在“ALM14001 HDFS磁盘空间使用率超过阈值”告警。 是，执行步骤 2。 否，执行步骤 4。 2.参考“ALM14001 HDFS磁盘空间使用率超过阈值”进行处理，查看对应告警是否清除。 是，执行步骤 3。 否，执行步骤11。 3.在“运维 > 告警 > 告警”页面查看本告警是否清除。 是，处理完毕。 否，执行步骤4。 检查DataNode节点平衡状态 4.在FusionInsight Manager首页，单击“主机”，查看各个机架上的DataNode节点数目分布是否大致相等，如果差异过大，调整DataNode节点所属机架，保证各个机架上的DataNode数量大致相等。重启HDFS服务生效。 5.选择“集群 > 待操作集群的名称 > 服务 > HDFS”。 6.在“基本信息”区域，单击“NameNode(主)”，进入HDFS WebUI页面。 说明 admin用户默认不具备其他组件的管理权限，如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时，可手动创建具备对应组件管理权限的用户进行登录。 7.在HDFS WebUI的“Summary”区域，查看“DataNodes usages”中“Max”的值是否比“Median”的值大10%。 l是，执行步骤 8。 否，执行步骤11。 8.数据倾斜，需要均衡集群中的数据。以root用户登录MRS客户端。如果集群为普通模式，执行su omm切换到omm用户。执行cd命令进入客户端安装目录，然后执行 source bigdataenv 。如果集群采用安全版本，要进行安全认证。执行kinit hdfs命令，按提示输入密码。向管理员获取密码。 9.执行以下命令，均衡数据分布： hdfs balancer threshold 10 10.等待几分钟，检查本告警是否恢复。 是，处理完毕。 否，执行步骤 11。 收集故障信息 11.在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 12.在“服务”中勾选待操作集群的“HDFS”。 13.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 14.请联系运维人员，并发送已收集的故障日志信息。

告警ID 告警级别 是否自动清除 14000 紧急 是

收集故障信息 8. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 9. 在“服务”中勾选待操作集群的“ZooKeeper”。 10. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 11. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍 查看角色实例日志。 操作场景 FusionInsight Manager支持在线直接查看各角色实例的日志内容。 操作步骤 1.登录FusionInsight Manager。 2.选择“集群 > 待操作的集群名称 > 服务 > 服务名称 > 实例”，单击需要查看日志的实例名称，进入实例状态页面。 3.在“日志”区域，单击要查看的日志文件名称，即可在线预览对应日志内容。 说明 在“主机”页面单击主机名称，在主机详情页面的“实例”区域，也可查看该主机上所有角色实例的日志文件。 日志内容默认最多显示100行，可单击“加载更多”按钮查看更多日志内容。单击“下载”按钮，可将该日志文件下载到本地。如需批量下载服务日志，请参考 查看实例日志