参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。

本章节主要介绍 ALM12066 节点间互信失效。 告警解释 系统每一个小时检查一次主OMS节点和其他Agent节点间的互信是否正常，如果存在互信失效的节点，则发送告警。待客户修复改问题，该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除 12066 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 可能会导致管理面的一些操作异常。 可能原因 /etc/ssh/sshdconfig配置文件被破坏。 omm密码过期。 处理步骤 查看/etc/ssh/sshdconfig配置文件状态 1.打开FusionInsight Manager页面，在告警列表中，单击此告警所在行的，查看告警详情中涉及的主机列表。 2.以omm用户登录主OMS管理节点。 3.依次在告警详情中的节点执行ssh 命令：ssh host2 （host2为告警详情中OMS节点之外的其它节点），看是否连接失败。 是，执行步骤4。 否，执行步骤6。 4.打开host2主机上的“/etc/ssh/sshdconfig”配置文件，查看另外节点是否配置在AllowUsers 、DenyUsers等白名单或者黑名单中。 是，执行步骤5。 否，联系OS专家处理。 5.修改白名单或者黑名单设置，保证omm用户在白名单中或者不在黑名单中。然后持续一段时间观察告警是否清除。 是，操作结束。 否，执行步骤6。

本章节主要介绍ALM17005 Oozie非堆内存使用率超过阈值的告警。 告警解释 系统每30秒周期性检测Oozie服务非堆内存使用状态，当检测到Oozie实例非堆内存使用率超出阈值（最大内存的80%）时产生该告警。非堆内存使用率小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 17005 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 非堆内存溢出可能导致服务崩溃。 可能原因 该节点Oozie实例非堆内存使用率过大，或配置的非堆内存不合理，导致使用率超过阈值。 处理步骤 检查非堆内存使用率 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > Oozie非堆内存使用率超过阈值”，检查该告警的“定位信息”。查看告警上报的实例主机名。 2.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Oozie > 实例”，选择上报告警实例主机名对应的角色，单击图表区域右上角的下拉菜单，选择“定制 > 内存”中的“Oozie非堆内存使用率”，单击“确定”。 3.查看Oozie使用的非堆内存是否已达到Oozie设定的阈值（默认值为最大非堆内存的80%）。 是，执行步骤4。 否，执行步骤6。 4.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务> Oozie > 配置”，选择“全部配置”，在搜索栏里搜索“GCOPTS”参数，查看参数中是否有“XX: MaxMetaspaceSize”。如果是，将“XX: MaxMetaspaceSize”的值根据实际情况调大。如果否，手动添加“XX: MaxMetaspaceSize”并将值设置成为“Xmx”大小的1/8。单击“保存”，单击“确定”。 说明 JDK1.8不再支持MaxPermSize。 Oozie的GC参数配置建议： 建议将“XX:MaxMetaspaceSize”值设置成为“Xmx”大小的1/8，比如：“Xmx”设置为2G时，“XX:MaxMetaspaceSize”设置为256M；“Xmx”设置为4G时，“XX:MaxMetaspaceSize”设置为512M。 5.重启受影响的服务或实例，观察界面告警是否清除。 是，处理完毕。 否，执行步骤6。

本章节主要介绍ALM12014 设备分区丢失。 告警解释 系统按60秒周期进行扫描，如果检测到挂载服务目录的设备分区丢失（如由于设备拔出、设备离线、删除分区等原因）时，产生此告警。 此告警需要手动恢复。 告警属性 告警ID 告警级别 是否自动清除 12014 重要 否 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 挂载目录名 产生告警的挂载目录名。 设备分区名 产生告警的设备分区名。 对系统的影响 造成服务数据无法写入，业务系统运行不正常。 可能原因 硬盘被拔出 硬盘离线、硬盘坏道等故障。 处理步骤 1. 打开FusionInsight Manager页面，选择“运维 > 告警 > 告警”，单击此告警所在行的。 2. 从“定位信息”中获取“主机名”、“设备分区名”和“挂载目录名”。 3. 确认“主机名”节点的“设备分区名”对应的磁盘是否在对应服务器的插槽上。 是，执行步骤4。 否，执行步骤5。 4. 联系硬件工程师将故障磁盘在线拔出。 5. 以root用户登录发生告警的“主机名”节点，检查“/etc/fstab”文件中是否包含“挂载目录名”的行。 是，执行步骤6。 否，执行步骤7。 6. 执行vi /etc/fstab命令编辑文件，将包含“挂载目录名”的行删除。 7. 联系硬件工程师插入全新磁盘，具体操作请参考对应型号的硬件产品文档，如果原来故障的磁盘是RAID，那么请按照对应RAID卡的配置方法配置RAID。 8. 等待20～30分钟后执行mount命令（具体时间依赖磁盘的大小），检查磁盘是否已经挂载在目录“挂载目录名”上。 是，手动清除该告警，操作结束。 否，执行步骤9。

告警ID 告警级别 是否自动清除 12048 重要 是

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。

告警ID 告警级别 是否自动清除 12050 重要 是

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

告警ID 告警级别 是否自动清除 16006 重要 是

收集故障信息 6.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 7.在“服务”中勾选“NodeAgent”，单击“确定”。 8.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 9.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 /etc/fstab 检查文件的检查标准 检查“/etc/fstab”文件中配置的分区，是否在“/proc/mounts”中能找到。 检查在“fstab”中配置的swap分区，是否和“/proc/swaps”一一对应。 /etc/hosts 检查文件的检查标准 通过命令cat /etc/hosts查看是否存在以下几种情况，如果是，则说明该配置文件配置异常。 a. “/etc/hosts”文件不存在。 b. 该主机的主机名不在文件中配置。 c. 该主机名对应的IP不唯一。 d. 该主机名对应的IP在ifconfig命令下的回显列表中不存在。 e. 该文件中存在一个IP对应多个主机名的情况。 /etc/ssh/sshdconfig 检查文件的检查标准 通过命令vi /etc/ssh/sshdconfig查看下面几个配置项是否正确。 a. “UseDNS”项必须配置为“no”。 b. “MaxStartups”必须配置为大于等于1000。 c. “PasswordAuthentication”和“ChallengeResponseAuthentication”两个配置项中必须至少有一项没有配置或者至少有一项配置为“yes”。

告警ID 告警级别 是否自动清除 12038 重要 是

对系统的影响 发生连接数告警时，表示连接到HiveServer的session数过多，将会导致无法建立新的连接。 可能原因 连接HiveServer的客户端过多。 处理步骤 增加Hive最大连接数配置 1.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Hive > 配置”，选择“全部配置”。 2.然后查找“hive.server.session.control.maxconnections”，调大该配置项的数值。设该配置项的值为A，阈值为B，连接到HiveServer的session数为C，调整策略为A x B > C ，连接到HiveServer的session数可在Hive的监控界面查看监控指标“HiveServer的session数统计”。 3.查看本告警是否恢复。 是，操作结束。 否，执行步骤4。 收集故障信息 4.在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 5.在“服务”中勾选待操作集群的“Hive”。 6.单击右上角的设置日志收集的“开始时间”和“结束时间”，分别为告警产生时间的前后10分钟，单击“下载”。 7.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

处理步骤 查看阈值设置是否合理 1.查看告警定位信息，获取上报告警的租户名称，租户目录。 2.在FusiongInsight Manager首页，单击“租户资源”页面选择上报告警的租户名称，单击“资源”，查看上报告警的租户目录所对应的文件数阈值配置设置是否合理（默认90%为合理值，用户可以根据自己的实际需求调节）。 是，执行步骤5。 否，执行步骤3。 3.根据该租户该目录文件数的实际使用情况，在“资源”页面单击“修改”修改或取消上报告警的租户目录所对应的文件数阈值配置。 4.等待1分钟，检查该告警是否恢复。 是，处理完毕。 否，执行步骤5。 查看租户分配的文件对象数是否合理 5.在FusionInsight Manager首页，在“租户资源”页面选择上报告警的租户名称，单击“资源”，查看上报告警的租户目录所对应的文件目录数上限设置是否合理（根据该租户该目录实际业务情况而定）。 是，执行步骤8。 否，执行步骤6。 6.根据租户该目录的实际业务情况，在“资源”页面单击“修改”修改或取消上报告警的租户目录所对应的文件目录数上限。 7.等待1分钟，检查该告警是否恢复。 是，处理完毕。 否，执行步骤8。 收集故障信息 8.在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 9.在“服务”中勾选待操作集群的“HDFS”和Manager下的NodeAgent。 10.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后20分钟，单击“下载”。 11.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

服务 是否鉴权 是否支持开关鉴权 ClickHouse 鉴权 不支持修改 Flume 无鉴权 不支持修改 HBase 无鉴权 支持修改 HDFS 鉴权 支持修改 Hive 无鉴权 不支持修改 Hue 无鉴权 不支持修改 Kafka 无鉴权 不支持修改 Loader 无鉴权 不支持修改 Mapreduce 无鉴权 不支持修改 Oozie 鉴权 不支持修改 Spark2x 无鉴权 不支持修改 Storm 无鉴权 不支持修改 Yarn 无鉴权 支持修改 ZooKeeper 鉴权 支持修改

本章节主要介绍认证策略。 大数据平台用户需要对用户进行身份认证，防止不合法用户访问集群。安全模式或者普通模式的集群均提供认证能力。 安全模式 安全模式的集群统一使用Kerberos认证协议进行安全认证。Kerberos协议支持客户端与服务端进行相互认证，提高了安全性，可有效消除使用网络发送用户凭据进行模拟认证的安全风险。集群中由KrbServer服务提供Kerberos认证支持。 Kerberos用户对象 Kerberos协议中，每个用户对象即一个principal。一个完整的用户对象包含两个部分信息：用户名和域名。在运维管理或应用开发的场景中，需要在客户端认证用户身份后才能连接到集群服务端。系统操作运维与业务场景中主要使用的用户分为“人机”用户和“机机”用户。二者主要区别在于“机机”用户密码由系统随机生成。 Kerberos认证 Kerberos认证支持两种方式：密码认证及keytab认证。认证有效时间默认为24小时。 密码认证：通过输入用户正确的密码完成身份认证。主要在运维管理场景中使用“人机”用户进行认证，命令为kinit 用户名 。 keytab认证：keytab文件包含了用户principal和用户凭据的加密信息。使用keytab文件认证时，系统自动使用加密的凭据信息进行认证无需输入用户密码。主要在组件应用开发场景中使用“机机”用户进行认证。keytab文件也支持在kinit命令中使用。 普通模式 普通模式的集群不同组件使用原生开源的认证机制，不支持kinit认证命令。FusionInsight Manager（含DBService、KrbServer和LdapServer）使用的认证方式为用户名密码方式。组件使用的认证机制如下表所示。 表 组件认证方式一览表 服务 认证方式 ClickHouse simple认证 Flume 无认证 HBase WebUI：无认证 客户端：simple认证 HDFS WebUI：无认证 客户端：simple认证 Hive simple认证 Hue 用户名密码认证 Kafka 无认证 Loader WebUI：用户名密码认证 客户端：无认证 Mapreduce WebUI：无认证 客户端：无认证 Oozie WebUI：用户名密码认证 客户端：simple认证 Spark2x WebUI：无认证 客户端：simple认证 Storm 无认证 Yarn WebUI：无认证 客户端：simple认证 ZooKeeper simple认证 认证方式解释如下： “simple认证”：在客户端连接服务端的过程中，默认以客户端执行用户（例如操作系统用户“root”或“omm”）自动进行认证，管理员或业务用户不显式感知认证，不需要kinit完成认证过程。 “用户名密码认证”：使用集群中“人机”用户的用户名与密码进行认证。 “无认证”：默认任意的用户都可以访问服务端。

告警ID 告警级别 是否自动清除 14017 重要 是

本章节主要介绍ALM14019 DataNode非堆内存使用率超过阈值的告警。 告警解释 系统每30秒周期性检测HDFS DataNode非堆内存使用率，并把实际的HDFS DataNode非堆内存使用率和阈值相比较。HDFS DataNode非堆内存使用率指标默认提供一个阈值范围。当HDFS DataNode非堆内存使用率超出阈值范围时，产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > HDFS”修改阈值。 当HDFS DataNode非堆内存使用率小于或等于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 14019 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS DataNode非堆内存使用率过高，会影响HDFS的数据读写性能。 可能原因 HDFS DataNode配置的非堆内存不足。 处理步骤 清除无用文件 1.以root用户登录HDFS客户端。执行cd命令进入客户端安装目录，然后执行 source bigdataenv 。 如果集群采用安全版本，要进行安全认证。 2.执行hdfs dfs rm r 文件或目录路径命令，确认删除无用的文件。 3.检查本告警是否恢复。 是，处理完毕。 否，执行步骤4。

收集故障信息 7.在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 8.在“服务”中勾选待操作集群的“DataNode”。 9.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 10.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 14014 重要 是

可能原因 备NameNode被停止。 备NameNode实例运行状态异常。 备NameNode合并新的FsImage失败。 备NameNode数据目录空间不足。 备NameNode推送FsImage到主NameNode失败。 主NameNode数据目录空间不足。 处理步骤 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，在告警列表中单击此告警。 2.在告警详情区域，查看“定位信息”，获取告警产生的主NameNode的主机名和所在的NameService名称。 3.选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例”，在实例列表中找到该NameService的备NameNode实例，查看其“配置状态”是否为“已同步”。 是，执行步骤6。 否，执行步骤4。 4.勾选该备NameNode实例，单击“启动实例”，等待启动完成。 5.等待1个NameNode合并元数据的周期时间后，查看告警是否清除。 是，处理完毕。 否，执行步骤6。 查看备NameNode实例运行状态是否正常 6.查看该备NameNode实例的“运行状态”是否为“良好”。 是，执行步骤9。 否，执行步骤7。 7.勾选该备NameNode实例，单击“更多 > 重启实例”，等待启动完成。 8.启动完成后，等待1个NameNode合并元数据的周期时间，然后查看告警是否清除。 是，处理完毕。 否，执行步骤30。 备NameNode合并新的FsImage是否失败 9.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”，搜索并获取“dfs.namenode.checkpoint.period”的值，该值即为NameNode合并元数据的周期。 10.选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例”，获取产生该告警的NameService的主、备NameNode节点的业务IP地址。 11.单击“NameNode( xx ,备)”，单击“实例配置”，获取配置项“dfs.namenode.name.dir”的值，该值即为备NameNode的FsImage存储目录。 12.以root或omm用户登录备NameNode节点。 13.进入到FsImage存储目录，查看最新的FsImage的生成时间。 cd 备NameNode存储目录 /current stat c %y $(ls t grep "fsimage[09]$" head 1) 14.执行date命令获取系统当前时间。 15.计算最新FsImage的生成时间和当前时间的时间差，判断该时间差是否大于元数据合并周期的三倍。 是，执行步骤16。 否，执行步骤20。 16.备NameNode合并元数据的功能异常。执行以下命令查看是否为存储空间不足造成。 进入到FsImage存储目录，查看最近一个的FsImage的大小（单位为MB）。 cd 备NameNode存储目录 /current du m $(ls t grep "fsimage[09]$" head 1) awk '{print $1}' 17.执行命令查看备NameNode的磁盘剩余空间（单位为MB）。 df m ./ awk 'END{print $4}' 18.对比FsImage的大小和目录剩余空间大小，看剩余空间是否还能存储一个FsImage文件。 是，执行步骤7。 否，执行步骤19。 19.清理该目录所在磁盘的冗余文件，以便给元数据存放预留足够的空间。空间清理完毕后等待1个NameNode合并元数据的周期时间，查看告警是否清除。 是，处理完毕。 否，执行步骤20。

查看NameNode和DataNode之间的网络情况 8.以root用户登录管理页面上存在且处于故障状态DataNode的业务平面IP节点，执行ping NameNode的IP地址命令以检查DataNode和NameNode之间的网络是否异常。 在FusionInsight Manager界面，单击“集群 > 待操作集群的名称 > 服务 > HDFS > 实例”，在实例列表中可查看处于故障状态DataNode的业务平面IP地址。 是，执行步骤9。 否，执行步骤10。 9.修复网络故障，查看该告警是否恢复。 是，处理完毕。 否，执行步骤10。 查看DataNode是否负荷过高 10.在FusionInsight Manager首页，单击“运维 > 告警 > 告警”，查看否存在“ALM14008 HDFS DataNode内存使用率超过阈值”的告警。 是，执行步骤11。 否，执行步骤13。 11.参考“ALM14008 HDFS DataNode内存使用率超过阈值”的处理步骤，对该异常告警进行处理，查看是否消除该告警。 是，执行步骤12。 否，执行步骤13。 12. 在告警列表中查看本告警是否恢复。 是，处理完毕。 否，执行步骤13。 查看NameNode是否负荷过高 13.在FusionInsight Manager首页，单击“运维 > 告警 > 告警”，查看是否存在“ALM14007 HDFS NameNode内存使用率超过阈值”的告警。 是，执行步骤14。 否，执行步骤16。 14.参考“ALM14007 HDFS NameNode内存使用率超过阈值”的处理步骤，对该异常告警进行处理，查看是否消除告警。 是，执行步骤15。 否，执行步骤16。 15.在告警列表中查看本告警是否恢复。 是，处理完毕。 否，执行步骤16。

删除DataNode数据目录中与磁盘规划不符的目录 3.选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例”，在实例列表中单击产生告警的节点主机上的DataNode实例。 4.单击“实例配置”，查看DataNode数据目录配置参数“dfs.datanode.data.dir”的值。 5.查看所有的DataNode数据目录，是否有与磁盘规划不一致的目录。 是，执行步骤6。 否，执行步骤9。 6.修改该DataNode节点的配置参数“dfs.datanode.data.dir”的值，删除错误的路径。 7.选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例”，重启该DataNode实例。 8.检查该告警是否恢复。 是，处理完毕。 否，执行步骤9。 9.以root用户登录到产生告警的DataNode的节点。 如果告警原因为“DataNode数据目录创建失败”，执行步骤10。 如果告警原因为“DataNode数据目录与系统关键目录（/或/boot）使用同一磁盘”，执行步骤17。 如果告警原因为“DataNode数据目录中多个目录使用同一磁盘”，执行步骤21。 检查DataNode数据目录是否创建失败 10.执行su omm命令，切换到omm用户。 11.步骤 8 使用ls命令查看DataNode数据目录中的每个目录是否存在。 是，执行步骤26。 否，执行步骤12。 12.使用mkdir 数据目录命令创建该目录，查看是否可以创建成功。 是，执行步骤24。 否，执行步骤13。 13.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，查看是否存在告警“ALM12017 磁盘容量不足”。 是，执行步骤14。 否，执行步骤15。 14.参考“ALM12017 磁盘容量不足”对磁盘容量问题进行处理，查看“ALM12017 磁盘容量不足”告警是否消除。 是，执行步骤12。 否，执行步骤15。 15.查看omm用户对该目录的所有上层目录是否有“rwx”或者“x”权限。（例如“/tmp/abc/”，“tmp”目录有“x”权限，“abc”目录有“rwx”权限。） 是，执行步骤24。 否，执行步骤16。 16.在root用户下，执行chmod u+rwx path 或者chmod u+x path命令给这些路径添加omm用户的“rwx”或者“x”权限，然后执行步骤12。

收集故障信息 11. 在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 12. 在“服务”中勾选待操作集群的如下节点信息。 ZooKeeper HDFS 13. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 14. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

检查集群磁盘容量是否已满 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”页面，查看是否存在“ALM14001 HDFS磁盘空间使用率超过阈值”告警。 是，执行步骤 2。 否，执行步骤 4。 2.参考“ALM14001 HDFS磁盘空间使用率超过阈值”进行处理，查看对应告警是否清除。 是，执行步骤 3。 否，执行步骤11。 3.在“运维 > 告警 > 告警”页面查看本告警是否清除。 是，处理完毕。 否，执行步骤4。 检查DataNode节点平衡状态 4.在FusionInsight Manager首页，单击“主机”，查看各个机架上的DataNode节点数目分布是否大致相等，如果差异过大，调整DataNode节点所属机架，保证各个机架上的DataNode数量大致相等。重启HDFS服务生效。 5.选择“集群 > 待操作集群的名称 > 服务 > HDFS”。 6.在“基本信息”区域，单击“NameNode(主)”，进入HDFS WebUI页面。 说明 admin用户默认不具备其他组件的管理权限，如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时，可手动创建具备对应组件管理权限的用户进行登录。 7.在HDFS WebUI的“Summary”区域，查看“DataNodes usages”中“Max”的值是否比“Median”的值大10%。 l是，执行步骤 8。 否，执行步骤11。 8.数据倾斜，需要均衡集群中的数据。以root用户登录MRS客户端。如果集群为普通模式，执行su omm切换到omm用户。执行cd命令进入客户端安装目录，然后执行 source bigdataenv 。如果集群采用安全版本，要进行安全认证。执行kinit hdfs命令，按提示输入密码。向管理员获取密码。 9.执行以下命令，均衡数据分布： hdfs balancer threshold 10 10.等待几分钟，检查本告警是否恢复。 是，处理完毕。 否，执行步骤 11。 收集故障信息 11.在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 12.在“服务”中勾选待操作集群的“HDFS”。 13.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 14.请联系运维人员，并发送已收集的故障日志信息。

告警ID 告警级别 是否自动清除 14000 紧急 是

收集故障信息 8. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 9. 在“服务”中勾选待操作集群的“ZooKeeper”。 10. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 11. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍 查看角色实例日志。 操作场景 FusionInsight Manager支持在线直接查看各角色实例的日志内容。 操作步骤 1.登录FusionInsight Manager。 2.选择“集群 > 待操作的集群名称 > 服务 > 服务名称 > 实例”，单击需要查看日志的实例名称，进入实例状态页面。 3.在“日志”区域，单击要查看的日志文件名称，即可在线预览对应日志内容。 说明 在“主机”页面单击主机名称，在主机详情页面的“实例”区域，也可查看该主机上所有角色实例的日志文件。 日志内容默认最多显示100行，可单击“加载更多”按钮查看更多日志内容。单击“下载”按钮，可将该日志文件下载到本地。如需批量下载服务日志，请参考 查看实例日志

本章节主要介绍ALM13006 Znode数量或容量超过阈值。 告警解释 系统每4小时周期性检测ZooKeeper服务数据目录下二级znode状态，当检测到二级Znode数量或者容量超过阈值时产生该告警。 告警属性 告警ID 告警级别 是否自动清除 13006 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 服务目录 产生告警的目录名称。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 向ZooKeeper数据目录空间写入大量数据，导致ZooKeeper无法对外正常提供服务。 可能原因 往ZooKeeper数据目录空间写入大量数据，或者自定义阈值设置不合理。 处理步骤 检查告警目录是否写入大量数据 1. 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，单击告警“Znode数量或容量超过阈值”所在行的下拉菜单，在定位信息中确认告警上报的Znode。 2. 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 >ZooKeeper”，单击“资源”，在表“资源使用（按二级Znode）”中，查看告警对应Znode是否被写入较多数据。 是，执行步骤 3。 否，执行步骤 4。 3. 登录ZooKeeper客户端，删除告警对应Znode下的无用数据。 4. 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 >ZooKeeper”，在“资源”的“资源使用(按二级Znode)”中，选择“ > 按Znode数量”，进入“按Znode数量”的“阈值设置”页面，单击“操作”下的“修改”。参考“集群 >待操作集群的名称 > 服务 >ZooKeeper > 配置 > 全部配置 > 配额”中参数“max.znode.count”的值，调大阈值。 5. 在“资源使用(按二级Znode)”中，选择“ > 按Znode数量”，进入“按容量”的“阈值设置”页面，单击“操作”下的“修改”。参考“集群 > 待操作集群的名称 > 服务 > ZooKeeper > 配置 > 全部配置 > 配额”中参数“max.data.size”的值，调大阈值。 6. 观察界面告警是否清除。 是，处理完毕。 否，执行步骤 7。

重新绑定委托 4. 登录MapReduce服务管理控制台。 5. 选择“集群列表 > 现有集群”，单击集群名称，进入集群概览页面，查看集群是否绑定委托。 是，执行步骤7。 否，执行步骤6。 6. 单击“委托管理”，重新绑定委托，等待几分钟后查看告警是否恢复。 是，操作结束。 否，执行步骤7。 7. 联系运维人员。

告警ID 告警级别 是否自动清除 12089 重要 是

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。

可能原因 计算资源（Yarn）不健康。 存储资源（HDFS）不健康。 存储资源（HDFS）部分不健康。 除Yarn与HDFS以外，关键角色不健康。 处理步骤 关闭容灾演练 1.在FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 跨AZ高可用”，打开跨AZ高可用页面。 2.检查AZ容灾列表中健康状态为“非健康”的AZ所在行的操作列中的“容灾演练”是否为灰色。 是，执行步骤4。 否，执行步骤3。 3.单击目标AZ行“操作”列中的“恢复”，待恢复后。等待2分钟，刷新页面查看该AZ健康状态。查看是否健康恢复。 是，处理完毕。 否，执行步骤4。 收集故障信息 4.以root用户登录主管理节点。 5.查看不健康服务的日志信息。 HDFS的日志文件存储路径为“/var/log/Bigdata/hdfs/nn/hdfsazstate.log”。 Yarn的日志文件存储路径为“/var/log/Bigdata/yarn/rm/yarnazstate.log”。 其余服务请查看对应服务日志目录下的服务健康检查日志。 6.请联系运维人员，并提供日志文件详细信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。