本章节主要介绍ALM12101 AZ不健康。 告警解释 AZ容灾开启后，系统每隔5分钟检查一次当前系统上AZ的健康状态，当检测到AZ健康状态为亚健康或者不健康时产生告警。AZ健康状态恢复健康时，告警清除。 告警属性 告警ID 告警级别 是否自动清除 12101 重要 是 告警参数 告警参数 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 AZ名 产生告警的AZ名称。 主机名 产生告警的主机名。 对系统的影响 AZ的健康状态由AZ内的存储资源（HDFS）、计算资源（Yarn）和关键角色的健康度是否超过配置阈值决定。 AZ亚健康有两种： 计算资源（Yarn）不健康，存储资源（HDFS）健康，任务无法提交到本AZ，但是数据可以继续往本AZ内读写。 计算资源（Yarn）健康，存储资源（HDFS）部分不健康，任务可以提交到本AZ，部分数据可以在本AZ内读写，依赖于Spark/Hive调度感知数据的本地性。 AZ不健康有三种： 计算资源（Yarn）健康，存储资源（HDFS）不健康，任务虽然可以提交到本AZ，但是数据无法在本AZ内读写，导致任务提交到本AZ无意义。 计算资源（Yarn）不健康，存储资源（HDFS）不健康，任务无法提交到本AZ，数据也无法往本AZ内读写。 除Yarn与HDFS以外，关键角色的健康度低于配置阈值。

本章节主要介绍 ALM12077 omm用户过期。 告警解释 系统每天零点开始，每8小时检测当前系统中omm用户是否过期，如果用户过期，则发送告警。 当系统中omm用户过期的期限重置，当前状态为正常，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12077 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 omm用户过期，Manager各节点互信不可用，无法对服务提供管理功能。 可能原因 omm用户过期。 处理步骤 检查系统中omm用户是否过期 1.以root用户登录集群故障节点。 执行chage l omm命令来查看当前omm用户密码设置信息。 2.查找“Account expires”对应值，查看用户设置是否过期。 说明 如果参数值为“never”，则代表永不过期。 是，执行步骤3。 否，执行步骤4。 3.执行 chage E 'yyyyMMdd' omm命令设置omm 用户过期的期限，等待8小时，观察告警是否自动清除。 是，操作结束。 否，执行步骤4。 收集故障信息 4.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 5.在“服务”中勾选“NodeAgent”，单击“确定”。 6.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分，单击“下载”。 7.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。

告警ID 告警级别 是否自动清除 12067 重要 是

收集故障信息 7.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 8.在“服务”中勾选“Controller”和“OmmServer”，单击“确定”。 9.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 10.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 8.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 9.在“服务”中勾选“Controller”和“OmmServer”，单击“确定”。 10.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 11.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 8.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 9.在“服务”中勾选“NodeAgent”，单击“确定”。 10. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分，单击“下载”。 11.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

检查系统环境是否异常 7.执行以下命令导入临时文件，并查看“portresult.txt”文件中高使用率端口。 netstattnpsort > $BIGDATAHOME/tmp/portresult.txt netstat tnpsort Active Internet connections (w/o servers) Proto Recv Send LocalAddress ForeignAddress State PID/ProgramName tcp 0 0 1012085154:45433 1012085154:9866 CLOSEWAIT 94237/java tcp 0 0 1012085154:45434 1012085154:9866 CLOSEWAIT 94237/java tcp 0 0 1012085154:45435 1012085154:9866 CLOSEWAIT 94237/java ... 8.执行如下命令，查看占用大量端口的进程。 ps ef grep PID 说明 PID为步骤7查询出所属端口的进程号。 可以执行如下命令，收集系统所有进程信息，查看占用大量端口的进程。 ps ef > $BIGDATAHOME/tmp/psresult.txt 9.请系统管理员确认后，清除大量占用端口的进程，等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行步骤10。 收集故障信息 10.在主集群的FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 11.在“服务”中勾选“OMS”，单击“确定”。 12.设置“主机”为告警所在节点和主OMS节点。 13.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟，单击“下载”。 14.请联系运维人员，发送已收集的故障日志信息及“portresult.txt”和“psresult.txt”文件，并删除环境中残留的两个临时文件。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 12057 重要 是

收集故障信息 14.在主集群的FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 15.在“服务”中勾选“OMS”，单击“确定”。 16.设置“主机”为告警所在节点和主OMS节点。 17.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟，单击“下载”。 18.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 网口名 产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

告警ID 告警级别 是否自动清除 12049 重要 是

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 网口名 产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

本章节主要介绍ALM12039 OMS数据库主备不同步。 告警解释 OMS数据库主备不同步，系统每10秒检查一次主备数据同步状态，如果连续30次查不到同步状态，或者同步状态异常，产生告警。 当主备数据同步状态正常，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12039 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 OMS数据库主备不同步，如果此时主实例异常，会出现数据丢失或者数据异常的情况。 可能原因 主备节点网络不稳定。 备OMS数据库异常。 备节点磁盘空间满。 处理步骤 检查主备节点网络是否正常 1.在FusionInsight Manager界面上选择“运维 > 告警 > 告警”，在告警列表中，单击此告警所在行的，查看该告警的OMS数据库备节点IP地址。 2.以root用户登录主OMS数据库节点。 3.执行ping 备OMS数据库心跳IP地址命令检查备OMS数据库节点是否可达。 是，执行步骤6。 否，执行步骤4。 4.联系网络管理员查看是否为网络故障。 是，执行步骤5。 否，执行步骤6。 5.修复网络故障，然后查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行步骤6。

告警ID 告警级别 是否自动清除 12034 重要 是

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

前提条件 管理员已明确业务需求，并规划好不同系统的域名。域名只能包含大写字母、数字、圆点（.）及下划线（），且只能以字母或数字开头。 配置跨集群互信前，两个Manager系统的域名必须不同。MRS创建ECS/BMS集群时会随机生成唯一系统域名，通常无需修改。 配置跨集群互信前，两个集群中不能存在有相同的主机名，也不能存在相同的IP地址。 配置互信的两个集群系统时间必须一致，且系统上的NTP服务必须使用同一个时间源。 配置互信的两个集群系统内所有集群全部组件的运行状态均为“良好”。 Manager内所有集群的ZooKeeper服务的“acl.compare.shortName”参数需确保为默认值“true”。否则请修改该参数为“true”后重启ZooKeeper服务。 操作步骤 1.登录其中一个FusionInsight Manager。 2.在主页中停止所有集群。 单击主页上待操作集群名称后的，单击“停止”，输入管理员密码后在弹出的“停止集群”窗口中单击“确定”，等待集群停止成功。 3.选择“系统 > 权限 > 域和互信”。 4.修改配置参数“互信对端域”。 表 相关参数 参数名 描述 realmname 填写对端系统的域名。 ipport 填写对端系统的KDC地址。 参数值格式为：对端系统内要配置互信集群的Kerberos服务部署的节点IP 地址: 端口 。 如果是双平面组网，需填写业务平面IP地址。 采用IPv6地址时，IP地址应写在中括号“[]”中。 部署主备Kerberos服务或者对端系统内有多个集群需要与本端建立互信时，多个KDC地址使用逗号分隔。 端口值可通过查看KrbServer服务的“kdcports”参数获取，默认值为“21732”。部署服务的节点IP可通过在KrbServer服务页面选择“实例”页签，查看KerberosServer角色的“业务IP”获取。 例如，Kerberos服务部署在10.0.0.1和10.0.0.2上，与本端系统建立互信，则对应参数值为“10.0.0.1:21732,10.0.0.2:21732”。 说明 如果需要配置与多个Manager系统的互信关系，请单击添加新项目，并填写参数值。最多支持16个系统。删除多余的配置请单击。 5.单击“确定”。 6.以omm用户登录主管理节点，执行以下命令更新域配置。 sh ${BIGDATAHOME}/omserver/om/sbin/restartRealmConfig.sh 提示以下信息表示命令执行成功。 Modify realm successfully. Use the new password to log into FusionInsight again. 重启后部分主机与服务可能无法访问并触发告警，执行“restartRealmConfig.sh”后大约需要1分钟自动恢复。 7.登录FusionInsight Manager，启动所有集群。 单击主页上待操作集群名称后的，单击“启动”，在“启动集群”窗口单击“确定”，等待集群启动成功。 8.登录另外一个系统的FusionInsight Manager，重复以上操作。

检查/srv/BigData/LocalBackup 目录存储空间是否已满 6. 执行以下命令检查“/srv/BigData/LocalBackup”目录存储空间是否已满： dfhl /srv/BigData/LocalBackup 是，执行步骤7。 否，执行步骤10。 7. 执行以下命令清理不需要的备份文件： rm rf 待清理的目录路径 例如： rm rf /srv/BigData/LocalBackup/0/defaultoms20191211143443 8. 在FusionInsight Manager界面，选择“运维 > 备份恢复 > 备份管理”。 在待操作备份任务右侧“操作”栏下，单击“配置”，修改“最大备份数”减少备份文件集数量。 9. 等待大约1分钟，查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行步骤10。 检查同步文件是否存在，文件权限是否异常 10. 执行以下命令查找同步文件是否存在。 find/srv/BigData/ name "sed" find/opt name "sed" 是，执行步骤11。 否，执行步骤12。 11. 执行以下命令，查看 步骤10查找出的同步文件信息及权限。 ll 待查找文件路径 如果文件大小为0，且权限栏全为“”，则为垃圾文件，请执行以下命令删除。 rm rf 待删除文件 等待几分钟观察告警是否清除，如果未清除则执行步骤12。 如果文件大小不为0，则执行步骤12。 12.查看发生告警时间段的日志文件。 执行以下命令，进入当前集群的HA运行日志文件路径。 cd/var/log/Bigdata/omm/oms/ha/runlog / 解压并查看发生告警时间段的日志文件。 例如，待查看文件名称为“ha.log.20210322120007.gz”，则执行以下命令： gunzip ha.log.20210322120007.gz vi ha.log.20210322120007 查看日志中，告警时间点前后是否有报错信息。 是，根据相关报错信息进行处理。然后执行步骤13。 例如，查询出报错信息如下，表示目录权限不足，则请修改对应目录权限与正常节点保持一致。 否，执行步骤14。 13. 等待大约10分钟，查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行步骤14。

收集故障信息 6.在主集群的FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 7.在“服务”中勾选所有服务，单击“确定”。 8.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟，单击“下载”。 9.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

检查节点名配置是否正确 6.进入软件安装目录。 cd /opt 7.查找主备节点的配置文件目录。 find name hacomlocal.xml 8.进入workspace目录。 cd ${BIGDATAHOME}/omserver/OMS/workspace0/ha/local/hacom/conf/ 9.使用vim命令打开hacomlocal.xml，查看local、peer节点配置是否正确，local配置主节点，peer配置备节点。 是，执行步骤12。 否，执行步骤10。 10.修改hacomlocal.xml中主备节点的配置，修改完成后，按Esc回到命令模式，输入命令:wq保存退出。 11.查看此告警信息是否自动清除。 是，处理完毕。 否，执行步骤12。 检查是否防火墙禁用端口 12.执行命令lsof i :20012查询主备节点的心跳端口是否打开，有查询结果说明端口已经开放，否则说明端口被防火墙禁用。 是，执行步骤13。 否，执行步骤16。 13.执行命令iptables P INPUT ACCEPT，防止与服务器断开。 14.清除防火墙。 iptables F 15.查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行步骤16。 收集故障信息 16. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 17. 在“服务”中勾选如下节点信息，单击“确定”。 OmmServer Controller NodeAgent 18. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 19. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

$%@123 To get the reset password after changing cluster domain name. pwdminlen : 8 pwdchartypes : 4 The password reset after changing cluster domain name is:"Admin@123Test $%@123" “pwdminlen”和“pwdchartypes”分别表示当前用户密码策略“最小密码长度”和“密码字符类型数目”，“Admin@123Test $%@123”为修改系统域名后的“人机”用户密码。 修改系统域名后，重置后的密码由系统生成部分和用户设置部分组成，且必需满足当前用户密码策略，长度不足时在Admin@123和用户设置部分中间，使用一个或多个@补全；字符种类为5时，在Admin@123后补充一个空格。 当用户设置部分为Test@123，使用默认用户密码策略时，新密码为“Admin@123Test@123”，长度为17字符种类为4。需满足当前用户密码策略时，新密码处理如下表所示。 表 满足不同密码策略时的新密码 最小密码长度 字符种类 对比用户密码策略结果 重置后的密码 8到17位 4 已满足用户密码策略 Admin@123Test@123 18位 4 需补充一个@ Admin@123@Test@123 19位 4 需补充两个@ Admin@123@@Test@123 8到18位 5 需补充一个空格 Admin@123 Test@123 19位 5 需补充一个空格和一个@ Admin@123 @Test@123 20位 5 需补充一个空格和两个@ Admin@123 @@Test@123 修改系统域名后，系统管理员在修改域名以前添加的“机机”用户，请重新下载keytab文件。 修改系统域名后，请重新下载并安装集群客户端。

本章节主要介绍配置定时备份告警与审计信息。 操作场景 管理员可通过修改配置文件，实现定时备份FusionInsight Manager的告警信息、Manager审计信息以及所有服务的审计信息到指定的存储位置。 备份支持使用SFTP协议或FTP协议，FTP协议未加密数据可能存在安全风险，建议使用SFTP。 操作步骤 1.以omm用户登录主管理节点。 说明 用户只需在主管理节点执行此操作，不支持在备管理节点上配置定时备份。 2.执行以下命令，切换目录。 cd ${BIGDATAHOME}/omserver/om/sbin 3.执行以下命令，配置定时备份Manager告警、审计或者服务审计信息。 ./setNorthBound.sh t 信息类型 i 远程服务器IP p 服务器使用的SFTP或FTP 端口 u 用户名 d 保存信息的路径 c 时间间隔（分钟） m 每个保存文件的信息记录数 s 备份启停开关 e 指定的协议 例如： ./setNorthBound.sh t alarm i 10.0.0.10 p 22 u sftpuser d /tmp/ c 10 m 100 s true e sftp 此脚本将修改告警信息备份配置文件“alarmcollectupload.properties”。文件存储路径为“${BIGDATAHOME}/omserver/tomcat/webapps/web/WEBINF/classes/config”。 ./setNorthBound.sh t audit i 10.0.0.10 p 22 u sftpuser d /tmp/ c 10 m 100 s true e sftp 此脚本将修改审计信息备份配置文件“auditcollectupload.properties”。文件存储路径为“${BIGDATAHOME}/omserver/tomcat/webapps/web/WEBINF/classes/config”。 ./setNorthBound.sh t serviceaudit i 10.0.0.10 p 22 u sftpuser d /tmp/ c 10 m 100 s true e sftp 此脚本将修改服务审计信息备份配置文件“serviceauditcollectupload.properties”。文件存储路径为“${BIGDATAHOME}/omserver/tomcat/webapps/web/WEBINF/classes/config”。 4.根据界面提示输入用户的密码。密码将加密保存在配置文件中。 Please input sftp/ftp server password: 5.显示如下结果，说明修改成功。备管理节点将自动同步配置文件。 execute command syncfile successfully. Config Succeed.

告警ID 告警级别 是否自动清除 12007 重要 是

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。

收集故障信息 4. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 5. 在“服务”中勾选“OmsLdapServer”和“OmmServer”，单击“确定”。 6. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 7. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

Web最大并发连接数限制 为了保护Web服务器的可靠性，当访问的用户连接数达到一定数量之后，对新增用户的连接进行限制。防止大量同时登录和访问，导致服务不可用，同时避免DDOS攻击。 参数修改入口：在FusionInsight Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > 服务名 > 配置”，展开“全部配置”页签。在搜索框中输入参数名称。 详见下表：参数说明 配置参数 说明 缺省值 hadoop.http.server.MaxRequests 设置各组件Web的最大并发连接数限制。相关组件为HDFS和YARN。 2000 spark.connection.maxRequest JobHistory允许的最大请求连接数。 5000

参数 说明 direct 快速模式，利用了数据库的导入工具，如MySQL的mysqlimport，可以比jdbc连接的方式更为高效的将数据导入到关系数据库中。 exportdir 存放数据的HDFS的源目录。 m或nummappers 启动n个map来并行导入数据，默认是4个，该值请勿高于集群的最大Map数。 table 要导入的目的关系数据库表。 updatekey 后面接条件列名，通过该参数可以将关系数据库中已经存在的数据进行更新操作，类似于关系数据库中的update操作。 updatemode 更新模式，有两个值updateonly和默认的allowinsert，该参数只能在关系数据表里不存在要导入的记录时才能使用，比如要导入的hdfs中有一条id1的记录，如果在表里已经有一条记录id2，那么更新会失败。 inputnullstring 可选参数，如果没有指定，则字符串null将被使用。 inputnullnonstring 可选参数，如果没有指定，则字符串null将被使用。 stagingtable 创建一个与导入目标表同样数据结构的表，将所有数据先存放在该表中，然后由该表通过一次事务将结果写入到目标表中。 该参数是用来保证在数据导入关系数据库表的过程中的事务安全性，因为在导入的过程中可能会有多个事务，那么一个事务失败会影响到其它事务，比如导入的数据会出现错误或出现重复的记录等等情况，那么通过该参数可以避免这种情况。 clearstagingtable 如果该stagingtable非空，则通过该参数可以在运行导入前清除stagingtable里的数据。

作业执行权限说明 对于开启Kerberos认证的安全集群，用户在MRS界面提交作业时，要先执行IAM用户同步操作，同步完成后会在MRS系统中产生同IAM用户名的用户。IAM同步用户是否有提交作业权限，取决于IAM同步时，用户所绑定的IAM策略，提交作业策略请参考统一身份认证用户指南中关于同步MRS的说明章节。 用户提交作业，如果涉及到具体组件的资源使用，如HDFS的目录访问、Hive表的访问等相关组件的权限时，需由admin（Manager管理员）用户进行授权，给提交作业用户赋予相关组件权限。具体操作如下： 1.使用admin用户登录Manager。 2.参考创建角色内容，增加用户具体需要的组件权限的角色。 3.参考相关任务修改提交作业用户所属的用户组，将新增的组件角色加入到该用户组中。 说明 用户所在用户组绑定的组件角色修改后，权限生效需要一定时间，请耐心等待。

参数 说明 规则名称 用户自定义发送订阅消息的规则名称，只能包含数字、英文字符、中划线和下划线。 提醒通知 选择开启，将向订阅者发送对应订阅消息。 主题名称 选择已创建的主题，也可以单击“创建主题”重新创建。 消息类型 选择“事件”。 订阅规则 1. 单击“提示”前的 。 2. 单击“Manager”前的 。 3. 勾选“作业执行成功”和“作业执行失败”。