ALM-12006 节点故障 本章节主要介绍ALM12006 节点故障。 告警解释 Controller按30秒周期检测NodeAgent心跳。当Controller未接收到某一个NodeAgent的心跳,则尝试重启该NodeAgent进程,如果连续三次重启失败,产生该告警。 当Controller可以正常接收时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12006 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 节点业务无法提供。 可能原因 网络断连、硬件故障或操作系统执行命令缓慢。 处理步骤 检查网络是否断连、硬件是否故障或者操作系统执行命令缓慢 1. 在FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的,单击主机名,查看该告警的主机地址。 2. 以root用户登录主管理节点。 3. 执行ping 故障主机IP地址命令检查故障节点是否可达。 是,执行步骤12。 否,执行步骤4。 4. 联系网络管理员查看是否为网络故障。 是,执行步骤5。 否,执行步骤6。 5. 修复网络故障,查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行步骤6。 6. 联系系统管理员查看是否节点硬件故障(CPU或者内存等)。 是,执行步骤7。 否,执行步骤12。 7. 维修或者更换故障部件,并重启节点。查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行步骤8。 8. 当集群中上报大量的节点故障时,可能是浮动IP资源异常导致Controller无法检测NodeAgent心跳。 登录任一管理节点,查看“/var/log/Bigdata/omm/oms/ha/scriptlog/floatip.log”,查看故障出现前后12分钟的日志是否完整。 例如:完整日志为如下格式: 20171209 04:10:51,000 INFO (floatip) Read from ${BIGDATAHOME}/omserver8.1.0.1/om/etc/om/routeSetConf.ini,value is : yes 20171209 04:10:51,000 INFO (floatip) check wsNetExport : eth0 is up. 20171209 04:10:51,000 INFO (floatip) check omNetExport : eth0 is up. 20171209 04:10:51,000 INFO (floatip) check wsInterface : eRth0:oms, wsFloatIp: XXX.XXX.XXX.XXX. 20171209 04:10:51,000 INFO (floatip) check omInterface : eth0:oms, omFloatIp: XXX.XXX.XXX.XXX. 20171209 04:10:51,000 INFO (floatip) check wsFloatIp : XXX.XXX.XXX.XXX is reachable. 20171209 04:10:52,000 INFO (floatip) check omFloatIp : XXX.XXX.XXX.XXX is reachable. 是,执行步骤12。 否,执行步骤9。 9. 查看检测完wsNetExport后是否打印omNetExport的检测日志或两条日志打印间隔时间超过10s或更长。 是,执行步骤10。 否,执行步骤12。 10. 查看操作系统的“/var/log/message”,查看故障出现时间段是否有sssd频繁重启或者nscd异常信息(Red Hat操作系统确认sssd信息,SUSE操作系统确认nscd信息)。 sssd重启样例 Feb 7 11:38:1610132190105 sssd[pam]: Shutting down Feb 7 11:38:16 10132190105 sssd[nss]:Shutting down Feb 7 11:38:16 10132190105 sssd[nss]:Shutting down Feb 7 11:38:16 10132190105sssd[be[default]]: Shutting down Feb 7 11:38:16 10132190105 sssd:Starting up Feb 7 11:38:16 10132190105sssd[be[default]]: Starting up Feb 7 11:38:16 10132190105 sssd[nss]:Starting up Feb 7 11:38:16 10132190105 sssd[pam]:Starting up nscd异常信息样例 Feb 11 11:44:42 1012020533 nscd: nssldap: failed to bind to LDAP server ldaps://10.120.205.55:21780: Can't contact LDAP server Feb 11 11:44:43 1012020533 ntpq: nssldap: failed to bind to LDAP server ldaps://10.120.205.55:21780: Can't contact LDAP server Feb 11 11:44:44 1012020533 ntpq: nssldap: failed to bind to LDAP server ldaps://10.120.205.92:21780: Can't contact LDAP server 是,执行步骤11。 否,执行步骤12。 11. 排查LdapServer节点是否故障,例如业务IP不可达、网络延时过长等;若故障为阶段性,则需在故障时排查,并尝试执行top命令查看是否存在异常软件。