可能原因 计算资源（Yarn）不健康。 存储资源（HDFS）不健康。 存储资源（HDFS）部分不健康。 除Yarn与HDFS以外，关键角色不健康。 处理步骤 关闭容灾演练 1.在FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 跨AZ高可用”，打开跨AZ高可用页面。 2.检查AZ容灾列表中健康状态为“非健康”的AZ所在行的操作列中的“容灾演练”是否为灰色。 是，执行步骤4。 否，执行步骤3。 3.单击目标AZ行“操作”列中的“恢复”，待恢复后。等待2分钟，刷新页面查看该AZ健康状态。查看是否健康恢复。 是，处理完毕。 否，执行步骤4。 收集故障信息 4.以root用户登录主管理节点。 5.查看不健康服务的日志信息。 HDFS的日志文件存储路径为“/var/log/Bigdata/hdfs/nn/hdfsazstate.log”。 Yarn的日志文件存储路径为“/var/log/Bigdata/yarn/rm/yarnazstate.log”。 其余服务请查看对应服务日志目录下的服务健康检查日志。 6.请联系运维人员，并提供日志文件详细信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 12077 重要 是

收集故障信息 5.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 6.在“服务”中勾选“OmmServer”，单击“确定”。 7.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 8.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 12074 重要 是

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。

告警ID 告警级别 是否自动清除 12072 重要 是

本章节主要介绍 ALM12063 磁盘不可用。 告警解释 系统每一个小时，整点检查一次当前主机的磁盘是否可用，只检查数据盘，在磁盘对应的挂载目录下执行创建文件，写文件和删文件等操作，如果能够成功则认为磁盘可用，发送恢复告警，如果不能成功，则发送故障告警。 告警属性 告警ID 告警级别 是否自动清除 12063 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名称。 对系统的影响 数据盘不可写或者不可读，会导致业务异常。 可能原因 磁盘挂载目录权限异常或磁盘坏道。 处理步骤 检查磁盘挂载目录权限是否正常 1.打开FusionInsight Manager页面，在告警列表中，单击此告警所在行的，查看该告警的主机地址和告警的磁盘名称DiskName。 2.以root用户登录告警所在主机。 3.执行命令 df h grep DiskName ，获取对应的挂载点，查看挂载目录的权限，是否存在不可写或者不可读。 是，执行步骤4。 否，执行步骤8。 说明 如果挂载目录权限为000，或者属主为root，则表示当前状态为不可读不可写。 4.修改目录权限为合适的目录权限。 5.等待一小时，查看告警是否恢复。 是，操作结束。 否，执行6。 6.联系硬件工程师，修复磁盘故障。 7.等待一小时，查看告警是否恢复。 是，操作结束。 否，执行步骤8。

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

收集故障信息 6.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 7.在“服务”中勾选“Controller”，单击“确定”。 8.单击右上角的设置日志收集的时间范围，一般为告警产生时间的前后10分钟，单击“下载”。 9.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

告警ID 告警级别 是否自动清除 12047 重要 是

本章节主要介绍ALM12049 网络读吞吐率超过阈值。 告警解释 系统每30秒周期性检测网络读吞吐率，并把实际吞吐率和阈值（系统默认阈值80%）进行比较，当检测到网络读吞吐率连续多次（默认值为5）超过阈值时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络读信息 > 读吞吐率”修改阈值。 平滑次数为1，网络读吞吐率小于或等于阈值时，告警恢复；平滑次数大于1，网络读吞吐率小于或等于阈值的90%时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12049 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 网口名 产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务系统运行不正常或不可用。 可能原因 告警阈值配置不合理。 网口速率不满足当前业务需求。 处理步骤

告警ID 告警级别 是否自动清除 12028 重要 是

检查网络是否异常 17. 联系系统管理员，检查网络是否存在异常。 是，恢复网络故障，执行步骤 18。 否，执行步骤 19。 18. 等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行步骤 19。 收集故障信息 19. 在主集群的FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 20. 在“服务”中勾选“OMS”，单击“确定”。 21. 设置“主机”为告警所在节点和主OMS节点。 22. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟，单击“下载”。 23. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍如何停止作业。 背景信息 Spark SQL作业不支持停止。作业停止后状态更新为“已终止”，并且该作业不可重新执行。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名。 进入集群基本信息页面。 3.选择“作业管理”。 4.选择一个运行中的作业，在作业对应的“操作”列中，选择“更多 > 停止”。 作业状态由“运行中”更新为“已终止”。

告警ID 告警级别 是否自动清除 12039 紧急 是

收集故障信息 13. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 14. 在“服务”中勾选“Controller”，单击“确定”。 15. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 16. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 12018 重要 是

本章节主要介绍 ALM12011 Manager主备节点同步数据异常 。 告警解释 系统按60秒周期检测Manager主备节点同步数据情况，当备Manager无法与主Manager同步文件时，产生该告警。 当备Manager与主Manager正常同步文件时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12011 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 备Manager的配置文件没有更新。主备倒换之后，一些配置可能会丢失。Manager及部分组件可能无法正常运行。 可能原因 主备Manager节点间链路中断，/srv/BigData/LocalBackup目录存储空间已满。 同步文件不存在，或者文件权限有误。 处理步骤 检查主备Manager服务器间的网络是否正常 1. 在FusionInsight Manager页面，选择“运维 > 告警 > 告警”，单击此告警所在行的，获取该告警的备Manager（即Peer Manager）IP地址。 2. 以root用户登录主Manager服务器。 3. 执行ping 备Manager IP地址命令检查备Manager服务器是否可达。 是，执行步骤6。 否，执行步骤4。 4. 联系网络管理员查看是否为网络故障。 是，执行步骤5。 否，执行步骤6。 5. 修复网络故障，查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行步骤6。

本章节主要介绍 ALM12027 主机PID使用率超过阈值。 告警解释 系统每30秒周期性检测PID使用率，并把实际PID使用率和阈值进行比较，PID使用率默认提供一个阈值。当检测到PID使用率超出阈值时产生该告警。 平滑次数为1，主机PID使用率小于或等于阈值时，告警恢复；平滑次数大于1，主机PID使用率小于或等于阈值的90%时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12027 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 无法分配PID给新的业务进程，业务进程不可用。 可能原因 节点同时运行的进程过多，需要扩展pidmax值。 处理步骤 扩展pidmax值 1.打开FusionInsight Manager页面，在实时告警列表中，单击此告警所在行的，获取告警所在主机IP地址。 2.以root用户登录告警所在主机。 3.执行命令 cat /proc/sys/kernel/pidmax ，查看系统当前运行的PID最大值pidmax。 4.若PID使用率超过阈值，执行以下命令将pidmax值增大一倍。 echo 新pidmax 值 > /proc/sys/kernel/pidmax 例如： echo 65536 > /proc/sys/kernel/pidmax 说明 “pidmax”最大可设置为： 32位系统：32768 64位系统：4194304（2的22次方） 5.等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行步骤6。

收集故障信息 14. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 15. 在“服务”中勾选“OMS”，单击“确定”。 16. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 17. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 12016 重要 是

收集故障信息 12. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 13. 在“服务”中勾选如下节点信息，单击“确定”。 NodeAgent Controller OS 14. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 15. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 12010 重要 是

最小密码长度 字符种类 对比用户密码策略结果 重置后的密码 8到17位 4 已满足用户密码策略 Admin@123Test@123 18位 4 需补充一个@ Admin@123@Test@123 19位 4 需补充两个@ Admin@123@@Test@123 8到18位 5 需补充一个空格 Admin@123 Test@123 19位 5 需补充一个空格和一个@ Admin@123 @Test@123 20位 5 需补充一个空格和两个@ Admin@123 @@Test@123

检查磁盘空间是否不足 7.在FusionInsight Manager的告警列表中，查看是否有“ALM12017 磁盘容量不足”告警产生。 是，执行步骤8。 否，执行步骤11。 8.按ALM12017 磁盘容量不足提供的步骤处理该故障。 9.等待5分钟，查看告警列表中，“ALM12017 磁盘容量不足”告警是否已清除。 是，执行步骤10。 否，执行步骤11。 10.等待5分钟，查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行步骤11。 收集故障信息 11.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 12.根据在步骤1获取的服务名称，在“服务”中勾选对应的组件及“NodeAgent”，单击“确定”。 13.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 14.请联系运维人员，并发送已收集的故障日志信息。

本章节主要介绍配置跨集群互信后的用户权限。 操作场景 配置完跨Manager集群互信后，需要在互信的系统上设置访问用户的权限，这样指定的用户才能在互信系统上进行对应的业务操作。 前提条件 两个系统已完成互信配置。 操作步骤 1.登录本端系统的FusionInsight Manager。 2.选择“系统 > 权限 > 用户”，检查本次业务操作的用户是否在已存在： 是，执行步骤3。 否，执行步骤4。 3.单击指定用户左侧的，检查该用户所在的用户组和角色分配的权限是否满足本次业务需求。若不满足，参见权限设置创建新角色并绑定用户，也可以直接修改用户的用户组或角色权限。 4.参见创建用户，创建本次业务所需要的用户，同时关联业务所需要的用户组或者角色信息。 5.登录互信系统的FusionInsight Manager，重复步骤2～步骤4，创建相同名字的用户并设置权限。

告警ID 告警级别 是否自动清除 12005 重要 是

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。

本章节主要介绍安全配置。 设置安全通道加密 默认情况下，组件间的通道是不加密的。您可以配置如下参数，设置安全通道是加密的。 参数修改入口：在FusionInsight Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > 服务名 > 配置”，展开“全部配置”页签。在搜索框中输入参数名称。 说明 配置后需要重启对应服务。 详见下表：参数说明 配置参数 说明 缺省值 hbase.rpc.protection 设置HBase通道是否加密，包含HBase客户端访问HBase服务端的RPC（remote procedure call）通道，HMaster和RegionServer间的RPC通道。设置为“privacy”表示通道加密，认证、完整性和隐私性功能都全部开启，设置为“integrity”表示不加密，只开启认证和完整性功能，设置为“authentication”表示不加密，仅要求认证报文，不要求完整性和隐私性。 说明 privacy会对传输内容进行加密，包括用户token等敏感信息，以确保传输信息的安全，但是该方式对性能影响很大，对比另外两种方式，会带来约60%的读写性能下降。请根据企业安全要求修改配置，且客户端与服务端中该配置项需使用相同设置。 dfs.encrypt.data.transfer 设置客户端访问HDFS的通道和HDFS数据传输通道是否加密。HDFS数据传输通道包括DataNode间的数据传输通道，客户端访问DataNode的DT（Data Transfer）通道。设置为“true”表示加密，默认不加密。 “false” dfs.encrypt.data.transfer.algorithm 设置客户端访问HDFS的通道和HDFS数据传输通道是否加密。只有在dfs.encrypt.data.transfer配置项设置为true，此参数才会生效。 缺省值为“3des”，表示采用3DES算法进行加密。此处的值还可以设置为“rc4”，避免出现安全隐患，不推荐设置为该值。 “3des” hadoop.rpc.protection 设置Hadoop中各模块的RPC通道是否加密。包括： 客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道，如DataNode与NameNode间。 客户端访问Yarn的RPC通道。 NodeManager和ResourceManager间的RPC通道。 Spark访问Yarn，Spark访问HDFS的RPC通道。 MapReduce访问Yarn，Mapreduce访问HDFS的RPC通道。 HBase访问HDFS的RPC通道。 默认设置为“privacy”表示加密，“authentication”表示不加密。 说明 您可以在HDFS组件的配置界面中设置该参数的值，设置后全局生效，即Hadoop中各模块的RPC通道是否加密全部生效。 安全模式：privacy 普通模式：authentication

本章节主要介绍使用客户端。 操作场景 客户端安装后，用户可以通过客户端在运维场景或业务场景中使用shell命令，也可以在应用程序开发场景中使用客户端中的样例工程。 该任务指导用户在运维场景或业务场景中使用客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/Bigdata/client”。 各组件业务用户由系统管理员根据业务需要创建。 “机机”用户需要下载keytab文件，“人机”用户第一次登录时需修改密码。 操作步骤 1.以客户端安装用户登录安装客户端的节点。 2.执行以下命令，切换到客户端安装目录。 cd /opt/Bigdata/client 3.执行以下命令配置环境变量。 source bigdataenv 4.如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 5.根据实际业务需要，执行shell命令。

本章节主要介绍配置存算分离集群（AKSK方式）。 MRS支持使用 obs:// 的方式对接OBS服务，当前主要支持的组件为Hadoop、Hive、Spark、Presto、Flink。其中HBase组件使用 obs:// 的方式对接OBS服务暂不支持。 MRS提供如下访问OBS的配置方式，请选择其中一种配置即可（推荐使用委托方式）： 通过为MRS集群绑定ECS委托方式访问OBS，避免了AK/SK直接暴露在配置文件中的风险，具体请参考配置存算分离集群（委托方式）。 在MRS集群中配置AK/SK，AK/SK会明文暴露在配置文件中，请谨慎使用，具体请参考本章节。 说明 为了提高数据写入性能，可以修改对应服务的配置参数fs.obs.buffer.dir的值为数据盘目录。 大数据存算分离场景，请务必使用OBS并行文件系统，使用普通对象桶会对集群性能产生较大影响。 Hadoop访问OBS 在MRS客户端的HDFS目录($clienthome/ HDFS/hadoop/etc/hadoop)中修改coresite.xml文件，增加如下内容。 fs.obs.access.key ak fs.obs.secret.key sk fs.obs.endpoint obs endpoint 须知 在文件中设置AK/SK会明文暴露在配置文件中，请谨慎使用。 添加配置后无需手动添加AK/SK、endpoint就可以直接访问OBS上的数据。例如执行如下命令查看文件系统obstest下面的文件夹testobsorc的文件列表。 hadoop fs ls "obs://obstest/testobsorc" 每次在命令行中手动添加AK/SK、endpoint访问OBS上的数据。 hadoop fs Dfs.obs.endpointxxx Dfs.obs.access.keyxx Dfs.obs.secret.keyxx ls"obs://obstest/ testobsorc"