告警ID 告警级别 是否自动清除 12047 重要 是

本章节主要介绍ALM12049 网络读吞吐率超过阈值。 告警解释 系统每30秒周期性检测网络读吞吐率，并把实际吞吐率和阈值（系统默认阈值80%）进行比较，当检测到网络读吞吐率连续多次（默认值为5）超过阈值时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络读信息 > 读吞吐率”修改阈值。 平滑次数为1，网络读吞吐率小于或等于阈值时，告警恢复；平滑次数大于1，网络读吞吐率小于或等于阈值的90%时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12049 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 网口名 产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务系统运行不正常或不可用。 可能原因 告警阈值配置不合理。 网口速率不满足当前业务需求。 处理步骤

告警ID 告警级别 是否自动清除 12028 重要 是

检查网络是否异常 17. 联系系统管理员，检查网络是否存在异常。 是，恢复网络故障，执行步骤 18。 否，执行步骤 19。 18. 等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行步骤 19。 收集故障信息 19. 在主集群的FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 20. 在“服务”中勾选“OMS”，单击“确定”。 21. 设置“主机”为告警所在节点和主OMS节点。 22. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟，单击“下载”。 23. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍如何停止作业。 背景信息 Spark SQL作业不支持停止。作业停止后状态更新为“已终止”，并且该作业不可重新执行。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名。 进入集群基本信息页面。 3.选择“作业管理”。 4.选择一个运行中的作业，在作业对应的“操作”列中，选择“更多 > 停止”。 作业状态由“运行中”更新为“已终止”。

告警ID 告警级别 是否自动清除 12039 紧急 是

收集故障信息 13. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 14. 在“服务”中勾选“Controller”，单击“确定”。 15. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 16. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 12018 重要 是

本章节主要介绍 ALM12011 Manager主备节点同步数据异常 。 告警解释 系统按60秒周期检测Manager主备节点同步数据情况，当备Manager无法与主Manager同步文件时，产生该告警。 当备Manager与主Manager正常同步文件时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12011 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 备Manager的配置文件没有更新。主备倒换之后，一些配置可能会丢失。Manager及部分组件可能无法正常运行。 可能原因 主备Manager节点间链路中断，/srv/BigData/LocalBackup目录存储空间已满。 同步文件不存在，或者文件权限有误。 处理步骤 检查主备Manager服务器间的网络是否正常 1. 在FusionInsight Manager页面，选择“运维 > 告警 > 告警”，单击此告警所在行的，获取该告警的备Manager（即Peer Manager）IP地址。 2. 以root用户登录主Manager服务器。 3. 执行ping 备Manager IP地址命令检查备Manager服务器是否可达。 是，执行步骤6。 否，执行步骤4。 4. 联系网络管理员查看是否为网络故障。 是，执行步骤5。 否，执行步骤6。 5. 修复网络故障，查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行步骤6。

本章节主要介绍 ALM12027 主机PID使用率超过阈值。 告警解释 系统每30秒周期性检测PID使用率，并把实际PID使用率和阈值进行比较，PID使用率默认提供一个阈值。当检测到PID使用率超出阈值时产生该告警。 平滑次数为1，主机PID使用率小于或等于阈值时，告警恢复；平滑次数大于1，主机PID使用率小于或等于阈值的90%时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12027 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 无法分配PID给新的业务进程，业务进程不可用。 可能原因 节点同时运行的进程过多，需要扩展pidmax值。 处理步骤 扩展pidmax值 1.打开FusionInsight Manager页面，在实时告警列表中，单击此告警所在行的，获取告警所在主机IP地址。 2.以root用户登录告警所在主机。 3.执行命令 cat /proc/sys/kernel/pidmax ，查看系统当前运行的PID最大值pidmax。 4.若PID使用率超过阈值，执行以下命令将pidmax值增大一倍。 echo 新pidmax 值 > /proc/sys/kernel/pidmax 例如： echo 65536 > /proc/sys/kernel/pidmax 说明 “pidmax”最大可设置为： 32位系统：32768 64位系统：4194304（2的22次方） 5.等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行步骤6。

收集故障信息 14. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 15. 在“服务”中勾选“OMS”，单击“确定”。 16. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 17. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 12016 重要 是

收集故障信息 12. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 13. 在“服务”中勾选如下节点信息，单击“确定”。 NodeAgent Controller OS 14. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 15. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 12010 重要 是

最小密码长度 字符种类 对比用户密码策略结果 重置后的密码 8到17位 4 已满足用户密码策略 Admin@123Test@123 18位 4 需补充一个@ Admin@123@Test@123 19位 4 需补充两个@ Admin@123@@Test@123 8到18位 5 需补充一个空格 Admin@123 Test@123 19位 5 需补充一个空格和一个@ Admin@123 @Test@123 20位 5 需补充一个空格和两个@ Admin@123 @@Test@123

检查磁盘空间是否不足 7.在FusionInsight Manager的告警列表中，查看是否有“ALM12017 磁盘容量不足”告警产生。 是，执行步骤8。 否，执行步骤11。 8.按ALM12017 磁盘容量不足提供的步骤处理该故障。 9.等待5分钟，查看告警列表中，“ALM12017 磁盘容量不足”告警是否已清除。 是，执行步骤10。 否，执行步骤11。 10.等待5分钟，查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行步骤11。 收集故障信息 11.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 12.根据在步骤1获取的服务名称，在“服务”中勾选对应的组件及“NodeAgent”，单击“确定”。 13.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 14.请联系运维人员，并发送已收集的故障日志信息。

本章节主要介绍配置跨集群互信后的用户权限。 操作场景 配置完跨Manager集群互信后，需要在互信的系统上设置访问用户的权限，这样指定的用户才能在互信系统上进行对应的业务操作。 前提条件 两个系统已完成互信配置。 操作步骤 1.登录本端系统的FusionInsight Manager。 2.选择“系统 > 权限 > 用户”，检查本次业务操作的用户是否在已存在： 是，执行步骤3。 否，执行步骤4。 3.单击指定用户左侧的，检查该用户所在的用户组和角色分配的权限是否满足本次业务需求。若不满足，参见权限设置创建新角色并绑定用户，也可以直接修改用户的用户组或角色权限。 4.参见创建用户，创建本次业务所需要的用户，同时关联业务所需要的用户组或者角色信息。 5.登录互信系统的FusionInsight Manager，重复步骤2～步骤4，创建相同名字的用户并设置权限。

告警ID 告警级别 是否自动清除 12005 重要 是

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。

本章节主要介绍例行维护。 为了保证系统长期正常、稳定的运行，管理员或维护工程师需要定期对下表所示的项目进行检查，并根据检查出的异常结果排除故障。建议检查人员根据企业管理规范，记录每个任务场景的结果并签名确认。 项目一览表 例行维护周期 任务场景 例行维护内容 每天 检查集群服务状态 l 检查每个服务的运行状态和配置状态是否正常，是否为绿色。 l 检查每个服务中，角色实例的运行状态和配置状态是否正常，是否为绿色。 l 检查每个服务中，角色实例的主备状态是否可以正常显示。 l 检查服务与角色实例的“概览”显示结果是否正常。 每天 检查集群主机状态 l 检查每个主机当前的运行状态是否正常，是否为绿色。 l 检查每个主机当前的磁盘使用率、内存使用率和CPU使用率。关注当前内存与CPU使用率是否处于上升趋势。 每天 检查集群告警信息 检查前一天是否生成了未处理异常告警，包含已自动恢复的告警。 每天 检查集群审计信息 检查前一天是否有“高危”和“危险”的操作，是否已确认操作的合法性。 每天 检查集群备份情况 检查前一天OMS、LDAP、DBService和NameNodeOMS、LDAP和DBServiceOMS、LDAP是否自动备份。 每天 检查健康检查结果 在FusionInsight Manager执行健康检查，下载健康检查报告确认当前集群是否存在异常状态。建议启用自动健康检查，并及时导出最新的集群健康检查结果，根据检查结果修复不健康项目。 每天 检查网络通讯 检查集群网络工作状态，节点之间的网络通讯是否存在延时。 每天 检查存储状态 检查集群总体数据存储量是否出现了突然的增长： l 磁盘使用量是否已接近阈值，排查原因，例如是否有业务留下的垃圾数据或冷数据需要清理。 l 业务是否有增长需求，磁盘分区是否需要扩容。 每天 检查日志情况 l 检查是否有失败、失去响应的MapReduce、Spark任务，查看HDFS中“/tmp/logs/${username}/logs/${application id}”日志文件并排除问题。 l 检查Yarn的任务日志，查看失败、失去响应的任务日志，并删除重复数据。 l 检查Storm的worker日志。 l 备份日志到存储服务器。 每周 用户管理 检查用户密码是否将要过期并通知修改。“机机用户”用户修改密码需要重新下载keytab文件。 每周 分析告警 导出指定周期内产生的告警并分析。 每周 扫描磁盘 对磁盘健康状态进行检查，建议使用专门的磁盘检查工具。 每周 统计存储 分批次排查集群节点磁盘数据是否均匀存储，筛选出明显数据增加或不足的硬盘，并确认硬盘是否正常。 每周 记录变更 安排并记录对集群配置参数和文件实施的操作，为故障分析处理场景提供依据。 每月 分析日志 l 收集集群节点服务器的硬件日志，例如BMC系统日志，并进行分析。 l 收集集群节点服务器的操作系统日志，并进行分析。 l 收集集群日志，并进行分析。 每月 诊断网络 对集群的网络健康状态进行分析。 每月 管理硬件 检查设备运行的机房环境，安排清洁设备。

本章节主要介绍安全配置。 设置安全通道加密 默认情况下，组件间的通道是不加密的。您可以配置如下参数，设置安全通道是加密的。 参数修改入口：在FusionInsight Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > 服务名 > 配置”，展开“全部配置”页签。在搜索框中输入参数名称。 说明 配置后需要重启对应服务。 详见下表：参数说明 配置参数 说明 缺省值 hbase.rpc.protection 设置HBase通道是否加密，包含HBase客户端访问HBase服务端的RPC（remote procedure call）通道，HMaster和RegionServer间的RPC通道。设置为“privacy”表示通道加密，认证、完整性和隐私性功能都全部开启，设置为“integrity”表示不加密，只开启认证和完整性功能，设置为“authentication”表示不加密，仅要求认证报文，不要求完整性和隐私性。 说明 privacy会对传输内容进行加密，包括用户token等敏感信息，以确保传输信息的安全，但是该方式对性能影响很大，对比另外两种方式，会带来约60%的读写性能下降。请根据企业安全要求修改配置，且客户端与服务端中该配置项需使用相同设置。 dfs.encrypt.data.transfer 设置客户端访问HDFS的通道和HDFS数据传输通道是否加密。HDFS数据传输通道包括DataNode间的数据传输通道，客户端访问DataNode的DT（Data Transfer）通道。设置为“true”表示加密，默认不加密。 “false” dfs.encrypt.data.transfer.algorithm 设置客户端访问HDFS的通道和HDFS数据传输通道是否加密。只有在dfs.encrypt.data.transfer配置项设置为true，此参数才会生效。 缺省值为“3des”，表示采用3DES算法进行加密。此处的值还可以设置为“rc4”，避免出现安全隐患，不推荐设置为该值。 “3des” hadoop.rpc.protection 设置Hadoop中各模块的RPC通道是否加密。包括： 客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道，如DataNode与NameNode间。 客户端访问Yarn的RPC通道。 NodeManager和ResourceManager间的RPC通道。 Spark访问Yarn，Spark访问HDFS的RPC通道。 MapReduce访问Yarn，Mapreduce访问HDFS的RPC通道。 HBase访问HDFS的RPC通道。 默认设置为“privacy”表示加密，“authentication”表示不加密。 说明 您可以在HDFS组件的配置界面中设置该参数的值，设置后全局生效，即Hadoop中各模块的RPC通道是否加密全部生效。 安全模式：privacy 普通模式：authentication

本章节主要介绍使用客户端。 操作场景 客户端安装后，用户可以通过客户端在运维场景或业务场景中使用shell命令，也可以在应用程序开发场景中使用客户端中的样例工程。 该任务指导用户在运维场景或业务场景中使用客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/Bigdata/client”。 各组件业务用户由系统管理员根据业务需要创建。 “机机”用户需要下载keytab文件，“人机”用户第一次登录时需修改密码。 操作步骤 1.以客户端安装用户登录安装客户端的节点。 2.执行以下命令，切换到客户端安装目录。 cd /opt/Bigdata/client 3.执行以下命令配置环境变量。 source bigdataenv 4.如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 5.根据实际业务需要，执行shell命令。

本章节主要介绍配置存算分离集群（AKSK方式）。 MRS支持使用 obs:// 的方式对接OBS服务，当前主要支持的组件为Hadoop、Hive、Spark、Presto、Flink。其中HBase组件使用 obs:// 的方式对接OBS服务暂不支持。 MRS提供如下访问OBS的配置方式，请选择其中一种配置即可（推荐使用委托方式）： 通过为MRS集群绑定ECS委托方式访问OBS，避免了AK/SK直接暴露在配置文件中的风险，具体请参考配置存算分离集群（委托方式）。 在MRS集群中配置AK/SK，AK/SK会明文暴露在配置文件中，请谨慎使用，具体请参考本章节。 说明 为了提高数据写入性能，可以修改对应服务的配置参数fs.obs.buffer.dir的值为数据盘目录。 大数据存算分离场景，请务必使用OBS并行文件系统，使用普通对象桶会对集群性能产生较大影响。 Hadoop访问OBS 在MRS客户端的HDFS目录($clienthome/ HDFS/hadoop/etc/hadoop)中修改coresite.xml文件，增加如下内容。 fs.obs.access.key ak fs.obs.secret.key sk fs.obs.endpoint obs endpoint 须知 在文件中设置AK/SK会明文暴露在配置文件中，请谨慎使用。 添加配置后无需手动添加AK/SK、endpoint就可以直接访问OBS上的数据。例如执行如下命令查看文件系统obstest下面的文件夹testobsorc的文件列表。 hadoop fs ls "obs://obstest/testobsorc" 每次在命令行中手动添加AK/SK、endpoint访问OBS上的数据。 hadoop fs Dfs.obs.endpointxxx Dfs.obs.access.keyxx Dfs.obs.secret.keyxx ls"obs://obstest/ testobsorc"

作业列表 作业列表默认按时间顺序排列，时间最近的作业显示在最前端。各类作业列表参数说明如下表所示。 作业列表参数 参数 参数说明 作业名称/ID 作业的名称，新增作业时配置。 ID是作业的唯一标识，作业新增后系统自动赋值。 用户名称 提交作业的用户名称。 作业类型 支持的作业类型： Distcp：导入、导出数据 MapReduce Spark SparkSubmit SparkScript Spark SQL Hive SQL HiveScript Flink 说明 在“文件管理”页面进行文件的导入导出操作后，您可以在“作业管理”页面查看Distcp作业。 只有创建集群时选择了Spark、Hive和Flink组件，并且集群处于运行中，才能新增Spark、Hive和Flink类型的作业。 状态 显示作业的状态。 已提交 已接受 运行中 已完成 已终止 异常 执行结果 显示作业执行完成的结果。 未定：正在执行的作业。 成功：执行成功的作业。 终止：执行中被手动终止的作业。 失败：执行失败的作业。 说明 作业执行成功或失败后都不能再次执行，只能新增作业，配置作业参数后重新提交作业。 队列名称 提交作业用户绑定的队列的名称。 作业提交时间 记录作业提交的开始时间。 作业结束时间 记录作业执行完成或手工停止的时间。 操作 查看日志：单击“查看日志”，查看运行中的作业执行的实时日志信息。操作方法，请参见查看作业配置信息和日志。 查看详情：单击“查看详情”，查看作业的详细配置信息。操作方法，请参见查看作业配置信息和日志。 更多 − 停止：单击“停止”，停止正在运行的作业。操作方法，请参见停止作业。 − 删除：单击“删除”，删除一个作业。操作方法，请参见删除作业。 − 结果：单击“结果”，查看SparkSql和SparkScript类型的“状态”为“已完成”且“执行结果”为“成功”的作业执行结果。 说明 Spark SQL作业不支持停止。 作业删除后不可恢复，请谨慎操作。 当选择保留作业日志到OBS或HDFS时，系统在作业执行结束后，将日志压缩并存储到对应路径。因此，此类作业运行结束后，作业状态仍然为“运行中”，需等日志存储成功后，状态变更为“已完成”。日志存储花费时间依赖于日志大小，需要数分钟以上。 按钮说明 按钮 说明 按钮 说明 选择提交作业的时间区间，筛选在对应时间区间内提交的作业。 在下拉框中选择作业执行结果，筛选作业。 l 全部：表示筛选所有的作业。 l 成功：表示筛选执行成功的作业。 l 未定：表示筛选正在执行的作业。 l 终止：表示筛选被手动终止的作业。 l 失败：表示筛选执行失败的作业。 在下拉框中选择作业类型，筛选作业。 l 全部作业类型 l MapReduce l HiveScript l Distcp l SparkScript l Spark SQL l Hive SQL l SparkSubmit l Flink 在搜索框中根据搜索条件输入对应内容，单击，搜索作业。 l 作业名称 l 作业ID l 用户名称 l 队列名称 单击，手动刷新作业列表。

本章节主要介绍如何配置作业消息通知。 MRS联合消息通知服务（SMN），采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式（短信和邮件通知）。通过配置作业消息通知可以实现您在作业执行成功或作业执行失败时能立即接收到通知。 操作步骤 1.登录管理控制台。 2.单击“服务列表”选择“管理与监管 > 消息通知服务”，进入消息通知服务页面。 3.创建主题并向主题中添加订阅，具体请参考配置消息通知。 4.进入MRS管理控制台，单击集群名称进入集群详情页面。 5.选择“告警管理 > 消息订阅规则 > 添加消息订阅规则”。 6.配置向订阅者发送作业执行结果消息的规则。 消息订阅规则参数说明 参数 说明 规则名称 用户自定义发送订阅消息的规则名称，只能包含数字、英文字符、中划线和下划线。 提醒通知 选择开启，将向订阅者发送对应订阅消息。 主题名称 选择已创建的主题，也可以单击“创建主题”重新创建。 消息类型 选择“事件”。 订阅规则 1. 单击“提示”前的。 2. 单击“Manager”前的。 3. 勾选“作业执行成功”和“作业执行失败”。

本章节主要介绍租户管理使用前须知。 本章节指导用户在MRS控制台执行租户管理操作。 在控制台界面执行租户管理操作仅适用于MRS 3.x之前版本集群。 在Manager界面执行租户管理操作适用于所有版本，MRS 3.x及之后版本请参考简介，MRS 3.x之前版本请参考租户简介。

本章节主要介绍如何查看健康检查任务。 操作场景 管理员可以在健康检查的管理中心查看所有健康检查任务，便于在修改某些配置之后的场景对比修改前后是否对集群产生影响。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“运维 > 健康检查”。 默认显示所有已保存的检查报告，以列表形式展示，包含如下所示的信息： 健康检查报告记录 项目 说明 检查对象 表示被检查的对象，可打开下拉菜单查看详情。 状态 表示检查的结果状态，包含未发现问题、发现问题和检查中。 检查类型 表示执行检查的主体，包含“系统”、“集群”、“主机”、“服务”和“OMS”五个检查维度。集群维度默认包含所有检查。 启动方式 表示此次检查的属性，是否自动触发或手动执行。 开始时间 表示此次检查的开始时间。 结束时间 表示此次检查的结束时间。 操作 支持“导出报告”和“查看帮助”。 说明 在检查记录列表右上方，可以筛选指定的检查对象和结果状态。 如果检查类型为集群时，“查看帮助”在“检查对象”的下拉菜单中。 系统执行健康检查时，涉及检查对象的监控指标数据时，并非以当前实时的监控数据进行判断，而是收集近期的历史数据，因此存在时间延迟。

本章节主要介绍 配置日志级别与文件大小。 操作场景 如果需要在日志中调整记录的日志级别，则管理员可以修改FusionInsight Manager的日志级别。对于某个具体的服务，除了可以修改日志级别，还可以修改日志文件大小，防止磁盘空间不足日志无法保存。 对系统的影响 保存新的配置需要重启服务，此时对应的服务不可用。 修改FusionInsight Manager日志级别 1. 以omm用户登录主管理节点。 2. 执行以下命令，切换路径。 cd ${BIGDATAHOME}/omserver/om/sbin 3. 执行以下命令，修改日志级别。 ./setLogLevel.sh 日志级别参数 日志级别参数如下，优先级从高到低分别是FATAL、ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少： “DEFAULT”：设置后恢复到默认日志级别。 “FATAL”：严重错误日志级别，设置后日志只会打印输出“FATAL”信息。 “ERROR”：错误日志级别，设置后日志打印输出“ERROR”和“FATAL”信息。 “WARN”：警告日志级别，设置后日志打印输出“WARN”、“ERROR”和“FATAL”信息。 “INFO”（默认）：提示信息日志级别，设置后日志打印输出“INFO”、“WARN”、“ERROR”和“FATAL”信息。 “DEBUG”：调试日志级别，设置后日志打印输出“DEBUG”、“INFO”、“WARN”、“ERROR”和“FATAL”信息。 “TRACE”：跟踪日志级别，设置后日志打印输出"TRACE"、“DEBUG”、“INFO”、“WARN”、“ERROR”和“FATAL”信息。 说明 由于开源中定义的不同，组件的日志级别定义略有差异。 4. 验证日志级别设置已生效，请下载日志并查看。请参见日志。

级别 描述 FATAL FATAL表示当前事件处理出现严重错误信息，可能导致系统崩溃 ERROR ERROR表示当前事件处理出现错误信息，系统运行出错 WARN WARN表示当前事件处理存在异常信息，但认为是正常范围，不会导致系统出错 INFO INFO记录系统及各事件正常运行状态信息 DEBUG DEBUG记录系统及系统的调试信息

本章节主要介绍 配置审计日志本地备份数。 操作场景 集群组件的审计日志按名称分类，保存在集群各节点“/var/log/Bigdata/audit”，OMS每天凌晨3点自动备份这些审计日志目录。 各节点审计日志目录会按 .tar.gz的文件名压缩，所有压缩文件再按 .tar.gz的文件名格式，压缩保存在主管理节点“/var/log/Bigdata/audit/bk/”，同时备管理节点会同步保存一个相同的副本。 默认情况下，OMS备份的文件最大保留个数为90，该任务指导系统管理员配置此最大保留个数。 操作步骤 1.以omm用户登录主管理节点。 说明 用户只需在主管理节点执行此操作，不支持在备管理节点上修改审计日志备份文件数，否则可能造成集群无法正常工作。 2.执行以下命令，切换目录。 cd ${BIGDATAHOME}/omserver/om/sbin 3.执行以下命令，修改审计日志备份文件数。 ./modifyLogConfig.sh m 最大保留个数 OMS备份组件审计日志默认最大保留90个，可选值为“0”到“365”，如果设置的保留个数越大，会占用更多的磁盘空间。 显示如下结果，说明修改成功： Modify log config successfully

安装日志 安装信息一览表 安装日志 日志描述 安装配置日志 记录了安装前配置过程的信息。 安装Manager日志 记录了安装双机Manager操作的信息。 安装集群日志 记录了安装集群步骤的信息。 运行日志 运行日志记录的运行信息描述如下表所示。 运行信息一览表 运行日志 日志描述 服务安装前的准备日志 记录服务安装前的准备工作，如检测、配置和反馈操作的信息。 进程启动日志 记录进程启动过程中执行的命令信息。 进程启动异常日志 记录进程启动失败时产生异常的信息，如依赖服务错误、资源不足等。 进程运行日志 记录进程运行轨迹信息及调试信息，如函数入口和出口打印、模块间接口消息等。 进程运行异常日志 记录导致进程运行时错误的错误信息，如输入对象为空、编解码失败等错误。 进程运行环境信息日志 记录进程运行环境的信息，如资源状态、环境变量等。 脚本日志 记录脚本执行的过程信息。 资源回收日志 记录资源回收的过程信息。 服务卸载时的清理日志 记录卸载服务时执行的步骤操作信息，如清除目录数据、执行时间等。 审计日志 审计日志记录的审计信息包含Manager审计信息和组件审计信息。 Manager审计信息一览表 操作类型 操作 用户管理 创建用户 修改用户 删除用户 创建组 修改组 删除组 添加角色 修改角色 删除角色 密码策略修改 修改密码 密码重置 用户登录 用户注销 屏幕解锁 下载认证凭据 用户越权操作 用户帐号解锁 用户帐号锁定 屏幕锁定 导出用户 导出用户组 导出角色 集群 启动集群 停止集群 重启集群 滚动重启集群 重启所有过期实例 保存配置 同步集群配置 定制集群监控指标 配置监控转储 保存监控阈值 下载客户端配置 北向Syslog接口配置 北向SNMP接口配置 SNMP清除告警 SNMP添加trap目标 SNMP删除trap目标 SNMP检查告警 SNMP同步告警 创建阈值模板 删除阈值模板 应用阈值模板 保存集群监控配置数据 导出配置数据 导入集群配置数据 导出安装模板 修改阈值模板 取消阈值模板应用 屏蔽告警 发送告警 修改OMS数据库密码 重置组件数据库密码 重启OMM和Controller 启动集群的健康检查 导入证书文件 配置SSO信息 删除健康检查历史报告 修改集群属性 同步维护命令 异步维护命令 定制报表监控指标 导出报表监控数据 SNMP执行异步命令 重启WEB服务 定制静态资源池监控指标 导出静态资源池监控数据 定制主页监控指标 中止任务 还原配置 修改域和互信的配置 修改系统参数 集群进入维护模式 集群退出维护模式 OMS进入维护模式 OMS退出维护模式 批量退出维护模式 修改OMS配置 启用阈值告警 同步所有集群配置 服务 启动服务 停止服务 同步服务配置 刷新服务队列 定制服务监控指标 重启服务 滚动重启服务 导出服务监控数据 导入服务配置数据 启动服务的健康检查 服务配置 上传配置文件 下载配置文件 同步实例配置 实例入服 实例退服 启动实例 停止实例 定制实例监控指标 重启实例 滚动重启实例 导出实例监控数据 导入实例配置数据 创建实例组 修改实例组 删除实例组 移动到另一个实例组 服务进入维护模式 服务退出维护模式 修改服务显示名称 修改服务关联关系 下载监控数据 屏蔽告警 取消屏蔽告警 导出服务的报表数据 添加报表的自定义参数 修改报表的自定义参数 删除报表的自定义参数 倒换控制节点 新增挂载表 修改挂载表 主机 设置节点机架 启动所有角色 停止所有角色 隔离主机 取消隔离主机 定制主机监控指标 导出主机监控数据 主机进入维护模式 主机退出维护模式 导出主机基本信息 导出主机分布的报表数据 导出主机趋势的报表数据 导出主机集群的报表数据 导出服务的报表数据 定制主机集群监控指标 定制主机趋势监控指标 告警 导出告警 清除告警 导出事件 批量清除告警 采集日志 采集日志文件 下载日志文件 采集服务堆栈信息 采集实例堆栈信息 准备服务堆栈信息 准备实例堆栈信息 清理服务堆栈信息 清理实例堆栈信息 审计日志 修改审计转储配置 导出审计日志 备份恢复 创建备份任务 执行备份任务 批量执行备份任务 停止备份任务 删除备份任务 修改备份任务 锁定备份任务 解锁备份任务 创建恢复任务 执行恢复任务 停止恢复任务 重试恢复任务 删除恢复任务 多租户 保存静态配置 添加租户 删除租户 关联租户服务 删除租户服务 配置资源 创建资源 删除资源 增加资源池 修改资源池 删除资源池 恢复租户数据 修改租户全局配置 修改容量调度器队列配置 修改超级调度器队列配置 修改容量调度器资源分布 清除容量调度器资源分布 修改超级调度器资源分布 清除超级调度器资源分布 添加资源目录 修改资源目录 删除资源目录 定制租户监控指标 健康检查 启动集群的健康检查 启动服务的健康检查 启动主机的健康检查 启动oms健康检查 启动系统的健康检查 更新健康检查的配置 导出健康检查报告 导出集群健康检查的结果 导出服务健康检查的结果 导出主机健康检查的结果 删除健康检查历史报告 导出健康检查历史报告 下载健康检查报告 组件审计信息一览表 审计日志 操作类型 操作 ClickHouse审计日志 维护管理 授权 收回权限 认证和登录信息 ClickHouse审计日志 业务操作 创建数据库/表 插入、删除、查询、执行数据迁移任务 DBService审计日志 维护管理 备份恢复操作 HBase审计日志 DDL（数据定义）语句 创建表 删除表 修改表 增加列族 修改列族 删除列族 启用表 禁用表 用户信息修改 修改密码 用户登录 HBase审计日志 DML（数据操作）语句 put数据（针对hbase:meta表、ctmeta表和hbase:acl表） 删除数据（针对hbase:meta表、ctmeta表和hbase:acl表） 检查并put数据（针对hbase:meta表、ctmeta表和hbase:acl表） 检查并删除数据（针对hbase:meta表、ctmeta表和hbase:acl表） HBase审计日志 权限控制 给用户授权 取消用户授权 HDFS审计日志 权限管理 文件/文件夹访问权限 文件/文件夹owner信息 HDFS审计日志 文件操作 创建文件夹 创建文件 打开文件 追加文件内容 修改文件名称 删除文件/文件夹 设置文件时间属性 设置文件副本个数 多文件合并 文件系统检查 文件链接 Hive审计日志 元数据操作 元数据定义，如创建数据库、表等 元数据删除，如删除数据库、表等 元数据修改，如增加列、重命名表等 元数据导入/导出 Hive审计日志 数据维护 向表中加载数据 向表中插入数据 Hive审计日志 权限管理 创建/删除角色 授予/回收角色 授予/回收权限 Hue审计日志 服务启动 启动Hue Hue审计日志 用户操作 用户登录 用户退出 Hue审计日志 任务操作 创建任务 修改任务 删除任务 提交任务 保存任务 任务状态更新 KrbServer审计日志 维护管理 修改kerberos帐号密码 添加kerberos帐号 删除kerberos帐号 用户认证 LdapServer审计日志 维护管理 添加操作系统用户 添加组 添加用户到组 删除用户 删除组 Loader审计日志 安全管理 用户登录 Loader审计日志 元数据管理 查询connector 查询framework 查询step Loader审计日志 数据源连接管理 查询数据源连接 增加数据源连接 更新数据源连接 删除数据源连接 激活数据源连接 禁用数据源连接 Loader审计日志 作业管理 查询作业 创建作业 更新作业 删除作业 激活作业 禁用作业 查询作业所有执行记录 查询作业最近执行记录 提交作业 停止作业 Mapreduce审计日志 程序运行 启动Container请求 停止Container请求 Container结束，状态为成功 Container结束，状态为失败 Container结束，状态为中止 提交任务 结束任务 Oozie审计日志 任务管理 提交任务 启动任务 kill任务 暂停任务 恢复任务 重新运行任务 Spark2x审计日志 元数据操作 元数据定义，如创建数据库、表等 元数据删除，如删除数据库、表等 元数据修改，如增加列、重命名表等 元数据导入/导出 Spark2x审计日志 数据维护 向表中加载数据 向表中插入数据 Storm审计日志 Nimbus 提交拓扑 中止拓扑 重分配拓扑 去激活拓扑 激活拓扑 Storm审计日志 UI 中止拓扑 重分配拓扑 去激活拓扑 激活拓扑 Yarn审计日志 任务提交 提交作业到队列相关的操作 Zookeeper审计日志 权限管理 设置ZNODE访问权限 Zookeeper审计日志 ZNODE操作 创建ZNODE 删除ZNODE 设置ZNODE数据 FusionInsight Manager的审计日志保存在数据库中，可通过“审计”页面查看及导出审计日志。 组件审计日志的文件信息见下表。部分组件审计日志文件保存在“/var/log/Bigdata/audit”，例如HDFS、HBase、Mapreduce、Hive、Hue、Yarn、Storm和ZooKeeper。每天凌晨3点自动将组件审计日志压缩备份到“/var/log/Bigdata/audit/bk”，最多保留最近的90个压缩备份文件，不支持修改备份时间。配置保留个数，请参见配置审计日志本地备份数。 其他组件审计日志文件保存在组件日志目录中。 组件审计日志目录 组件名称 审计日志目录 DBService /var/log/Bigdata/audit/dbservice/dbserviceaudit.log HBase /var/log/Bigdata/audit/hbase/hm/hbaseaudithmaster.log /var/log/Bigdata/audit/hbase/hm/hbaserangeraudithmaster.log /var/log/Bigdata/audit/hbase/rs/hbaseauditregionserver.log /var/log/Bigdata/audit/hbase/rs/hbaserangerauditregionserver.log /var/log/Bigdata/audit/hbase/rt/hbaseauditrestserver.log /var/log/Bigdata/audit/hbase/ts/hbaseauditthriftserver.log HDFS /var/log/Bigdata/audit/hdfs/nn/hdfsauditnamenode.log /var/log/Bigdata/audit/hdfs/nn/rangerpluginaudit.log /var/log/Bigdata/audit/hdfs/dn/hdfsauditdatanode.log /var/log/Bigdata/audit/hdfs/jn/hdfsauditjournalnode.log /var/log/Bigdata/audit/hdfs/zkfc/hdfsauditzkfc.log /var/log/Bigdata/audit/hdfs/httpfs/hdfsaudithttpfs.log /var/log/Bigdata/audit/hdfs/router/hdfsauditrouter.log Hive /var/log/Bigdata/audit/hive/hiveserver/hiveaudit.log /var/log/Bigdata/audit/hive/hiveserver/hiverangeraudit.log /var/log/Bigdata/audit/hive/metastore/metastoreaudit.log /var/log/Bigdata/audit/hive/webhcat/webhcataudit.log Hue /var/log/Bigdata/audit/hue/hueaudits.log Kafka /var/log/Bigdata/audit/kafka/audit.log Loader /var/log/Bigdata/loader/audit/default.audit Mapreduce /var/log/Bigdata/audit/mapreduce/jobhistory/mapredauditjobhistory.log Oozie /var/log/Bigdata/audit/oozie/oozieaudit.log Spark2x /var/log/Bigdata/audit/spark2x/jdbcserver/jdbcserveraudit.log /var/log/Bigdata/audit/spark2x/jdbcserver/rangeraudit.log /var/log/Bigdata/audit/spark2x/jobhistory/jobhistoryaudit.log Storm /var/log/Bigdata/audit/storm/logviewer/audit.log /var/log/Bigdata/audit/storm/nimbus/audit.log /var/log/Bigdata/audit/storm/supervisor/audit.log /var/log/Bigdata/audit/storm/ui/audit.log Yarn /var/log/Bigdata/audit/yarn/rm/yarnauditresourcemanager.log /var/log/Bigdata/audit/yarn/rm/rangerpluginaudit.log /var/log/Bigdata/audit/yarn/nm/yarnauditnodemanager.log ZooKeeper /var/log/Bigdata/audit/zookeeper/quorumpeer/zkauditquorumpeer.log

本章节主要介绍切换维护模式。 操作场景 FusionInsight Manager支持将集群、服务、主机或者OMS配置为维护模式，进入维护模式的对象将不再上报告警，避免在升级等维护变更期间系统产生大量无意义的告警，影响运维人员对集群状态的判断。 集群维护模式 集群未正式上线或暂时离线进行运维操作时（例如非滚动方式的升级），可将整个集群配置为维护模式。 服务维护模式 对特定服务进行维护操作时（例如对该服务的实例进行批量重启等可能影响业务的调试操作、对该服务相关的节点进行直接上下电或修复服务等），可仅将涉及的服务配置为维护模式。 主机维护模式 对主机进行维护操作时（例如节点上下电、隔离主机、重装主机、升级操作系统、替换节点等），可仅将涉及的主机配置为维护模式。 OMS维护模式 对OMS节点进行重启、替换、修复等操作时，可将OMS配置为维护模式。 对系统影响 设置维护模式后，非维护操作引起的告警也将被抑制无法上报，直至退出维护模式后，仍然存在的故障才能上报告警，请谨慎操作。 操作步骤 1.登录FusionInsight Manager。 2.配置维护模式。 根据实际操作场景，确认需要配置维护模式的对象，参考下表进行操作。 切换维护模式 场景 步骤 配置集群进入维护模式 1. 在管理界面主页，选择待操作集群名称后的“>进入维护模式”。 2. 在弹出的窗口中单击“确定”。 集群进入维护状态后，集群名称后的状态显示为。维护操作完成后，单击“退出维护模式”，集群将退出维护模式。 配置服务进入维护模式 1. 在管理界面选择“集群>待操作的集群名称 >服务>服务名称”。 2. 在服务详情页面选择“更多>进入维护模式”。 3. 在弹出的窗口中单击“确定”。 服务进入维护状态后，服务列表的对应服务名称后的状态显示为。维护操作完成后，单击“退出维护模式”，服务将退出维护模式。 说明 配置某服务进入维护模式时，建议将依赖该服务的其他上层服务也都设置为维护模式。 配置主机进入维护模式 1. 在管理界面单击“主机”。 2. 在主机页面勾选待操作的主机，选择“更多>进入维护模式”。 3. 在弹出的窗口中单击“确定”。 主机进入维护状态后，主机列表的对应主机名称后的状态显示为。维护操作完成后，单击“退出维护模式”，主机将退出维护模式。 配置OMS进入维护模式 1. 在管理界面选择“系统> OMS >进入维护模式”。 2. 在弹出的窗口中单击“确定”。 OMS进入维护状态后，OMS状态显示为。维护操作完成后，单击“退出维护模式”，OMS将退出维护模式。 3.查看集群维护视图。 在管理界面主页，选择待操作集群名称后的“ > 维护模式视图”，在弹出的窗口中可查看当前集群内处于维护模式的服务及主机，方便查询。 维护操作完成后，可在维护模式视图中批量勾选服务与主机，然后单击“退出维护模式”，即可批量退出维护模式。 图 批量退出维护模式