收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 6. 在“服务”中勾选待操作集群的“Spark2x”。 7. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 8. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍 租户简介 。 定义 MRS集群拥有的不同资源和服务支持多个组织、部门或应用共享使用。集群提供了一个逻辑实体来统一使用不同资源和服务，这个逻辑实例就是租户。多个不同的租户统称多租户。当前仅分析集群支持租户。 MRS集群提供多租户的功能，支持层级式的租户模型，支持动态添加和删除租户，实现资源的隔离，可以对租户的计算资源和存储资源进行动态配置和管理。 原理 计算资源指租户Yarn任务队列资源，可以修改任务队列的配额，并查看任务队列的使用状态和使用统计。 存储资源目前支持HDFS存储，可以添加删除租户HDFS存储目录，设置目录的文件数量配额和存储空间配额。 MRS Manager作为MRS集群的统一租户管理平台，可以为企业提供成熟的多租户管理模型，实现集中式的租户和业务管理。租户可以在界面上根据业务需要，在集群中创建租户、管理租户。 创建租户时将自动创建租户对应的角色、计算资源和存储资源。默认情况下，新的计算资源和存储资源的全部权限将分配给租户的角色。 默认情况下，查看当前租户的资源、在当前租户中添加子租户并管理子租户资源的权限将分配给租户的角色。 修改租户的计算资源或存储资源，对应的角色关联权限将自动更新。 MRS Manager中最多支持512个租户。系统默认创建的租户包含“default”。和默认租户同处于最上层的租户，可以统称为一级租户。

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

告警ID 告警级别 是否自动清除 24009 重要 是

告警ID 告警级别 是否自动清除 24010 重要 是

本章节主要介绍ALM45284 UserSync垃圾回收(GC)时间超过阈值的告警。 告警解释 系统每60秒周期性检测UserSync进程的垃圾回收（GC）占用时间，当连续5次检测到UserSync进程的垃圾回收（GC）时间超出阈值（默认12秒）时，产生该告警。垃圾回收（GC）时间小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45284 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 导致UserSync响应缓慢。 可能原因 该节点UserSync实例堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。 处理步骤 检查GC时间 在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > ALM45284 UserSync进程垃圾回收（GC）时间超过阈值”，检查该告警的“定位信息”，查看告警上报的实例主机名。 1. 在FusionInsight Manager首页，选择“集群 > 服务 > Ranger > 实例”，选择上报告警实例主机名对应的角色，单击图表区域右上角的下拉菜单，选择“定制 > GC > UserSync垃圾回收（GC）时间”，单击“确定”。 2. 查看UserSync每分钟的垃圾回收时间统计值是否大于告警阈值（默认12秒）。 是，执行步骤4。 否，执行步骤6。 3. 在FusionInsight Manager首页，选择“集群 > 服务 > Ranger > 实例 > UserSync > 实例配置”，单击“全部配置”，选择“UserSync > 系统”。将“GCOPTS”参数中“Xmx”的值根据实际情况调大，并保存配置。 说明 出现此告警时，说明当前UserSync设置的堆内存无法满足当前UserSync进程所需的堆内存，建议根据步骤2查看“UserSync堆内存使用率”，调整“GCOPTS”参数中“Xmx”的值为“UserSync使用的堆内存大小”的两倍（可根据实际业务场景进行修改）。 4. 重启受影响的服务或实例，观察界面告警是否清除。 是，处理完毕。 否，执行步骤6。

本章节主要介绍查看静态服务池状态。 操作场景 MRS Manager支持通过静态服务资源池对没有运行在YARN上的服务资源进行管理和隔离。支持动态地管理HDFS和YARN在部署节点可使用的CPU、I/O和内存总量。系统支持基于时间的静态服务资源池自动调整策略，使集群在不同的时间段自动调整参数值，从而更有效地利用资源。 用户可以在MRS Manager查看静态服务池各个服务使用资源的监控指标结果，包含监控指标如下： 服务总体CPU使用率 服务总体磁盘I/O读速率 服务总体磁盘I/O写速率 服务总体内存使用大小 操作步骤 在MRS Manager，单击“系统设置”，在“资源管理”区域单击“静态服务池”。 1. 单击“状态”。 2. 查看系统资源调整基数。 “系统资源调整基数”表示集群中每个节点可以被集群服务使用的最大资源。如果节点只有一个服务，则表示此服务独占节点可用资源。如果节点有多个服务，则表示所有服务共同使用节点可用资源。 “CPU(%)”表示节点中服务可使用的最大CPU。 “Memory(%)”表示节点中服务可使用的最大内存。 查看集群服务资源使用状态。 在图表区域的服务选择框中选择“所有服务”，则“图表”中会显示服务池所有服务的资源使用状态。 说明 “生效的配置组”表示集群服务当前使用的资源控制配置组。默认情况下每天所有时间均使用“default”配置组，表示集群服务可以使用节点全部CPU，以及70%的内存。 3. 查看单个服务资源使用状态。 在图表区域的服务选择框中选择指定服务，“图表”中会显示服务池此服务的资源使用状态。 4. 用户可以选择页面自动刷新间隔的设置。 支持三种参数值： “每30秒刷新一次”：刷新间隔30秒。 “每60秒刷新一次”：刷新间隔60秒。 “停止刷新”：停止刷新。 5. 在“时间区间”选择需要查看服务资源的时间段。可供选择的选项如下： 实时 最近3小时 最近6小时 最近24小时 最近一周 最近一个月 最近三个月 最近六个月 自定义：选择自定义时，在时间范围内自行选择需要查看的时间。 6. 单击“查看”可以查看相应时间区间的服务资源数据。 7. 自定义服务资源报表。 a.单击“定制”，勾选需要显示的服务源指标。 服务总体磁盘I/O读速率 服务总体内存使用大小 服务总体磁盘I/O写速率 服务总体CPU使用率 b.单击“确定”保存并显示所选指标。 说明 单击“清除”可批量取消全部选中的指标项。 8. 导出监控指标报表。 单击“导出”，Manager将生成指定时间范围内、已勾选的服务资源指标报表文件，请选择一个位置保存，并妥善保管该文件。 说明 如果需要查看指定时间范围的监控指标对应的分布曲线图，请单击“查看”，界面将显示用户自定义时间范围内选定指标的分布曲线图。

收集故障信息。 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 7. 在“服务”中勾选待操作集群的“Kafka”。 8. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 9. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍 ALM29107 Tserver进程内存使用百分比超过阈值的告警。 告警解释 系统每60秒周期性检测Kudu的服务状态，当检测到Kudu Tserver进程内存使用百分比超过阈值，此时产生该告警。 Tserver进程内存使用百分比正常时，系统认为Kudu实例服务恢复，告警清除。 告警属性 告警ID 告警级别 是否自动清除 29107 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 用户无法使用Kudu服务。 可能原因 存在KuduTserver实例内存使用过高。 处理步骤 处理Kudu实例异常 1. 在FusionInsight Manager首页，选择“运维 > 告警”页面，找到“ALM29107 Tserver进程内存使用百分比超过阈值”告警，查看告警来源。 2. 在“运维 > 告警 > 阈值设置 > Kudu”，找到该告警的阈值，再对比集群KuduTserver实例的内存使用百分比监控项，和阈值对比，查看阈值超过情况，找到内存使用百分比超阈值的节点。 通过增加节点、重新规划任务等方式，处理Tserver节点内存使用百分比过高的问题，或修改阈值。 3. 在“运维 > 告警”页签，查看该告警是否恢复。 是，处理完毕。 否，执行4。

告警ID 告警级别 是否自动清除 38000 紧急 是

本章节主要介绍ALM38005 Broker进程垃圾回收（GC）时间超过阈值的告警。 告警解释 系统每60秒周期性检测Broker进程的垃圾回收（GC）占用时间，当连续3次检测到Broker进程的垃圾回收（GC）时间超出阈值（默认12秒）时，产生该告警。 平滑次数为1，垃圾回收（GC）时间小于或等于阈值时，告警恢复；平滑次数大于1，垃圾回收（GC）时间小于或等于阈值的90%时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 38005 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名称。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Broker进程的垃圾回收时间过长，可能影响该Broker进程正常提供服务。 可能原因 该节点Kafka实例进程的垃圾回收时间过长，或配置的直接内存大小不合理，导致进程GC频繁。 处理步骤 检查Broker 进程的垃圾回收（GC ）时间 在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > Broker进程垃圾回收（GC）时间超过阈值 > 定位信息”。查看告警上报的实例的主机名。 1. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 实例”，选择上报告警实例主机名对应的角色 。单击图表区域右上角的下拉菜单，选择“定制 > 进程 > Broker垃圾回收（GC）时间”，单击“确定”。 2. 查看Broker每分钟的垃圾回收时间统计值是否大于告警阈值（默认12秒）。 是，执行步骤4。 否，执行步骤7。

收集故障信息 7.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 8.在“服务”中勾选待操作集群的“NodeManager”。 9.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 10.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 18014 重要 是

告警ID 告警级别 是否自动清除 18017 重要 是

收集故障信息 6.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 7.在“服务”框中勾选待操作集群的“Oozie”。 8.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 9.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 4. 在“服务”中勾选操作OMS下面的“NodeAgent”、“NodeMetricAgent”、“OmmServer”、“OmmAgent”。 5. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟，单击“下载”。 6. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 5. 在“服务”框中勾选待操作集群的“Ranger”。 6. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 7. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍ALM45282 UserSync直接内存使用率超过阈值的告警。 告警解释 系统每60秒周期性检测UserSync服务直接内存使用状态，当连续5次检测到UserSync实例直接内存使用率超出阈值（最大内存的80%）时，产生该告警。当UserSync直接内存使用率小于或等于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45282 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 直接内存溢出可能导致服务崩溃。 可能原因 节点UserSync实例直接内存使用率过大，或配置的直接内存不合理，导致使用率超过阈值。 处理步骤 检查直接内存使用率 在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > ALM45282 UserSync直接内存使用率超过阈值”，检查该告警的“定位信息”。查看告警上报的实例主机名。 1. 在FusionInsight Manager首页，选择“集群 > 服务 > Ranger > 实例”，选择上报告警实例主机名对应的角色，单击图表区域右上角的下拉菜单，选择“定制 > CPU和内存 > UserSync直接内存使用率”，单击“确定”。 2. 查看UserSync使用的直接内存是否已达到UserSync设定的阈值（默认值为最大直接内存的80%）。 是，执行步骤4。 否，执行步骤6。 3. 在FusionInsight Manager首页，选择“集群 > 服务 > Ranger > 实例 > UserSync >实例配置”，单击“全部配置”，选择“UserSync > 系统”。将“GCOPTS”参数中“XX:MaxDirectMemorySize”的值根据实际情况调大，并保存配置。 说明 出现此告警时，说明当前UserSync设置的直接内存无法满足当前UserSync进程所需的直接内存，建议根据步骤2查看“UserSync直接内存使用率”，调整“GCOPTS”参数中“XX:MaxDirectMemorySize”的值为“UserSync使用的直接内存大小”的两倍（可根据实际业务场景进行修改）。 4. 重新启动受影响的服务或实例，观察界面告警是否清除。 是，处理完毕。 否，执行步骤6。

告警ID 告警级别 是否自动清除 45277 重要 是

本章节主要介绍ALM45278 RangerAdmin直接内存使用率超过阈值的告警。 告警解释 系统每60秒周期性检测RangerAdmin服务直接内存使用状态，当连续5次检测到RangerAdmin实例直接内存使用率超出阈值（最大内存的80%）时，产生该告警。当RangerAdmin直接内存使用率小于或等于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45278 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 直接内存溢出可能导致服务崩溃。 可能原因 节点RangerAdmin实例直接内存使用率过大，或配置的直接内存不合理，导致使用率超过阈值。 处理步骤 检查直接内存使用率 在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > ALM45278 RangerAdmin直接内存使用率超过阈值”，检查该告警的“定位信息”，查看告警上报的实例主机名。 1. 在FusionInsight Manager首页，选择“集群 > 服务 > Ranger > 实例”，选择上报告警实例主机名对应的角色，单击图表区域右上角的下拉菜单，选择“定制 > CPU和内存 > RangerAdmin直接内存使用率”，单击“确定”。 2. 查看RangerAdmin使用的直接内存是否已达到RangerAdmin设定的阈值（默认值为最大直接内存的80%）。 是，执行步骤4。 否，执行步骤6。 3. 在FusionInsight Manager首页，选择“集群 > 服务 > Ranger > 实例 > RangerAdmin > 实例配置”，单击“全部配置”，选择“RangerAdmin > 系统”。将“GCOPTS”参数中“XX:MaxDirectMemorySize”的值根据实际情况调大，并保存配置。 说明 出现此告警时，说明当前RangerAdmin设置的直接内存无法满足当前RangerAdmin进程所需的直接内存，建议根据步骤2查看“RangerAdmin直接内存使用率”，调整“GCOPTS”参数中“XX:MaxDirectMemorySize”的值为“RangerAdmin使用的直接内存大小”的两倍（可根据实际业务场景进行修改）。 4. 重新启动受影响的服务或实例，观察界面告警是否清除。 是，处理完毕。 否，执行步骤6。

本章节主要介绍ALM45275 Ranger服务不可的告警。 告警解释 告警模块按180秒周期检测Ranger服务状态，当检测到Ranger服务异常时，系统产生此告警。 当系统检测到Ranger服务恢复正常，且告警处理完成时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45275 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 当Ranger服务不可用时，Ranger无法正常工作，Ranger原生UI无法访问。 可能原因 Ranger服务所依赖内部服务DBService故障。 RangerAdmin角色实例异常。 处理步骤 检查DBService进程状态 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”页面，查看系统是否上报“ALM27001 DBService服务不可用”告警。 是，执行步骤2。 否，执行步骤3。 1. 参考“ALM27001 DBService服务不可用”告警帮助指导对DBService服务状态异常进行处理，待DBService告警消除后，查看“Ranger服务不可用”告警是否清除。 是，处理完毕。 否，执行步骤3。 检查所有RangerAdmin实例 以omm用户登录RangerAdmin实例所在节点，执行 ps efgrep "procrangeradmin" 命令查看当前节点是否存在RangerAdmin进程。 是，执行步骤5。 否，重启RangerAdmin故障实例或Ranger服务，执行步骤4。 2. 在告警列表中查看“Ranger服务不可用”告警是否清除。 是，处理完毕。 否，执行步骤5。

检查LdapServer进程是否正常 6.选择“运维 > 告警 > 告警”，在告警列表中查看是否有“进程故障”告警产生。 是，执行步骤7。 否，执行步骤10。 7.查看告警信息中的服务名和主机名是否和LdapServer服务名和主机名一致。 是，执行步骤8。 否，执行步骤10。 8.按“ALM12007 进程故障”提供的步骤处理该告警。 9.在告警列表中查看“LdapServer服务不可用”告警是否清除。 是，处理完毕。 否，执行步骤10。 收集故障信息 10.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 11.在“服务”中勾选待操作集群的“LdapServer”。 12.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 13.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

show defaulttransactionreadonly; defaulttransactionreadonly on (1 row) 是，执行步骤4。 否，执行步骤13。 4. 执行以下命令，打开“dbservice.properties”文件： source $DBSERVERHOME/.dbserviceprofile vi ${DBSERVICESOFTWAREDIR}/tools/dbservice.properties 5. 修改“gaussdbreadonlyauto”的值为“OFF”，默认为“ON”。 6. 执行以下命令，打开“postgresql.conf”文件： vi ${DBSERVICEDATADIR }/postgresql.conf 7. 删除“defaulttransactionreadonly on”。 8. 执行以下命令，使配置生效： gsctl reload D ${DBSERVICEDATADIR } 9. 登录FusionInsight Manager，选择“运维 > 告警 > 告警”。单击告警“数据库进入只读模式”所在行右侧“操作”列中的“清除”，在弹出窗口中单击“确定”。手动清除该告警。 10. 以omm用户登录DBServer主管理节点，执行以下命令查看数据目录磁盘空间下超过500MB的文件，检查该目录下是否有误写入的大文件存在。 source $DBSERVERHOME/.dbserviceprofile find "$DBSERVICEDATADIR"/../ type f size +500M 是，执行步骤11。 否，执行步骤13。 11. 根据实际情况处理误写入的文件。 12. 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > DBService”，在“概览”页面查看“数据目录磁盘空间使用率”图表，检查数据目录磁盘空间使用率是否低于80%。 是，处理完毕。 否，执行步骤13。 收集故障信息 13. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 14. 在“服务”中勾选待操作集群的“DBService”。 15. 设置日志收集的主机，可选项，默认所有主机。 16. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 17. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍ALM29005 Impalad JDBC连接数超过阈值的告警。 告警解释 以30s为周期检测连接到该Impalad节点的客户端连接数，当检测到的连接数超过自定义阈值（默认60）时，系统产生此告警。 当系统检测到客户端连接数减少到阈值以下时，告警将自动解除。 告警属性 告警ID 告警级别 是否自动清除 29005 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 Trigger Condition 系统当前指标取值满足自定义的告警设置条件 对系统的影响 后续新建立客户端连接可能会阻塞甚至失败。 可能原因 该Impalad服务维护的客户端链接过多，或者阈值设定的太小。 处理步骤 1. 在FusionInsight Manager首页，选择“运维 > 告警 > 阈值设置 > Impala > 连接数 > 已经连接到Impalad进程的JDBC数量” ，检查设置的阈值大小。 2. 检查连接到当前Impalad的JDBC应用数，并关闭闲置的应用，观察告警是否自动清除。 是，处理完毕。 否，执行步骤3，修改并发客户端连接数。 3. 在FusionInsight Manager首页，选择“集群 > Impala > 配置 > 全部配置 > Impalad > 自定义”，增加自定义参数 feservicethreads，该参数默认值64，请按照需要修改该值，单击“保存”按钮保存配置。 4. 在所有客户端的查询任务都执行完成后，选择“实例”页签，勾选所有“Impalad”实例并重启。 5. 重启完成后告警将消失，请重新运行使用JDBC方式连接Impalad的应用。

检查znode数量配额和使用量 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“告警ID”为“19015”的告警，查看“附加信息”中的阈值。 2.以root用户登录HBase客户端。执行以下命令进入客户端安装目录： cd 客户端安装目录 然后执行以下命令设置环境变量： source bigdataenv 如果集群采用安全版本，要执行以下命令进行安全认证： kinit hbase 按提示输入密码（向管理员获取密码）。 3.执行hbase zkcli命令进入ZooKeeper客户端，然后执行命令listquota /hbase查看对应HBase服务的znode数量配额，其中命令中的znode根目录为对应HBase服务的参数“zookeeper.znode.parent”所指定。下图标注所示即为当前HBase服务根znode的数量配额。 4.执行命令getusage /hbase/splitWAL查看该znode的数量使用情况，查看返回结果的“ Node count ”跟znode数量配额的比值是否接近告警的阈值。 是，执行步骤5。 否，执行步骤6。 5.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，查看是否存在“告警ID”为“12007”、“19000”或者“19013”且“定位信息”中的“服务名”为当前HBase服务的告警。 是，单击对应告警右侧的“查看帮助”并按照帮助文档进行处理，执行步骤8。 否，执行步骤9。 6.执行命令getusage /hbase/replication查看该znode的数量使用情况，查看返回结果的“ Node count ”跟znode数量配额的比值是否接近告警的阈值。 是，执行步骤7。 否，执行步骤9。 7.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，查看是否存在“告警ID”为“19006”并且“定位信息”中的“服务名”为当前HBase服务的告警。 是，单击对应告警右侧的“查看帮助”并按照帮助文档进行处理，执行步骤8。 否，执行步骤9。 8.观察界面告警是否清除。 是，处理完毕。 否，执行步骤9。

检查Flume Source配置的IP所在节点与故障节点的网络状态 7.本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“type avro”关键字确认Flume Source是否是avro类型。 是，执行步骤8。 否，执行步骤11。 8.以root用户登录故障节点所在主机，执行ping Flume Source配置的IP地址命令查看对端主机是否可以ping通。 是，执行步骤11。 否，执行步骤9。 9.联系网络管理员恢复网络。 10.等待一段时间后，在告警列表中，查看告警是否清除。 是，处理完毕。 否，执行步骤11。 收集故障信息 11.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 12.在“服务”框中勾选待操作集群的“Flume”。 13.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 14.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

检查数据库连接数最大值设置是否合理 4. 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > DBService > 配置 > 全部配置”，根据实际业务需求，将数据库连接数的最大值适当增加，如下所示。修改后单击“保存”，在弹出的“保存配置”页面中单击“确定”。 5. 完成数据库连接数最大值修改后，需要重启DBService服务（不要重启其上层服务）。 操作步骤：登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 >DBService > 更多 > 重启服务”，输入当前登录的用户密码确认身份，单击“确定”。注意，不要勾选“同时重启上层服务”，单击“确定”完成重启。 6. 重启服务完成后，等待2分钟查看告警是否自动恢复。 是，处理完毕。 否，执行步骤7。 检查告警阈值配置或者平滑次数配置是否合理 7. 登录FusionInsight Manager，基于实际数据库连接数使用率的情况，修改告警阈值和平滑次数配置项。选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > DBService > 数据库 > 数据库连接数使用率(DBServer)”，单击平滑次数旁的铅笔标志，更改告警的平滑次数，如下图所示。 说明 平滑次数：连续检查多少次超过阈值，则发送告警。 设置告警平滑次数 根据数据库连接数使用率的实际情况，选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > DBService > 数据库 > 数据库连接数使用率 (DBServer)”，单击“操作”栏的“修改”按钮，进入修改规则界面，修改后单击“确定”，修改即生效，如下图所示。 8. 等待2分钟，查看告警是否自动恢复。 是，处理完毕。 否，执行步骤9。

本章节主要介绍ALM14012 Journalnode数据不同步的告警。 告警解释 在主NameNode节点上，系统每5分钟检测一次集群中所有JournalNode节点的数据同步性。如果有JournalNode节点的数据不同步，系统产生该告警。 当Journalnode数据同步5分钟后，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 14012 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 NameService名 产生告警的NameService名称。 对系统的影响 当一个JournalNode节点工作状态异常时，其数据就会与其他JournalNode节点的数据不同步。如果超过一半的JournalNode节点的数据不同步时，NameNode将无法工作，导致HDFS服务不可用。 可能原因 JournalNode实例不存在（被删除或被迁移）。 JournalNode实例未启动或已停止。 JournalNode实例运行状态异常。 JournalNode节点的网络不可达。 处理步骤 查看JournalNode实例是否启动 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，在告警列表中单击此告警。 2.查看“定位信息”，获取告警产生的JournalNode节点IP地址。 3..选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例”，在实例列表中查看告警节点上是否存在JournalNode实例。 是，执行步骤5。 否，执行步骤4。 4.选择“运维 > 告警 > 告警”，在告警列表中单击此告警“操作”栏中的“清除”，在弹出窗口中单击“确定”，处理完毕。 5.单击该JournalNode实例，查看其“配置状态”是否为“已同步”。 是，执行步骤8。 否，执行步骤6。 6.勾选该JournalNode实例，单击“启动实例”，等待启动完成。 7.等待5分钟后，查看告警是否清除。 是，处理完毕。 否，执行步骤15。

收集故障信息 13.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 14.在“服务”中勾选待操作集群的“LdapClient”。 15.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 16.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍 ALM14018 NameNode非堆内存使用率超过阈值的告警。 告警解释 系统每30秒周期性检测HDFS NameNode非堆内存使用率，并把实际的HDFS NameNode非堆内存使用率和阈值相比较。HDFS NameNode非堆内存使用率指标默认提供一个阈值范围。当HDFS NameNode非堆内存使用率超出阈值范围时，产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > HDFS”修改阈值。 当HDFS NameNode非堆内存使用率小于或等于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 14018 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS NameNode非堆内存使用率过高，会影响HDFS的数据读写性能。 可能原因 HDFS NameNode配置的非堆内存不足。 处理步骤 清除无用文件 1.以root用户登录HDFS客户端。执行cd命令进入客户端安装目录，然后执行 source bigdataenv 。 如果集群采用安全版本，要进行安全认证。 执行kinit hdfs命令，按提示输入密码。向管理员获取密码。 2.执行hdfs dfs rm r 文件或目录路径命令，确认删除无用的文件。 3.检查本告警是否恢复。 是，处理完毕。 否，执行步骤4。

本章节主要介绍MRS Manager简介。 概述 MRS为用户提供海量数据的管理及分析功能，快速从结构化和非结构化的海量数据中挖掘您所需要的价值数据。开源组件结构复杂，安装、配置、管理过程费时费力，MRS Manager提供了企业级的大数据集群的统一管理平台： 提供集群状态的监控功能，您能快速掌握服务及主机的健康状态。 提供图形化的指标监控及定制，您能及时的获取系统的关键信息。 提供服务属性的配置功能，满足您实际业务的性能需求。 提供集群、服务、角色实例的操作功能，满足您一键启停等操作需求。 系统界面简介 MRS Manager提供统一的集群管理平台，帮助用户快捷、直观的完成集群的运行维护。MRS Manager请参考访问MRS Manager（MRS 2.x及之前版本）页面访问。 各操作入口的详细功能如下表所示。 界面 功能描述 系统概览 提供柱状图、折线图、表格等多种图表方式展示所有服务的状态、各服务的主要监控指标、主机的状态统计。用户可以定制关键监控信息面板，并拖动到任意位置。系统概览支持数据自动刷新。 服务管理 提供服务监控、服务操作向导以及服务配置，帮助用户对服务进行统一管理。 主机管理 提供主机监控、主机操作向导，帮助用户对主机进行统一管理。 告警管理 提供告警查询、告警处理指导功能。帮助用户及时发现产品故障及潜在隐患，并进行定位排除，以保证系统正常运行。 审计管理 提供审计日志查询及导出功能。帮助用户查阅所有用户活动及操作。 租户管理 提供统一租户管理平台。 系统设置 用户可以进行监控和告警配置管理、备份管理。 当用户进入到“系统设置”的各子功能页面后，提供快捷方式跳转到其他System子功能页面，如下表所示。 快捷跳转操作示例如下所示。 1. 在MRS Manager，单击“系统设置”。 2. 在“系统设置”界面，任意单击一个功能链接，进入具体功能界面。 例如在“备份恢复管理”区域中单击“备份管理”，进入到“备份管理”界面。 3. 将鼠标移动到浏览器窗口的左边界，弹出“系统设置”黑色快捷菜单。鼠标移出该菜单后，该菜单收起。 4. 在弹出的快捷菜单上，可以单击某个功能链接直接跳转到对应的功能界面。 例如选择“维护 > 日志导出”，进入“日志导出”界面。 集群的System快捷菜单 菜单子标题 功能链接 备份恢复管理 备份管理 恢复管理 恢复管理 维护 日志导出 维护 审计日志导出 维护 健康检查 监控和告警配置 Syslog配置 资源贡献排名配置 阈值管理 资源贡献排名配置 SNMP配置 资源贡献排名配置 监控指标转储配置 资源贡献排名配置 资源贡献排名配置 权限配置 用户管理 权限配置 用户组管理 权限配置 角色管理 权限配置 密码策略配置 权限配置 OMS数据库密码修改 资源管理 静态服务池 补丁管理 补丁管理

检查所有TokenServer实例 以omm用户登录TokenServer实例所在节点，执行 ps efgrep "rangerobsservice" 命令查看当前节点是否存在TokenServer进程。 是，执行步骤5。 否，重启TokenServer故障实例，执行步骤4。 2. 在告警列表中查看“Guardian服务不可用”告警是否清除。 是，处理完毕。 否，执行步骤5。 收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 3. 在“服务”框中勾选待操作集群的“Guardian”。 4. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 5. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。