检查网络是否异常 17. 联系系统管理员，检查网络是否存在异常。 是，恢复网络故障，执行步骤 18。 否，执行步骤 19。 18. 等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行步骤 19。 收集故障信息 19. 在主集群的FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 20. 在“服务”中勾选“OMS”，单击“确定”。 21. 设置“主机”为告警所在节点和主OMS节点。 22. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟，单击“下载”。 23. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍如何停止作业。 背景信息 Spark SQL作业不支持停止。作业停止后状态更新为“已终止”，并且该作业不可重新执行。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名。 进入集群基本信息页面。 3.选择“作业管理”。 4.选择一个运行中的作业，在作业对应的“操作”列中，选择“更多 > 停止”。 作业状态由“运行中”更新为“已终止”。

告警ID 告警级别 是否自动清除 12039 紧急 是

收集故障信息 13. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 14. 在“服务”中勾选“Controller”，单击“确定”。 15. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 16. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 12018 重要 是

本章节主要介绍 ALM12011 Manager主备节点同步数据异常 。 告警解释 系统按60秒周期检测Manager主备节点同步数据情况，当备Manager无法与主Manager同步文件时，产生该告警。 当备Manager与主Manager正常同步文件时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12011 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 备Manager的配置文件没有更新。主备倒换之后，一些配置可能会丢失。Manager及部分组件可能无法正常运行。 可能原因 主备Manager节点间链路中断，/srv/BigData/LocalBackup目录存储空间已满。 同步文件不存在，或者文件权限有误。 处理步骤 检查主备Manager服务器间的网络是否正常 1. 在FusionInsight Manager页面，选择“运维 > 告警 > 告警”，单击此告警所在行的，获取该告警的备Manager（即Peer Manager）IP地址。 2. 以root用户登录主Manager服务器。 3. 执行ping 备Manager IP地址命令检查备Manager服务器是否可达。 是，执行步骤6。 否，执行步骤4。 4. 联系网络管理员查看是否为网络故障。 是，执行步骤5。 否，执行步骤6。 5. 修复网络故障，查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行步骤6。

本章节主要介绍 ALM12027 主机PID使用率超过阈值。 告警解释 系统每30秒周期性检测PID使用率，并把实际PID使用率和阈值进行比较，PID使用率默认提供一个阈值。当检测到PID使用率超出阈值时产生该告警。 平滑次数为1，主机PID使用率小于或等于阈值时，告警恢复；平滑次数大于1，主机PID使用率小于或等于阈值的90%时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12027 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 无法分配PID给新的业务进程，业务进程不可用。 可能原因 节点同时运行的进程过多，需要扩展pidmax值。 处理步骤 扩展pidmax值 1.打开FusionInsight Manager页面，在实时告警列表中，单击此告警所在行的，获取告警所在主机IP地址。 2.以root用户登录告警所在主机。 3.执行命令 cat /proc/sys/kernel/pidmax ，查看系统当前运行的PID最大值pidmax。 4.若PID使用率超过阈值，执行以下命令将pidmax值增大一倍。 echo 新pidmax 值 > /proc/sys/kernel/pidmax 例如： echo 65536 > /proc/sys/kernel/pidmax 说明 “pidmax”最大可设置为： 32位系统：32768 64位系统：4194304（2的22次方） 5.等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行步骤6。

收集故障信息 14. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 15. 在“服务”中勾选“OMS”，单击“确定”。 16. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 17. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 12016 重要 是

收集故障信息 12. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 13. 在“服务”中勾选如下节点信息，单击“确定”。 NodeAgent Controller OS 14. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 15. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 12010 重要 是

检查磁盘空间是否不足 7.在FusionInsight Manager的告警列表中，查看是否有“ALM12017 磁盘容量不足”告警产生。 是，执行步骤8。 否，执行步骤11。 8.按ALM12017 磁盘容量不足提供的步骤处理该故障。 9.等待5分钟，查看告警列表中，“ALM12017 磁盘容量不足”告警是否已清除。 是，执行步骤10。 否，执行步骤11。 10.等待5分钟，查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行步骤11。 收集故障信息 11.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 12.根据在步骤1获取的服务名称，在“服务”中勾选对应的组件及“NodeAgent”，单击“确定”。 13.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 14.请联系运维人员，并发送已收集的故障日志信息。

本章节主要介绍配置跨集群互信后的用户权限。 操作场景 配置完跨Manager集群互信后，需要在互信的系统上设置访问用户的权限，这样指定的用户才能在互信系统上进行对应的业务操作。 前提条件 两个系统已完成互信配置。 操作步骤 1.登录本端系统的FusionInsight Manager。 2.选择“系统 > 权限 > 用户”，检查本次业务操作的用户是否在已存在： 是，执行步骤3。 否，执行步骤4。 3.单击指定用户左侧的，检查该用户所在的用户组和角色分配的权限是否满足本次业务需求。若不满足，参见权限设置创建新角色并绑定用户，也可以直接修改用户的用户组或角色权限。 4.参见创建用户，创建本次业务所需要的用户，同时关联业务所需要的用户组或者角色信息。 5.登录互信系统的FusionInsight Manager，重复步骤2～步骤4，创建相同名字的用户并设置权限。

告警ID 告警级别 是否自动清除 12005 重要 是

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。

本章节主要介绍安全配置。 设置安全通道加密 默认情况下，组件间的通道是不加密的。您可以配置如下参数，设置安全通道是加密的。 参数修改入口：在FusionInsight Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > 服务名 > 配置”，展开“全部配置”页签。在搜索框中输入参数名称。 说明 配置后需要重启对应服务。 详见下表：参数说明 配置参数 说明 缺省值 hbase.rpc.protection 设置HBase通道是否加密，包含HBase客户端访问HBase服务端的RPC（remote procedure call）通道，HMaster和RegionServer间的RPC通道。设置为“privacy”表示通道加密，认证、完整性和隐私性功能都全部开启，设置为“integrity”表示不加密，只开启认证和完整性功能，设置为“authentication”表示不加密，仅要求认证报文，不要求完整性和隐私性。 说明 privacy会对传输内容进行加密，包括用户token等敏感信息，以确保传输信息的安全，但是该方式对性能影响很大，对比另外两种方式，会带来约60%的读写性能下降。请根据企业安全要求修改配置，且客户端与服务端中该配置项需使用相同设置。 dfs.encrypt.data.transfer 设置客户端访问HDFS的通道和HDFS数据传输通道是否加密。HDFS数据传输通道包括DataNode间的数据传输通道，客户端访问DataNode的DT（Data Transfer）通道。设置为“true”表示加密，默认不加密。 “false” dfs.encrypt.data.transfer.algorithm 设置客户端访问HDFS的通道和HDFS数据传输通道是否加密。只有在dfs.encrypt.data.transfer配置项设置为true，此参数才会生效。 缺省值为“3des”，表示采用3DES算法进行加密。此处的值还可以设置为“rc4”，避免出现安全隐患，不推荐设置为该值。 “3des” hadoop.rpc.protection 设置Hadoop中各模块的RPC通道是否加密。包括： 客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道，如DataNode与NameNode间。 客户端访问Yarn的RPC通道。 NodeManager和ResourceManager间的RPC通道。 Spark访问Yarn，Spark访问HDFS的RPC通道。 MapReduce访问Yarn，Mapreduce访问HDFS的RPC通道。 HBase访问HDFS的RPC通道。 默认设置为“privacy”表示加密，“authentication”表示不加密。 说明 您可以在HDFS组件的配置界面中设置该参数的值，设置后全局生效，即Hadoop中各模块的RPC通道是否加密全部生效。 安全模式：privacy 普通模式：authentication

本章节主要介绍配置存算分离集群（AKSK方式）。 MRS支持使用 obs:// 的方式对接OBS服务，当前主要支持的组件为Hadoop、Hive、Spark、Presto、Flink。其中HBase组件使用 obs:// 的方式对接OBS服务暂不支持。 MRS提供如下访问OBS的配置方式，请选择其中一种配置即可（推荐使用委托方式）： 通过为MRS集群绑定ECS委托方式访问OBS，避免了AK/SK直接暴露在配置文件中的风险，具体请参考配置存算分离集群（委托方式）。 在MRS集群中配置AK/SK，AK/SK会明文暴露在配置文件中，请谨慎使用，具体请参考本章节。 说明 为了提高数据写入性能，可以修改对应服务的配置参数fs.obs.buffer.dir的值为数据盘目录。 大数据存算分离场景，请务必使用OBS并行文件系统，使用普通对象桶会对集群性能产生较大影响。 Hadoop访问OBS 在MRS客户端的HDFS目录($clienthome/ HDFS/hadoop/etc/hadoop)中修改coresite.xml文件，增加如下内容。 fs.obs.access.key ak fs.obs.secret.key sk fs.obs.endpoint obs endpoint 须知 在文件中设置AK/SK会明文暴露在配置文件中，请谨慎使用。 添加配置后无需手动添加AK/SK、endpoint就可以直接访问OBS上的数据。例如执行如下命令查看文件系统obstest下面的文件夹testobsorc的文件列表。 hadoop fs ls "obs://obstest/testobsorc" 每次在命令行中手动添加AK/SK、endpoint访问OBS上的数据。 hadoop fs Dfs.obs.endpointxxx Dfs.obs.access.keyxx Dfs.obs.secret.keyxx ls"obs://obstest/ testobsorc"

作业列表 作业列表默认按时间顺序排列，时间最近的作业显示在最前端。各类作业列表参数说明如下表所示。 作业列表参数 参数 参数说明 作业名称/ID 作业的名称，新增作业时配置。 ID是作业的唯一标识，作业新增后系统自动赋值。 用户名称 提交作业的用户名称。 作业类型 支持的作业类型： Distcp：导入、导出数据 MapReduce Spark SparkSubmit SparkScript Spark SQL Hive SQL HiveScript Flink 说明 在“文件管理”页面进行文件的导入导出操作后，您可以在“作业管理”页面查看Distcp作业。 只有创建集群时选择了Spark、Hive和Flink组件，并且集群处于运行中，才能新增Spark、Hive和Flink类型的作业。 状态 显示作业的状态。 已提交 已接受 运行中 已完成 已终止 异常 执行结果 显示作业执行完成的结果。 未定：正在执行的作业。 成功：执行成功的作业。 终止：执行中被手动终止的作业。 失败：执行失败的作业。 说明 作业执行成功或失败后都不能再次执行，只能新增作业，配置作业参数后重新提交作业。 队列名称 提交作业用户绑定的队列的名称。 作业提交时间 记录作业提交的开始时间。 作业结束时间 记录作业执行完成或手工停止的时间。 操作 查看日志：单击“查看日志”，查看运行中的作业执行的实时日志信息。操作方法，请参见查看作业配置信息和日志。 查看详情：单击“查看详情”，查看作业的详细配置信息。操作方法，请参见查看作业配置信息和日志。 更多 − 停止：单击“停止”，停止正在运行的作业。操作方法，请参见停止作业。 − 删除：单击“删除”，删除一个作业。操作方法，请参见删除作业。 − 结果：单击“结果”，查看SparkSql和SparkScript类型的“状态”为“已完成”且“执行结果”为“成功”的作业执行结果。 说明 Spark SQL作业不支持停止。 作业删除后不可恢复，请谨慎操作。 当选择保留作业日志到OBS或HDFS时，系统在作业执行结束后，将日志压缩并存储到对应路径。因此，此类作业运行结束后，作业状态仍然为“运行中”，需等日志存储成功后，状态变更为“已完成”。日志存储花费时间依赖于日志大小，需要数分钟以上。 按钮说明 按钮 说明 按钮 说明 选择提交作业的时间区间，筛选在对应时间区间内提交的作业。 在下拉框中选择作业执行结果，筛选作业。 l 全部：表示筛选所有的作业。 l 成功：表示筛选执行成功的作业。 l 未定：表示筛选正在执行的作业。 l 终止：表示筛选被手动终止的作业。 l 失败：表示筛选执行失败的作业。 在下拉框中选择作业类型，筛选作业。 l 全部作业类型 l MapReduce l HiveScript l Distcp l SparkScript l Spark SQL l Hive SQL l SparkSubmit l Flink 在搜索框中根据搜索条件输入对应内容，单击，搜索作业。 l 作业名称 l 作业ID l 用户名称 l 队列名称 单击，手动刷新作业列表。

本章节主要介绍如何配置作业消息通知。 MRS联合消息通知服务（SMN），采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式（短信和邮件通知）。通过配置作业消息通知可以实现您在作业执行成功或作业执行失败时能立即接收到通知。 操作步骤 1.登录管理控制台。 2.单击“服务列表”选择“管理与监管 > 消息通知服务”，进入消息通知服务页面。 3.创建主题并向主题中添加订阅，具体请参考配置消息通知。 4.进入MRS管理控制台，单击集群名称进入集群详情页面。 5.选择“告警管理 > 消息订阅规则 > 添加消息订阅规则”。 6.配置向订阅者发送作业执行结果消息的规则。 消息订阅规则参数说明 参数 说明 规则名称 用户自定义发送订阅消息的规则名称，只能包含数字、英文字符、中划线和下划线。 提醒通知 选择开启，将向订阅者发送对应订阅消息。 主题名称 选择已创建的主题，也可以单击“创建主题”重新创建。 消息类型 选择“事件”。 订阅规则 1. 单击“提示”前的。 2. 单击“Manager”前的。 3. 勾选“作业执行成功”和“作业执行失败”。

本章节主要介绍租户管理使用前须知。 本章节指导用户在MRS控制台执行租户管理操作。 在控制台界面执行租户管理操作仅适用于MRS 3.x之前版本集群。 在Manager界面执行租户管理操作适用于所有版本，MRS 3.x及之后版本请参考简介，MRS 3.x之前版本请参考租户简介。

本章节主要介绍如何查看健康检查任务。 操作场景 管理员可以在健康检查的管理中心查看所有健康检查任务，便于在修改某些配置之后的场景对比修改前后是否对集群产生影响。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“运维 > 健康检查”。 默认显示所有已保存的检查报告，以列表形式展示，包含如下所示的信息： 健康检查报告记录 项目 说明 检查对象 表示被检查的对象，可打开下拉菜单查看详情。 状态 表示检查的结果状态，包含未发现问题、发现问题和检查中。 检查类型 表示执行检查的主体，包含“系统”、“集群”、“主机”、“服务”和“OMS”五个检查维度。集群维度默认包含所有检查。 启动方式 表示此次检查的属性，是否自动触发或手动执行。 开始时间 表示此次检查的开始时间。 结束时间 表示此次检查的结束时间。 操作 支持“导出报告”和“查看帮助”。 说明 在检查记录列表右上方，可以筛选指定的检查对象和结果状态。 如果检查类型为集群时，“查看帮助”在“检查对象”的下拉菜单中。 系统执行健康检查时，涉及检查对象的监控指标数据时，并非以当前实时的监控数据进行判断，而是收集近期的历史数据，因此存在时间延迟。

本章节主要介绍 配置日志级别与文件大小。 操作场景 如果需要在日志中调整记录的日志级别，则管理员可以修改FusionInsight Manager的日志级别。对于某个具体的服务，除了可以修改日志级别，还可以修改日志文件大小，防止磁盘空间不足日志无法保存。 对系统的影响 保存新的配置需要重启服务，此时对应的服务不可用。 修改FusionInsight Manager日志级别 1. 以omm用户登录主管理节点。 2. 执行以下命令，切换路径。 cd ${BIGDATAHOME}/omserver/om/sbin 3. 执行以下命令，修改日志级别。 ./setLogLevel.sh 日志级别参数 日志级别参数如下，优先级从高到低分别是FATAL、ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少： “DEFAULT”：设置后恢复到默认日志级别。 “FATAL”：严重错误日志级别，设置后日志只会打印输出“FATAL”信息。 “ERROR”：错误日志级别，设置后日志打印输出“ERROR”和“FATAL”信息。 “WARN”：警告日志级别，设置后日志打印输出“WARN”、“ERROR”和“FATAL”信息。 “INFO”（默认）：提示信息日志级别，设置后日志打印输出“INFO”、“WARN”、“ERROR”和“FATAL”信息。 “DEBUG”：调试日志级别，设置后日志打印输出“DEBUG”、“INFO”、“WARN”、“ERROR”和“FATAL”信息。 “TRACE”：跟踪日志级别，设置后日志打印输出"TRACE"、“DEBUG”、“INFO”、“WARN”、“ERROR”和“FATAL”信息。 说明 由于开源中定义的不同，组件的日志级别定义略有差异。 4. 验证日志级别设置已生效，请下载日志并查看。请参见日志。

本章节主要介绍 配置审计日志本地备份数。 操作场景 集群组件的审计日志按名称分类，保存在集群各节点“/var/log/Bigdata/audit”，OMS每天凌晨3点自动备份这些审计日志目录。 各节点审计日志目录会按 .tar.gz的文件名压缩，所有压缩文件再按 .tar.gz的文件名格式，压缩保存在主管理节点“/var/log/Bigdata/audit/bk/”，同时备管理节点会同步保存一个相同的副本。 默认情况下，OMS备份的文件最大保留个数为90，该任务指导系统管理员配置此最大保留个数。 操作步骤 1.以omm用户登录主管理节点。 说明 用户只需在主管理节点执行此操作，不支持在备管理节点上修改审计日志备份文件数，否则可能造成集群无法正常工作。 2.执行以下命令，切换目录。 cd ${BIGDATAHOME}/omserver/om/sbin 3.执行以下命令，修改审计日志备份文件数。 ./modifyLogConfig.sh m 最大保留个数 OMS备份组件审计日志默认最大保留90个，可选值为“0”到“365”，如果设置的保留个数越大，会占用更多的磁盘空间。 显示如下结果，说明修改成功： Modify log config successfully

本章节主要介绍切换维护模式。 操作场景 FusionInsight Manager支持将集群、服务、主机或者OMS配置为维护模式，进入维护模式的对象将不再上报告警，避免在升级等维护变更期间系统产生大量无意义的告警，影响运维人员对集群状态的判断。 集群维护模式 集群未正式上线或暂时离线进行运维操作时（例如非滚动方式的升级），可将整个集群配置为维护模式。 服务维护模式 对特定服务进行维护操作时（例如对该服务的实例进行批量重启等可能影响业务的调试操作、对该服务相关的节点进行直接上下电或修复服务等），可仅将涉及的服务配置为维护模式。 主机维护模式 对主机进行维护操作时（例如节点上下电、隔离主机、重装主机、升级操作系统、替换节点等），可仅将涉及的主机配置为维护模式。 OMS维护模式 对OMS节点进行重启、替换、修复等操作时，可将OMS配置为维护模式。 对系统影响 设置维护模式后，非维护操作引起的告警也将被抑制无法上报，直至退出维护模式后，仍然存在的故障才能上报告警，请谨慎操作。 操作步骤 1.登录FusionInsight Manager。 2.配置维护模式。 根据实际操作场景，确认需要配置维护模式的对象，参考下表进行操作。 切换维护模式 场景 步骤 配置集群进入维护模式 1. 在管理界面主页，选择待操作集群名称后的“>进入维护模式”。 2. 在弹出的窗口中单击“确定”。 集群进入维护状态后，集群名称后的状态显示为。维护操作完成后，单击“退出维护模式”，集群将退出维护模式。 配置服务进入维护模式 1. 在管理界面选择“集群>待操作的集群名称 >服务>服务名称”。 2. 在服务详情页面选择“更多>进入维护模式”。 3. 在弹出的窗口中单击“确定”。 服务进入维护状态后，服务列表的对应服务名称后的状态显示为。维护操作完成后，单击“退出维护模式”，服务将退出维护模式。 说明 配置某服务进入维护模式时，建议将依赖该服务的其他上层服务也都设置为维护模式。 配置主机进入维护模式 1. 在管理界面单击“主机”。 2. 在主机页面勾选待操作的主机，选择“更多>进入维护模式”。 3. 在弹出的窗口中单击“确定”。 主机进入维护状态后，主机列表的对应主机名称后的状态显示为。维护操作完成后，单击“退出维护模式”，主机将退出维护模式。 配置OMS进入维护模式 1. 在管理界面选择“系统> OMS >进入维护模式”。 2. 在弹出的窗口中单击“确定”。 OMS进入维护状态后，OMS状态显示为。维护操作完成后，单击“退出维护模式”，OMS将退出维护模式。 3.查看集群维护视图。 在管理界面主页，选择待操作集群名称后的“ > 维护模式视图”，在弹出的窗口中可查看当前集群内处于维护模式的服务及主机，方便查询。 维护操作完成后，可在维护模式视图中批量勾选服务与主机，然后单击“退出维护模式”，即可批量退出维护模式。 图 批量退出维护模式

通过ECS访问FusionInsight Manage 1. 在MRS管理控制台，单击“集群列表”。 2. 在“现有集群”列表中，单击指定的集群名称。 记录集群的“可用区”、“虚拟私有云”、“集群管理页面”、“安全组”。 3. 在管理控制台首页服务列表中选择“弹性云主机”，进入ECS管理控制台，创建一个新的弹性云主机。 弹性云主机的“可用区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。例如，选择一个标准镜像“Windows Server 2012 R2 Standard 64bit(40GB)”。 其他配置参数详细信息，请参见“弹性云主机 > 用户指南 > 快速入门 > 创建并登录Windows弹性云主机”。 说明 如果ECS的安全组和Master节点的“默认安全组”不同，用户可以选择以下任一种方法修改配置： 将ECS的安全组修改为Master节点的默认安全组，请参见“ 用户指南 > 安全组 > 更改安全组”。 在集群Master节点和Core节点的安全组添加两条安全组规则使ECS可以访问集群，“协议”需选择为“TCP”，“端口”需分别选择“28443”和“20009”。请参见“虚拟私有云 > 用户指南 > 安全性 > 安全组 > 添加安全组规则”。 4. 在VPC管理控制台，申请一个弹性IP地址，并与ECS绑定。 具体请参见“虚拟私有云>用户指南 > 弹性公网IP > 为弹性云主机申请和绑定弹性公网IP”。 5. 登录弹性云主机。 登录ECS需要Windows系统的帐号、密码，弹性IP地址以及配置安全组规则。具体请参见“弹性云主机 > 用户指南 > 实例 > 登录弹性云主机 > 登录Windows弹性云主机”。 6. 在Windows的远程桌面中，打开浏览器访问Manager。 例如Windows 2012操作系统可以使用Internet Explorer 11。 Manager访问地址为“集群管理页面”地址。访问时需要输入集群的用户名和密码，例如“admin”用户。 如果使用其他集群用户访问Manager，第一次访问时需要修改密码。新密码需要满足集群当前的用户密码复杂度策略。请咨询管理员。 默认情况下，在登录时输入5次错误密码将锁定用户，需等待5分钟自动解锁。 7. 注销用户退出Manager时移动鼠标到右上角 ，然后单击“注销”。

本章节主要介绍 Hive对接OBS文件系统 。 使用本章节前已参考配置存算分离集群（委托方式）或配置存算分离集群（AKSK方式）完成存算分离集群配置。 建表时指定Location为OBS路径 1.使用安装客户端用户登录客户端安装节点。 2.执行如下命令初始化环境变量。 source ${clienthome}/bigdataenv 3.如果是安全集群，执行以下命令进行用户认证（该用户需要具有Hive操作的权限），如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit Hive组件操作用户 4.登录FusionInsight Manager，选择“集群 > 服务 > Hive > 配置 > 全部配置”。 在左侧的导航列表中选择“Hive>自定义”。在自定义配置项中，给参数“hdfs.site.customized.configs”添加配置项“dfs.namenode.acls.enabled”，设置值为“false”。 5.单击“保存”，保存配置。单击“概览”，选择“更多 > 重启服务”，输入当前用户密码，单击“确定”，并勾选“同时重启上层服务。”，单击“确定”，重启Hive服务。 6.进入beeline客户端，在创建表时指定Location为OBS文件系统路径。 beeline 例如，创建一个表“test”，该表的Location为“obs://OBS并行文件系统名称/user/hive/warehouse/数据库名/表名”： create table test(name string) location "obs:// OBS 并行文件系统名称/user/hive/warehouse/ 数据库名/ 表名 "; 说明 需要添加组件操作用户到Ranger策略中的URL策略，URL填写对象在obs上的完整路径。权限选择Read, Write 权限，其他权限不涉及URL策略。

本章节主要介绍使用ClickHouse客户端。 ClickHouse是面向联机分析处理的列式数据库，支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。 前提条件 已安装客户端，例如安装目录为“/opt/hadoopclient”。以下操作的客户端目录只是举例，请根据实际安装目录修改。在使用客户端前，需要先下载并更新客户端配置文件，确认Manager的主管理节点后才能使用客户端。 操作步骤 1.以客户端安装用户，登录安装客户端的节点。 2.执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 3.执行以下命令配置环境变量。 source bigdataenv 4.如果当前集群已启用Kerberos认证，执行以下命令认证当前用户，当前用户需要具有创建ClickHouse表的权限，具体请参见“组件操作指南 > 使用ClickHouse > 用户管理及认证 > ClickHouse用户及权限管理”章节，为用户绑定对应角色。如果当前集群未启用Kerberos认证，则无需执行本步骤。 a.如果是MRS 3.1.0版本集群，则需要先执行：export CLICKHOUSESECURITYENABLEDtrue b.kinit 组件业务用户 例如，kinit clickhouseuser。 5.执行ClickHouse组件的客户端命令。 执行 clickhouse h ，查看ClickHouse组件命令帮助。 回显信息如下： Use one of the following commands: clickhouse local [args] clickhouse client [args] clickhouse benchmark [args] clickhouse server [args] clickhouse performancetest [args] clickhouse extractfromconfig [args] clickhouse compressor [args] clickhouse format [args] clickhouse copier [args] clickhouse obfuscator [args] ... 详细命令使用请参考： MRS 3.1.0及之后版本，使用clickhouse client命令连接ClickHouse服务端： 例如，当前集群未启用Kerberos认证，使用ssl安全方式登录： clickhouse client host ClickHouse 的实例IP user 用户名 password 密码 port 9440 secure 例如，当前集群已启用Kerberos认证，使用ssl安全方式登录。 Kerberos集群场景下没有默认用户，必须在Manager上创建用户，详细参考“组件操作指南 > 使用ClickHouse >用户管理及认证 >ClickHouse用户及权限管理”。 使用kinit认证成功后，客户端登录时可以不携带user和password参数，即使用kinit认证的用户登录。 clickhouse client host ClickHouse的实例IPport 9440 secure 详见下表：clickhouse client命令行参数说明 参数名 参数说明 host 服务端的host名称，默认是localhost。您可以选择使用ClickHouse实例所在节点主机名或者IP地址。 说明 ClickHouse的实例IP地址可登录集群FusionInsight Manager，然后选择“集群> 服务> ClickHouse >实例”，获取ClickHouseServer实例对应的业务IP地址。 port 连接的端口。 如果使用ssl安全连接则默认端口为9440，并且需要携带参数secure。具体的端口值可通过ClickHouseServer实例配置搜索“tcpportsecure”参数获取。 如果使用非ssl安全连接则默认端口为9000，不需要携带参数secure。具体的端口值可通过ClickHouseServer实例配置搜索“tcpport”参数获取。 user 用户名。 可以在Manager上创建该用户名并绑定对应的角色权限，具体可以参考“组件操作指南>使用ClickHouse >用户管理及认证> ClickHouse用户及权限管理”。 如果当前集群已启用Kerberos认证，使用kinit认证成功后，客户端登录时可以不携带user和password参数，即使用kinit认证的用户登录。Kerberos集群场景下没有默认用户，必须在Manager上创建该用户名。 如果当前集群未启用Kerberos认证，客户端登录时可以指定Manager上创建的用户和密码。不携带用户和密码参数时则默认使用default用户登录。 password 密码。 默认值：空字符串。该参数和user参数配套使用，可以在Manager上创建用户名时设置该密码。 query 使用非交互模式查询。 database 默认当前操作的数据库。默认值：服务端默认的配置（默认是default）。 multiline 如果指定，允许多行语句查询（Enter仅代表换行，不代表查询语句完结）。 multiquery 如果指定，允许处理用;号分隔的多个查询，只在非交互模式下生效。 format 使用指定的默认格式输出结果。 vertical 如果指定，默认情况下使用垂直格式输出结果。在这种格式中，每个值都在单独的行上打印，适用显示宽表的场景。 time 如果指定，非交互模式下会打印查询执行的时间到stderr中。 stacktrace 如果指定，如果出现异常，会打印堆栈跟踪信息。 configfile 配置文件的名称。 secure 如果指定，将通过ssl安全模式连接到服务器。 historyfile 存放命令历史的文件的路径。 param 带有参数的查询，并将值从客户端传递给服务器。具体用法详见

本章节主要介绍如何配置资源池的队列容量策略。 操作场景 添加资源池后，需要为YARN任务队列配置在此资源池中可使用资源的容量策略，队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。用户可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后，YARN任务队列与资源池形成关联关系。 该任务指导用户通过MRS配置队列策略。 前提条件 已添加资源池。 任务队列与其他资源池无关联关系。默认情况下，所有队列与“default”资源池存在关联关系。 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.单击“资源分布策略”页签。 3.在“资源池”选择指定的资源池。 “可用资源配额”：表示每个资源池默认所有资源都可分配给队列。 4.在“资源分配”列表指定队列的“操作”列，单击“修改”。 5.在“修改资源分配”窗口设置任务队列在此资源池中的资源容量策略。 “资源容量 (%)”：表示当前租户计算资源使用的资源百分比。 “最大资源容量 (%)”：表示当前租户计算资源使用的最大资源百分比。 6.单击“确定”保存配置。

编号 姓名 性别 年龄 地址 12005000201 A 男 19 A城市 12005000202 B 女 23 B城市 12005000203 C 男 26 C城市 12005000204 D 男 18 D城市 12005000205 E 女 21 E城市 12005000206 F 男 32 F城市 12005000207 G 女 29 G城市 12005000208 H 女 30 H城市 12005000209 I 男 26 I城市 12005000210 J 女 25 J城市

输入admin用户登录密码（与登录集群的用户密码一致） d.输入klist命令查询并确认权限内容。 Ticket cache: FILE:/tmp/krb5cc0 Default principal: admin@HADOOP.COM Valid starting Expires Service principal 04/09/2021 18:22:35 04/10/2021 18:22:29 krbtgt/HADOOP.COM@HADOOP.COM 说明 使用kinit认证时，票据默认会存放到“/tmp/krb5cc uid ”目录中。 uid表示当前登录操作系统的用户id，例如root用户的uid为0，那么root用户登录系统后使用kinit认证的票据会默认存放在“/tmp/krb5cc0”。 若当前用户对于“/tmp”目录没有读写权限，则会将票据缓存路径修改为“客户端安装目录/tmp/krb5ccuid”，例如客户端安装目录为“/opt/hadoopclient”，则kinit认证的票据会存放在“/opt/hadoopclient/tmp/krb5ccuid”。 使用kinit认证时，如果使用相同的用户登录操作系统，则存在票据相互覆盖的风险。可使用c cachename参数指定票据缓存位置，或者通过设置KRB5CCNAME环境变量避免该问题。 12. 集群重装后，之前安装的客户端将不再可用，需要重新部署客户端。 a.以root用户登录客户端所在节点。 b.使用以下命令查看客户端所在目录（下例中“/opt/hadoopclient”为客户端所在目录）。 ll /opt drwxrx. 6 root root 4096 Dec 11 19:00 hadoopclient drwxrxrx. 3 root root 4096 Dec 9 02:04 godi drwx. 2 root root 16384 Nov 6 01:03 lost+found drwxrxrx. 2 root root 4096 Nov 7 09:49 rh c.使用mv命令移除所有客户端程序所在文件夹内的文件（例如移除“/opt/hadoopclient”文件夹）。 mv /opt/hadoopclient /tmp/clientbackup d.重新安装客户端。

本章节主要介绍使用Kafka客户端 。 操作场景 用户可以在集群客户端完成Topic的创建、查询、删除等基本操作。 前提条件 已安装客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Kafka客户端（MRS 3.x之前版本） 1. 进入ZooKeeper实例页面： 单击集群名称，登录集群详情页面，选择“组件管理 > ZooKeeper > 实例”。 说明 若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 2. 查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 3. 登录安装客户端的节点。 4. 执行以下命令，切换到客户端目录，例如“/opt/hadoopclient/Kafka/kafka/bin”。 cd /opt/hadoopclient/Kafka/kafka/bin 5. 执行以下命令，配置环境变量。 source /opt/hadoopclient/bigdataenv 6. 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit Kafka用户 7. 创建一个Topic： sh kafkatopics.sh create topic 主题名称 partitions主题占用的分区数 replicationfactor主题的备份个数 zookeeper ZooKeeper角色实例所在节点IP 地址 : clientPort /kafka 例如：sh kafkatopics.sh create topic TopicTestpartitions 3replicationfactor 3 zookeeper 10.10.10.100:2181/kafka 8. 执行以下命令，查询集群中的Topic信息： sh kafkatopics.sh list zookeeper ZooKeeper角色实例所在节点IP 地址:clientPort /kafka 例如：sh kafkatopics.sh list zookeeper 10.10.10.100:2181/kafka 9. 删除7中创建的Topic： sh kafkatopics.sh delete topic主题名称 zookeeper ZooKeeper角色实例所在节点IP 地址 : clientPort /kafka 例如：sh kafkatopics.sh delete topic TopicTest zookeeper 10.10.10.100:2181/kafka 输入"y"，回车。

本章节主要介绍HDFS客户端对接OBS文件系统。 使用本章节前已参考配置存算分离集群（委托方式）或配置存算分离集群（AKSK方式）完成存算分离集群配置。 1. 以客户端安装用户登录安装了HDFS客户端的节点。 2. 执行以下命令，切换到客户端安装目录。 cd ${clienthome} 3. 执行以下命令配置环境变量。 source bigdataenv 4. 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 5. 在hdfs命令行显式添加要访问的OBS文件系统。 例如： 使用以下命令访问OBS文件系统。 hdfs dfs ls obs:// OBS 并行文件系统名称 /路径 使用以下命令上传客户端节点“/opt/test.txt”文件到OBS文件系统路径下。 hdfs dfs put /opt/test.txt obs:// OBS 并行文件系统名称/ 路径 说明 OBS文件系统打印大量日志可能导致读写性能受影响，可通过调整OBS客户端日志级别优化，日志调整方式如下： cd ${clienthome}/HDFS/hadoop/etc/hadoop vi log4j.properties 在文件中添加OBS日志级别配置 log4j.logger.org.apache.hadoop.fs.obsWARN log4j.logger.com.obsWARN