操作场景 用户可以在MRS Manager查看、清除告警。 一般情况下，告警处理后，系统自动清除该条告警记录。当告警不具备自动清除功能且用户已确认该告警对系统无影响时，可手动清除告警。 在MRS Manager界面可查看最近十万条告警（包括未清除的、手动清除的和自动清除的告警）。如果已清除告警超过十万条达到十一万条，系统自动将最早的一万条已清除告警转存，转存路径为主管理节点“${BIGDATAHOME}/OMSV100R001C00x8664/workspace/data”。第一次转存告警时自动生成目录。 说明 用户可以选择页面自动刷新间隔的设置，也可以单击马上刷新。 支持三种参数值： l “每30秒刷新一次”：刷新间隔30秒。 l “每60秒刷新一次”：刷新间隔60秒。 l “停止刷新”：停止刷新。 操作步骤 在MRS Manager，单击“告警管理”，在告警列表查看告警信息。 告警列表每页默认显示最近的十条告警。 默认以“产生时间”列按降序排列，单击“告警ID”、“告警名称”、“告警级别”、“产生时间”、“定位信息”或“操作”可修改排列方式。 支持在“告警级别”筛选相同级别的全部告警。结果包含已清除和未清除的告警。 分别单击、、、或可以快速筛选级别为“致命”、“严重”、“一般”或“警告”的告警。 单击“高级搜索”显示告警搜索区域，设置查询条件后，单击“搜索”，查看指定的告警信息。单击“重置”清除输入的搜索条件。 说明 “开始时间”和“结束时间”表示时间范围的开始时间和结束时间，可以搜索此时间段内产生的告警。 查看“告警参考”章节告警帮助，按照帮助指导处理告警。如果某些场景中告警由于MRS依赖的其他云服务产生，可能需要联系对应云服务运维人员处理 1. 处理完告警后，若需手动清除，单击“清除告警”，手动清除告警。 说明 如果有多个告警已完成处理，可选中一个或多个待清除的告警，单击“清除告警”，批量清除告警。每次最多批量清除300条告警

告警ID 告警级别 是否自动清除 45426 重要（默认级别） 是

告警ID 告警级别 是否自动清除 25005 重要 是

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机节点信息。

收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 4. 在“服务”中勾选操作OMS下面的“NodeAgent”、“NodeMetricAgent”、“OmmServer”、“OmmAgent”。 5. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟，单击“下载”。 6. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 43020 重要 是

检查队列资源是否不足 5.在原生页面找到该任务，查看该任务的“Queue”中的队列名。单击原生页面左侧“Scheduler”,在“Applications Queues”页框中查找对应的队列名，并下拉展开队列的详细信息，如图所示： 6.查看队列详情中“Used Resources”是否近似等于“Max Resources”，即任务提交的队列中资源已经使用完毕，若队列资源不足，请在FusionInsight Manager的“租户资源 > 动态资源计划 > 资源分布策略”中调大队列的“最大资源”。重新运行任务后，查看是否不再上报告警。 是，处理完毕。 否，执行步骤7。 检查任务是否发生数据倾斜 7.在Yarn的原生页面，选择“任务 ID （如application15653379197230002） > Tracking URL:ApplicationMaster > job15653379197230002”，进入如下页面： 8.选择左侧“Job > Map tasks”或者“Job > Reduce tasks”，查看每个Map或者每个Reduce任务的执行时间是否相差很大，如果相差很大，说明任务数据发生了倾斜，需要对任务数据进行均衡。 9.按照如上原因进行处理后，重新执行任务，观察本告警是否还出现。 是，执行步骤10。 否，处理完毕。 收集故障信息 10.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 11.在“服务”中勾选待操作集群的“Yarn”。 12.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 13.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 38010 提示 否

告警ID 告警级别 是否自动清除 19016 紧急 是

收集故障信息 7.在主备集群的FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 8.在“服务”中勾选待操作集群的有问题的HBase服务。 9.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 10.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

调整监控阈值 6.在FusionInsight Manager界面，选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Yarn > CPU和内存 > 挂起的内存量”，根据实际需要，适当增加该告警的监控阈值。 7.等待5分钟，查看该告警是否消除。 是，处理完毕。 否，执行步骤8。 收集故障信息 8.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 9.在“服务”中勾选待操作集群的“Yarn”。 10.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 11.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 17003 紧急 是

告警ID 告警级别 是否自动清除 16009 重要 是

本章节主要介绍ALM16008 Hive服务进程非堆内存使用超出阈值的告警。 告警解释 系统每30秒周期性检测Hive非堆内存使用率，并把实际的Hive非堆内存使用率和阈值相比较。当Hive非堆内存使用率超出阈值（默认为最大非堆内存的95%）时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Hive”修改阈值。 当Hive非堆内存使用率小于或等于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 16008 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive非堆内存使用率过高，会影响Hive任务运行的性能，甚至造成内存溢出导致Hive服务不可用。 可能原因 该节点Hive实例非堆内存使用量过大，或分配的非堆内存不合理，导致使用率超过阈值。 处理步骤 检查非堆内存使用率 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“告警ID”为“16008”的告警，查看“定位信息”中的角色名并确定实例的IP地址。 告警上报的角色是HiveServer，执行步骤2。 告警上报的角色是MetaStore，执行步骤3。 2.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Hive > 实例”，单击告警上报的HiveServer，进入实例“概览”页面，单击图表区域右上角的下拉菜单，选择“定制 > CPU和内存”，勾选“HiveServer内存使用率统计” ，单击“确定”，查看HiveServer进程使用的非堆内存是否已达到HiveServer进程设定的最大非堆内存的阈值（默认95%）。 是，执行步骤4。 否，执行步骤7。 3.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Hive > 实例”，单击告警上报的MetaStore，进入实例“概览”页面，单击图表区域右上角的下拉菜单，选择“定制 > CPU和内存”，勾选“MetaStore内存使用率统计” ，单击“确定”，查看MetaStore进程使用的非堆内存是否已达到MetaStore进程设定的最大非堆内存的阈值（默认95%）。 是，执行步骤4。 否，执行步骤7。 4.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Hive > 配置”，选择“全部配置”， 选择“HiveServer/MetaStore > JVM”，将“HIVEGCOPTS/METASTOREGCOPTS”参数中“XX:MaxMetaspaceSize”的值根据如下建议进行调整，并单击“保存”。 说明 HiveServer的GC参数配置建议 建议将“XX:MaxMetaspaceSize”值设置成为“Xmx”大小的1/8，比如：“Xmx”设置为2G时，“XX:MaxMetaspaceSize”设置为256M；“Xmx”设置为4G时，“XX:MaxMetaspaceSize”设置为512M。 MetaServer的GC参数配置建议 建议将“XX:MaxMetaspaceSize”值设置成为“Xmx”大小的1/8，比如：“Xmx”设置为2G时，“XX:MaxMetaspaceSize”设置为256M；“Xmx”设置为4G时，“XX:MaxMetaspaceSize”设置为512M。 5.选择“更多 > 重启服务”重启服务。 6.观察界面告警是否清除。 是，处理完毕。 否，执行步骤7。

本章节主要介绍权限模型。 基于角色的权限控制 FusionInsight通过采用RBAC（rolebased access control，基于角色的权限控制）方式对大数据系统进行权限管理，将系统中各组件零散的权限管理功能集中呈现和管理，对普通用户屏蔽掉了内部的权限管理细节，对管理员简化了权限管理的操作方法，提升权限管理的易用性和用户体验。 FusionInsight权限模型由“用户－用户组－角色－权限”四类对象构成。 权限模型 权限 由组件侧定义，允许访问组件某个资源的能力。不同组件针对自己的资源，有不同的权限。 例如： −HDFS针对文件资源权限，有读、写、执行等权限。 −HBase针对表资源权限，有创建、读、写等权限。 角色 组件权限的一个集合，一个角色可以包含多个组件的多个权限，不同的角色也可以拥有同一个组件的同一个资源的权限。 用户组 用户的集合，当用户组关联某个或者多个角色后，该用户组内的用户就将拥有这些角色所定义的组件权限。 不同用户组可以关联同一个角色，一个用户组也可以不关联任何角色，该用户组原则上将不具有任何组件资源的权限。 说明 部分组件针对特定的默认用户组，系统默认赋予了部分权限。 用户 系统的访问者，每个用户的权限由该用户关联的用户组和角色所对应的权限构成，用户需要加入用户组或者关联角色来获得对应的权限。 基于策略的权限控制 Ranger组件通过PBAC（policybased access control，基于策略的权限控制）方式进行权限管理，可对HDFS、Hive、HBase等组件进行更加细粒度的数据访问控制。 说明 组件同时只支持一种权限控制机制，当组件启用Ranger权限控制策略后，通过FusionInsight Manager创建的角色中关于该组件的权限将失效（HDFS与Yarn的组件ACL规则仍将生效），用户需通过Ranger管理界面添加策略进行资源的赋权。 Ranger的权限模型由多条权限策略组成，权限策略主要由以下几方面组成： 资源 组件所提供的可由用户访问的对象，例如HDFS的文件或文件夹、Yarn中的队列、Hive中的数据库/表/列等。 用户 系统的访问者，每个用户的权限由该用户关联的策略来获得。LDAP中的用户、用户组、角色信息会周期性的同步至Ranger。 权限 策略中针对资源可配置各种访问条件，例如文件的读写，具体可以配置允许条件、拒绝条件以及例外条件等。

未配置外部NTP时钟源时无此信息 32765:from 192.168.0.117 lookup omrt 32766:from all lookup main 32767:from all lookup default 启用系统创建的路由信息 1.以omm用户登录到主管理节点。 2.执行以下命令，启用系统创建的路由信息。 cd ${BIGDATAHOME}/omserver/om/sbin ./autoroute.sh enable Activating Route. Route operation (enable) successful. 3.执行以下命令，查看运行结果。 如下例，如产生路由表名为“ntprt”和“omrt”的两条路由信息，则操作成功。 ip rule list 0:from all lookup local 32764:from all to 10.10.100.100 lookup ntprt 未配置外部NTP时钟源时无此信息 32765:from 192.168.0.117 lookup omrt32766:from all lookup main 32767:from all lookup default

收集故障信息 8. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 9. 在“服务”中勾选待操作集群的“ZooKeeper”。 10. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 11. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 7.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 8.在“服务”中勾选“Controller”和“OmmServer”，单击“确定”。 9.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 10.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

前提条件 管理员已明确业务需求，并规划好不同系统的域名。域名只能包含大写字母、数字、圆点（.）及下划线（），且只能以字母或数字开头。 配置跨集群互信前，两个Manager系统的域名必须不同。MRS创建ECS/BMS集群时会随机生成唯一系统域名，通常无需修改。 配置跨集群互信前，两个集群中不能存在有相同的主机名，也不能存在相同的IP地址。 配置互信的两个集群系统时间必须一致，且系统上的NTP服务必须使用同一个时间源。 配置互信的两个集群系统内所有集群全部组件的运行状态均为“良好”。 Manager内所有集群的ZooKeeper服务的“acl.compare.shortName”参数需确保为默认值“true”。否则请修改该参数为“true”后重启ZooKeeper服务。 操作步骤 1.登录其中一个FusionInsight Manager。 2.在主页中停止所有集群。 单击主页上待操作集群名称后的，单击“停止”，输入管理员密码后在弹出的“停止集群”窗口中单击“确定”，等待集群停止成功。 3.选择“系统 > 权限 > 域和互信”。 4.修改配置参数“互信对端域”。 表 相关参数 参数名 描述 realmname 填写对端系统的域名。 ipport 填写对端系统的KDC地址。 参数值格式为：对端系统内要配置互信集群的Kerberos服务部署的节点IP 地址: 端口 。 如果是双平面组网，需填写业务平面IP地址。 采用IPv6地址时，IP地址应写在中括号“[]”中。 部署主备Kerberos服务或者对端系统内有多个集群需要与本端建立互信时，多个KDC地址使用逗号分隔。 端口值可通过查看KrbServer服务的“kdcports”参数获取，默认值为“21732”。部署服务的节点IP可通过在KrbServer服务页面选择“实例”页签，查看KerberosServer角色的“业务IP”获取。 例如，Kerberos服务部署在10.0.0.1和10.0.0.2上，与本端系统建立互信，则对应参数值为“10.0.0.1:21732,10.0.0.2:21732”。 说明 如果需要配置与多个Manager系统的互信关系，请单击添加新项目，并填写参数值。最多支持16个系统。删除多余的配置请单击。 5.单击“确定”。 6.以omm用户登录主管理节点，执行以下命令更新域配置。 sh ${BIGDATAHOME}/omserver/om/sbin/restartRealmConfig.sh 提示以下信息表示命令执行成功。 Modify realm successfully. Use the new password to log into FusionInsight again. 重启后部分主机与服务可能无法访问并触发告警，执行“restartRealmConfig.sh”后大约需要1分钟自动恢复。 7.登录FusionInsight Manager，启动所有集群。 单击主页上待操作集群名称后的，单击“启动”，在“启动集群”窗口单击“确定”，等待集群启动成功。 8.登录另外一个系统的FusionInsight Manager，重复以上操作。

参数 说明 direct 快速模式，利用了数据库的导入工具，如MySQL的mysqlimport，可以比jdbc连接的方式更为高效的将数据导入到关系数据库中。 exportdir 存放数据的HDFS的源目录。 m或nummappers 启动n个map来并行导入数据，默认是4个，该值请勿高于集群的最大Map数。 table 要导入的目的关系数据库表。 updatekey 后面接条件列名，通过该参数可以将关系数据库中已经存在的数据进行更新操作，类似于关系数据库中的update操作。 updatemode 更新模式，有两个值updateonly和默认的allowinsert，该参数只能在关系数据表里不存在要导入的记录时才能使用，比如要导入的hdfs中有一条id1的记录，如果在表里已经有一条记录id2，那么更新会失败。 inputnullstring 可选参数，如果没有指定，则字符串null将被使用。 inputnullnonstring 可选参数，如果没有指定，则字符串null将被使用。 stagingtable 创建一个与导入目标表同样数据结构的表，将所有数据先存放在该表中，然后由该表通过一次事务将结果写入到目标表中。 该参数是用来保证在数据导入关系数据库表的过程中的事务安全性，因为在导入的过程中可能会有多个事务，那么一个事务失败会影响到其它事务，比如导入的数据会出现错误或出现重复的记录等等情况，那么通过该参数可以避免这种情况。 clearstagingtable 如果该stagingtable非空，则通过该参数可以在运行导入前清除stagingtable里的数据。

本章节主要介绍使用Yarn客户端 。 操作场景 该任务指导用户在运维场景或业务场景中使用Yarn客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 各组件业务用户由系统管理员根据业务需要创建。安全模式下，“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。普通模式不需要下载keytab文件及修改密码操作。 使用Yarn客户端 1. 以客户端安装用户，登录安装客户端的节点。 2. 执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 3. 执行以下命令配置环境变量。 source bigdataenv 4. 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 5. 直接执行Yarn命令。例如： yarn application list 客户端常见使用问题 1. 当执行Yarn客户端命令时，客户端程序异常退出，报“java.lang.OutOfMemoryError”的错误。 这个问题是由于Yarn客户端运行时的所需的内存超过了Yarn客户端设置的内存上限（默认为128MB）。对于MRS 3.x后续版本集群，可以通过修改“ /HDFS/componentenv”中的“CLIENTGCOPTS”来修改Yarn客户端的内存上限。例如，需要设置该内存上限为1GB，则设置： export CLIENTGCOPTS"Xmx1G" 对于MRS 3.x之前版本集群，可以通过修改“ /HDFS/componentenv”中的“GCOPTSYARN”来修改Yarn客户端的内存上限。例如，需要设置该内存上限为1GB，则设置： export GCOPTSYARN"Xmx1G" 在修改完后，使用如下命令刷新客户端配置，使之生效： source /bigdataenv 2. 如何设置Yarn客户端运行时的日志级别？ Yarn客户端运行时的日志是默认输出到Console控制台的，其级别默认是INFO级别。有的时候为了定位问题，需要开启DEBUG级别日志，可以通过导出一个环境变量来设置，命令如下： export YARNROOTLOGGERDEBUG,console 在执行完上面命令后，再执行Yarn Shell命令时，即可打印出DEBUG级别日志。 如果想恢复INFO级别日志，可执行如下命令： export YARNROOTLOGGERINFO,co

本章节主要介绍权限机制。 FusionInsight采用LDAP存储用户和用户组的数据；角色的定义信息保存在关系数据库中，角色和权限的对应关系则保存在组件侧。 FusionInsight使用Kerberos进行统一认证。 用户权限校验流程大致如下： 1. 客户端（用户终端或FusionInsight组件服务）调用FusionInsight认证接口。 2. FusionInsight使用登录用户名和密码，到Kerberos进行认证。 3. 如果认证成功，客户端会发起访问服务端（FusionInsight组件服务）的请求。 4. 服务端会根据登录的用户，找到其属于的用户组和角色。 5. 服务端获得用户组拥有的所有权限和角色拥有的所有权限的并集。 6. 服务端判断客户端是否有权限访问其请求的资源。 示例场景（RBAC ）： HDFS中有三个文件fileA、fileB、fileC。 定义角色roleA对fileA有读和写权限，角色roleB对fileB有读权限。 定义groupA属于roleA；groupB属于roleB。 定义userA属于groupA和roleB，userB属于GroupB。 当userA登录成功并访问HDFS时： 1. HDFS获得useA属于的所有角色（roleB）。 2. HDFS同时还会获得userA属于的所有用户组所属于的角色（roleA）。 3. 此时，userA拥有roleA和roleB对应权限的并集。 4. 因此对于fileA，则userA有读写权限；对fileB，有读权限；对于fileC，无任何权限。 同理userB登录后： 1. userB只拥有roleB对应的权限。 2. 对于fileA，则userB无权限；对fileB，有读权限；对于fileC，无任何权限。

本章节主要介绍如何修复隔离主机补丁。 若集群中存在主机被隔离的情况，集群补丁安装完成后，请参见本节操作对隔离主机进行补丁修复。修复完成后，被隔离的主机节点版本将与其他未被隔离的主机节点一致。 说明 MRS3.x版本暂不支持在管理控制台执行本章节操作。 1.访问MRS Manager，详细操作请参见访问MRS Manager（MRS2.x及之前版本）。 2.选择“系统设置 > 补丁管理”，进入补丁管理页面。 3.在“操作”列表中，单击“详情”。 4.在补丁详情界面，选中“Status”是“Isolated”的主机节点。 5.单击“Select and Restore”，修复被隔离的主机节点。

本章节主要介绍存算分离简介 。 存算分离简介 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅做数据计算处理的存算分离模式。 说明 大数据存算分离场景，请务必使用OBS并行文件系统，使用普通对象桶会对集群性能产生较大影响。 存算分离功能使用流程： 1. 配置存算分离集群。请选择如下其中一种配置即可（推荐使用委托方式） 通过为MRS集群绑定ECS委托方式访问OBS，避免了AK/SK直接暴露在配置文件中的风险，具体请参考配置存算分离集群（委托方式）。 在MRS集群中配置AK/SK，AK/SK会明文暴露在配置文件中，请谨慎使用，具体请参考配置存算分离集群（AKSK方式）。 2. 使用存算分离集群。 各个组件使用存算分离的具体操作请参考如下内容。 Flink对接OBS文件系统 Flume对接OBS文件系统 HDFS客户端对接OBS文件系统 Hive对接OBS文件系统 MapReduce对接OBS文件系统 Spark2x对接OBS文件系统 Sqoop对接外部存储系统

本章节主要介绍集群互信概述。 功能介绍 默认情况下，安全模式下的大数据集群用户只能访问本集群中的资源，无法在其他安全模式集群中进行身份认证并访问资源。 特性描述 域 每个系统用户安全使用的范围定义为“域”，不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用户跨域使用。 用户加密 配置跨Manager互信，当前Kerberos服务端仅支持并使用“aes256ctshmacsha196:normal”和“aes128ctshmacsha196:normal”加密类型加密跨域使用的用户，不支持修改。 用户认证 配置跨Manager集群互信后，两个系统中只要存在同名用户，且对端系统的同名用户拥有访问自身系统中某个资源的对应权限，则可以使用当前系统用户访问远程资源。 直接互信 系统在配置互信的两个集群分别保存对端系统的互信票据，通过互信票据访问对端系统。

本章节主要介绍通过专线访问。 MRS为您提供云专线（Direct Connect）方式访问MRS集群。云专线用于搭建用户本地数据中心与线上云VPC之间高速、低时延、稳定安全的专属连接通道，充分利用线上云服务优势的同时，继续使用现有的IT设施，实现灵活一体，可伸缩的混合云计算环境。 前提条件 云专线服务可用，并已打通本地数据中心到线上VPC的连接通道。 通过专线访问MRS集群 1. 登录MRS管理控制台。 2. 单击集群名称进入集群详情页。 3. 在集群详情页面的“概览”页签，单击“集群管理页面”右侧的“前往Manager”。 4. “访问方式”选择“专线访问”，并勾选“我确认已打通本地与浮动IP的网络，可使用专线直接访问MRS Manager。”。 浮动IP为MRS为您访问MRS Manager页面自动分配的IP地址，使用专线访问MRS Manager之前您确保云专线服务已打通本地数据中心到线上VPC的连接通道。 5. 单击“确定”，进入MRS Manager登录页面，用户名使用“admin”，密码为创建集群时设置的admin密码。 切换MRS Manager访问方式 为了便于用户操作，浏览器缓存会记录用户所选择的访问Manager的方式，如需切换访问Manager方式，参考如下步骤操作。 1. 登录MRS管理控制台。 2. 单击集群名称进入集群详情页。 3. 在集群详情页面的“概览”页签，单击“集群管理页面”右侧的按钮。 4. 在弹出页面重新选择“访问方式”即可。 若由“EIP访问”切换为“专线访问”，请在专线网路互通的前提下，在弹出页面的“访问方式”选择“专线访问”并勾选“我确认已打通本地与浮动IP的网络，可使用专线直接访问MRS Manager。”后单击“确定”。 若由“专线访问”切换为“EIP访问”，在弹出页面的“访问方式”选择“EIP访问”并参考访问MRS Manager（MRS 2.x及之前版本）中的通过弹性公网IP访问Manager配置EIP。若集群已配置过公网IP，直接单击“确定”以EIP方式访问Manager。

本章节主要介绍更新已安装客户端的配置。 操作场景 集群提供了客户端，可以在连接服务端、查看任务结果或管理数据的场景中使用。用户如果在Manager修改了服务配置参数并重启了服务，已安装的客户端需要重新下载并安装，或者使用配置文件更新客户端。 前提条件 已安装客户端。 操作步骤 方法一： 1.登录FusionInsight Manager，在“集群”下拉列表中单击需要操作的集群名称。 2.选择“更多 > 下载客户端 > 仅配置文件”。 此时生成的压缩文件包含所有服务的配置文件。 3.是否在集群的节点中生成配置文件？ 是，勾选“仅保存到如下路径”，单击“确定”开始生成客户端文件，文件生成后默认保存在主管理节点“/tmp/FusionInsightClient”。支持自定义其他目录且omm用户拥有目录的读、写与执行权限。然后执行4。 否，单击“确定”指定本地的保存位置，开始下载完整客户端，等待下载完成，然后执行4。 4.使用WinSCP工具，以客户端安装用户将压缩文件保存到客户端安装的目录，例如“/opt/hadoopclient”。 5.解压软件包。 例如下载的客户端文件为“FusionInsightCluster1ServicesClient.tar”执行如下命令进入客户端所在目录，解压文件到本地目录。 cd /opt/hadoopclient tar xvf FusionInsightCluster1ServicesClient.tar 6.校验软件包。 执行sha256sum命令校验解压得到的文件，检查回显信息与sha256文件里面的内容是否一致，例如： sha256sum c FusionInsightCluster1ServicesClientConfigConfigFiles.tar.sha256 FusionInsightCluster1ServicesClientConfigConfigFiles.tar: OK 7.解压获取配置文件。 tar xvf FusionInsightCluster1ServicesClientConfigConfigFiles.tar 8.在客户端安装目录下执行如下命令，使用配置文件更新客户端。 sh refreshConfig.sh 客户端安装目录 配置文件所在目录 例如，执行以下命令： sh refreshConfig.sh /opt/hadoopclient /opt/hadoopclient/FusionInsightCluster1ServicesClientConfigConfigFiles 界面显示以下信息表示配置更新成功： Succeed to refresh components client config. 方法二： 1.以root用户登录客户端安装节点。 2.进入客户端安装的目录，例如“/opt/Bigdata/client”，执行以下命令更新配置文件： cd /opt/Bigdata/client sh autoRefreshConfig.sh 3.按照提示输入FusionInsight Manager管理员用户名，密码以及FusionInsight Manager界面浮动IP。 4.输入需要更新配置的组件名，组件名之间使用“,”分隔。如需更新所有组件配置，可直接单击回车键。 界面显示以下信息表示配置更新成功： Succeed to refresh components client config.

本章节主要介绍如何清除队列配置。 操作场景 当队列不再需要某个资源池的资源，或资源池需要与队列取消关联关系时，用户可以在MRS清除队列配置。清除队列配置即取消队列在此资源池中的资源容量策略。 前提条件 如果队列需要清除与某个资源池的绑定关系，该资源池不能作为队列的默认资源池，需要先将队列的默认资源池更改为其他资源池，请参见配置队列。 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考使用说明。 2.单击“资源分布策略”页签。 3.在“资源池”选择指定的资源池。 4.在“资源分配”列表指定队列的“操作”列，单击“清除”。 在“清除队列设置”中单击“是”，清除队列在当前资源池的配置。 说明 如果用户未配置队列的资源容量策略，则清除功能默认不可用。

本章节主要介绍使用Flink运行wordcount作业的操作指导。 前提条件 MRS集群中已安装Flink组件。 集群正常运行，已安装集群客户端，例如安装目录为“/opt/hadoopclient”。以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Flink客户端（MRS 3.x之前版本） 1. 以客户端安装用户，登录安装客户端的节点。 2. 执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 3. 执行如下命令初始化环境变量。 source /opt/hadoopclient/bigdataenv 4.若集群开启Kerberos认证，需要执行以下步骤，若集群未开启Kerberos认证请跳过该步骤。 a.准备一个提交Flink作业的用户。 b.登录Manager，下载认证凭据。 登录集群的Manager界面，具体请参见访问MRSManager（MRS2.x及之前版本），选择“系统设置 > 用户管理”，在已增加用户所在行的“操作”列，选择“更多 > 下载认证凭据”。 c.将下载的认证凭据压缩包解压缩，并将得到的user.keytab文件拷贝到客户端节点中，例如客户端节点的“/opt/hadoopclient/Flink/flink/conf”目录下。如果是在集群外节点安装的客户端，需要将得到的krb5.conf文件拷贝到该节点的“/etc/”目录下。 d.配置安全认证，在“/opt/hadoopclient/Flink/flink/conf/flinkconf.yaml”配置文件中的对应配置添加keytab路径以及用户名。 security.kerberos.login.keytab: security.kerberos.login.principal: 例如： security.kerberos.login.keytab:/opt/hadoopclient/Flink/flink/conf/user.keytab security.kerberos.login.principal: test e.参考“组件操作指南 > 使用Flink > 参考 > 签发证书样例”章节生成“generatekeystore.sh”脚本并放置在Flink的客户端bin目录下，执行如下命令进行安全加固，请参考“组件操作指南 > 使用Flink > 安全加固 > 认证和加密”，password请重新设置为一个用于提交作业的密码。 sh generatekeystore.sh 该脚本会自动替换“/opt/hadoopclient/Flink/flink/conf/flinkconf.yaml”中关于SSL的值，针对MRS2.x及之前版本，安全集群默认没有开启外部SSL，用户如果需要启用外部SSL，请参考“组件操作指南 >使用Flink > 安全加固”进行配置后再次运行该脚本即可。 说明 generatekeystore.sh脚本无需手动生成。 执行认证和加密后会将生成的flink.keystore、flink.truststore、security.cookie自动填充到“flinkconf.yaml”对应配置项中。 f.客户端访问flink.keystore和flink.truststore文件的路径配置。 −绝对路径：执行该脚本后，在flinkconf.yaml文件中将flink.keystore和flink.truststore文件路径自动配置为绝对路径“/opt/hadoopclient/Flink/flink/conf/”，此时需要将conf目录中的flink.keystore和flink.truststore文件分别放置在Flink Client以及Yarn各个节点的该绝对路径上。 −相对路径：请执行如下步骤配置flink.keystore和flink.truststore文件路径为相对路径，并确保Flink Client执行命令的目录可以直接访问该相对路径。 i.在“/opt/hadoopclient/Flink/flink/conf/”目录下新建目录，例如ssl。 cd /opt/hadoopclient/Flink/flink/conf/ mkdir ssl ii. 移动flink.keystore和flink.truststore文件到“/opt/hadoopclient/Flink/flink/conf/ssl/”中。 mv flink.keystore ssl/ mv flink.truststore ssl/ iii. 修改flinkconf.yaml文件中如下两个参数为相对路径。 security.ssl.internal.keystore: ssl/flink.keystore security.ssl.internal.truststore: ssl/flink.truststore 5.运行wordcount作业。 须知 用户在Flink提交作业或者运行作业时，应具有如下权限： 如果启用Ranger鉴权，当前用户必须属于hadoop组或者已在Ranger中为该用户添加“/flink”的读写权限。 如果停用Ranger鉴权，当前用户必须属于hadoop组。 普通集群（未开启Kerberos认证） −执行如下命令启动session，并在session中提交作业。 yarnsession.sh nm " sessionname " flink run/opt/hadoopclient/Flink/flink/examples/streaming/WordCount.jar −执行如下命令在Yarn上提交单个作业。 flink run m yarncluster /opt/hadoopclient/Flink/flink/examples/streaming/WordCount.jar 安全集群（开启Kerberos认证） −flink.keystore和flink.truststore文件路径为绝对路径时： 执行如下命令启动session，并在session中提交作业。 yarnsession.sh nm " sessionname " flink run /opt/hadoopclient/Flink/flink/examples/streaming/WordCount.jar 执行如下命令在Yarn上提交单个作业。 flink run m yarncluster /opt/hadoopclient/Flink/flink/examples/streaming/WordCount.jar −flink.keystore和flink.truststore文件路径为相对路径时： 在“ssl”的同级目录下执行如下命令启动session，并在session中提交作业，其中“ssl”是相对路径，如“ssl”所在目录是“opt/hadoopclient/Flink/flink/conf/”，则在“opt/hadoopclient/Flink/flink/conf/”目录下执行命令。 yarnsession.sh t ssl/ nm " sessionname " flink run/opt/hadoopclient/Flink/flink/examples/streaming/WordCount.jar 执行如下命令在Yarn上提交单个作业。 flink run m yarncluster yt ssl/ /opt/hadoopclient/Flink/flink/examples/streaming/WordCount.jar 6.作业提交成功后，客户端界面显示如下。 详见下图： 在Yarn上提交作业成功 详见下图：启动session成功 详见下图： 在session中提交作业成功 7. 使用运行用户进入Yarn服务的原生页面，具体操作参考“组件操作指南 > 使用Flink > 查看Flink作业”，找到对应作业的application，单击application名称，进入到作业详情页面。 若作业尚未结束，可单击“Tracking URL”链接进入到Flink的原生页面，查看作业的运行信息。 若作业已运行结束，对于在session中提交的作业，可以单击“Tracking URL”链接登录Flink原生页面查看作业信息。 详见下图：application

本章节主要介绍使用Oozie客户端 。 操作场景 该任务指导用户在运维场景或业务场景中使用Oozie客户端。 前提条件 已安装客户端。例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 各组件业务用户由系统管理员根据业务需要创建。安全模式下，“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。 使用Oozie客户端 1.以客户端安装用户，登录安装客户端的节点。 2.执行以下命令，切换到客户端安装目录，该操作的客户端目录只是举例，请根据实际安装目录修改。 cd /opt/client 3.执行以下命令配置环境变量。 source bigdataenv 4.判断集群认证模式。 安全模式，执行以下命令进行用户认证。exampleUser为提交任务的用户名。 kinit exampleUser 普通模式，执行步骤5。 5.配置Hue。 a.spark2x环境配置（如果不涉及spark2x任务，可以跳过此步骤）： hdfs dfs put /opt/client/Spark2x/spark/jars/.jar /user/oozie/share/lib/spark2x/ 当HDFS目录“/user/oozie/share”中的Jar包发生变化时，需要重启Oozie服务。 b.上传Oozie配置文件以及Jar包至HDFS： hdfs dfs mkdir /user/ exampleUser hdfs dfs put f /opt/client/Oozie/oozieclient/examples /user/ exampleUser / 说明 exampleUser为提交任务的用户名。 在提交任务的用户和非job.properties文件均无变更的前提下，客户端安装目录/Oozie/oozieclient/examples目录一经上传HDFS，后续可重复使用，无需多次提交。 解决Spark和Yarn关于jetty的jar冲突。 hdfs dfs rm f /user/oozie/share/lib/spark/jettyall9.2.22.v20170606.jar 普通模式下，上传过程如果遇到“Permission denied”的问题，可执行以下命令进行处理。 su omm source /opt/client/bigdataenv hdfs dfs chmod R 777 /user/oozie exit

全量更新备Master节点的原始客户端 1.参见步骤1~步骤3登录备Master节点，执行如下命令切换到omm用户。 sudo su omm 2.在备master节点上执行如下命令，从主master节点拷贝下载的客户端包。 scp omm@ master1 节点IP 地址 :/tmp/MRSclient/MRSServicesClient.tar /tmp/MRSclient/ 说明 该命令以master1节点为主master节点为例。 目的路径以备master节点的/tmp/MRSclient/目录为例，请根据实际路径修改。 3.参见4~13，更新备Master节点的客户端。

本章节主要介绍如何配置服务参数。 用户可以根据实际业务场景，在MRS中快速查看和修改服务默认的配置，及导出或导入配置。 对系统的影响 配置HBase、HDFS、Hive、Spark、Yarn、Mapreduce服务属性后，需要重新下载并更新客户端配置文件。 集群中只剩下一个DBService角色实例时，不支持修改DBService服务的参数。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 修改服务参数 1.在集群详情页，单击“组件管理”。 2.单击服务列表中指定的服务名称。 3.单击“服务配置”。 4.将页面右侧“基础配置”切换为“全部配置”，界面上将显示该服务的全部配置参数导航树，导航树从上到下的根节点分别为服务名称和角色名称。 5.在导航树选择指定的参数，修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 修改某个参数的值后需要取消修改，可以单击恢复。 6.单击“保存配置”，根据界面提示保存参数并重启服务。 注意 MRS 3.x之前版本更新YARN服务队列的配置且不重启服务时，在服务状态页签选择“更多 > 刷新队列”更新队列使配置生效。