本章节主要介绍配置资源池的队列容量策略。 操作场景 添加资源池后，需要为YARN任务队列配置在此资源池中可使用资源的容量策略，队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。用户可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后，YARN任务队列与资源池形成关联关系。 该任务指导用户通过MRS Manager配置队列策略。 前提条件 已添加资源池。 任务队列与其他资源池无关联关系。默认情况下，所有队列与“Default”资源池存在关联关系。 操作步骤 在MRS Manager，单击“租户管理”。 1. 单击“动态资源计划”页签。 2. 在“资源池”选择指定的资源池。 “可用资源配额”：表示每个资源池默认所有资源都可分配给队列。 3. 在“资源分配”列表指定队列的“操作”列，单击“修改”。 4. 在“修改资源分配”窗口设置任务队列在此资源池中的资源容量策略。 “资源容量 (%)”：表示当前租户计算资源使用的资源百分比。 “最大资源容量 (%)”：表示当前租户计算资源使用的最大资源百分比。 5. 单击“确定”保存配置。

收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 5. 在“服务”框中勾选待操作集群的“Ranger”。 6. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 7. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍ALM38007 Kafka默认用户状态异常的告警。 告警解释 系统每60秒周期性检测Kafka服务默认用户，当检测到该用户异常时发送此告警。 平滑次数为1，当用户状态恢复后，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 38007 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名称。 Trigger Condition Kafka默认用户状态异常。 对系统的影响 Kafka默认用户状态异常，会影响Broker之间的元数据同步，以及Kafka与ZooKeeper之间的交互，进而影响业务生产、消费和Topic的创建、删除等操作。 可能原因 Sssd服务异常导致。 部分Broker实例停止运行。 处理步骤 检查是否有"Sssd 服务异常" 告警 在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > Kafka默认用户状态异常 > 定位信息”。查看告警上报的实例的主机名。 1. 根据告警提示的主机信息，登录到该节点上。 2. 执行 id Gn kafka ，查看返回结果是否报"No such user"。 是，记录当前节点主机名，并执行步骤4。 否，执行步骤6。 3. 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”。查看所有告警信息中是否有"Sssd服务异常"告警，根据对应的告警指导进行处理。

操作场景 用户可以在MRS Manager查看、清除告警。 一般情况下，告警处理后，系统自动清除该条告警记录。当告警不具备自动清除功能且用户已确认该告警对系统无影响时，可手动清除告警。 在MRS Manager界面可查看最近十万条告警（包括未清除的、手动清除的和自动清除的告警）。如果已清除告警超过十万条达到十一万条，系统自动将最早的一万条已清除告警转存，转存路径为主管理节点“${BIGDATAHOME}/OMSV100R001C00x8664/workspace/data”。第一次转存告警时自动生成目录。 说明 用户可以选择页面自动刷新间隔的设置，也可以单击马上刷新。 支持三种参数值： l “每30秒刷新一次”：刷新间隔30秒。 l “每60秒刷新一次”：刷新间隔60秒。 l “停止刷新”：停止刷新。 操作步骤 在MRS Manager，单击“告警管理”，在告警列表查看告警信息。 告警列表每页默认显示最近的十条告警。 默认以“产生时间”列按降序排列，单击“告警ID”、“告警名称”、“告警级别”、“产生时间”、“定位信息”或“操作”可修改排列方式。 支持在“告警级别”筛选相同级别的全部告警。结果包含已清除和未清除的告警。 分别单击、、、或可以快速筛选级别为“致命”、“严重”、“一般”或“警告”的告警。 单击“高级搜索”显示告警搜索区域，设置查询条件后，单击“搜索”，查看指定的告警信息。单击“重置”清除输入的搜索条件。 说明 “开始时间”和“结束时间”表示时间范围的开始时间和结束时间，可以搜索此时间段内产生的告警。 查看“告警参考”章节告警帮助，按照帮助指导处理告警。如果某些场景中告警由于MRS依赖的其他云服务产生，可能需要联系对应云服务运维人员处理 1. 处理完告警后，若需手动清除，单击“清除告警”，手动清除告警。 说明 如果有多个告警已完成处理，可选中一个或多个待清除的告警，单击“清除告警”，批量清除告警。每次最多批量清除300条告警

告警ID 告警级别 是否自动清除 45426 重要（默认级别） 是

告警ID 告警级别 是否自动清除 25005 重要 是

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机节点信息。

收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 4. 在“服务”中勾选操作OMS下面的“NodeAgent”、“NodeMetricAgent”、“OmmServer”、“OmmAgent”。 5. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟，单击“下载”。 6. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 43020 重要 是

检查队列资源是否不足 5.在原生页面找到该任务，查看该任务的“Queue”中的队列名。单击原生页面左侧“Scheduler”,在“Applications Queues”页框中查找对应的队列名，并下拉展开队列的详细信息，如图所示： 6.查看队列详情中“Used Resources”是否近似等于“Max Resources”，即任务提交的队列中资源已经使用完毕，若队列资源不足，请在FusionInsight Manager的“租户资源 > 动态资源计划 > 资源分布策略”中调大队列的“最大资源”。重新运行任务后，查看是否不再上报告警。 是，处理完毕。 否，执行步骤7。 检查任务是否发生数据倾斜 7.在Yarn的原生页面，选择“任务 ID （如application15653379197230002） > Tracking URL:ApplicationMaster > job15653379197230002”，进入如下页面： 8.选择左侧“Job > Map tasks”或者“Job > Reduce tasks”，查看每个Map或者每个Reduce任务的执行时间是否相差很大，如果相差很大，说明任务数据发生了倾斜，需要对任务数据进行均衡。 9.按照如上原因进行处理后，重新执行任务，观察本告警是否还出现。 是，执行步骤10。 否，处理完毕。 收集故障信息 10.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 11.在“服务”中勾选待操作集群的“Yarn”。 12.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 13.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 38010 提示 否

告警ID 告警级别 是否自动清除 19016 紧急 是

收集故障信息 7.在主备集群的FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 8.在“服务”中勾选待操作集群的有问题的HBase服务。 9.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 10.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 12001 次要 是

调整监控阈值 6.在FusionInsight Manager界面，选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Yarn > CPU和内存 > 挂起的内存量”，根据实际需要，适当增加该告警的监控阈值。 7.等待5分钟，查看该告警是否消除。 是，处理完毕。 否，执行步骤8。 收集故障信息 8.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 9.在“服务”中勾选待操作集群的“Yarn”。 10.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 11.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

告警ID 告警级别 是否自动清除 17003 紧急 是

告警ID 告警级别 是否自动清除 16009 重要 是

本章节主要介绍ALM16008 Hive服务进程非堆内存使用超出阈值的告警。 告警解释 系统每30秒周期性检测Hive非堆内存使用率，并把实际的Hive非堆内存使用率和阈值相比较。当Hive非堆内存使用率超出阈值（默认为最大非堆内存的95%）时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Hive”修改阈值。 当Hive非堆内存使用率小于或等于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 16008 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive非堆内存使用率过高，会影响Hive任务运行的性能，甚至造成内存溢出导致Hive服务不可用。 可能原因 该节点Hive实例非堆内存使用量过大，或分配的非堆内存不合理，导致使用率超过阈值。 处理步骤 检查非堆内存使用率 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“告警ID”为“16008”的告警，查看“定位信息”中的角色名并确定实例的IP地址。 告警上报的角色是HiveServer，执行步骤2。 告警上报的角色是MetaStore，执行步骤3。 2.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Hive > 实例”，单击告警上报的HiveServer，进入实例“概览”页面，单击图表区域右上角的下拉菜单，选择“定制 > CPU和内存”，勾选“HiveServer内存使用率统计” ，单击“确定”，查看HiveServer进程使用的非堆内存是否已达到HiveServer进程设定的最大非堆内存的阈值（默认95%）。 是，执行步骤4。 否，执行步骤7。 3.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Hive > 实例”，单击告警上报的MetaStore，进入实例“概览”页面，单击图表区域右上角的下拉菜单，选择“定制 > CPU和内存”，勾选“MetaStore内存使用率统计” ，单击“确定”，查看MetaStore进程使用的非堆内存是否已达到MetaStore进程设定的最大非堆内存的阈值（默认95%）。 是，执行步骤4。 否，执行步骤7。 4.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Hive > 配置”，选择“全部配置”， 选择“HiveServer/MetaStore > JVM”，将“HIVEGCOPTS/METASTOREGCOPTS”参数中“XX:MaxMetaspaceSize”的值根据如下建议进行调整，并单击“保存”。 说明 HiveServer的GC参数配置建议 建议将“XX:MaxMetaspaceSize”值设置成为“Xmx”大小的1/8，比如：“Xmx”设置为2G时，“XX:MaxMetaspaceSize”设置为256M；“Xmx”设置为4G时，“XX:MaxMetaspaceSize”设置为512M。 MetaServer的GC参数配置建议 建议将“XX:MaxMetaspaceSize”值设置成为“Xmx”大小的1/8，比如：“Xmx”设置为2G时，“XX:MaxMetaspaceSize”设置为256M；“Xmx”设置为4G时，“XX:MaxMetaspaceSize”设置为512M。 5.选择“更多 > 重启服务”重启服务。 6.观察界面告警是否清除。 是，处理完毕。 否，执行步骤7。

用户 请参见用户帐号一览表。 服务相关用户安全参数 HDFS 参数“dfs.permissions.superusergroup”表示HDFS最高权限管理员组，默认值为“supergroup”。 Spark2x以及对应多实例 参数“spark.admin.acls”表示Spark2x的管理员列表，列表中成员有权限管理所有Spark任务，若用户未加入此列表则无法管理所有Spark任务。默认值为“admin”。

本章节主要介绍权限模型。 基于角色的权限控制 FusionInsight通过采用RBAC（rolebased access control，基于角色的权限控制）方式对大数据系统进行权限管理，将系统中各组件零散的权限管理功能集中呈现和管理，对普通用户屏蔽掉了内部的权限管理细节，对管理员简化了权限管理的操作方法，提升权限管理的易用性和用户体验。 FusionInsight权限模型由“用户－用户组－角色－权限”四类对象构成。 权限模型 权限 由组件侧定义，允许访问组件某个资源的能力。不同组件针对自己的资源，有不同的权限。 例如： −HDFS针对文件资源权限，有读、写、执行等权限。 −HBase针对表资源权限，有创建、读、写等权限。 角色 组件权限的一个集合，一个角色可以包含多个组件的多个权限，不同的角色也可以拥有同一个组件的同一个资源的权限。 用户组 用户的集合，当用户组关联某个或者多个角色后，该用户组内的用户就将拥有这些角色所定义的组件权限。 不同用户组可以关联同一个角色，一个用户组也可以不关联任何角色，该用户组原则上将不具有任何组件资源的权限。 说明 部分组件针对特定的默认用户组，系统默认赋予了部分权限。 用户 系统的访问者，每个用户的权限由该用户关联的用户组和角色所对应的权限构成，用户需要加入用户组或者关联角色来获得对应的权限。 基于策略的权限控制 Ranger组件通过PBAC（policybased access control，基于策略的权限控制）方式进行权限管理，可对HDFS、Hive、HBase等组件进行更加细粒度的数据访问控制。 说明 组件同时只支持一种权限控制机制，当组件启用Ranger权限控制策略后，通过FusionInsight Manager创建的角色中关于该组件的权限将失效（HDFS与Yarn的组件ACL规则仍将生效），用户需通过Ranger管理界面添加策略进行资源的赋权。 Ranger的权限模型由多条权限策略组成，权限策略主要由以下几方面组成： 资源 组件所提供的可由用户访问的对象，例如HDFS的文件或文件夹、Yarn中的队列、Hive中的数据库/表/列等。 用户 系统的访问者，每个用户的权限由该用户关联的策略来获得。LDAP中的用户、用户组、角色信息会周期性的同步至Ranger。 权限 策略中针对资源可配置各种访问条件，例如文件的读写，具体可以配置允许条件、拒绝条件以及例外条件等。

未配置外部NTP时钟源时无此信息 32765:from 192.168.0.117 lookup omrt 32766:from all lookup main 32767:from all lookup default 启用系统创建的路由信息 1.以omm用户登录到主管理节点。 2.执行以下命令，启用系统创建的路由信息。 cd ${BIGDATAHOME}/omserver/om/sbin ./autoroute.sh enable Activating Route. Route operation (enable) successful. 3.执行以下命令，查看运行结果。 如下例，如产生路由表名为“ntprt”和“omrt”的两条路由信息，则操作成功。 ip rule list 0:from all lookup local 32764:from all to 10.10.100.100 lookup ntprt 未配置外部NTP时钟源时无此信息 32765:from 192.168.0.117 lookup omrt32766:from all lookup main 32767:from all lookup default

收集故障信息 8. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 9. 在“服务”中勾选待操作集群的“ZooKeeper”。 10. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 11. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 7.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 8.在“服务”中勾选“Controller”和“OmmServer”，单击“确定”。 9.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 10.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

前提条件 管理员已明确业务需求，并规划好不同系统的域名。域名只能包含大写字母、数字、圆点（.）及下划线（），且只能以字母或数字开头。 配置跨集群互信前，两个Manager系统的域名必须不同。MRS创建ECS/BMS集群时会随机生成唯一系统域名，通常无需修改。 配置跨集群互信前，两个集群中不能存在有相同的主机名，也不能存在相同的IP地址。 配置互信的两个集群系统时间必须一致，且系统上的NTP服务必须使用同一个时间源。 配置互信的两个集群系统内所有集群全部组件的运行状态均为“良好”。 Manager内所有集群的ZooKeeper服务的“acl.compare.shortName”参数需确保为默认值“true”。否则请修改该参数为“true”后重启ZooKeeper服务。 操作步骤 1.登录其中一个FusionInsight Manager。 2.在主页中停止所有集群。 单击主页上待操作集群名称后的，单击“停止”，输入管理员密码后在弹出的“停止集群”窗口中单击“确定”，等待集群停止成功。 3.选择“系统 > 权限 > 域和互信”。 4.修改配置参数“互信对端域”。 表 相关参数 参数名 描述 realmname 填写对端系统的域名。 ipport 填写对端系统的KDC地址。 参数值格式为：对端系统内要配置互信集群的Kerberos服务部署的节点IP 地址: 端口 。 如果是双平面组网，需填写业务平面IP地址。 采用IPv6地址时，IP地址应写在中括号“[]”中。 部署主备Kerberos服务或者对端系统内有多个集群需要与本端建立互信时，多个KDC地址使用逗号分隔。 端口值可通过查看KrbServer服务的“kdcports”参数获取，默认值为“21732”。部署服务的节点IP可通过在KrbServer服务页面选择“实例”页签，查看KerberosServer角色的“业务IP”获取。 例如，Kerberos服务部署在10.0.0.1和10.0.0.2上，与本端系统建立互信，则对应参数值为“10.0.0.1:21732,10.0.0.2:21732”。 说明 如果需要配置与多个Manager系统的互信关系，请单击添加新项目，并填写参数值。最多支持16个系统。删除多余的配置请单击。 5.单击“确定”。 6.以omm用户登录主管理节点，执行以下命令更新域配置。 sh ${BIGDATAHOME}/omserver/om/sbin/restartRealmConfig.sh 提示以下信息表示命令执行成功。 Modify realm successfully. Use the new password to log into FusionInsight again. 重启后部分主机与服务可能无法访问并触发告警，执行“restartRealmConfig.sh”后大约需要1分钟自动恢复。 7.登录FusionInsight Manager，启动所有集群。 单击主页上待操作集群名称后的，单击“启动”，在“启动集群”窗口单击“确定”，等待集群启动成功。 8.登录另外一个系统的FusionInsight Manager，重复以上操作。

本章节主要介绍配置定时备份告警与审计信息。 操作场景 管理员可通过修改配置文件，实现定时备份FusionInsight Manager的告警信息、Manager审计信息以及所有服务的审计信息到指定的存储位置。 备份支持使用SFTP协议或FTP协议，FTP协议未加密数据可能存在安全风险，建议使用SFTP。 操作步骤 1.以omm用户登录主管理节点。 说明 用户只需在主管理节点执行此操作，不支持在备管理节点上配置定时备份。 2.执行以下命令，切换目录。 cd ${BIGDATAHOME}/omserver/om/sbin 3.执行以下命令，配置定时备份Manager告警、审计或者服务审计信息。 ./setNorthBound.sh t 信息类型 i 远程服务器IP p 服务器使用的SFTP或FTP 端口 u 用户名 d 保存信息的路径 c 时间间隔（分钟） m 每个保存文件的信息记录数 s 备份启停开关 e 指定的协议 例如： ./setNorthBound.sh t alarm i 10.0.0.10 p 22 u sftpuser d /tmp/ c 10 m 100 s true e sftp 此脚本将修改告警信息备份配置文件“alarmcollectupload.properties”。文件存储路径为“${BIGDATAHOME}/omserver/tomcat/webapps/web/WEBINF/classes/config”。 ./setNorthBound.sh t audit i 10.0.0.10 p 22 u sftpuser d /tmp/ c 10 m 100 s true e sftp 此脚本将修改审计信息备份配置文件“auditcollectupload.properties”。文件存储路径为“${BIGDATAHOME}/omserver/tomcat/webapps/web/WEBINF/classes/config”。 ./setNorthBound.sh t serviceaudit i 10.0.0.10 p 22 u sftpuser d /tmp/ c 10 m 100 s true e sftp 此脚本将修改服务审计信息备份配置文件“serviceauditcollectupload.properties”。文件存储路径为“${BIGDATAHOME}/omserver/tomcat/webapps/web/WEBINF/classes/config”。 4.根据界面提示输入用户的密码。密码将加密保存在配置文件中。 Please input sftp/ftp server password: 5.显示如下结果，说明修改成功。备管理节点将自动同步配置文件。 execute command syncfile successfully. Config Succeed.

参数 说明 direct 快速模式，利用了数据库的导入工具，如MySQL的mysqlimport，可以比jdbc连接的方式更为高效的将数据导入到关系数据库中。 exportdir 存放数据的HDFS的源目录。 m或nummappers 启动n个map来并行导入数据，默认是4个，该值请勿高于集群的最大Map数。 table 要导入的目的关系数据库表。 updatekey 后面接条件列名，通过该参数可以将关系数据库中已经存在的数据进行更新操作，类似于关系数据库中的update操作。 updatemode 更新模式，有两个值updateonly和默认的allowinsert，该参数只能在关系数据表里不存在要导入的记录时才能使用，比如要导入的hdfs中有一条id1的记录，如果在表里已经有一条记录id2，那么更新会失败。 inputnullstring 可选参数，如果没有指定，则字符串null将被使用。 inputnullnonstring 可选参数，如果没有指定，则字符串null将被使用。 stagingtable 创建一个与导入目标表同样数据结构的表，将所有数据先存放在该表中，然后由该表通过一次事务将结果写入到目标表中。 该参数是用来保证在数据导入关系数据库表的过程中的事务安全性，因为在导入的过程中可能会有多个事务，那么一个事务失败会影响到其它事务，比如导入的数据会出现错误或出现重复的记录等等情况，那么通过该参数可以避免这种情况。 clearstagingtable 如果该stagingtable非空，则通过该参数可以在运行导入前清除stagingtable里的数据。

本章节主要介绍使用Yarn客户端 。 操作场景 该任务指导用户在运维场景或业务场景中使用Yarn客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 各组件业务用户由系统管理员根据业务需要创建。安全模式下，“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。普通模式不需要下载keytab文件及修改密码操作。 使用Yarn客户端 1. 以客户端安装用户，登录安装客户端的节点。 2. 执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 3. 执行以下命令配置环境变量。 source bigdataenv 4. 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 5. 直接执行Yarn命令。例如： yarn application list 客户端常见使用问题 1. 当执行Yarn客户端命令时，客户端程序异常退出，报“java.lang.OutOfMemoryError”的错误。 这个问题是由于Yarn客户端运行时的所需的内存超过了Yarn客户端设置的内存上限（默认为128MB）。对于MRS 3.x后续版本集群，可以通过修改“ /HDFS/componentenv”中的“CLIENTGCOPTS”来修改Yarn客户端的内存上限。例如，需要设置该内存上限为1GB，则设置： export CLIENTGCOPTS"Xmx1G" 对于MRS 3.x之前版本集群，可以通过修改“ /HDFS/componentenv”中的“GCOPTSYARN”来修改Yarn客户端的内存上限。例如，需要设置该内存上限为1GB，则设置： export GCOPTSYARN"Xmx1G" 在修改完后，使用如下命令刷新客户端配置，使之生效： source /bigdataenv 2. 如何设置Yarn客户端运行时的日志级别？ Yarn客户端运行时的日志是默认输出到Console控制台的，其级别默认是INFO级别。有的时候为了定位问题，需要开启DEBUG级别日志，可以通过导出一个环境变量来设置，命令如下： export YARNROOTLOGGERDEBUG,console 在执行完上面命令后，再执行Yarn Shell命令时，即可打印出DEBUG级别日志。 如果想恢复INFO级别日志，可执行如下命令： export YARNROOTLOGGERINFO,co

本章节主要介绍权限机制。 FusionInsight采用LDAP存储用户和用户组的数据；角色的定义信息保存在关系数据库中，角色和权限的对应关系则保存在组件侧。 FusionInsight使用Kerberos进行统一认证。 用户权限校验流程大致如下： 1. 客户端（用户终端或FusionInsight组件服务）调用FusionInsight认证接口。 2. FusionInsight使用登录用户名和密码，到Kerberos进行认证。 3. 如果认证成功，客户端会发起访问服务端（FusionInsight组件服务）的请求。 4. 服务端会根据登录的用户，找到其属于的用户组和角色。 5. 服务端获得用户组拥有的所有权限和角色拥有的所有权限的并集。 6. 服务端判断客户端是否有权限访问其请求的资源。 示例场景（RBAC ）： HDFS中有三个文件fileA、fileB、fileC。 定义角色roleA对fileA有读和写权限，角色roleB对fileB有读权限。 定义groupA属于roleA；groupB属于roleB。 定义userA属于groupA和roleB，userB属于GroupB。 当userA登录成功并访问HDFS时： 1. HDFS获得useA属于的所有角色（roleB）。 2. HDFS同时还会获得userA属于的所有用户组所属于的角色（roleA）。 3. 此时，userA拥有roleA和roleB对应权限的并集。 4. 因此对于fileA，则userA有读写权限；对fileB，有读权限；对于fileC，无任何权限。 同理userB登录后： 1. userB只拥有roleB对应的权限。 2. 对于fileA，则userB无权限；对fileB，有读权限；对于fileC，无任何权限。

本章节主要介绍如何修复隔离主机补丁。 若集群中存在主机被隔离的情况，集群补丁安装完成后，请参见本节操作对隔离主机进行补丁修复。修复完成后，被隔离的主机节点版本将与其他未被隔离的主机节点一致。 说明 MRS3.x版本暂不支持在管理控制台执行本章节操作。 1.访问MRS Manager，详细操作请参见访问MRS Manager（MRS2.x及之前版本）。 2.选择“系统设置 > 补丁管理”，进入补丁管理页面。 3.在“操作”列表中，单击“详情”。 4.在补丁详情界面，选中“Status”是“Isolated”的主机节点。 5.单击“Select and Restore”，修复被隔离的主机节点。

本章节主要介绍存算分离简介 。 存算分离简介 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅做数据计算处理的存算分离模式。 说明 大数据存算分离场景，请务必使用OBS并行文件系统，使用普通对象桶会对集群性能产生较大影响。 存算分离功能使用流程： 1. 配置存算分离集群。请选择如下其中一种配置即可（推荐使用委托方式） 通过为MRS集群绑定ECS委托方式访问OBS，避免了AK/SK直接暴露在配置文件中的风险，具体请参考配置存算分离集群（委托方式）。 在MRS集群中配置AK/SK，AK/SK会明文暴露在配置文件中，请谨慎使用，具体请参考配置存算分离集群（AKSK方式）。 2. 使用存算分离集群。 各个组件使用存算分离的具体操作请参考如下内容。 Flink对接OBS文件系统 Flume对接OBS文件系统 HDFS客户端对接OBS文件系统 Hive对接OBS文件系统 MapReduce对接OBS文件系统 Spark2x对接OBS文件系统 Sqoop对接外部存储系统

本章节主要介绍集群互信概述。 功能介绍 默认情况下，安全模式下的大数据集群用户只能访问本集群中的资源，无法在其他安全模式集群中进行身份认证并访问资源。 特性描述 域 每个系统用户安全使用的范围定义为“域”，不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用户跨域使用。 用户加密 配置跨Manager互信，当前Kerberos服务端仅支持并使用“aes256ctshmacsha196:normal”和“aes128ctshmacsha196:normal”加密类型加密跨域使用的用户，不支持修改。 用户认证 配置跨Manager集群互信后，两个系统中只要存在同名用户，且对端系统的同名用户拥有访问自身系统中某个资源的对应权限，则可以使用当前系统用户访问远程资源。 直接互信 系统在配置互信的两个集群分别保存对端系统的互信票据，通过互信票据访问对端系统。

本章节主要介绍通过专线访问。 MRS为您提供云专线（Direct Connect）方式访问MRS集群。云专线用于搭建用户本地数据中心与线上云VPC之间高速、低时延、稳定安全的专属连接通道，充分利用线上云服务优势的同时，继续使用现有的IT设施，实现灵活一体，可伸缩的混合云计算环境。 前提条件 云专线服务可用，并已打通本地数据中心到线上VPC的连接通道。 通过专线访问MRS集群 1. 登录MRS管理控制台。 2. 单击集群名称进入集群详情页。 3. 在集群详情页面的“概览”页签，单击“集群管理页面”右侧的“前往Manager”。 4. “访问方式”选择“专线访问”，并勾选“我确认已打通本地与浮动IP的网络，可使用专线直接访问MRS Manager。”。 浮动IP为MRS为您访问MRS Manager页面自动分配的IP地址，使用专线访问MRS Manager之前您确保云专线服务已打通本地数据中心到线上VPC的连接通道。 5. 单击“确定”，进入MRS Manager登录页面，用户名使用“admin”，密码为创建集群时设置的admin密码。 切换MRS Manager访问方式 为了便于用户操作，浏览器缓存会记录用户所选择的访问Manager的方式，如需切换访问Manager方式，参考如下步骤操作。 1. 登录MRS管理控制台。 2. 单击集群名称进入集群详情页。 3. 在集群详情页面的“概览”页签，单击“集群管理页面”右侧的按钮。 4. 在弹出页面重新选择“访问方式”即可。 若由“EIP访问”切换为“专线访问”，请在专线网路互通的前提下，在弹出页面的“访问方式”选择“专线访问”并勾选“我确认已打通本地与浮动IP的网络，可使用专线直接访问MRS Manager。”后单击“确定”。 若由“专线访问”切换为“EIP访问”，在弹出页面的“访问方式”选择“EIP访问”并参考访问MRS Manager（MRS 2.x及之前版本）中的通过弹性公网IP访问Manager配置EIP。若集群已配置过公网IP，直接单击“确定”以EIP方式访问Manager。