参数 说明 direct 快速模式，利用了数据库的导入工具，如MySQL的mysqlimport，可以比jdbc连接的方式更为高效的将数据导入到关系数据库中。 exportdir 存放数据的HDFS的源目录。 m或nummappers 启动n个map来并行导入数据，默认是4个，该值请勿高于集群的最大Map数。 table 要导入的目的关系数据库表。 updatekey 后面接条件列名，通过该参数可以将关系数据库中已经存在的数据进行更新操作，类似于关系数据库中的update操作。 updatemode 更新模式，有两个值updateonly和默认的allowinsert，该参数只能在关系数据表里不存在要导入的记录时才能使用，比如要导入的hdfs中有一条id1的记录，如果在表里已经有一条记录id2，那么更新会失败。 inputnullstring 可选参数，如果没有指定，则字符串null将被使用。 inputnullnonstring 可选参数，如果没有指定，则字符串null将被使用。 stagingtable 创建一个与导入目标表同样数据结构的表，将所有数据先存放在该表中，然后由该表通过一次事务将结果写入到目标表中。 该参数是用来保证在数据导入关系数据库表的过程中的事务安全性，因为在导入的过程中可能会有多个事务，那么一个事务失败会影响到其它事务，比如导入的数据会出现错误或出现重复的记录等等情况，那么通过该参数可以避免这种情况。 clearstagingtable 如果该stagingtable非空，则通过该参数可以在运行导入前清除stagingtable里的数据。

本章节主要介绍使用Yarn客户端 。 操作场景 该任务指导用户在运维场景或业务场景中使用Yarn客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 各组件业务用户由系统管理员根据业务需要创建。安全模式下，“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。普通模式不需要下载keytab文件及修改密码操作。 使用Yarn客户端 1. 以客户端安装用户，登录安装客户端的节点。 2. 执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 3. 执行以下命令配置环境变量。 source bigdataenv 4. 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 5. 直接执行Yarn命令。例如： yarn application list 客户端常见使用问题 1. 当执行Yarn客户端命令时，客户端程序异常退出，报“java.lang.OutOfMemoryError”的错误。 这个问题是由于Yarn客户端运行时的所需的内存超过了Yarn客户端设置的内存上限（默认为128MB）。对于MRS 3.x后续版本集群，可以通过修改“ /HDFS/componentenv”中的“CLIENTGCOPTS”来修改Yarn客户端的内存上限。例如，需要设置该内存上限为1GB，则设置： export CLIENTGCOPTS"Xmx1G" 对于MRS 3.x之前版本集群，可以通过修改“ /HDFS/componentenv”中的“GCOPTSYARN”来修改Yarn客户端的内存上限。例如，需要设置该内存上限为1GB，则设置： export GCOPTSYARN"Xmx1G" 在修改完后，使用如下命令刷新客户端配置，使之生效： source /bigdataenv 2. 如何设置Yarn客户端运行时的日志级别？ Yarn客户端运行时的日志是默认输出到Console控制台的，其级别默认是INFO级别。有的时候为了定位问题，需要开启DEBUG级别日志，可以通过导出一个环境变量来设置，命令如下： export YARNROOTLOGGERDEBUG,console 在执行完上面命令后，再执行Yarn Shell命令时，即可打印出DEBUG级别日志。 如果想恢复INFO级别日志，可执行如下命令： export YARNROOTLOGGERINFO,co

本章节主要介绍权限机制。 FusionInsight采用LDAP存储用户和用户组的数据；角色的定义信息保存在关系数据库中，角色和权限的对应关系则保存在组件侧。 FusionInsight使用Kerberos进行统一认证。 用户权限校验流程大致如下： 1. 客户端（用户终端或FusionInsight组件服务）调用FusionInsight认证接口。 2. FusionInsight使用登录用户名和密码，到Kerberos进行认证。 3. 如果认证成功，客户端会发起访问服务端（FusionInsight组件服务）的请求。 4. 服务端会根据登录的用户，找到其属于的用户组和角色。 5. 服务端获得用户组拥有的所有权限和角色拥有的所有权限的并集。 6. 服务端判断客户端是否有权限访问其请求的资源。 示例场景（RBAC ）： HDFS中有三个文件fileA、fileB、fileC。 定义角色roleA对fileA有读和写权限，角色roleB对fileB有读权限。 定义groupA属于roleA；groupB属于roleB。 定义userA属于groupA和roleB，userB属于GroupB。 当userA登录成功并访问HDFS时： 1. HDFS获得useA属于的所有角色（roleB）。 2. HDFS同时还会获得userA属于的所有用户组所属于的角色（roleA）。 3. 此时，userA拥有roleA和roleB对应权限的并集。 4. 因此对于fileA，则userA有读写权限；对fileB，有读权限；对于fileC，无任何权限。 同理userB登录后： 1. userB只拥有roleB对应的权限。 2. 对于fileA，则userB无权限；对fileB，有读权限；对于fileC，无任何权限。

本章节主要介绍如何修复隔离主机补丁。 若集群中存在主机被隔离的情况，集群补丁安装完成后，请参见本节操作对隔离主机进行补丁修复。修复完成后，被隔离的主机节点版本将与其他未被隔离的主机节点一致。 说明 MRS3.x版本暂不支持在管理控制台执行本章节操作。 1.访问MRS Manager，详细操作请参见访问MRS Manager（MRS2.x及之前版本）。 2.选择“系统设置 > 补丁管理”，进入补丁管理页面。 3.在“操作”列表中，单击“详情”。 4.在补丁详情界面，选中“Status”是“Isolated”的主机节点。 5.单击“Select and Restore”，修复被隔离的主机节点。

本章节主要介绍存算分离简介 。 存算分离简介 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅做数据计算处理的存算分离模式。 说明 大数据存算分离场景，请务必使用OBS并行文件系统，使用普通对象桶会对集群性能产生较大影响。 存算分离功能使用流程： 1. 配置存算分离集群。请选择如下其中一种配置即可（推荐使用委托方式） 通过为MRS集群绑定ECS委托方式访问OBS，避免了AK/SK直接暴露在配置文件中的风险，具体请参考配置存算分离集群（委托方式）。 在MRS集群中配置AK/SK，AK/SK会明文暴露在配置文件中，请谨慎使用，具体请参考配置存算分离集群（AKSK方式）。 2. 使用存算分离集群。 各个组件使用存算分离的具体操作请参考如下内容。 Flink对接OBS文件系统 Flume对接OBS文件系统 HDFS客户端对接OBS文件系统 Hive对接OBS文件系统 MapReduce对接OBS文件系统 Spark2x对接OBS文件系统 Sqoop对接外部存储系统

本章节主要介绍集群互信概述。 功能介绍 默认情况下，安全模式下的大数据集群用户只能访问本集群中的资源，无法在其他安全模式集群中进行身份认证并访问资源。 特性描述 域 每个系统用户安全使用的范围定义为“域”，不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用户跨域使用。 用户加密 配置跨Manager互信，当前Kerberos服务端仅支持并使用“aes256ctshmacsha196:normal”和“aes128ctshmacsha196:normal”加密类型加密跨域使用的用户，不支持修改。 用户认证 配置跨Manager集群互信后，两个系统中只要存在同名用户，且对端系统的同名用户拥有访问自身系统中某个资源的对应权限，则可以使用当前系统用户访问远程资源。 直接互信 系统在配置互信的两个集群分别保存对端系统的互信票据，通过互信票据访问对端系统。

本章节主要介绍通过专线访问。 MRS为您提供云专线（Direct Connect）方式访问MRS集群。云专线用于搭建用户本地数据中心与线上云VPC之间高速、低时延、稳定安全的专属连接通道，充分利用线上云服务优势的同时，继续使用现有的IT设施，实现灵活一体，可伸缩的混合云计算环境。 前提条件 云专线服务可用，并已打通本地数据中心到线上VPC的连接通道。 通过专线访问MRS集群 1. 登录MRS管理控制台。 2. 单击集群名称进入集群详情页。 3. 在集群详情页面的“概览”页签，单击“集群管理页面”右侧的“前往Manager”。 4. “访问方式”选择“专线访问”，并勾选“我确认已打通本地与浮动IP的网络，可使用专线直接访问MRS Manager。”。 浮动IP为MRS为您访问MRS Manager页面自动分配的IP地址，使用专线访问MRS Manager之前您确保云专线服务已打通本地数据中心到线上VPC的连接通道。 5. 单击“确定”，进入MRS Manager登录页面，用户名使用“admin”，密码为创建集群时设置的admin密码。 切换MRS Manager访问方式 为了便于用户操作，浏览器缓存会记录用户所选择的访问Manager的方式，如需切换访问Manager方式，参考如下步骤操作。 1. 登录MRS管理控制台。 2. 单击集群名称进入集群详情页。 3. 在集群详情页面的“概览”页签，单击“集群管理页面”右侧的按钮。 4. 在弹出页面重新选择“访问方式”即可。 若由“EIP访问”切换为“专线访问”，请在专线网路互通的前提下，在弹出页面的“访问方式”选择“专线访问”并勾选“我确认已打通本地与浮动IP的网络，可使用专线直接访问MRS Manager。”后单击“确定”。 若由“专线访问”切换为“EIP访问”，在弹出页面的“访问方式”选择“EIP访问”并参考访问MRS Manager（MRS 2.x及之前版本）中的通过弹性公网IP访问Manager配置EIP。若集群已配置过公网IP，直接单击“确定”以EIP方式访问Manager。

本章节主要介绍更新已安装客户端的配置。 操作场景 集群提供了客户端，可以在连接服务端、查看任务结果或管理数据的场景中使用。用户如果在Manager修改了服务配置参数并重启了服务，已安装的客户端需要重新下载并安装，或者使用配置文件更新客户端。 前提条件 已安装客户端。 操作步骤 方法一： 1.登录FusionInsight Manager，在“集群”下拉列表中单击需要操作的集群名称。 2.选择“更多 > 下载客户端 > 仅配置文件”。 此时生成的压缩文件包含所有服务的配置文件。 3.是否在集群的节点中生成配置文件？ 是，勾选“仅保存到如下路径”，单击“确定”开始生成客户端文件，文件生成后默认保存在主管理节点“/tmp/FusionInsightClient”。支持自定义其他目录且omm用户拥有目录的读、写与执行权限。然后执行4。 否，单击“确定”指定本地的保存位置，开始下载完整客户端，等待下载完成，然后执行4。 4.使用WinSCP工具，以客户端安装用户将压缩文件保存到客户端安装的目录，例如“/opt/hadoopclient”。 5.解压软件包。 例如下载的客户端文件为“FusionInsightCluster1ServicesClient.tar”执行如下命令进入客户端所在目录，解压文件到本地目录。 cd /opt/hadoopclient tar xvf FusionInsightCluster1ServicesClient.tar 6.校验软件包。 执行sha256sum命令校验解压得到的文件，检查回显信息与sha256文件里面的内容是否一致，例如： sha256sum c FusionInsightCluster1ServicesClientConfigConfigFiles.tar.sha256 FusionInsightCluster1ServicesClientConfigConfigFiles.tar: OK 7.解压获取配置文件。 tar xvf FusionInsightCluster1ServicesClientConfigConfigFiles.tar 8.在客户端安装目录下执行如下命令，使用配置文件更新客户端。 sh refreshConfig.sh 客户端安装目录 配置文件所在目录 例如，执行以下命令： sh refreshConfig.sh /opt/hadoopclient /opt/hadoopclient/FusionInsightCluster1ServicesClientConfigConfigFiles 界面显示以下信息表示配置更新成功： Succeed to refresh components client config. 方法二： 1.以root用户登录客户端安装节点。 2.进入客户端安装的目录，例如“/opt/Bigdata/client”，执行以下命令更新配置文件： cd /opt/Bigdata/client sh autoRefreshConfig.sh 3.按照提示输入FusionInsight Manager管理员用户名，密码以及FusionInsight Manager界面浮动IP。 4.输入需要更新配置的组件名，组件名之间使用“,”分隔。如需更新所有组件配置，可直接单击回车键。 界面显示以下信息表示配置更新成功： Succeed to refresh components client config.

本章节主要介绍如何清除队列配置。 操作场景 当队列不再需要某个资源池的资源，或资源池需要与队列取消关联关系时，用户可以在MRS清除队列配置。清除队列配置即取消队列在此资源池中的资源容量策略。 前提条件 如果队列需要清除与某个资源池的绑定关系，该资源池不能作为队列的默认资源池，需要先将队列的默认资源池更改为其他资源池，请参见配置队列。 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考使用说明。 2.单击“资源分布策略”页签。 3.在“资源池”选择指定的资源池。 4.在“资源分配”列表指定队列的“操作”列，单击“清除”。 在“清除队列设置”中单击“是”，清除队列在当前资源池的配置。 说明 如果用户未配置队列的资源容量策略，则清除功能默认不可用。

本章节主要介绍使用Flink运行wordcount作业的操作指导。 前提条件 MRS集群中已安装Flink组件。 集群正常运行，已安装集群客户端，例如安装目录为“/opt/hadoopclient”。以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Flink客户端（MRS 3.x之前版本） 1. 以客户端安装用户，登录安装客户端的节点。 2. 执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 3. 执行如下命令初始化环境变量。 source /opt/hadoopclient/bigdataenv 4.若集群开启Kerberos认证，需要执行以下步骤，若集群未开启Kerberos认证请跳过该步骤。 a.准备一个提交Flink作业的用户。 b.登录Manager，下载认证凭据。 登录集群的Manager界面，具体请参见访问MRSManager（MRS2.x及之前版本），选择“系统设置 > 用户管理”，在已增加用户所在行的“操作”列，选择“更多 > 下载认证凭据”。 c.将下载的认证凭据压缩包解压缩，并将得到的user.keytab文件拷贝到客户端节点中，例如客户端节点的“/opt/hadoopclient/Flink/flink/conf”目录下。如果是在集群外节点安装的客户端，需要将得到的krb5.conf文件拷贝到该节点的“/etc/”目录下。 d.配置安全认证，在“/opt/hadoopclient/Flink/flink/conf/flinkconf.yaml”配置文件中的对应配置添加keytab路径以及用户名。 security.kerberos.login.keytab: security.kerberos.login.principal: 例如： security.kerberos.login.keytab:/opt/hadoopclient/Flink/flink/conf/user.keytab security.kerberos.login.principal: test e.参考“组件操作指南 > 使用Flink > 参考 > 签发证书样例”章节生成“generatekeystore.sh”脚本并放置在Flink的客户端bin目录下，执行如下命令进行安全加固，请参考“组件操作指南 > 使用Flink > 安全加固 > 认证和加密”，password请重新设置为一个用于提交作业的密码。 sh generatekeystore.sh 该脚本会自动替换“/opt/hadoopclient/Flink/flink/conf/flinkconf.yaml”中关于SSL的值，针对MRS2.x及之前版本，安全集群默认没有开启外部SSL，用户如果需要启用外部SSL，请参考“组件操作指南 >使用Flink > 安全加固”进行配置后再次运行该脚本即可。 说明 generatekeystore.sh脚本无需手动生成。 执行认证和加密后会将生成的flink.keystore、flink.truststore、security.cookie自动填充到“flinkconf.yaml”对应配置项中。 f.客户端访问flink.keystore和flink.truststore文件的路径配置。 −绝对路径：执行该脚本后，在flinkconf.yaml文件中将flink.keystore和flink.truststore文件路径自动配置为绝对路径“/opt/hadoopclient/Flink/flink/conf/”，此时需要将conf目录中的flink.keystore和flink.truststore文件分别放置在Flink Client以及Yarn各个节点的该绝对路径上。 −相对路径：请执行如下步骤配置flink.keystore和flink.truststore文件路径为相对路径，并确保Flink Client执行命令的目录可以直接访问该相对路径。 i.在“/opt/hadoopclient/Flink/flink/conf/”目录下新建目录，例如ssl。 cd /opt/hadoopclient/Flink/flink/conf/ mkdir ssl ii. 移动flink.keystore和flink.truststore文件到“/opt/hadoopclient/Flink/flink/conf/ssl/”中。 mv flink.keystore ssl/ mv flink.truststore ssl/ iii. 修改flinkconf.yaml文件中如下两个参数为相对路径。 security.ssl.internal.keystore: ssl/flink.keystore security.ssl.internal.truststore: ssl/flink.truststore 5.运行wordcount作业。 须知 用户在Flink提交作业或者运行作业时，应具有如下权限： 如果启用Ranger鉴权，当前用户必须属于hadoop组或者已在Ranger中为该用户添加“/flink”的读写权限。 如果停用Ranger鉴权，当前用户必须属于hadoop组。 普通集群（未开启Kerberos认证） −执行如下命令启动session，并在session中提交作业。 yarnsession.sh nm " sessionname " flink run/opt/hadoopclient/Flink/flink/examples/streaming/WordCount.jar −执行如下命令在Yarn上提交单个作业。 flink run m yarncluster /opt/hadoopclient/Flink/flink/examples/streaming/WordCount.jar 安全集群（开启Kerberos认证） −flink.keystore和flink.truststore文件路径为绝对路径时： 执行如下命令启动session，并在session中提交作业。 yarnsession.sh nm " sessionname " flink run /opt/hadoopclient/Flink/flink/examples/streaming/WordCount.jar 执行如下命令在Yarn上提交单个作业。 flink run m yarncluster /opt/hadoopclient/Flink/flink/examples/streaming/WordCount.jar −flink.keystore和flink.truststore文件路径为相对路径时： 在“ssl”的同级目录下执行如下命令启动session，并在session中提交作业，其中“ssl”是相对路径，如“ssl”所在目录是“opt/hadoopclient/Flink/flink/conf/”，则在“opt/hadoopclient/Flink/flink/conf/”目录下执行命令。 yarnsession.sh t ssl/ nm " sessionname " flink run/opt/hadoopclient/Flink/flink/examples/streaming/WordCount.jar 执行如下命令在Yarn上提交单个作业。 flink run m yarncluster yt ssl/ /opt/hadoopclient/Flink/flink/examples/streaming/WordCount.jar 6.作业提交成功后，客户端界面显示如下。 详见下图： 在Yarn上提交作业成功 详见下图：启动session成功 详见下图： 在session中提交作业成功 7. 使用运行用户进入Yarn服务的原生页面，具体操作参考“组件操作指南 > 使用Flink > 查看Flink作业”，找到对应作业的application，单击application名称，进入到作业详情页面。 若作业尚未结束，可单击“Tracking URL”链接进入到Flink的原生页面，查看作业的运行信息。 若作业已运行结束，对于在session中提交的作业，可以单击“Tracking URL”链接登录Flink原生页面查看作业信息。 详见下图：application

本章节主要介绍使用Oozie客户端 。 操作场景 该任务指导用户在运维场景或业务场景中使用Oozie客户端。 前提条件 已安装客户端。例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 各组件业务用户由系统管理员根据业务需要创建。安全模式下，“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。 使用Oozie客户端 1.以客户端安装用户，登录安装客户端的节点。 2.执行以下命令，切换到客户端安装目录，该操作的客户端目录只是举例，请根据实际安装目录修改。 cd /opt/client 3.执行以下命令配置环境变量。 source bigdataenv 4.判断集群认证模式。 安全模式，执行以下命令进行用户认证。exampleUser为提交任务的用户名。 kinit exampleUser 普通模式，执行步骤5。 5.配置Hue。 a.spark2x环境配置（如果不涉及spark2x任务，可以跳过此步骤）： hdfs dfs put /opt/client/Spark2x/spark/jars/.jar /user/oozie/share/lib/spark2x/ 当HDFS目录“/user/oozie/share”中的Jar包发生变化时，需要重启Oozie服务。 b.上传Oozie配置文件以及Jar包至HDFS： hdfs dfs mkdir /user/ exampleUser hdfs dfs put f /opt/client/Oozie/oozieclient/examples /user/ exampleUser / 说明 exampleUser为提交任务的用户名。 在提交任务的用户和非job.properties文件均无变更的前提下，客户端安装目录/Oozie/oozieclient/examples目录一经上传HDFS，后续可重复使用，无需多次提交。 解决Spark和Yarn关于jetty的jar冲突。 hdfs dfs rm f /user/oozie/share/lib/spark/jettyall9.2.22.v20170606.jar 普通模式下，上传过程如果遇到“Permission denied”的问题，可执行以下命令进行处理。 su omm source /opt/client/bigdataenv hdfs dfs chmod R 777 /user/oozie exit

全量更新备Master节点的原始客户端 1.参见步骤1~步骤3登录备Master节点，执行如下命令切换到omm用户。 sudo su omm 2.在备master节点上执行如下命令，从主master节点拷贝下载的客户端包。 scp omm@ master1 节点IP 地址 :/tmp/MRSclient/MRSServicesClient.tar /tmp/MRSclient/ 说明 该命令以master1节点为主master节点为例。 目的路径以备master节点的/tmp/MRSclient/目录为例，请根据实际路径修改。 3.参见4~13，更新备Master节点的客户端。

本章节主要介绍如何配置服务参数。 用户可以根据实际业务场景，在MRS中快速查看和修改服务默认的配置，及导出或导入配置。 对系统的影响 配置HBase、HDFS、Hive、Spark、Yarn、Mapreduce服务属性后，需要重新下载并更新客户端配置文件。 集群中只剩下一个DBService角色实例时，不支持修改DBService服务的参数。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 修改服务参数 1.在集群详情页，单击“组件管理”。 2.单击服务列表中指定的服务名称。 3.单击“服务配置”。 4.将页面右侧“基础配置”切换为“全部配置”，界面上将显示该服务的全部配置参数导航树，导航树从上到下的根节点分别为服务名称和角色名称。 5.在导航树选择指定的参数，修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 修改某个参数的值后需要取消修改，可以单击恢复。 6.单击“保存配置”，根据界面提示保存参数并重启服务。 注意 MRS 3.x之前版本更新YARN服务队列的配置且不重启服务时，在服务状态页签选择“更多 > 刷新队列”更新队列使配置生效。

本章节主要介绍对象管理功能。 MRS集群包含了各类不同的基本对象，不同对象的描述介绍如下表所示： MRS基本对象概览 对象 描述 举例 服务 可以完成具体业务的一类功能集合。 例如KrbServer服务和LdapServer服务。 服务实例 服务的具体实例，一般情况下可使用服务表示。 例如KrbServer服务。 服务角色 组成一个完整服务的一类功能实体，一般情况下可使用角色表示。 例如KrbServer由KerberosAdmin角色和KerberosServer角色组成。 角色实例 服务角色在主机节点上运行的具体实例。 例如运行在Host2上的KerberosAdmin，运行在Host3上的KerberosServer。 主机 一个弹性云主机，可以运行Linux系统。 例如Host1～Host5。 机架 一组包含使用相同交换机的多个主机集合的物理实体。 例如Rack1，包含Host1～Host5。 集群 由多台主机组成的可以提供多种服务的逻辑实体。 例如名为Cluster1的集群由（Host1～Host5）5个主机组成，提供了KrbServer和LdapServer等服务。

本章节主要介绍如何隔离主机。 用户发现某个主机出现异常或故障，无法提供服务或影响集群整体性能时，可以临时将主机从集群可用节点排除，使客户端访问其他可用的正常节点。在为集群安装补丁的场景中，也支持排除指定节点不安装补丁。 该任务指导用户在MRS上根据实际业务或运维规划手工将主机隔离。隔离主机仅支持隔离非管理节点。 对系统的影响 主机隔离后该主机上的所有角色实例将被停止，且不能对主机及主机上的所有实例进行启动、停止和配置等操作。 主机隔离后无法统计并显示该主机硬件和主机上实例的监控状态及指标数据。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“节点管理”。 2.展开节点组信息，勾选待隔离主机前的复选框。 3.选择“节点操作 > 隔离主机”。 4.确认待隔离主机信息并单击“确定”。 界面提示“操作成功。”，单击“完成”，主机成功隔离，“操作状态”显示为“已隔离”。 说明 已隔离的主机，可以取消隔离重新加入集群，请参见

本章节主要介绍创建连接MRS集群的SSH隧道并配置浏览器 。 操作场景 用户和MRS集群处于不同的网络中，需要创建一个SSH隧道连接，使用户访问站点的数据请求，可以发送到MRS集群并动态转发到对应的站点。 MAC系统暂不支持该功能访问MRS，请参考通过弹性公网IP访问内容访问MRS。 前提条件 准备一个SSH客户端用于创建SSH隧道，例如使用开源SSH客户端Git。请下载并安装。 已创建好集群，并准备pem格式的密钥文件或创建集群时的密码。 用户本地环境可以访问互联网。 操作步骤 1.登录MRS管理控制台，选择“集群列表 > 现有集群”。 2.单击指定名称的MRS集群。 记录集群的“安全组” 。 3.为集群Master节点的安全组添加一条需要访问MRS集群的IP地址的入规则，允许指定来源的数据访问端口“22”。 具体请参见“《虚拟私有云》帮助文档> 安全性 > 安全组 > 添加安全组规则”。 4.查询集群的主管理节点，具体请参考如何确认Manager的主备管理节点。 5.为集群的主管理节点绑定一个弹性IP地址。 具体请参见“《虚拟私有云》帮助文档”，为弹性云主机申请和绑定弹性公网IP。 6.在本地启动Git Bash，执行以下命令登录集群的主管理节点： ssh root@弹性 IP 地址或者 ssh i 密钥文件路径 root@弹性 IP 地址 7.执行以下命令查看数据转发配置： cat /etc/sysctl.conf grep net.ipv4.ipforward 系统查询到“net.ipv4.ipforward1”表示已配置转发，则请执行步骤9。 系统查询到“net.ipv4.ipforward0”表示未配置转发，则请执行步骤8。 系统查询不到“net.ipv4.ipforward”参数表示该参数未配置，则请执行以下命令后再执行步骤9。 echo "net.ipv4.ipforward 1"/etc/sysctl.conf 8.修改节点转发配置： a.执行以下命令切换root用户： sudo su root b.执行以下命令，修改转发配置： echo 1 > /proc/sys/net/ipv4/ipforward sed i "s/net.ipv4.ipforward0/net.ipv4.ipforward 1/g"/etc/sysctl.conf sysctlw net.ipv4.ipforward1 c.执行以下命令，修改sshd配置文件： vi /etc/ssh/sshdconfig 按I进入编辑模式，查找“AllowTcpForwarding”和“GatewayPorts”，并删除注释符号，修改内容如下，然后保存并退出： AllowTcpForwarding yesGatewayPorts yes d.执行以下命令，重启sshd服务： service sshd restart 9.执行以下命令查看浮动IP地址： ifconfig 系统显示的“eth0:FIHUE”表示为Hue的浮动IP地址，“eth0:wsom”表示Manager浮动IP地址，请记录“inet”的实际参数值。 然后退出登录：exit 10.在本地机器执行以下命令创建支持动态端口转发的SSH隧道： 使用命令 ssh i 密钥文件路径 v ND 本地端口地址 root@弹性IP 地址或者 ssh v ND 本地端口地址 root@弹性 IP 地址 ，然后输入创建集群时的密码。 其中，“本地端口地址”需要指定一个用户本地环境未被使用的端口，建议选择8157。 创建后的SSH隧道，通过“D”启用动态端口转发功能。默认情况下，动态端口转发功能将启动一个SOCKS代理进程并侦听用户本地端口，端口的数据将由SSH隧道转发到集群的主管理节点。 11.执行如下命令配置浏览器代理。 a.进入本地Google Chrome浏览器客户端安装目录。 b.按住“shift+鼠标右键”，选择“在此处打开命令窗口”，打开CMD窗口后输入如下命令： chrome proxyserver"socks5://localhost:8157" hostresolverrules"MAP 0.0.0.0 , EXCLUDE localhost" userdatadirc:/tmppath proxybypasslist"googlecom, gstatic.com, gvt .com, :80" 说明 8157为步骤10中配置的本地代理端口。 若本地操作系统为Windows 10，请打开Windows操作系统“开始”菜单，输入cmd命令，打开一个命令行窗口执行12中的命令。若该方式不能成功，请打开Windows操作系统“开始”菜单后，在搜索框中输入并执行11中的命令。 12.在新弹出的浏览器地址栏，输入Manager的访问地址。 Manager访问地址形式为 浮动IP 地址:28443/web 。 访问启用Kerberos认证的集群时，需要输入MRS集群的用户名和密码，例如“admin”用户。未启用Kerberos认证的集群则不需要。 第一次访问时，请根据浏览器提示，添加站点信任以继续打开页面。 13.准备站点的访问地址。 a.参考开源组件Web站点中的Web站点一览，获取Web站点的地址格式及对应的角色实例。 b.单击“服务管理”。 c.单击指定的服务名称，例如HDFS。 d.单击“实例”，查看NameNode的主角色实例“NameNode(主)”的“业务IP” 14.在浏览器输入访问Web站点真实地址并访问。 15.退出访问Web站点时，请终止并关闭SSH隧道。

本章节主要介绍Flink对接OBS文件系统 。 使用本章节前已参考配置存算分离集群（委托方式）或配置存算分离集群（AKSK方式）完成存算分离集群配置。 1. 使用安装客户端的用户登录Flink客户端安装节点。 2. 执行如下命令初始化环境变量。 source ${clienthome}/bigdataenv 3. 需要配置好Flink客户端。具体配置参考安装客户端（3.x及之后版本）。 4. 如果是安全集群，使用以下命令进行用户认证，如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit 用户名 5. 在Flink命令行显式添加要访问的OBS文件系统。 ./bin/flink run class com.xxx.bigdata.flink.examples.FlinkProcessingTimeAPIMain ./config/FlinkCheckpointJavaExample.jar chkPath obs:// OBS并行文件系统名称 说明 由于Flink作业是On Yarn运行，在配置Flink对接OBS文件系统之前需要确保Yarn对接OBS文件系统功能是正常的。

本章节主要介绍Hudi对接OBS文件系统。 Hudi对接OBS文件系统 1. 使用安装客户端用户登录客户端安装节点。 2. 配置环境变量。 source ${clienthome}/bigdataenv source ${clienthome}/Hudi/componentenv 3. 修改配置文件： vim ${clienthome}/Hudi/hudi/conf/hdfssite.xml dfs.namenode.acls.enabled false 4. 如果是安全集群，使用以下命令用户进行用户认证，如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit 用户名 5. 启动sparkshell，执行下面的命令创建COW表存储到OBS中： importorg.apache.hudi.QuickstartUtils. importscala.collection.JavaConversions. importorg.apache.spark.sql.SaveMode. importorg.apache.hudi.DataSourceReadOptions. importorg.apache.hudi.DataSourceWriteOptions. importorg.apache.hudi.config.HoodieWriteConfig. valtableName "hudicowtable" valbasePath "obs://testhudi/cowtable/" valdataGen new DataGenerator valinserts convertToStringList(dataGen.generateInserts(10)) valdf spark.read.json(spark.sparkContext.parallelize(inserts, 2)) df.write.format("org.apache.hudi"). options(getQuickstartWriteConfigs). option(PRECOMBINEFIELDOPTKEY,"ts"). option(RECORDKEYFIELDOPTKEY,"uuid"). option(PARTITIONPATHFIELDOPTKEY,"partitionpath"). option(TABLENAME,tableName). mode(Overwrite). save(basePath); 6. 使用datasource查看表建立成功，数据正常。 valroViewDF spark. read. format("org.apache.hudi"). load(basePath·"/ / / / ") roViewDF.createOrReplaceTempView("hudirotable") spark.sql("select·from hudirotable").show() 7. 执行:q退出sparkshell命令行。

本章主要介绍通过弹性公网IP访问 。 为了方便用户访问开源组件的Web站点，MRS集群支持通过为集群绑定弹性公网IP的方式，访问MRS集群上托管的开源组件。该方式更加简便易操作，推荐使用该方式访问开源组件的Web站点。 为集群绑定弹性公网IP并添加安全组规则 1.在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步，待IAM用户同步成功后，在集群详情页会出现“组件管理”页签。 2.单击“集群管理页面”右侧的“前往 Manager”。 3.弹出访问MRS Manager页面，绑定弹性公网IP并添加安全组规则。仅首次访问该集群的组件开源站点时，需要如下配置。 a. 绑定弹性公网IP，在弹性公网IP下拉框中选择可用的弹性公网IP。若没有可用的弹性公网IP，请单击“管理弹性公网IP”创建弹性公网IP后在该页面引用。若创建集群时已绑定弹性公网IP，请跳过该步骤。 b. 选择待添加的安全组规则所在安全组，该安全组在创建群时配置。 c. 添加安全组规则，默认填充的是用户访问公网IP地址9022端口的规则。如需对安全组规则进行查看，修改和删除操作，请单击“管理安全组规则”。 说明 自动获取的访问公网IP与用户本机IP不一致，属于正常现象，无需处理。 9022端口为knox的端口，需要开启访问knox的9022端口权限，才能访问MRS组件。 d. 勾选“我确认xx.xx.xx.xx为可信任的公网访问IP，并允许从该IP访问MRS Manager页面。” e. 单击“确定”，进入登录页面，用户名使用“admin”，密码为创建集群时设置的admin密码。 4.登录Manager页面，选择“集群 > 服务 > HDFS > NameNode WebUI> NameNode( 主机名称 ，主)”，访问开源组件Web站点。此处仅以HDFS NameNode为例介绍，其他组件访问地址请参考开源组件Web站点页面提供的站点地址。

本章节主要介绍使用Storm客户端 。 操作场景 该任务指导用户在运维场景或业务场景中使用Storm客户端。 前提条件 已安装客户端。例如安装目录为“/opt/hadoopclient”。 各组件业务用户由系统管理员根据业务需要创建。安全模式下，“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。（普通模式不涉及） 操作步骤 1. 根据业务情况，准备好客户端，登录安装客户端的节点。 请根据客户端所在位置，参考“用户指南 > 使用MRS客户端 > 安装客户端”章节，登录安装客户端的节点。 2. 执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 3. 执行以下命令配置环境变量。 source bigdataenv 4. 若安装了Storm多实例，在使用Storm命令提交拓扑时，请执行以下命令加载具体实例的环境变量，否则请跳过此步骤。例如，Storm2实例： source Storm2/componentenv 5. 执行以下命令，进行用户认证。（普通模式跳过此步骤） kinit 组件业务用户 6. 执行命令进行客户端操作。 例如执行以下命令： cql storm 说明 同一个storm客户端不能同时连接安全和非安全的ZooKeeper。

集群创建成功后关闭安全通信 1.登录MRS管理控制台。 2.在现有集群列表中，单击待关闭安全通信的集群名称。 系统跳转至该集群详情页面。 3.单击“通信安全授权”右侧的开关关闭授权，在弹出窗口单击“确定”。 关闭授权后将导致集群状态变更为“网络通道未授权”，集群部分功能不可用，请谨慎操作。 为关闭安全通信的集群开启安全通信 1.登录MRS管理控制台。 2.在现有集群列表中，单击待开启安全通信的集群名称。 系统跳转至该集群详情页面。 3.单击“通信安全授权”右侧的开关开启授权。 开启授权后集群状态变更为“运行中”。 一键修复 当集群中授权的安全组规则不足以支撑MRS集群管理控制台为用户发放、管理和使用大数据组件的操作时，“通信安全授权”右侧出现的提示，请单击“一键修复”按钮进行修复。 1.登录MRS管理控制台。 2.在现有集群列表中，单击待修复安全通信的集群名称。 系统跳转至该集群详情页面。 3.单击“通信安全授权”右侧的“一键修复”。 详见下图：一键修复 4.单击“确定”，完成修复。 详见下图： 修复访问控制策略

本章节主要介绍更新客户端（3.x及之后版本）。 集群提供了客户端，可以在连接服务端、查看任务结果或管理数据的场景中使用。用户如果在Manager修改了服务配置参数并重启了服务，已安装的客户端需要重新下载并安装，或者使用配置文件更新客户端。 更新客户端配置 方法一： 1.访问FusionInsight Manager（MRS 3.x及之后版本），在“集群”下拉列表中单击需要操作的集群名称。 2.选择“更多 > 下载客户端 > 仅配置文件”。 此时生成的压缩文件包含所有服务的配置文件。 3.是否在集群的节点中生成配置文件？ 是，勾选“仅保存到如下路径”，单击“确定”开始生成客户端文件，文件生成后默认保存在主管理节点“/tmp/FusionInsightClient”。支持自定义其他目录且omm用户拥有目录的读、写与执行权限。然后执行步骤4。 否，单击“确定”指定本地的保存位置，开始下载完整客户端，等待下载完成，然后执行步骤4。 4.使用WinSCP工具，以客户端安装用户将压缩文件保存到客户端安装的目录，例如“/opt/hadoopclient”。 5.解压软件包。 例如下载的客户端文件为“FusionInsightCluster1ServicesClient.tar”执行如下命令进入客户端所在目录，解压文件到本地目录。 cd /opt/hadoopclient tar xvf FusionInsightCluster1ServicesClient.tar 6.校验软件包。 执行sha256sum命令校验解压得到的文件，检查回显信息与sha256文件里面的内容是否一致，例如： sha256sum c FusionInsightCluster1ServicesClientConfigConfigFiles.tar.sha256 FusionInsightCluster1ServicesClientConfigConfigFiles.tar:OK 7.解压获取配置文件。 tar xvf FusionInsightCluster1ServicesClientConfigConfigFiles.tar 8.在客户端安装目录下执行如下命令，使用配置文件更新客户端。 sh refreshConfig.sh 客户端安装目录 配置文件所在目录 例如，执行以下命令： sh refreshConfig.sh /opt/hadoopclient /opt/hadoopclient/FusionInsightCluster1ServicesClientConfigConfigFiles 界面显示以下信息表示配置刷新更新成功： Succeed to refresh components client config.

本章节主要介绍如何修改引导操作。 操作场景 该任务指导用户通过MRS修改已有引导操作。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一集群并单击集群名，进入集群基本信息页面。 3.在集群基本信息页，单击“引导操作”。 4.在列表中勾选需要修改的列表项，单击“编辑”。 5.根据界面信息修改对应参数。 6.单击“确定”保存修改的参数。 7.单击“是”，即可修改成功。

本章节主要介绍如何快速创建一个HBase查询集群。 本章节为您介绍如何快速创建一个HBase查询集群，HBase集群使用Hadoop和HBase组件提供一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值。 快速创建HBase查询集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息，参数详细信息请参考创建自定义集群。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20180321”。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：选择“HBase查询集群”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 集群高可用：默认即可。MRS 3.x版本暂时不支持该参数。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权，通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态 部分 集群列表参数中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

本章节主要介绍如何配置队列。 操作场景 用户根据业务需求，可以在MRS修改指定租户的队列配置。 前提条件 已添加关联Yarn并分配了动态资源的租户。 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.单击“队列配置”页签。 3.在租户队列表格，指定租户队列的“操作”列，单击“修改”。 说明 说明 在“租户管理”页签左侧租户列表，单击目标的租户，切换到“资源”页签，单击也能打开修改队列配置页面。 一个队列只能绑定一个非default资源池。 MRS 3.x之前版本： 队列配置参数 参数名 描述 最大应用数量 表示最大应用程序数量。取值范围从“1”到“2147483647”。 AM最大资源百分比 表示集群中可用于运行application master的最大资源占比。取值范围从“0”到“1”。 用户资源最小上限百分比(%) 表示用户使用的最小资源上限百分比。取值范围从“0”到“100”。 用户资源上限因子 表示用户使用的最大资源限制因子，与当前租户在集群中实际资源百分比相乘，可计算出用户使用的最大资源百分比。最小值为“0”。 状态 表示资源计划当前的状态，“运行”为运行状态，“停止”为停止状态。 默认资源池 表示队列使用的资源池。默认为“default”，如果需要修改为其他资源，需要先配置队列容量，请参见配置资源池的队列容量策略。 MRS 3.x及之后版本： 队列配置参数 参数名 描述 AM最多占有资源（%） 表示当前队列内所有Application Master所占的最大资源百分比。 每个YARN容器最多分配核数 表示当前队列内单个YARN容器可分配的最多核数，默认为1，表示取值范围内不限制。 每个YARN容器最大分配内存（MB） 表示当前队列内单个YARN容器可分配的最大内存，默认为1，表示取值范围内不限制。 最多运行任务数 表示当前队列最多同时可执行任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。取值范围为1～2147483647。 每个用户最多运行任务数 表示每个用户在当前队列中最多同时可执行任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。取值范围为1～2147483647。 最多挂起任务数 表示当前队列最多同时可挂起任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可挂起任务。取值范围为1～2147483647。 资源分配规则 表示单个用户任务间的资源分配规则，包括FIFO和FAIR。 一个用户若在当前队列上提交了多个任务，FIFO规则代表一个任务完成后再执行其他任务，按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。 默认资源标签 表示在指定资源标签（Label）的节点上执行任务。 说明 如果需要使用新的资源池，需要修改默认标签为新的资源池标签。 Active状态 ACTIVE表示当前队列可接受并执行任务。 INACTIVE表示当前队列可接受但不执行任务，若提交任务，任务将处于挂起状态。 Open状态 OPEN表示当前队列处于打开状态。 CLOSED表示当前队列处于关闭状态，若提交任务，任务直接会被拒绝。

本章节主要介绍如何添加资源池。 操作场景 在MRS集群中，用户从逻辑上对YARN集群的节点进行分区，使多个NodeManager形成一个YARN资源池。每个NodeManager只能属于一个资源池。系统中默认包含了一个名为“default”的资源池，所有未加入用户自定义资源池的NodeManager属于此资源池。 该任务指导用户通过MRS添加一个自定义的资源池，并将未加入自定义资源池的主机加入此资源池。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.单击“资源池”页签。 3.单击“添加资源池”。 4.在“添加资源池”设置资源池的属性。 “名称”：填写资源池的名称。不支持创建名称为“default”的资源池。 资源池的名称，长度为1到20个字节，可包含数字、字母和下划线，且不能以下划线开头。 “可用主机”：在界面左边主机列表，勾选指定的主机名称加入资源池。只支持选择本集群中的主机。资源池中的主机列表可以为空。 5.单击“确定”保存。 6.完成资源池创建后，用户可以在资源池的列表中查看资源池的“名称”、“成员”、“类型”、“虚拟核数”与“内存”。已加入自定义资源池的主机，不再是“default”资源池的成员。

本章节主要介绍如何修改资源池。 操作场景 该任务指导用户通过MRS修改已有资源池中的成员。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1. 在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2. 单击“资源池”页签。 3. 在资源池列表指定资源池所在行的“操作”列，单击“修改”。 4. 在“修改资源池”修改“已添加主机”。 增加主机：在界面左边主机列表，勾选指定的主机名称加入资源池。 删除主机：在界面右边主机列表，单击指定主机后的将选中的主机移出资源池。资源池中的主机列表可以为空。 5. 单击“确定”保存。

本章节主要介绍如何同步集群配置。 操作场景 当MRS显示全部服务或部分服务的“配置状态”为“过期”或“失败”时，用户可以尝试使用同步配置功能，以恢复配置状态。 若集群中所有服务的配置状态为“失败”时，同步集群的配置数据与后台配置数据。 若集群中某些服务的配置状态为“失败”时，同步指定服务的配置数据与后台配置数据。 说明 MRS3.x版本暂不支持在管理控制台执行本章节操作。 对系统的影响 同步集群配置后，需要重启配置过期的服务。重启时对应的服务不可用。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击页面右上角“配置 > 同步配置”。 2.在弹出窗口勾选“重启配置过期的服务或实例。”，并单击“确定”，重启配置过期的服务。 界面提示“操作成功”，单击“完成”，集群成功启动。

本章节主要进行租户简介。 定义 MRS集群拥有的不同资源和服务支持多个组织、部门或应用共享使用。集群提供了一个逻辑实体来统一使用不同资源和服务，这个逻辑实体就是租户。多个不同的租户统称多租户。当前仅分析集群支持租户。 原理 MRS集群提供多租户的功能，支持层级式的租户模型，支持动态添加和删除租户，实现资源的隔离，可以对租户的计算资源和存储资源进行动态配置和管理。 计算资源指租户Yarn任务队列资源，可以修改任务队列的配额，并查看任务队列的使用状态和使用统计。 存储资源目前支持HDFS存储，可以添加删除租户HDFS存储目录，设置目录的文件数量配额和存储空间配额。 租户可以在界面上根据业务需要，在集群中创建租户、管理租户。 创建租户时将自动创建租户对应的角色、计算资源和存储资源。默认情况下，新的计算资源和存储资源的全部权限将分配给租户的角色。 默认情况下，查看当前租户的资源，在当前租户中添加子租户并管理子租户资源的权限将分配给租户的角色。 修改租户的计算资源或存储资源，对应的角色关联权限将自动更新。 MRS中最多支持512个租户。系统默认创建的租户包含“default”。和默认租户同处于最上层的租户，可以统称为一级租户。 资源池 YARN任务队列支持一种调度策略，称为标签调度（Label Based Scheduling）。通过此策略，YARN任务队列可以关联带有特定节点标签（Node Label）的NodeManager，使YARN任务在指定的节点运行，实现任务的调度与使用特定硬件资源的需求。例如，需要使用大量内存的YARN任务，可以通过标签关联具有大量内存的节点上运行，避免性能不足影响业务。 在MRS集群中，租户从逻辑上对YARN集群的节点进行分区，使多个NodeManager形成一个资源池。YARN任务队列通过配置队列容量策略，与指定的资源池进行关联，可以更有效地使用资源池中的资源，且互不影响。 MRS中最多支持50个资源池。系统默认包含一个“default”资源池。

本章节主要介绍如何操作退服和入服角色实例。 操作场景 某个Core或Task节点出现问题时，可能导致整个集群状态显示为“异常”。MRS集群支持将数据存储在不同Core节点，用户可以在MRS指定角色实例退服，使退服的角色实例不再提供服务。在排除故障后，可以将已退服的角色实例入服。 支持退服、入服的角色实例包括： HDFS的DataNode角色实例 Yarn的NodeManager角色实例 HBase的RegionServer角色实例 ClickHouse的ClickHouseServer角色实例 Kafka的Broker角色实例 限制： 当DataNode数量少于或等于HDFS的副本数时，不能执行退服操作。例如HDFS副本数为3时，则系统中少于4个DataNode，将无法执行退服，MRS在执行退服操作时会等待30分钟后报错并退出执行。 Kafka Broker数量少于或等于副本数时，不能执行退服。例如Kafka副本数为2时，则系统中少于3个节点，将无法执行退服，MRS执行退服操作时会失败并退出执行。 已经退服的角色实例，必须执行入服操作启动该实例，才能重新使用。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“组件管理”。 2.单击服务列表中相应服务。 3.单击“实例”页签。 4.勾选指定角色实例名称前的复选框。 5.选择“更多 > 退服”或“入服”执行相应的操作。 说明 实例退服操作未完成时在其他浏览器窗口重启集群中相应服务，可能导致MRS提示停止退服，实例的“操作状态”显示为“已启动”。实际上后台已将该实例退服，请重新执行退服操作同步状态。

本章节主要介绍如何运行Kafka作业。 用户可将自己开发的程序提交到MRS中，执行程序并获取结果。本章节教您在Kafka主题中产生和消费消息。 暂不支持通过界面提交Kafka作业，请通过后台功能来提交作业。 通过后台提交作业 先查询ZooKeeper和Kafka的实例地址，再运行Kafka作业。 查询实例地址（3.x版本） 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 3.请参考访问FusionInsight Manager（MRS 3.x及之后版本），跳转至FusionInsight Manager页面。然后选择“服务 > ZooKeeper > 实例”，查看ZooKeeper角色实例的IP地址。记录ZooKeeper角色实例中任意一个的IP地址即可。 4.选择“服务 > Kafka > 实例”，查看Kafka角色实例的IP地址。记录Kafka角色实例中任意一个的IP地址即可。 查询实例地址（3.x之前版本） a. 登录MRS管理控制台。 b. 选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 c. 在MRS集群详情页面，选择“组件管理 > ZooKeeper > 实例”，查看ZooKeeper角色实例的IP地址。记录ZooKeeper角色实例中任意一个的IP地址即可。 d. 选择“组件管理 > Kafka > 实例”，查看Kafka角色实例的IP地址。记录Kafka角色实例中任意一个的IP地址即可。 运行Kafka作业 MRS 3.x及之后版本客户端默认安装路径为“/opt/Bigdata/client”，MRS 3.x之前版本为“/opt/client”。具体以实际为准。 1.在集群信息页面的“节点管理”页签中单击Master2节点名称，进入弹性云主机管理控制台。 2.单击页面右上角的“远程登录”。 3.根据界面提示，输入Master节点的用户名和密码，用户名、密码分别为root和创建集群时设置的密码。 4.执行如下命令初始化环境变量。 source /opt/Bigdata/client/bigdataenv 5.如果当前集群已开启Kerberos认证，执行以下命令认证当前用户。如果当前集群未开启Kerberos认证，则无需执行该步骤。 kinit MRS集群用户 例如, kinit admin 6.执行如下命令，创建kafka topic。 kafkatopics.sh create zookeeper ZooKeeper角色实例IP:2181/kafkapartitions 2 replicationfactor 2 topic 7.在topic test中产生消息。 首先执行命令kafkaconsoleproducer.sh brokerlist Kafka角色实例IP:9092 topic producer.config /opt/Bigdata/client/Kafka/kafka/config/producer.properties 。 然后输入指定的内容作为生产者产生的消息，输入完成后按回车发送消息。如果需要结束产生消息，使用“Ctrl + C”退出任务。 8.消费topic test中的消息。 kafkaconsoleconsumer.sh topic bootstrapserver Kafka角色实例IP:9092 consumer.config/opt/Bigdata/client/Kafka/kafka/config/consumer.properties 说明 如果集群开启Kerberos认证，则执行如上两个命令时请修改端口号9092为21007，详见

本章节主要介绍管理角色实例操作。 操作场景 用户可以在MRS启动操作状态为“停止”、“停止失败”或“启动失败”角色实例，以使用该角色实例，也可以停止不再使用或异常的角色实例，或者重启异常的角色实例，以恢复角色实例功能。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“组件管理”。 2.单击服务列表中指定的服务名称。 3.单击“实例”页签。 4.勾选待操作角色实例前的复选框。 5.选择“更多 > 启动实例”、“停止实例”、“重启实例”或“滚动重启实例”等，执行相应操作。