本章节主要介绍如何同步服务配置。 操作场景 当用户发现部分服务的“配置状态”为“配置超期”或“配置失败”时，您可以尝试使用同步配置功能，以恢复配置状态。或者集群中所有服务的配置状态为“失败”时，同步指定服务的配置数据与后台配置数据。 对系统的影响 同步服务配置后，需要重启配置过期的服务。重启时对应的服务不可用。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“组件管理”。 2.在服务列表中，单击指定服务名称。 3.在服务状态页签，选择“更多 > 同步配置”。 4.在弹出窗口勾选“重启配置过期的服务”，并单击“是”重启配置过期的服务。

通过后台提交作业 MRS 3.x及之后版本客户端默认安装路径为“/opt/Bigdata/client”，MRS 3.x之前版本为“/opt/client”。具体以实际为准。 1.参考创建用户页面，创建一个用于提交作业的用户。 本示例创建一个用户开发场景使用的机机用户，并分配了正确的用户组（hadoop、supergroup）、主组（supergroup）和角色权限（Systemadministrator、default）。 2.下载认证凭据。 对于MRS 3.x及之后版本集群，请登录FusionInsight Manager页面选择“系统 > 权限 > 用户”，在新增用户的操作列单击“更多 > 下载认证凭据”。 对于MRS 3.x之前版本集群，请登录MRS Manager页面选择“系统设置 > 用户管理”，在新增用户的操作列单击“更多 > 下载认证凭据”。 3.登录Spark客户端所在节点，上传2创建的用户认证凭据到集群的“/opt”目录下，并执行如下命令解压： tar –xvfMRSTestxxxxxxkeytab.tar 得到user.keytab和krb5.conf两个文件。 4.在对集群操作之前首先需要执行： source /opt/Bigdata/client/bigdataenv cd $SPARKHOME 5.打开sparksql命令行，进入sparksql命令行后可执行SQL语句，执行命令如下： ./bin/sparksqlconf spark.yarn.principalMRSTest conf spark.yarn.keytab/opt/user.keytab 若需要执行SQL文件，需要上传SQL文件（如上传到“/opt/”目录），上传文件后执行命令如下： ./bin/sparksqlconf spark.yarn.principalMRSTest conf spark.yarn.keytab/opt/user.keytabf /opt/script.sql

说明 在Console上添加服务会自动同步到Manager页面。 删除服务 MRS 3.1.2LTS.3及之后版本支持添加和删除服务。 步骤 1 在集群详情页，单击“组件管理”。 步骤 2 在指定服务所在行，单击“删除”操作。  如果需要删除的服务存在上层依赖，则不可删除，每次只能删除一个服务。  不支持删除Hadoop（HDFS、Yarn、MapReduce）、Ranger、DBService、KrbServer、LdapServer和meta服务，其他已安装服务可删除。 步骤 3 在弹出的对话框中单击“是”，删除该服务。 注意  在Console上删除服务会自动同步到Manager页面。  删除服务前，请先备份该服务的数据，避免数据丢失。 启动、停止和重启服务 步骤 1 在集群详情页，单击“组件管理”。 步骤 2 在指定服务所在行，单击“启动”、“停止”和“重启”执行启动、停止和重启操作。 服务之间存在依赖关系。对某服务执行启动、停止和重启操作时，与该服务存在依赖关系的服务将受到影响。 具体影响如下： 启动某服务，该服务依赖的下层服务需先启动，服务功能才可生效。 停止某服务，依赖该服务的上层服务将无法提供功能。 重启某服务，依赖该服务且启动的上层服务需重启后才可生效。

本章节主要介绍如何启动及停止集群。 集群是包含着服务组件的集合。用户可以启动或者停止集群中所有服务。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 启动及停止集群 在集群详情页，单击页面右上角“管理操作 > 启动所有组件”或“停止所有组件”执行相应的操作。

参数 参数说明 作业名称 作业名称，只能由字母、数字、中划线和下划线组成，并且长度为1～64个字符。 说明 建议不同的作业设置不同的名称。 执行程序路径 待执行程序包地址，需要满足如下要求： 最多为1023字符，不能包含;l&>,<'$特殊字符，且不可为空或全空格。 执行程序路径可存储于HDFS或者OBS中，不同的文件系统对应的路径存在差异。 OBS：以“obs://”开头。示例： obs://wordcount/program/xxx.jar。 HDFS：以“/user”开头。数据导入HDFS请参考 运行程序参数 可选参数，为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能。 常用运行程序参数如下表“运行程序参数”。 执行程序参数 可选参数，程序执行的关键参数，该参数由用户程序内的函数指定，MRS只负责参数的传入。多个参数间使用空格隔开。 最多为150000字符，不能包含不能包含;;&><'$特殊字符，可为空。 注意 若输入带有敏感信息（如登录密码）的参数可能在作业详情展示和日志打印中存在暴露的风险，请谨慎操作。 服务配置参数 可选参数，用于为本次执行的作业修改服务配置参数。该参数的修改仅适用于本次执行的作业，如需对集群永久生效，请参考 增加，如需删除参数，请单击右侧“删除”。 常用服务配置参数如下表“服务配置参数”。 命令参考 用于展示提交作业时提交到后台执行的命令。

方式一：通过界面配置。 1.登录MRS控制台，在左侧导航栏选择“集群列表 > 现有集群” ，单击集群名称。 2.选择“组件管理 > Spark > 服务配置”。 3.将“基础配置”切换为“全部配置”，搜索并配置如下参数： 数据加密参数 参数 取值 说明 fs.obs.serversideencryptiontype SSEKMS SSEKMS：表示使用KMS秘钥的加解密方式。 NONE：表示关闭加密功能。 fs.obs.serversideencryptionkey 表示用来加密的KMS密钥ID。该参数可不配置。 当参数“fs.obs.serversideencryptiontype”配置为“SSEKMS”且该参数未配置时，OBS会使用OBS服务的默认KMS密钥完成加密。 fs.obs.connection.ssl.enabled true 标识是否与OBS建立安全连接。 true：开启安全连接，当需要使用OBS加解密功能时该参数必须配置为“true”。 false：关闭安全连接。 4.单击“保存配置”，勾选“重新启动受影响的服务或实例。”并单击“确定”。 5.以root用户登录Master节点，密码为用户创建集群时设置的root密码（若集群存在多个Master节点，请分别登录每个Master节点进行步骤5~步骤7的操作）。 6.执行以下命令，切换到客户端目录，例如“/opt/Bigdata/client”。 ​​cd /opt/Bigdata/client 7.执行以下命令更新客户端配置，并输入用户名和密码，用户名为admin，密码为用户创建集群时设置的admin密码。 ​​./autoRefreshConfig.sh 方式二：通过客户端配置文件配置。 在Master节点上的客户端配置文件（例如“/opt/Bigdata/client/Spark/spark/conf/coresite.xml”）中的增加如下参数配置（若集群存在多个Master节点，请分别登录每个Master节点进行该操作）。 数据加密参数 参数 取值 说明 fs.obs.serversideencryptiontype SSEKMS l SSEKMS：表示使用KMS秘钥的加解密方式。 NONE：表示关闭加密功能。 fs.obs.serversideencryptionkey 表示用来加密的KMS密钥ID。该参数可不配置。 当参数“fs.obs.serversideencryptiontype”配置为“SSEKMS”且该参数未配置时，OBS会使用OBS服务的默认KMS密钥完成加密。 fs.obs.connection.ssl.enabled true 标识是否与OBS建立安全连接。 true：开启安全连接，当需要使用OBS加解密功能时该参数必须配置为“true”。 false：关闭安全连接。

本章节主要介绍如何查看配置。 用户可以在MRS上查看服务（含角色）和角色实例的配置。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 查看服务的配置。 1.在集群详情页，单击“组件管理”。 2.单击服务列表中指定的服务名称。 3.单击“服务配置”。 4.将页面右侧“基础配置”切换为“全部配置”，界面上将显示该服务的全部配置参数导航树，导航树从上到下的根节点分别为服务名称和角色名称。 5.在导航树选择指定的参数，修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 在服务节点下的参数属于服务配置参数，在角色节点下的参数是角色配置参数。 6.在“——请选择——”选项中选择“非默认”，界面上显示参数值为非默认值的参数（MRS 3.x之前版本存在此选项）。 查看角色实例的配置。 1.在集群详情页，单击“组件管理”。 2.单击服务列表中指定的服务名称。 3.单击“实例”页签。 4.单击角色实例列表中指定的角色实例名称。 5.单击“实例配置”。 6.将页面右侧“基础配置”切换为“全部配置”，界面上将显示该角色实例的全部配置参数导航树。 7.在导航树选择指定的参数，修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 8.在“——请选择——”选项中选择“非默认”，界面上显示参数值为非默认值的参数（MRS 3.x之前版本存在此选项）。

参数 参数说明 取值样例 fs.obs.access.key 访问OBS的密钥ID。 fs.obs.secret.key 访问OBS与密钥ID对应的密钥。

本章节主要介绍如何如何删除MRS作业。 背景信息 支持删除单个作业和批量删除作业。作业删除后不可恢复，请谨慎操作。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名。 进入集群基本信息页面。 3.选择“作业管理”。 4.在需要删除作业对应的“操作”列中，选择“更多 > 删除”。 此处只能删除单个作业。 5.勾选多个作业，单击作业列表左上方的“删除”。 可以删除一个、多个或者全部作业。

参数 参数说明 作业名称 作业名称，只能由字母、数字、中划线和下划线组成，并且长度为1～64个字符。 说明 建议不同的作业设置不同的名称。 SQL类型 SQL查询语句提交类型。 SQL Script SQL语句 “SQL类型”参数为“SQL”时参数有效，请输入待运行的SQL语句，然后单击“检查”来检查SQL语句的正确性，确保输入语句正确。如果同时需要提交多条语句并执行，使用“;”分隔不同语句。 SQL文件 “SQL类型”参数为“Script”时参数有效，待执行SQL文件的路径，需要满足以下要求。 最多为1023字符，不能包含;l&>,<'$特殊字符，且不可为空或全空格。 执行程序路径可存储于HDFS或者OBS中，不同的文件系统对应的路径存在差异。 OBS：以“obs://”开头。示例： obs://wordcount/program/xxx.jar。 HDFS：以“/user”开头。数据导入HDFS请参考 说明 存储在OBS上的文件路径支持以“obs://”开头格式。如需使用该格式提交作业，访问OBS需要配置对应权限。 创建集群时开启“OBS权限控制”功能时，可直接使用“obs://”路径，无需单独配置。 创建集群时未开启或不支持“OBS权限控制”功能时，请参考 运行程序参数 可选参数，为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能。 常用运行程序参数如下表“运行程序参数”。 服务配置参数 可选参数，用于为本次执行的作业修改服务配置参数。该参数的修改仅适用于本次执行的作业，如需对集群永久生效，请参考 增加，如需删除参数，请单击右侧“删除”。 常用服务配置参数如下表“服务配置参数”。 命令参考 用于展示提交作业时提交到后台执行的命令。

本章节主要介绍如何查看作业配置信息和日志。 背景信息 支持查看所有作业的配置信息。 只有运行中的作业才能查看运行日志信息。 由于Spark SQL和Distcp作业在后台无日志，运行中的Spark SQL和Distcp作业不能查看运行日志信息。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名，进入集群基本信息页面。 3.选择“作业管理”。 4.在需要查看作业对应的“操作”列中，单击“查看详情”。 弹出“查看详情”窗口，显示该作业的配置信息。 5.选择一个运行中的作业，在作业对应的“操作”列中，单击“查看日志”。 弹出一个新页面，显示作业执行的实时日志信息。 每个租户并发提交作业和查看日志的个数均为10。

通过后台提交作业 MRS 3.x及之后版本客户端默认安装路径为“/opt/Bigdata/client”，MRS 3.x之前版本为“/opt/client”。具体以实际为准。 1.参考创建用户页面，创建一个用于提交作业的用户。 本示例创建一个用户开发场景使用的机机用户，并分配了正确的用户组（hadoop、supergroup）、主组（supergroup）和角色权限（Systemadministrator、default）。 2.下载认证凭据。 对于MRS 3.x及之后版本集群，请登录FusionInsight Manager页面选择“系统 > 权限 > 用户”，在新增用户的操作列单击“更多 > 下载认证凭据”。 对于MRS 3.x之前版本集群，请登录MRS Manager页面选择“系统设置 > 用户管理”，在新增用户的操作列单击“更多 > 下载认证凭据”。 3.将与作业相关的jar包上传到集群中，本示例使用Spark自带的样例jar包，位置在“$SPARKHOME/examples/jars”下。 4.上传步骤2创建的用户认证凭据到集群的“/opt”目录下，并执行如下命令解压。 tar –xvfMRSTestxxxxxxkeytab.tar 您将会得到user.keytab和krb5.conf两个文件。 5.在对集群操作之前首先需要执行： source /opt/Bigdata/client/bigdataenv cd $SPARKHOME 6.提交spark作业，使用的命令如下： ./bin/sparksubmitmaster yarn deploymode client conf spark.yarn.principalMRSTest conf spark.yarn.keytab/opt/user.keytab class org.apache.spark.examples.SparkPi examples/jars/sparkexamples2.112.3.2mrs2.0.jar 10 参数解释： 1.yarn的计算能力，指定使用client模式提交该作业。 2.Spark作业的配置项，这里是传入了认证文件和用户名。 3.spark.yarn.principal 第一步创建的用户。 4.spark.yarn.keytab 认证使用的keytab文件。 5.xx.jar 作业的使用的jar。

参数 参数说明 操作类型 记录执行的操作类型，包括： 集群操作 作业操作 数据操作 操作IP 记录执行操作的IP地址。 说明 当MRS集群部署失败时，集群会被自动删除，并且自动删除集群的操作日志中不包含用户的“操作IP”信息。 操作内容 记录实际操作内容，不超过2048字符。 时间 记录操作的时间。对于已删除的集群，界面只显示6个月内的日志信息，若需要查看6个月之前的日志信息，请联系支持人员。

本章节主要介绍如何删除集群。 如果作业执行结束后不需要集群， 可以删除MRS集群。 背景信息 一般在数据完成分析和存储后或集群异常无法提供服务时才执行集群删除操作。当MRS集群部署失败时，集群会被自动删除。 操作步骤 1.登录MRS管理控制台。 2.在左侧导航栏中选择“集群列表 > 现有集群”。 3.在需要删除的集群对应的“操作”列中，单击“删除”。 集群状态由“运行中”更新为“删除中”，待集群删除成功后，集群状态更新为“已删除”，并且显示在“历史集群”中。

状态 描述 正常 主机及主机上的服务角色正常运行。 已隔离 主机被用户隔离，主机上的服务角色停止运行。

本章节主要介绍如何切换集群子网。 MRS支持当子网IP不足时，切换子网到当前集群相同VPC下的其他子网，实现可用子网IP的扩充。切换子网不会影响当前已有节点的IP地址和子网。 如需对网络ACL出规则进行配置请参考下方如何配置网络ACL出规则。 未关联网络ACL时切换子网 1.登录MRS控制台。 2.单击集群名称进入集群详情页。 3.在“默认生效子网”右侧单击“切换子网”。 4.选择待切换子网，并单击“确定”完成切换。 若没有可用子网，请单击“创建子网”进入VPC控制台创建子网后，再在此处引用。 关联网络ACL时切换子网 1.登录MRS控制台，单击集群名称进入集群详情页。 2.MRS集群详情页，查看“虚拟私有云”。 3.进入VPC控制台，在左侧导航处选择“虚拟私有云”，获取步骤2中查询的“虚拟私有云”对应的“IPv4网段”。 4.在VPC控制台左侧导航处选择“访问控制 > 网络ACL”，单击MRS集群默认生效子网和切换后子网关联的网络ACL名称，选择“入方向规则”页签。 说明 若集群的默认生效子网和切换后子网均关联网络ACL，则两个子网关联的网络ACL中均需参考步骤5步骤7增加入方向规则。 详见下图： 网络ACL 5.在第一条规则的“操作”列，选择“更多 > 向前插规则”。 6.添加网络ACL规则，其中“策略”选择“允许”，“源地址”填入步骤3中获取的“虚拟私有云”对应的“IPv4网段”，其他值保持默认即可。 7.单击“确定”完成网络ACL规则添加。 说明 如果您不想放开VPC对应的全部IPv4网段的规则，请参考步骤8步骤12添加切换前后两个子网对应的IPv4网段地址。若已完成VPC对应IPv4网段的规则添加，则无需执行步骤8步骤12的操作。 8.登录MRS控制台。 9.单击集群名称进入集群详情页。 10.在“默认生效子网”右侧单击“切换子网”。 11.获取“默认生效子网”和待切换子网对应的IPv4网段。 须知 此时请勿单击切换子网的“确定”按钮，否则默认生效子网将更新为切换后的子网，切换前的子网不易查询，请谨慎操作。 12.参考步骤4步骤7添加“默认生效子网”和待切换子网的IPv4网段地址到切换前后子网绑定的网络ACL入方向规则中。 13.登录MRS控制台。 14.单击集群名称进入集群详情页。 15.在“默认生效子网”右侧单击“切换子网”。 16.选择待切换子网，并单击“确定”完成切换。

用户可以根据业务需求量，通过简单的缩减Core节点或者Task节点，对集群进行缩容，以使MRS拥有更优的存储、计算能力，降低运维成本。 当集群正在进行主备同步操作时，不允许进行缩容操作。 说明 MRS包周期集群暂不支持缩容，当前仅支持MRS按需集群按指定数量进行缩容。 背景信息 目前支持缩容Core节点和Task节点，不支持缩容Master节点。对集群进行缩容时，只需要在界面调整节点个数，MRS会自动选择缩容节点，完成缩容任务。 自动选择缩容节点的策略如下： 不允许缩容安装了基础组件（Zookeeper，DBService，KrbServer，LdapServer等）的节点，MRS不会选择这些节点进行缩容。因为这些基础组件是集群运行的基础。 Core节点是存放集群业务数据的节点，在缩容时必须保证待缩容节点上的数据被完整迁移到其他节点，即完成各个组件的退服之后，才会执行缩容的后续操作（节点退出Manager和删除ECS等）。在选择Core节点时，会优先选择存储数据量较小，且可退服实例健康状态良好的节点，避免节点退服失败。例如在分析集群上，Core节点安装了DataNode，缩容时会优先选择DataNode存储数据量较小且健康状态良好的节点。 Core节点在缩容的时候，会对原节点上的数据进行迁移。业务上如果对数据位置做了缓存，客户端自动刷新位置信息可能会影响时延。缩容节点可能会影响部分HBase on HDFS数据的第一次访问响应时长，可以重启HBase或者对相关的表Disable/Enable来避免。 Task节点本身不存储集群数据，属于计算节点，不存在节点数据迁移的问题。因此在选择Task节点时，优先选择健康状态为故障、未知、亚健康的节点进行缩容。这些节点实例的健康状态信息可以在MRS上的“实例”管理界面查看。

本章节主要介绍如何查看集群补丁信息。 查看集群组件的补丁信息。如果集群组件，如Hadoop或Spark等出现了异常，可下载补丁版本，选择“集群列表 > 现有集群”，选中一集群并单击集群名，进入集群详情页面升级组件，修复问题。 说明 MRS 3.x版本无补丁版本信息，不涉及此章节。

登录弹性云主机（SSH密码方式） 本地使用Windows操作系统 如果本地主机为Windows操作系统，可以按照下面方式登录弹性云主机。下面步骤以PuTTY为例。 1.登录MapReduce服务管理控制台。 2.选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名称，进入集群基本信息页面。 3.在“节点管理”页签单击Master节点组中某一Master节点名称，登录到弹性云主机管理控制台。 4.选择“弹性公网IP”页签，单击“绑定弹性IP”为弹性云主机绑定一个弹性公网IP并记录该IP地址，若已绑定弹性公网IP请跳过该步骤。 5.运行PuTTY。 6.单击“Session”。 a.Host Name (or IP address)：输入弹性云主机所绑定的弹性公网IP。 b.Port：输入 22。 c.Connection Type：选择 SSH。 d.Saved Sessions：任务名称，在下一次使用PuTTY时就可以单击保存的任务名称，即可打开远程连接。 详见下图： 单击Session 7.单击“Window”，在“Translation”下的“Remote character set:”选择“UTF8”。 8.单击“Open”登录云服务器。 如果首次登录云服务器，PuTTY会显示安全警告对话框，询问是否接受服务器的安全证书。单击“是”将证书保存到本地注册表中。 9.建立到云服务器的SSH连接后，根据提示输入用户名和密码登录弹性云主机。 说明 用户名、密码分别是root和创建集群时设置的密码。 本地使用Linux操作系统 如果本地主机为Linux操作系统，您可以参考步骤1~步骤4为弹性云主机绑定弹性公网IP后，在计算机的命令行中运行如下命令登录弹性云主机：ssh弹性云主机绑定的弹性公网IP

参数 说明 规则名称 用户自定义发送订阅消息的规则名称，只能包含数字、英文字符、中划线和下划线。 提醒通知 选择开启时，将按照该订阅规则为订阅者发送对应订阅消息。 选择关闭时，该规则不会生效，即不会向订阅者发送订阅消息。 主题名称 选择已创建的主题，也可以单击“创建主题”重新创建。 消息类型 选择需要订阅的消息类型。 告警 事件 订阅规则 选择需要订阅的消息规则，可根据需要勾选全部或部分规则。 、 MRS 3.x及之后版本订阅规则： 告警：紧急，重要，次要 事件：重要，次要，提示 MRS 3.x之前版本订阅规则： 致命 严重 一般 提示

本章节主要介绍如何查看集群状态。 集群列表显示MRS所有的集群，集群数量较多时，可采用翻页显示，您可以查看任何状态下的集群。 MRS作为一个海量数据管理和分析平台，数据处理能力在PB级以上。MRS支持创建多个集群，集群创建数量受弹性云主机数量限制。 集群列表默认按时间顺序排列，时间最近的集群显示在最前端。集群列表参数说明如下表所示。 现有集群：包括除了“失败”和“已删除”状态以外的所有集群。 历史集群：仅包含“已删除”的集群，目前界面只显示6个月内创建且已删除的集群，若需要查看6个月以前删除的集群，请联系支持人员。 失败任务管理：仅包含“失败”状态的任务。 −集群创建失败的任务 −集群删除失败的任务 −集群扩容失败的任务 −集群缩容失败的任务 −集群安装补丁失败的任务（仅MRS 3.x之前版本支持） −集群卸载补丁失败的任务（仅MRS 3.x之前版本支持） −集群升级规格失败的任务 集群列表参数 参数 参数说明 名称/ID 集群的名称，创建集群时设置。集群的ID是集群的唯一标识，创建集群时系统自动赋值，不需要用户设置。 ：修改集群名称。 ：复制集群ID。 集群版本 集群的版本号。 节点数 集群部署的节点个数，创建集群时设置。 状态 集群状态、进度信息。 创建集群进度包括： Verifying cluster parameters：校验集群参数中 Applying for cluster resources：申请集群资源中 Creating VMs：创建虚拟机中 Initializing VMs：初始化虚拟机中 Installing MRS Manager：安装MRS Manager中 Deploying the cluster：部署集群中 Cluster installation failed：集群安装失败 扩容集群进度包括： Preparing for cluster expansion：准备扩容中 Creating VM：创建虚拟机中 Initializing VM：初始化虚拟机中 Adding node to the cluster：节点加入集群中 Cluster expansion failed：集群扩容失败 缩容集群进度包括： Preparing for cluster shrink：正在准备缩容 Decommissioning instance：实例退服中 Deleting VM：删除虚拟机中 Deleting node from the cluster：从集群删除节点中 Cluster shrink failed：集群缩容失败 集群安装、扩容、缩容失败，会显示失败的原因，详情请参见创建自定义集群章节“集群创建失败” 中的“错误码表”。 创建时间 集群节点创建成功。 删除时间 集群节点停止时间，也是集群节点开始删除时间。仅“历史集群”会显示此参数。 可用区 集群工作区域下的可用区，创建集群时设置。 企业项目 集群所属的企业项目。 操作 删除：如果作业执行结束后不需要集群，可以单击“删除”，集群状态由“运行中”更新为“删除中”，待集群删除成功后，集群状态更新为“已删除”，并且显示在“历史集群”中。当MRS集群部署失败时，集群会被自动删除。 仅“现有集群”会显示此参数。 说明 一般在数据完成分析和存储后或集群异常无法提供服务时才执行删除操作。如果数据没有完成处理分析，删除集群会导致数据丢失，请谨慎操作。 按钮说明 按钮 说明 在下拉框中选择企业项目，筛选对应集群。 在下拉框中选择集群状态，筛选现有集群。 现有集群 − 所有状态：表示筛选所有的现有集群 − 启动中：表示筛选“启动中”状态的现有集群 − 运行中：表示筛选“运行中”状态的现有集群 − 扩容中：表示筛选“扩容中”状态的现有集群。 − 缩容中：表示筛选“缩容中”状态的现有集群。 − 异常：表示筛选“异常”状态的现有集群 − 删除中：表示筛选“删除中”状态的现有集群 选择“集群列表>现有集群”，单击进入“失败任务管理”页面。 Num：表示“失败”状态的任务数。 在搜索框中输入集群名称或ID，单击，搜索集群。 标签搜索 单击“标签搜索”输入待查询集群的标签，然后单击“搜索”搜索对应集群。 标签键或标签值可以通过下拉列表中选择，当标签键或标签值全匹配时，系统可以自动查询到目标集群。当有多个标签条件时，会取各个标签的交集，进行集群查询。 单击，手动刷新现有集群列表。

参数 参数说明 元数据 是否使用外部数据源存储元数据。 本地元数据： 元数据存储在集群本地。 数据连接：使用外部数据源元数据，若集群异常或删除时将不影响元数据，适用于存储计算分离的场景。 支持Hive或Ranger组件的集群支持该功能。 组件名 当“数据连接”功能开启时，该参数有效。用于表示可以设置外部数据源的组件类型。 Hive Ranger 数据连接类型 当“数据连接”功能开启时，该参数有效。用于表示外部数据源的类型。 Hive组件支持的数据连接类型： − RDS服务MySQL数据库 − 本地数据库 Ranger组件支持的数据连接类型： − RDS服务MySQL数据库 − 本地数据库 数据连接实例 当“数据连接类型”选择“RDS服务PostgreSQL数据库”或“RDS服务MySQL数据库”时，该参数有效。用于表示MRS集群与RDS服务数据库连接的名称，该实例必须先创建才能在此处引用。可单击“创建数据连接”进行创建，具体请参考 管理数据连接章节

本章节主要介绍集群列表。 通过概览信息可以快速查看所有集群和作业的状态，您也可以通过MRS控制台左侧导航的“帮助”中获取MRS相关帮助文档。 MRS用于海量数据的管理和分析，MRS使用简单，用户创建好一个集群，在集群内可新增MapReduce、Spark和Hive等作业，对用户数据进行分析和处理。数据处理完成后，采用SSL加密传输数据至OBS，保证数据的完整性和机密性。 集群状态 登录MRS管理控制台后，MRS所有集群包含的状态如下表所示。 集群状态说明 状态 说明 启动中 集群正在创建，则其状态为“启动中”。 运行中 集群创建成功且集群中所有组件状态均正常，则其状态为“运行中”。 扩容中 集群Core节点或者Task节点正在扩容，则其状态为“扩容中”。 说明 如果集群扩容失败，用户可重新进行扩容操作。 缩容中 当对集群节点进行关机、删除、变更OS、重装OS和修改规格的操作时，被变更的集群节点正在删除，则其状态为“缩容中”。 异常 集群中部分组件状态异常，导致集群异常，则其状态为“异常”。 删除中 集群节点正在删除中，则其状态为“删除中”。 已删除 集群已经删除，仅“历史集群”会显示此参数。 作业状态 登录MRS的管理控制台后，用户在MRS集群中执行的作业包含的状态如下表所示。 作业状态说明 状态 说明 已接受 作业提交成功后的初始状态。 运行中 作业执行过程中，则其状态为“运行中”。 已完成 作业执行完成，并且执行成功，则其状态为“已完成”。 已终止 作业执行过程中，停止执行，则其状态为“已终止”。 异常 作业执行过程中报错，或者作业执行完成，但执行失败，则其状态为“异常”。

参数 说明 名称 引导操作脚本的名称。 只能由数字、英文字符、空格、中划线和下划线组成，且不能以空格开头。 可输入的字符串长度为1～64个字符。 说明 同一集群内，不允许配置相同的名称。不同集群之间，可以配置相同的名称。 脚本路径 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径，必须以s3a://开头，以.sh结尾。例如：s3a://mrssamples/xxx.sh l 虚拟机本地的路径，脚本所在的路径必须以‘/’开头，以.sh结尾。 说明 同一集群内，不允许配置相同的路径。不同集群之间，可以配置相同的路径。 参数 引导操作脚本参数。 执行节点 选择引导操作脚本所执行的节点类型。 执行时机 选择引导操作脚本执行的时间。 组件首次启动前 组件首次启动后 失败操作 该脚本执行失败后，是否继续执行后续脚本和创建集群。 说明 建议您设置为“继续”，无论此引导操作是否执行成功，则集群都能继续创建。

本章节主要介绍如何快速创建Kafka流式集群。 本章节为您介绍如何快速创建一个Kafka流式集群，Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量，可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景，实现高效的流式数据采集，实时数据处理存储等。 快速创建Kafka流式集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息，参数详细信息请参考创建自定义集群。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20200321”。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：不同版本集群提供的组件有所不同，请根据需要选择集群版本。 组件选择：选择“Kafka流式集群”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 集群高可用：默认即可。MRS 3.x版本暂时不支持该参数。 LVM：默认即可。MRS 3.x版本暂时不支持该参数。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权，通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态部分 集群列表参数中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

本章节主要介绍如何创建自定义拓扑集群。 MRS当前提供的“分析集群”、“流式集群”和“混合集群”采用固定模板进行部署集群的进程，无法满足用户自定义部署管理角色和控制角色在集群节点中的需求。如需自定义集群部署方式，可在创建集群时的“集群类型”选择“自定义”，实现用户自主定义集群的进程实例在集群节点中的部署方式。仅MRS 3.x及之后版本支持创建自定义拓扑集群。 自定义集群可实现以下功能： 管控分离部署，管理角色和控制角色分别部署在不同的Master节点中。 管控合设部署，管理角色和控制角色共同部署在Master节点中。 ZooKeeper单独节点部署，增加可靠性。 组件分开部署，避免资源争抢。 MRS集群中角色类型： 管理角色：Management Node(MN)，安装Manager，即MRS集群的管理系统，提供统一的访问入口。Manager对部署在集群中的节点及服务进行集中管理。 控制角色：Control Node(CN)，控制监控数据角色执行存储数据、接收数据、发送进程状态及完成控制节点的公共功能。 MRS的控制节点包括HMaster、HiveServer、ResourceManager、NameNode、JournalNode、SlapdServer等。 数据角色：Data Node(DN)，执行管理角色发出的指示，上报任务状态、存储数据，以及执行数据节点的公共功能。MRS的数据节点包括DataNode、RegionServer、NodeManager等。 创建自定义集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“自定义创建”页签。 4.参考下列参数说明配置集群软件信息，参数详细信息请参考创建自定义集群章节中的MRS集群软件配置表。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20180321”。 集群版本：目前仅MRS 3.x版本支持。 集群类型：选择“自定义”并根据需要勾选对应组件。 5.单击“下一步”，并配置硬件信息。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 安全组：选择“自动创建”。 弹性公网IP：选择“暂不绑定”。 CPU架构：默认即可。MRS 3.x版本无该参数。 常用模板：具体说明请参见下方“自定义集群模板说明”。 实例规格：单击配置实例规格、系统盘和数据盘存储类型和存储空间。 实例数量：请根据业务量调整集群实例数量。具体可参考下方“MRS自定义集群节点部署方案”。 拓扑调整：若常用模板中的部署方式不满足需求或者需要手动安装部分默认安装不部署的实例或者需要手动安装部分实例时，请设置“拓扑调整”为“开启”，然后根据业务需要调整实例部署方式，具体说明请参见下方“自定义集群拓扑调整说明”。 6.单击“下一步”进入高级配置页签。 参数说明请参见创建自定义集群章节中的“高级配置（可选）”。 7.单击“立即创建”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 8.单击“返回集群列表”，可以查看到集群创建的状态。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。

本章节主要介绍如何配置Ranger数据连接。 本指导旨在指导用户将现有集群的Ranger元数据切换为RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据，且元数据不随集群的删除而删除。也能够避免集群迁移时Ranger元数据的迁移。 前置条件 已创建RDS服务MySQL数据库的实例，请参考 管理数据连接章节配置数据连接 中的 创建数据连接。 说明 对于MRS 3.x之前版本，当用户选择的数据连接为“RDS服务MySQL数据库”时，请确保使用的数据库用户为root用户。如果为非root用户，请参考 管理数据连接章节[配置数据连接]（ ） 中的 数据连接前置操作，新建用户并为该用户进行赋权。 对于MRS 3.x及之后版本，当用户选择的数据连接为“RDS服务MySQL数据库”时，数据库用户不允许为root用户，请参考 管理数据连接章节[配置数据连接]（ ）中的 数据连接前置操作，新建用户并为该用户进行赋权。 Ranger元数据外置到Mysql前置操作 该前置操作仅在MRS 3.1.0及之后版本需要执行。 1.登录FusionInsight Manager页面，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。选择“集群 > 服务 > 服务名称 ”。 当前MRS 3.1.x集群支持Ranger鉴权的组件为: HDFS、HBase、Hive、Spark、Impala、Storm、Kafka组件。 2.在服务“概览”页面右上角单击“更多 > 停用Ranger鉴权”，如果“停用Ranger鉴权”是灰色，则表示未开启Ranger鉴权无需停用Ranger鉴权，如下图所示。 3.（可选）如需使用已有鉴权策略请执行该步骤在Ranger Web页面导出已有组件的鉴权策略，切换Ranger元数据完成后可重新导入已有的鉴权策略。此处以Hive为例，导出后会生成本地的json格式的策略文件。 a.登录FusionInsight Manager页面。 b.选择“集群 > 服务 > Ranger”，进入Ranger服务概览页面。 c.单击“基本信息”区域中的“RangerAdmin”，进入Ranger WebUI界面。 admin用户在Ranger中的用户类型为“User”，如需查看所有管理页面，可点击右上角用户名后，选择“Log Out”，退出当前用户。 d.使用rangeradmin用户（默认密码为Rangeradmin@123）或者其他具有Ranger管理员权限用户重新登录。 e.单击Hive组件对应行的导出按钮，导出鉴权策略。 详见下图：导出鉴权策略 f.单击“Export”，导出后会生成本地的json格式的策略文件。 详见下图： 导出Hive鉴权策略

本章节主要介绍如何快速创建Hadoop分析集群。 本章节为您介绍如何快速创建一个Hadoop分析集群，Hadoop完全使用开源Hadoop生态，采用YARN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flink流式数据计算，Presto交互式查询，Tez有向无环图的分布式计算框架等Hadoop生态圈的组件，进行海量数据分析与查询。 快速创建Hadoop分析集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息，参数详细信息请参考创建自定义集群。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20180321”。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：选择“Hadoop分析集群”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 集群高可用：默认即可。MRS 3.x版本暂时不支持该参数。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权，通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态部分 集群列表参数中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

策略类别 IAM策略 同步后用户在MRS对应默认权限 是否有权限执行同步操作 是否有权限提交作业 细粒度 MRS ReadOnlyAccess Managerviewer 否 否 细粒度 MRS CommonOperations lManagerviewer default launcherjob 否 是 细粒度 MRS FullAccess Manageradministrator Managerauditor Manageroperator Managertenant Managerviewer Systemadministrator default launcherjob 是 是 RBAC MRS Administrator Manageradministrator Managerauditor Manageroperator Managertenant Managerviewer Systemadministrator default launcherjob 否 是 RBAC Server Administrator、Tenant Guest和MRS Administrator Manageradministrator Managerauditor Manageroperator Managertenant Managerviewer Systemadministrator default launcherjob 是 是 RBAC Tenant Administrator Manageradministrator Managerauditor Manageroperator Managertenant Managerviewer Systemadministrator default launcherjob 是 是 自定义 Custom policy（自定义策略） Managerviewer default launcherjob 自定义策略以RBAC策略为模板则参考RBAC策略。 自定义策略以细粒度策略为模板则参考细粒度策略，建议使用细粒度策略。 是

本章节主要介绍如何创建MRS操作用户。 如果您需要对您所拥有的MapReduce服务（MapReduce Service）进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），通过IAM，您可以： 根据企业的业务组织，在您的云帐号中，给企业中不同职能部门的员工创建IAM用户，让员工拥有唯一安全凭证，并使用MRS资源。 根据企业用户的职能，设置不同的访问权限，以达到用户之间的权限隔离。 将MRS资源委托给更专业、高效的其他云帐号或者云服务，这些帐号或者云服务可以根据权限进行代运维。 如果云帐号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用MRS服务的其它功能。 本章节为您介绍对用户授权的方法，操作流程如下图所示。 前提条件 给用户组授权之前，请您了解用户组可以添加的MRS权限，并结合实际需求进行选择。 示例流程 详见下图： 给用户授权MRS权限流程 1.创建用户组并授权 在IAM控制台创建用户组，并授予MRS服务对应权限。 2.创建用户并加入用户组 在IAM控制台创建用户，并将其加入上述创建用户组并授权中创建的用户组。 3.用户登录并验证权限 新创建的用户登录控制台，切换至授权区域，验证权限： −在“服务列表”中选择MRS服务，进入MRS主界面，单击右上角“创建集群”，尝试创建MRS集群，如果无法创建MRS集群（假设当前权限仅包含MRS ReadOnlyAccess），表示“MRS ReadOnlyAccess”已生效。 −在“服务列表”中选择除MRS服务外（假设当前策略仅包含MRS ReadOnlyAccess）的任一服务，若提示权限不足，表示“MRS ReadOnlyAccess”已生效。

本章节主要介绍安全认证原理和认证机制。 功能 开启了 Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。 Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”，后来沿用作为安全认证的概念，使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。 原理 Kerberos的原理架构和各模块的说明如下图所示： 原理架构 模块说明 App Client：应用客户端，通常是需要提交任务（或者作业）的应用程序。 App Server：应用服务端，通常是应用客户端需要访问的应用程序。 Key Distribution Center（KDC）：提供安全认证的服务。 Database：存储Principal数据。 Authentication Server（AS）：认证服务器，认证客户端身份，发放客户访问TGS的票据授权票据（TGT）。 Ticket Granting Server（TGS）：票据授予服务器，发放应用客户端访问应用服务端所需的服务票据（ST）。 步骤原理说明 应用客户端（App Client）可以是集群内某个服务，也可以是客户二次开发的一个应用程序，应用程序可以向应用服务提交任务或者作业。 1. ASREQ：App Client在提交任务或者作业前，需要向AS申请TGT，用于建立和TGS的安全会话。 2. ASREP：AS在收到TGT请求后，会解析其中的参数来生成对应的TGT，使用App Client指定的用户名的密钥进行加密响应消息。 3. TGSREQ：App Client收到TGT响应消息后，解析获取TGT，此时，再由App Client（通常是RPC底层）向TGS获取应用服务端的ST。 4. TGSREP：TGS在收到ST请求后，校验其中的TGT合法后，生成对应的App Server的ST，再使用App Server密钥将响应消息进行加密处理。 5. APREQ：App Client收到ST响应消息后，将ST打包到发给App Server的消息里面传输给对应的App Server。 6. APREP：App Server端收到请求后，使用App Server对应的密钥解析其中的ST，并校验成功后，本次请求合法通过。 说明 1. Kerberos认证时需要配置Kerberos认证所需要的文件参数，主要包含keytab路径，Kerberos认证的principal，Kerberos认证所需要的客户端配置krb5.conf文件。 2. 方法login()为调用的UserGroupInformation的方法执行Kerberos认证，生成TGT票据。 3. 方法doSth()调用hadoop的接口访问文件系统，此时底层RPC会自动携带TGT去Kerberos认证，生成ST票据。

本章节主要介绍使用Spark的操作指导。 前提条件 已安装客户端。 例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Spark客户端 1. 安装客户端。 2. 登录安装客户端的节点。 3. 执行以下命令，切换到客户端安装目录，例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 直接执行命令。例如： 7. plaintext sparksql