本章节主要介绍如何查看配置。 用户可以在MRS上查看服务（含角色）和角色实例的配置。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 查看服务的配置。 1.在集群详情页，单击“组件管理”。 2.单击服务列表中指定的服务名称。 3.单击“服务配置”。 4.将页面右侧“基础配置”切换为“全部配置”，界面上将显示该服务的全部配置参数导航树，导航树从上到下的根节点分别为服务名称和角色名称。 5.在导航树选择指定的参数，修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 在服务节点下的参数属于服务配置参数，在角色节点下的参数是角色配置参数。 6.在“——请选择——”选项中选择“非默认”，界面上显示参数值为非默认值的参数（MRS 3.x之前版本存在此选项）。 查看角色实例的配置。 1.在集群详情页，单击“组件管理”。 2.单击服务列表中指定的服务名称。 3.单击“实例”页签。 4.单击角色实例列表中指定的角色实例名称。 5.单击“实例配置”。 6.将页面右侧“基础配置”切换为“全部配置”，界面上将显示该角色实例的全部配置参数导航树。 7.在导航树选择指定的参数，修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 8.在“——请选择——”选项中选择“非默认”，界面上显示参数值为非默认值的参数（MRS 3.x之前版本存在此选项）。

参数 参数说明 取值样例 fs.obs.access.key 访问OBS的密钥ID。 fs.obs.secret.key 访问OBS与密钥ID对应的密钥。

本章节主要介绍如何如何删除MRS作业。 背景信息 支持删除单个作业和批量删除作业。作业删除后不可恢复，请谨慎操作。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名。 进入集群基本信息页面。 3.选择“作业管理”。 4.在需要删除作业对应的“操作”列中，选择“更多 > 删除”。 此处只能删除单个作业。 5.勾选多个作业，单击作业列表左上方的“删除”。 可以删除一个、多个或者全部作业。

参数 参数说明 作业名称 作业名称，只能由字母、数字、中划线和下划线组成，并且长度为1～64个字符。 说明 建议不同的作业设置不同的名称。 SQL类型 SQL查询语句提交类型。 SQL Script SQL语句 “SQL类型”参数为“SQL”时参数有效，请输入待运行的SQL语句，然后单击“检查”来检查SQL语句的正确性，确保输入语句正确。如果同时需要提交多条语句并执行，使用“;”分隔不同语句。 SQL文件 “SQL类型”参数为“Script”时参数有效，待执行SQL文件的路径，需要满足以下要求。 最多为1023字符，不能包含;l&>,<'$特殊字符，且不可为空或全空格。 执行程序路径可存储于HDFS或者OBS中，不同的文件系统对应的路径存在差异。 OBS：以“obs://”开头。示例： obs://wordcount/program/xxx.jar。 HDFS：以“/user”开头。数据导入HDFS请参考 说明 存储在OBS上的文件路径支持以“obs://”开头格式。如需使用该格式提交作业，访问OBS需要配置对应权限。 创建集群时开启“OBS权限控制”功能时，可直接使用“obs://”路径，无需单独配置。 创建集群时未开启或不支持“OBS权限控制”功能时，请参考 运行程序参数 可选参数，为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能。 常用运行程序参数如下表“运行程序参数”。 服务配置参数 可选参数，用于为本次执行的作业修改服务配置参数。该参数的修改仅适用于本次执行的作业，如需对集群永久生效，请参考 增加，如需删除参数，请单击右侧“删除”。 常用服务配置参数如下表“服务配置参数”。 命令参考 用于展示提交作业时提交到后台执行的命令。

本章节主要介绍如何查看作业配置信息和日志。 背景信息 支持查看所有作业的配置信息。 只有运行中的作业才能查看运行日志信息。 由于Spark SQL和Distcp作业在后台无日志，运行中的Spark SQL和Distcp作业不能查看运行日志信息。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名，进入集群基本信息页面。 3.选择“作业管理”。 4.在需要查看作业对应的“操作”列中，单击“查看详情”。 弹出“查看详情”窗口，显示该作业的配置信息。 5.选择一个运行中的作业，在作业对应的“操作”列中，单击“查看日志”。 弹出一个新页面，显示作业执行的实时日志信息。 每个租户并发提交作业和查看日志的个数均为10。

通过后台提交作业 MRS 3.x及之后版本客户端默认安装路径为“/opt/Bigdata/client”，MRS 3.x之前版本为“/opt/client”。具体以实际为准。 1.参考创建用户页面，创建一个用于提交作业的用户。 本示例创建一个用户开发场景使用的机机用户，并分配了正确的用户组（hadoop、supergroup）、主组（supergroup）和角色权限（Systemadministrator、default）。 2.下载认证凭据。 对于MRS 3.x及之后版本集群，请登录FusionInsight Manager页面选择“系统 > 权限 > 用户”，在新增用户的操作列单击“更多 > 下载认证凭据”。 对于MRS 3.x之前版本集群，请登录MRS Manager页面选择“系统设置 > 用户管理”，在新增用户的操作列单击“更多 > 下载认证凭据”。 3.将与作业相关的jar包上传到集群中，本示例使用Spark自带的样例jar包，位置在“$SPARKHOME/examples/jars”下。 4.上传步骤2创建的用户认证凭据到集群的“/opt”目录下，并执行如下命令解压。 tar –xvfMRSTestxxxxxxkeytab.tar 您将会得到user.keytab和krb5.conf两个文件。 5.在对集群操作之前首先需要执行： source /opt/Bigdata/client/bigdataenv cd $SPARKHOME 6.提交spark作业，使用的命令如下： ./bin/sparksubmitmaster yarn deploymode client conf spark.yarn.principalMRSTest conf spark.yarn.keytab/opt/user.keytab class org.apache.spark.examples.SparkPi examples/jars/sparkexamples2.112.3.2mrs2.0.jar 10 参数解释： 1.yarn的计算能力，指定使用client模式提交该作业。 2.Spark作业的配置项，这里是传入了认证文件和用户名。 3.spark.yarn.principal 第一步创建的用户。 4.spark.yarn.keytab 认证使用的keytab文件。 5.xx.jar 作业的使用的jar。

参数 参数说明 操作类型 记录执行的操作类型，包括： 集群操作 作业操作 数据操作 操作IP 记录执行操作的IP地址。 说明 当MRS集群部署失败时，集群会被自动删除，并且自动删除集群的操作日志中不包含用户的“操作IP”信息。 操作内容 记录实际操作内容，不超过2048字符。 时间 记录操作的时间。对于已删除的集群，界面只显示6个月内的日志信息，若需要查看6个月之前的日志信息，请联系支持人员。

本章节主要介绍如何删除集群。 如果作业执行结束后不需要集群， 可以删除MRS集群。 背景信息 一般在数据完成分析和存储后或集群异常无法提供服务时才执行集群删除操作。当MRS集群部署失败时，集群会被自动删除。 操作步骤 1.登录MRS管理控制台。 2.在左侧导航栏中选择“集群列表 > 现有集群”。 3.在需要删除的集群对应的“操作”列中，单击“删除”。 集群状态由“运行中”更新为“删除中”，待集群删除成功后，集群状态更新为“已删除”，并且显示在“历史集群”中。

状态 描述 正常 主机及主机上的服务角色正常运行。 已隔离 主机被用户隔离，主机上的服务角色停止运行。

本章节主要介绍如何切换集群子网。 MRS支持当子网IP不足时，切换子网到当前集群相同VPC下的其他子网，实现可用子网IP的扩充。切换子网不会影响当前已有节点的IP地址和子网。 如需对网络ACL出规则进行配置请参考下方如何配置网络ACL出规则。 未关联网络ACL时切换子网 1.登录MRS控制台。 2.单击集群名称进入集群详情页。 3.在“默认生效子网”右侧单击“切换子网”。 4.选择待切换子网，并单击“确定”完成切换。 若没有可用子网，请单击“创建子网”进入VPC控制台创建子网后，再在此处引用。 关联网络ACL时切换子网 1.登录MRS控制台，单击集群名称进入集群详情页。 2.MRS集群详情页，查看“虚拟私有云”。 3.进入VPC控制台，在左侧导航处选择“虚拟私有云”，获取步骤2中查询的“虚拟私有云”对应的“IPv4网段”。 4.在VPC控制台左侧导航处选择“访问控制 > 网络ACL”，单击MRS集群默认生效子网和切换后子网关联的网络ACL名称，选择“入方向规则”页签。 说明 若集群的默认生效子网和切换后子网均关联网络ACL，则两个子网关联的网络ACL中均需参考步骤5步骤7增加入方向规则。 详见下图： 网络ACL 5.在第一条规则的“操作”列，选择“更多 > 向前插规则”。 6.添加网络ACL规则，其中“策略”选择“允许”，“源地址”填入步骤3中获取的“虚拟私有云”对应的“IPv4网段”，其他值保持默认即可。 7.单击“确定”完成网络ACL规则添加。 说明 如果您不想放开VPC对应的全部IPv4网段的规则，请参考步骤8步骤12添加切换前后两个子网对应的IPv4网段地址。若已完成VPC对应IPv4网段的规则添加，则无需执行步骤8步骤12的操作。 8.登录MRS控制台。 9.单击集群名称进入集群详情页。 10.在“默认生效子网”右侧单击“切换子网”。 11.获取“默认生效子网”和待切换子网对应的IPv4网段。 须知 此时请勿单击切换子网的“确定”按钮，否则默认生效子网将更新为切换后的子网，切换前的子网不易查询，请谨慎操作。 12.参考步骤4步骤7添加“默认生效子网”和待切换子网的IPv4网段地址到切换前后子网绑定的网络ACL入方向规则中。 13.登录MRS控制台。 14.单击集群名称进入集群详情页。 15.在“默认生效子网”右侧单击“切换子网”。 16.选择待切换子网，并单击“确定”完成切换。

用户可以根据业务需求量，通过简单的缩减Core节点或者Task节点，对集群进行缩容，以使MRS拥有更优的存储、计算能力，降低运维成本。 当集群正在进行主备同步操作时，不允许进行缩容操作。 说明 MRS包周期集群暂不支持缩容，当前仅支持MRS按需集群按指定数量进行缩容。 背景信息 目前支持缩容Core节点和Task节点，不支持缩容Master节点。对集群进行缩容时，只需要在界面调整节点个数，MRS会自动选择缩容节点，完成缩容任务。 自动选择缩容节点的策略如下： 不允许缩容安装了基础组件（Zookeeper，DBService，KrbServer，LdapServer等）的节点，MRS不会选择这些节点进行缩容。因为这些基础组件是集群运行的基础。 Core节点是存放集群业务数据的节点，在缩容时必须保证待缩容节点上的数据被完整迁移到其他节点，即完成各个组件的退服之后，才会执行缩容的后续操作（节点退出Manager和删除ECS等）。在选择Core节点时，会优先选择存储数据量较小，且可退服实例健康状态良好的节点，避免节点退服失败。例如在分析集群上，Core节点安装了DataNode，缩容时会优先选择DataNode存储数据量较小且健康状态良好的节点。 Core节点在缩容的时候，会对原节点上的数据进行迁移。业务上如果对数据位置做了缓存，客户端自动刷新位置信息可能会影响时延。缩容节点可能会影响部分HBase on HDFS数据的第一次访问响应时长，可以重启HBase或者对相关的表Disable/Enable来避免。 Task节点本身不存储集群数据，属于计算节点，不存在节点数据迁移的问题。因此在选择Task节点时，优先选择健康状态为故障、未知、亚健康的节点进行缩容。这些节点实例的健康状态信息可以在MRS上的“实例”管理界面查看。

本章节主要介绍如何查看集群补丁信息。 查看集群组件的补丁信息。如果集群组件，如Hadoop或Spark等出现了异常，可下载补丁版本，选择“集群列表 > 现有集群”，选中一集群并单击集群名，进入集群详情页面升级组件，修复问题。 说明 MRS 3.x版本无补丁版本信息，不涉及此章节。

登录弹性云主机（SSH密码方式） 本地使用Windows操作系统 如果本地主机为Windows操作系统，可以按照下面方式登录弹性云主机。下面步骤以PuTTY为例。 1.登录MapReduce服务管理控制台。 2.选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名称，进入集群基本信息页面。 3.在“节点管理”页签单击Master节点组中某一Master节点名称，登录到弹性云主机管理控制台。 4.选择“弹性公网IP”页签，单击“绑定弹性IP”为弹性云主机绑定一个弹性公网IP并记录该IP地址，若已绑定弹性公网IP请跳过该步骤。 5.运行PuTTY。 6.单击“Session”。 a.Host Name (or IP address)：输入弹性云主机所绑定的弹性公网IP。 b.Port：输入 22。 c.Connection Type：选择 SSH。 d.Saved Sessions：任务名称，在下一次使用PuTTY时就可以单击保存的任务名称，即可打开远程连接。 详见下图： 单击Session 7.单击“Window”，在“Translation”下的“Remote character set:”选择“UTF8”。 8.单击“Open”登录云服务器。 如果首次登录云服务器，PuTTY会显示安全警告对话框，询问是否接受服务器的安全证书。单击“是”将证书保存到本地注册表中。 9.建立到云服务器的SSH连接后，根据提示输入用户名和密码登录弹性云主机。 说明 用户名、密码分别是root和创建集群时设置的密码。 本地使用Linux操作系统 如果本地主机为Linux操作系统，您可以参考步骤1~步骤4为弹性云主机绑定弹性公网IP后，在计算机的命令行中运行如下命令登录弹性云主机：ssh弹性云主机绑定的弹性公网IP

参数 说明 规则名称 用户自定义发送订阅消息的规则名称，只能包含数字、英文字符、中划线和下划线。 提醒通知 选择开启时，将按照该订阅规则为订阅者发送对应订阅消息。 选择关闭时，该规则不会生效，即不会向订阅者发送订阅消息。 主题名称 选择已创建的主题，也可以单击“创建主题”重新创建。 消息类型 选择需要订阅的消息类型。 告警 事件 订阅规则 选择需要订阅的消息规则，可根据需要勾选全部或部分规则。 、 MRS 3.x及之后版本订阅规则： 告警：紧急，重要，次要 事件：重要，次要，提示 MRS 3.x之前版本订阅规则： 致命 严重 一般 提示

本章节主要介绍如何查看集群状态。 集群列表显示MRS所有的集群，集群数量较多时，可采用翻页显示，您可以查看任何状态下的集群。 MRS作为一个海量数据管理和分析平台，数据处理能力在PB级以上。MRS支持创建多个集群，集群创建数量受弹性云主机数量限制。 集群列表默认按时间顺序排列，时间最近的集群显示在最前端。集群列表参数说明如下表所示。 现有集群：包括除了“失败”和“已删除”状态以外的所有集群。 历史集群：仅包含“已删除”的集群，目前界面只显示6个月内创建且已删除的集群，若需要查看6个月以前删除的集群，请联系支持人员。 失败任务管理：仅包含“失败”状态的任务。 −集群创建失败的任务 −集群删除失败的任务 −集群扩容失败的任务 −集群缩容失败的任务 −集群安装补丁失败的任务（仅MRS 3.x之前版本支持） −集群卸载补丁失败的任务（仅MRS 3.x之前版本支持） −集群升级规格失败的任务 集群列表参数 参数 参数说明 名称/ID 集群的名称，创建集群时设置。集群的ID是集群的唯一标识，创建集群时系统自动赋值，不需要用户设置。 ：修改集群名称。 ：复制集群ID。 集群版本 集群的版本号。 节点数 集群部署的节点个数，创建集群时设置。 状态 集群状态、进度信息。 创建集群进度包括： Verifying cluster parameters：校验集群参数中 Applying for cluster resources：申请集群资源中 Creating VMs：创建虚拟机中 Initializing VMs：初始化虚拟机中 Installing MRS Manager：安装MRS Manager中 Deploying the cluster：部署集群中 Cluster installation failed：集群安装失败 扩容集群进度包括： Preparing for cluster expansion：准备扩容中 Creating VM：创建虚拟机中 Initializing VM：初始化虚拟机中 Adding node to the cluster：节点加入集群中 Cluster expansion failed：集群扩容失败 缩容集群进度包括： Preparing for cluster shrink：正在准备缩容 Decommissioning instance：实例退服中 Deleting VM：删除虚拟机中 Deleting node from the cluster：从集群删除节点中 Cluster shrink failed：集群缩容失败 集群安装、扩容、缩容失败，会显示失败的原因，详情请参见创建自定义集群章节“集群创建失败” 中的“错误码表”。 创建时间 集群节点创建成功。 删除时间 集群节点停止时间，也是集群节点开始删除时间。仅“历史集群”会显示此参数。 可用区 集群工作区域下的可用区，创建集群时设置。 企业项目 集群所属的企业项目。 操作 删除：如果作业执行结束后不需要集群，可以单击“删除”，集群状态由“运行中”更新为“删除中”，待集群删除成功后，集群状态更新为“已删除”，并且显示在“历史集群”中。当MRS集群部署失败时，集群会被自动删除。 仅“现有集群”会显示此参数。 说明 一般在数据完成分析和存储后或集群异常无法提供服务时才执行删除操作。如果数据没有完成处理分析，删除集群会导致数据丢失，请谨慎操作。 按钮说明 按钮 说明 在下拉框中选择企业项目，筛选对应集群。 在下拉框中选择集群状态，筛选现有集群。 现有集群 − 所有状态：表示筛选所有的现有集群 − 启动中：表示筛选“启动中”状态的现有集群 − 运行中：表示筛选“运行中”状态的现有集群 − 扩容中：表示筛选“扩容中”状态的现有集群。 − 缩容中：表示筛选“缩容中”状态的现有集群。 − 异常：表示筛选“异常”状态的现有集群 − 删除中：表示筛选“删除中”状态的现有集群 选择“集群列表>现有集群”，单击进入“失败任务管理”页面。 Num：表示“失败”状态的任务数。 在搜索框中输入集群名称或ID，单击，搜索集群。 标签搜索 单击“标签搜索”输入待查询集群的标签，然后单击“搜索”搜索对应集群。 标签键或标签值可以通过下拉列表中选择，当标签键或标签值全匹配时，系统可以自动查询到目标集群。当有多个标签条件时，会取各个标签的交集，进行集群查询。 单击，手动刷新现有集群列表。

本章节主要介绍集群列表。 通过概览信息可以快速查看所有集群和作业的状态，您也可以通过MRS控制台左侧导航的“帮助”中获取MRS相关帮助文档。 MRS用于海量数据的管理和分析，MRS使用简单，用户创建好一个集群，在集群内可新增MapReduce、Spark和Hive等作业，对用户数据进行分析和处理。数据处理完成后，采用SSL加密传输数据至OBS，保证数据的完整性和机密性。 集群状态 登录MRS管理控制台后，MRS所有集群包含的状态如下表所示。 集群状态说明 状态 说明 启动中 集群正在创建，则其状态为“启动中”。 运行中 集群创建成功且集群中所有组件状态均正常，则其状态为“运行中”。 扩容中 集群Core节点或者Task节点正在扩容，则其状态为“扩容中”。 说明 如果集群扩容失败，用户可重新进行扩容操作。 缩容中 当对集群节点进行关机、删除、变更OS、重装OS和修改规格的操作时，被变更的集群节点正在删除，则其状态为“缩容中”。 异常 集群中部分组件状态异常，导致集群异常，则其状态为“异常”。 删除中 集群节点正在删除中，则其状态为“删除中”。 已删除 集群已经删除，仅“历史集群”会显示此参数。 作业状态 登录MRS的管理控制台后，用户在MRS集群中执行的作业包含的状态如下表所示。 作业状态说明 状态 说明 已接受 作业提交成功后的初始状态。 运行中 作业执行过程中，则其状态为“运行中”。 已完成 作业执行完成，并且执行成功，则其状态为“已完成”。 已终止 作业执行过程中，停止执行，则其状态为“已终止”。 异常 作业执行过程中报错，或者作业执行完成，但执行失败，则其状态为“异常”。

参数 说明 名称 引导操作脚本的名称。 只能由数字、英文字符、空格、中划线和下划线组成，且不能以空格开头。 可输入的字符串长度为1～64个字符。 说明 同一集群内，不允许配置相同的名称。不同集群之间，可以配置相同的名称。 脚本路径 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径，必须以s3a://开头，以.sh结尾。例如：s3a://mrssamples/xxx.sh l 虚拟机本地的路径，脚本所在的路径必须以‘/’开头，以.sh结尾。 说明 同一集群内，不允许配置相同的路径。不同集群之间，可以配置相同的路径。 参数 引导操作脚本参数。 执行节点 选择引导操作脚本所执行的节点类型。 执行时机 选择引导操作脚本执行的时间。 组件首次启动前 组件首次启动后 失败操作 该脚本执行失败后，是否继续执行后续脚本和创建集群。 说明 建议您设置为“继续”，无论此引导操作是否执行成功，则集群都能继续创建。

本章节主要介绍如何快速创建Kafka流式集群。 本章节为您介绍如何快速创建一个Kafka流式集群，Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量，可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景，实现高效的流式数据采集，实时数据处理存储等。 快速创建Kafka流式集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息，参数详细信息请参考创建自定义集群。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20200321”。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：不同版本集群提供的组件有所不同，请根据需要选择集群版本。 组件选择：选择“Kafka流式集群”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 集群高可用：默认即可。MRS 3.x版本暂时不支持该参数。 LVM：默认即可。MRS 3.x版本暂时不支持该参数。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权，通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态部分 集群列表参数中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

本章节主要介绍如何创建自定义拓扑集群。 MRS当前提供的“分析集群”、“流式集群”和“混合集群”采用固定模板进行部署集群的进程，无法满足用户自定义部署管理角色和控制角色在集群节点中的需求。如需自定义集群部署方式，可在创建集群时的“集群类型”选择“自定义”，实现用户自主定义集群的进程实例在集群节点中的部署方式。仅MRS 3.x及之后版本支持创建自定义拓扑集群。 自定义集群可实现以下功能： 管控分离部署，管理角色和控制角色分别部署在不同的Master节点中。 管控合设部署，管理角色和控制角色共同部署在Master节点中。 ZooKeeper单独节点部署，增加可靠性。 组件分开部署，避免资源争抢。 MRS集群中角色类型： 管理角色：Management Node(MN)，安装Manager，即MRS集群的管理系统，提供统一的访问入口。Manager对部署在集群中的节点及服务进行集中管理。 控制角色：Control Node(CN)，控制监控数据角色执行存储数据、接收数据、发送进程状态及完成控制节点的公共功能。 MRS的控制节点包括HMaster、HiveServer、ResourceManager、NameNode、JournalNode、SlapdServer等。 数据角色：Data Node(DN)，执行管理角色发出的指示，上报任务状态、存储数据，以及执行数据节点的公共功能。MRS的数据节点包括DataNode、RegionServer、NodeManager等。 创建自定义集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“自定义创建”页签。 4.参考下列参数说明配置集群软件信息，参数详细信息请参考创建自定义集群章节中的MRS集群软件配置表。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20180321”。 集群版本：目前仅MRS 3.x版本支持。 集群类型：选择“自定义”并根据需要勾选对应组件。 5.单击“下一步”，并配置硬件信息。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 安全组：选择“自动创建”。 弹性公网IP：选择“暂不绑定”。 CPU架构：默认即可。MRS 3.x版本无该参数。 常用模板：具体说明请参见下方“自定义集群模板说明”。 实例规格：单击配置实例规格、系统盘和数据盘存储类型和存储空间。 实例数量：请根据业务量调整集群实例数量。具体可参考下方“MRS自定义集群节点部署方案”。 拓扑调整：若常用模板中的部署方式不满足需求或者需要手动安装部分默认安装不部署的实例或者需要手动安装部分实例时，请设置“拓扑调整”为“开启”，然后根据业务需要调整实例部署方式，具体说明请参见下方“自定义集群拓扑调整说明”。 6.单击“下一步”进入高级配置页签。 参数说明请参见创建自定义集群章节中的“高级配置（可选）”。 7.单击“立即创建”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 8.单击“返回集群列表”，可以查看到集群创建的状态。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。

本章节主要介绍如何快速创建Hadoop分析集群。 本章节为您介绍如何快速创建一个Hadoop分析集群，Hadoop完全使用开源Hadoop生态，采用YARN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flink流式数据计算，Presto交互式查询，Tez有向无环图的分布式计算框架等Hadoop生态圈的组件，进行海量数据分析与查询。 快速创建Hadoop分析集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息，参数详细信息请参考创建自定义集群。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20180321”。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：选择“Hadoop分析集群”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 集群高可用：默认即可。MRS 3.x版本暂时不支持该参数。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权，通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态部分 集群列表参数中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

策略类别 IAM策略 同步后用户在MRS对应默认权限 是否有权限执行同步操作 是否有权限提交作业 细粒度 MRS ReadOnlyAccess Managerviewer 否 否 细粒度 MRS CommonOperations lManagerviewer default launcherjob 否 是 细粒度 MRS FullAccess Manageradministrator Managerauditor Manageroperator Managertenant Managerviewer Systemadministrator default launcherjob 是 是 RBAC MRS Administrator Manageradministrator Managerauditor Manageroperator Managertenant Managerviewer Systemadministrator default launcherjob 否 是 RBAC Server Administrator、Tenant Guest和MRS Administrator Manageradministrator Managerauditor Manageroperator Managertenant Managerviewer Systemadministrator default launcherjob 是 是 RBAC Tenant Administrator Manageradministrator Managerauditor Manageroperator Managertenant Managerviewer Systemadministrator default launcherjob 是 是 自定义 Custom policy（自定义策略） Managerviewer default launcherjob 自定义策略以RBAC策略为模板则参考RBAC策略。 自定义策略以细粒度策略为模板则参考细粒度策略，建议使用细粒度策略。 是

本章节主要介绍如何创建MRS操作用户。 如果您需要对您所拥有的MapReduce服务（MapReduce Service）进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），通过IAM，您可以： 根据企业的业务组织，在您的云帐号中，给企业中不同职能部门的员工创建IAM用户，让员工拥有唯一安全凭证，并使用MRS资源。 根据企业用户的职能，设置不同的访问权限，以达到用户之间的权限隔离。 将MRS资源委托给更专业、高效的其他云帐号或者云服务，这些帐号或者云服务可以根据权限进行代运维。 如果云帐号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用MRS服务的其它功能。 本章节为您介绍对用户授权的方法，操作流程如下图所示。 前提条件 给用户组授权之前，请您了解用户组可以添加的MRS权限，并结合实际需求进行选择。 示例流程 详见下图： 给用户授权MRS权限流程 1.创建用户组并授权 在IAM控制台创建用户组，并授予MRS服务对应权限。 2.创建用户并加入用户组 在IAM控制台创建用户，并将其加入上述创建用户组并授权中创建的用户组。 3.用户登录并验证权限 新创建的用户登录控制台，切换至授权区域，验证权限： −在“服务列表”中选择MRS服务，进入MRS主界面，单击右上角“创建集群”，尝试创建MRS集群，如果无法创建MRS集群（假设当前权限仅包含MRS ReadOnlyAccess），表示“MRS ReadOnlyAccess”已生效。 −在“服务列表”中选择除MRS服务外（假设当前策略仅包含MRS ReadOnlyAccess）的任一服务，若提示权限不足，表示“MRS ReadOnlyAccess”已生效。

本章节主要介绍安全认证原理和认证机制。 功能 开启了 Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。 Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”，后来沿用作为安全认证的概念，使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。 原理 Kerberos的原理架构和各模块的说明如下图所示： 原理架构 模块说明 App Client：应用客户端，通常是需要提交任务（或者作业）的应用程序。 App Server：应用服务端，通常是应用客户端需要访问的应用程序。 Key Distribution Center（KDC）：提供安全认证的服务。 Database：存储Principal数据。 Authentication Server（AS）：认证服务器，认证客户端身份，发放客户访问TGS的票据授权票据（TGT）。 Ticket Granting Server（TGS）：票据授予服务器，发放应用客户端访问应用服务端所需的服务票据（ST）。 步骤原理说明 应用客户端（App Client）可以是集群内某个服务，也可以是客户二次开发的一个应用程序，应用程序可以向应用服务提交任务或者作业。 1. ASREQ：App Client在提交任务或者作业前，需要向AS申请TGT，用于建立和TGS的安全会话。 2. ASREP：AS在收到TGT请求后，会解析其中的参数来生成对应的TGT，使用App Client指定的用户名的密钥进行加密响应消息。 3. TGSREQ：App Client收到TGT响应消息后，解析获取TGT，此时，再由App Client（通常是RPC底层）向TGS获取应用服务端的ST。 4. TGSREP：TGS在收到ST请求后，校验其中的TGT合法后，生成对应的App Server的ST，再使用App Server密钥将响应消息进行加密处理。 5. APREQ：App Client收到ST响应消息后，将ST打包到发给App Server的消息里面传输给对应的App Server。 6. APREP：App Server端收到请求后，使用App Server对应的密钥解析其中的ST，并校验成功后，本次请求合法通过。 说明 1. Kerberos认证时需要配置Kerberos认证所需要的文件参数，主要包含keytab路径，Kerberos认证的principal，Kerberos认证所需要的客户端配置krb5.conf文件。 2. 方法login()为调用的UserGroupInformation的方法执行Kerberos认证，生成TGT票据。 3. 方法doSth()调用hadoop的接口访问文件系统，此时底层RPC会自动携带TGT去Kerberos认证，生成ST票据。

本章节主要介绍使用Spark的操作指导。 前提条件 已安装客户端。 例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Spark客户端 1. 安装客户端。 2. 登录安装客户端的节点。 3. 执行以下命令，切换到客户端安装目录，例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 直接执行命令。例如： 7. plaintext sparksql

本章节主要介绍使用Hive的操作指导。 操作场景 该任务指导用户在运维场景或业务场景中使用Hive客户端。 前提条件 已安装客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Hive客户端 1. 安装客户端，具体请参考安装客户端章节。 2. 用户登录安装客户端的节点。 3. 执行以下命令，切换到客户端安装目录，例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 将实际的zookeeper主机名替换以下命令中的zkhostname1、zkhostname2、zkhostname3，执行命令登录Hive客户端。 plaintext beeline u "jdbc:hive2://zkhostname1:2181,zkhostname2:2181,zkhostname3:2181/default;serviceDiscoveryModezooKeeper;zooKeeperNamespacehiveserver2" 说明 beeline连接后可以编写并提交HQL语句执行相关任务。

本章节主要介绍如何通过后台提交并运行Flink作业。 通过后台提交作业 目前Flink客户端默认安装路径为“/usr/local/flink”。具体以实际为准。 1. 通过SSH方式登录集群。 2. 配置环境变量。 在/etc/profile添加如下配置： export HADOOPHOME/usr/local/hadoop3 export FLINKHOME/usr/local/flink export PATHPATH:PATH:FLINKHOME/bin:HADOOPHOME/bin export HADOOPCONFDIRHADOOPHOME/bin exportHADOOPCONFDIRHADOOPHOME/etc/hadoop export PATHPATH:PATH:HADOOPCONFDIR export HADOOPCLASSPATHhadoop classpath 执行如下命令初始化环境变量 source /etc/profile 3. 集群默认开启Kerberos认证，需要执行以下命令以完成认证。 示例： klist kt /etc/security/keytabs/flink.keytab 获取flink.keytab的principalname kinit kt /etc/security/keytabs/flink.keytab flink.keytab的principalname 同时，应配置安全认证。在“/usr/local/flink/conf/flinkconf.yaml”配置文件中的对应配置添加keytab路径以及用户名。 security.kerberos.login.useticketcache: true security.kerberos.login.keytab: security.kerberos.login.principal: user security.kerberos.login.contexts: Client,KafkaClient 例如： security.kerberos.login.keytab: /etc/security/keytabs/hdfs.keytab security.kerberos.login.principal: hdfs 4. 运行wordcount作业。 首先执行上述第3步骤中的认证操作，然后启动Flink集群。 /usr/local/flink/bin/startcluster.sh Session模式 执行如下命令在session中提交作业。 yarnsession.sh nm "sessionname" detached flink run /usr/local/flink/examples/streaming/WordCount.jar 提交成功后，会返回已提交的Flink作业的YARN Application ID以及Web地址，访问Web地址以通过Web UI的方式查看作业状态。 Application模式 执行如下命令以Application方式提交作业。 flink runapplication t yarnapplication/usr/local/flink/examples/streaming/WordCount.jar 提交成功后，会返回已提交的Flink作业的YARN Application ID以及Web地址，访问Web地址以通过Web UI的方式查看作业状态。

本章节主要介绍操作类问题中有帐号权限的问题。 如果不开启Kerberos认证，MRS集群能否支持访问权限细分？ MRS 2.1.0及之前版本：在MRS Manager页面选择“系统设置”>“配置”>“权限配置”查询。 MRS 3.x及之后版本：在FusionInsight Manager页面选择“系统 > 权限”查询。 如何给集群内用户添加租户管理权限？ 分析集群和混合集群支持添加租户管理权限，流式集群不支持添加租户管理权限。给新建帐号添加租户管理权限方法如下： MRS3.x之前版本 1.登录MRS Manager。 2.在“系统设置 > 用户管理”中选择新建的用户，单击“操作”列中的“修改”。 3.在“分配角色权限”中单击“选择并绑定角色”。 绑定Managertenant角色，则该帐号拥有租户管理的查看权限。 绑定Manageradministrator角色，则该帐号拥有租户管理的查看和操作权限。 4.单击“确定”完成修改。 MRS3.x及之后版本 1.登录FusionInsight Manager，选择“系统 > 权限 > 用户”。 2.在要修改信息的用户所在行，单击“修改”。 根据实际情况，修改对应参数。 绑定Managertenant角色，则该帐号拥有租户管理的查看权限。绑定Manageradministrator角色，则该帐号拥有租户管理的查看和操作权限。 说明 修改用户的用户组，或者修改用户的角色权限，最长可能需要3分钟时间生效。 3.单击“确定”完成修改操作。 为什么在Manager中找不到用户管理页面？ 当前登录用户没有Manageradministrator角色权限，所以在MRS Manager中无法查看“用户管理”相关内容，请使用admin用户或者其他具有Manager管理权限的用户重新登录Manager。 Hue有配置帐号权限的功能吗？ Hue服务没有配置帐号权限的功能。 可以通过在Manager的“系统设置”中配置用户角色和用户组来配置帐号权限，从而实现Hue权限的配置。

本章节主要介绍 配置并使用互信集群的用户 。 操作场景 配置完跨集群互信后，需要在互信的集群上设置用户的权限，这样本集群中的用户才能访问互信集群中同名用户可访问的资源。 说明 该章节操作仅适用于MRS 3.x之前版本集群。MRS3.x及之后版本集群请参考 前提条件 已完成跨集群互信配置，然后刷新两个集群的客户端。 操作步骤 在集群A的MRS Manager，选择“系统设置 > 用户管理”，检查互信集群B的用户，是否在A集群中已存在相同名字用户。 是，执行步骤2。 否，执行步骤3。 1. 单击用户名左侧的 展开用户的详细信息，检查该用户所在的用户组和角色分配的权限是否满足本次业务需求。 例如，集群A的“admin”用户拥有查看本集群HDFS中目录“/tmp”并创建文件的权限，然后执行步骤4。 2. 创建业务所需要使用的用户，同时关联业务所需要的用户组或者角色。然后执行步骤4。 3. 选择“服务管理 > HDFS > 实例”，查看“NameNode(主)”的“管理IP”。 4. 登录集群B的客户端节点。 例如在Master2节点更新客户端，则在该节点登录客户端，具体参见使用MRS客户端。 5. 执行以下命令，查看集群A中的目录“/tmp”。 hdfs dfs ls hdfs://192.168.6.159:9820/tmp 其中，192.168.6.159是集群A中主NameNode的IP地址，9820是客户端与NameNode通信的默认端口。 6. 执行以下命令，在集群A中的目录“/tmp”创建一个文件。 hdfs dfs touchz hdfs://192.168.6.159:9820/tmp/mrstest.txt 访问集群A，在目录“/tmp”中可查询到mrstest.txt文件，则表示配置跨集群互信成功。

本章节主要介绍操作类问题中有关集群创建的问题。 如何使用自定义安全组创建MRS集群？ 使用自定义安全组创建MRS集群有以下两种方式： 用户购买集群时，选择使用自己创建的安全组时，需要放开9022端口。 用户购买集群时，安全组选择“自动创建”。 创建MRS集群时，为什么找不到HDFS、Yarn、MapReduce组件？ HDFS、Yarn和MapReduce组件包含在Hadoop组件中，当创建MRS集群时无法看到HDFS、Yarn和MapReduce组件，勾选Hadoop组件并等待集群创建完成后即可在“组件管理”页签看到HDFS、Yarn和MapReduce组件。 创建MRS集群时，为什么找不到ZooKeeper组件？ 创建MRS 3.x之前版本集群时，ZooKeeper组件为默认安装的组件，不在创建集群的界面上显示。 集群创建完成后可在集群“组件管理”页签看到ZooKeeper组件。 创建MRS 3.x及之后版本集群时，可以在创建集群的界面看到ZooKeeper组件，并默认勾选。

本章节主要介绍修改操作系统用户密码。 操作场景 该任务指导用户定期修改MRS集群节点操作系统用户“omm”、“ommdba”、"root"的登录密码，以提升系统运维安全性。 各节点“omm”、“ommdba”、"root"无需设置为统一的密码。 操作步骤 登录Master1节点，然后登录要修改操作系统用户密码的其他节点。 1. 执行以下命令切换到用户。 sudo su root 执行如下命令，修改omm/ommdba/root用户密码。 passwd omm passwd ommdba passwd root 例如omm：passwd，系统显示： Changing password for user omm. New password: 输入用户的新密码。操作系统的密码修改策略由用户实际使用的操作系统类型决定。 Retype new password: passwd: all authentication tokens updated successfully. 说明 MRS集群默认密码复杂度要求： 密码字符长度至少8位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符'~!@$%^&()+[{}];:'", /?中的3种类型字符。 重置的密码不能是最近5次使用过的密码。

本章节主要介绍修复隔离主机补丁 。 若集群中存在主机被隔离的情况，集群补丁安装完成后，请参见本节操作对隔离主机进行补丁修复。修复完成后，被隔离的主机节点版本将与其他未被隔离的主机节点一致。 访问MRS Manager，详细操作请参见访问MRS Manager（MRS2.x及之前版本）。 1. 选择“系统设置 > 补丁管理”，进入补丁管理页面。 2. 在“操作”列表中，单击“详情”。 3. 在补丁详情界面，选中“Status”是“Isolated”的主机节点。 4. 单击“Select and Restore”，修复被隔离的主机节点。

本章节主要介绍 修改操作用户密码 。 操作场景 出于MRS集群安全的考虑，“人机”类型系统用户密码必须定期修改。该任务指导用户通过MRS Manager完成修改自身密码工作。 如需对用户修改的密码使用新的密码策略，请先修改密码策略，再参考本章节修改密码。 说明 该章节操作仅适用于MRS 3.x之前版本集群。MRS3.x及之后版本集群请参考 对系统的影响 修改MRS集群用户密码后，如果以前下载过用户认证文件，则需要重新下载并获取keytab文件。 前提条件 从管理员获取当前的密码策略。 从管理员获取MRS Manager访问地址。 开启Kerberos认证的集群或开启弹性公网IP功能的普通集群。 操作步骤 访问MRS Manager，详细操作请参见访问MRSManager（MRS2.x及之前版本）。 1. 在MRS Manager，移动鼠标到界面右上角的。 在弹出菜单，选择“修改密码”。 2. 分别输入“旧密码”、“新密码”、“确认新密码”，单击“确定”完成修改。 集群中，默认的密码复杂度要求： 密码字符长度为8～32位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符'~!@$%^&()+[{}];:'", /?中的3种类型字符。 不能与用户名或倒序的用户名相同。