本章节主要介绍集群列表。 通过概览信息可以快速查看所有集群和作业的状态，您也可以通过MRS控制台左侧导航的“帮助”中获取MRS相关帮助文档。 MRS用于海量数据的管理和分析，MRS使用简单，用户创建好一个集群，在集群内可新增MapReduce、Spark和Hive等作业，对用户数据进行分析和处理。数据处理完成后，采用SSL加密传输数据至OBS，保证数据的完整性和机密性。 集群状态 登录MRS管理控制台后，MRS所有集群包含的状态如下表所示。 集群状态说明 状态 说明 启动中 集群正在创建，则其状态为“启动中”。 运行中 集群创建成功且集群中所有组件状态均正常，则其状态为“运行中”。 扩容中 集群Core节点或者Task节点正在扩容，则其状态为“扩容中”。 说明 如果集群扩容失败，用户可重新进行扩容操作。 缩容中 当对集群节点进行关机、删除、变更OS、重装OS和修改规格的操作时，被变更的集群节点正在删除，则其状态为“缩容中”。 异常 集群中部分组件状态异常，导致集群异常，则其状态为“异常”。 删除中 集群节点正在删除中，则其状态为“删除中”。 已删除 集群已经删除，仅“历史集群”会显示此参数。 作业状态 登录MRS的管理控制台后，用户在MRS集群中执行的作业包含的状态如下表所示。 作业状态说明 状态 说明 已接受 作业提交成功后的初始状态。 运行中 作业执行过程中，则其状态为“运行中”。 已完成 作业执行完成，并且执行成功，则其状态为“已完成”。 已终止 作业执行过程中，停止执行，则其状态为“已终止”。 异常 作业执行过程中报错，或者作业执行完成，但执行失败，则其状态为“异常”。

参数 说明 名称 引导操作脚本的名称。 只能由数字、英文字符、空格、中划线和下划线组成，且不能以空格开头。 可输入的字符串长度为1～64个字符。 说明 同一集群内，不允许配置相同的名称。不同集群之间，可以配置相同的名称。 脚本路径 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径，必须以s3a://开头，以.sh结尾。例如：s3a://mrssamples/xxx.sh l 虚拟机本地的路径，脚本所在的路径必须以‘/’开头，以.sh结尾。 说明 同一集群内，不允许配置相同的路径。不同集群之间，可以配置相同的路径。 参数 引导操作脚本参数。 执行节点 选择引导操作脚本所执行的节点类型。 执行时机 选择引导操作脚本执行的时间。 组件首次启动前 组件首次启动后 失败操作 该脚本执行失败后，是否继续执行后续脚本和创建集群。 说明 建议您设置为“继续”，无论此引导操作是否执行成功，则集群都能继续创建。

本章节主要介绍如何快速创建Kafka流式集群。 本章节为您介绍如何快速创建一个Kafka流式集群，Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量，可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景，实现高效的流式数据采集，实时数据处理存储等。 快速创建Kafka流式集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息，参数详细信息请参考创建自定义集群。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20200321”。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：不同版本集群提供的组件有所不同，请根据需要选择集群版本。 组件选择：选择“Kafka流式集群”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 集群高可用：默认即可。MRS 3.x版本暂时不支持该参数。 LVM：默认即可。MRS 3.x版本暂时不支持该参数。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权，通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态部分 集群列表参数中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

本章节主要介绍如何创建自定义拓扑集群。 MRS当前提供的“分析集群”、“流式集群”和“混合集群”采用固定模板进行部署集群的进程，无法满足用户自定义部署管理角色和控制角色在集群节点中的需求。如需自定义集群部署方式，可在创建集群时的“集群类型”选择“自定义”，实现用户自主定义集群的进程实例在集群节点中的部署方式。仅MRS 3.x及之后版本支持创建自定义拓扑集群。 自定义集群可实现以下功能： 管控分离部署，管理角色和控制角色分别部署在不同的Master节点中。 管控合设部署，管理角色和控制角色共同部署在Master节点中。 ZooKeeper单独节点部署，增加可靠性。 组件分开部署，避免资源争抢。 MRS集群中角色类型： 管理角色：Management Node(MN)，安装Manager，即MRS集群的管理系统，提供统一的访问入口。Manager对部署在集群中的节点及服务进行集中管理。 控制角色：Control Node(CN)，控制监控数据角色执行存储数据、接收数据、发送进程状态及完成控制节点的公共功能。 MRS的控制节点包括HMaster、HiveServer、ResourceManager、NameNode、JournalNode、SlapdServer等。 数据角色：Data Node(DN)，执行管理角色发出的指示，上报任务状态、存储数据，以及执行数据节点的公共功能。MRS的数据节点包括DataNode、RegionServer、NodeManager等。 创建自定义集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“自定义创建”页签。 4.参考下列参数说明配置集群软件信息，参数详细信息请参考创建自定义集群章节中的MRS集群软件配置表。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20180321”。 集群版本：目前仅MRS 3.x版本支持。 集群类型：选择“自定义”并根据需要勾选对应组件。 5.单击“下一步”，并配置硬件信息。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 安全组：选择“自动创建”。 弹性公网IP：选择“暂不绑定”。 CPU架构：默认即可。MRS 3.x版本无该参数。 常用模板：具体说明请参见下方“自定义集群模板说明”。 实例规格：单击配置实例规格、系统盘和数据盘存储类型和存储空间。 实例数量：请根据业务量调整集群实例数量。具体可参考下方“MRS自定义集群节点部署方案”。 拓扑调整：若常用模板中的部署方式不满足需求或者需要手动安装部分默认安装不部署的实例或者需要手动安装部分实例时，请设置“拓扑调整”为“开启”，然后根据业务需要调整实例部署方式，具体说明请参见下方“自定义集群拓扑调整说明”。 6.单击“下一步”进入高级配置页签。 参数说明请参见创建自定义集群章节中的“高级配置（可选）”。 7.单击“立即创建”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 8.单击“返回集群列表”，可以查看到集群创建的状态。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。

本章节主要介绍如何快速创建Hadoop分析集群。 本章节为您介绍如何快速创建一个Hadoop分析集群，Hadoop完全使用开源Hadoop生态，采用YARN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flink流式数据计算，Presto交互式查询，Tez有向无环图的分布式计算框架等Hadoop生态圈的组件，进行海量数据分析与查询。 快速创建Hadoop分析集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息，参数详细信息请参考创建自定义集群。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20180321”。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：选择“Hadoop分析集群”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 集群高可用：默认即可。MRS 3.x版本暂时不支持该参数。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权，通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态部分 集群列表参数中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

策略类别 IAM策略 同步后用户在MRS对应默认权限 是否有权限执行同步操作 是否有权限提交作业 细粒度 MRS ReadOnlyAccess Managerviewer 否 否 细粒度 MRS CommonOperations lManagerviewer default launcherjob 否 是 细粒度 MRS FullAccess Manageradministrator Managerauditor Manageroperator Managertenant Managerviewer Systemadministrator default launcherjob 是 是 RBAC MRS Administrator Manageradministrator Managerauditor Manageroperator Managertenant Managerviewer Systemadministrator default launcherjob 否 是 RBAC Server Administrator、Tenant Guest和MRS Administrator Manageradministrator Managerauditor Manageroperator Managertenant Managerviewer Systemadministrator default launcherjob 是 是 RBAC Tenant Administrator Manageradministrator Managerauditor Manageroperator Managertenant Managerviewer Systemadministrator default launcherjob 是 是 自定义 Custom policy（自定义策略） Managerviewer default launcherjob 自定义策略以RBAC策略为模板则参考RBAC策略。 自定义策略以细粒度策略为模板则参考细粒度策略，建议使用细粒度策略。 是

本章节主要介绍如何创建MRS操作用户。 如果您需要对您所拥有的MapReduce服务（MapReduce Service）进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），通过IAM，您可以： 根据企业的业务组织，在您的云帐号中，给企业中不同职能部门的员工创建IAM用户，让员工拥有唯一安全凭证，并使用MRS资源。 根据企业用户的职能，设置不同的访问权限，以达到用户之间的权限隔离。 将MRS资源委托给更专业、高效的其他云帐号或者云服务，这些帐号或者云服务可以根据权限进行代运维。 如果云帐号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用MRS服务的其它功能。 本章节为您介绍对用户授权的方法，操作流程如下图所示。 前提条件 给用户组授权之前，请您了解用户组可以添加的MRS权限，并结合实际需求进行选择。 示例流程 详见下图： 给用户授权MRS权限流程 1.创建用户组并授权 在IAM控制台创建用户组，并授予MRS服务对应权限。 2.创建用户并加入用户组 在IAM控制台创建用户，并将其加入上述创建用户组并授权中创建的用户组。 3.用户登录并验证权限 新创建的用户登录控制台，切换至授权区域，验证权限： −在“服务列表”中选择MRS服务，进入MRS主界面，单击右上角“创建集群”，尝试创建MRS集群，如果无法创建MRS集群（假设当前权限仅包含MRS ReadOnlyAccess），表示“MRS ReadOnlyAccess”已生效。 −在“服务列表”中选择除MRS服务外（假设当前策略仅包含MRS ReadOnlyAccess）的任一服务，若提示权限不足，表示“MRS ReadOnlyAccess”已生效。

本章节主要介绍如何通过Ranger进行UDF管控。 在大数据平台中，UDF常用于扩展SQL的表达能力，例如字符串处理、脱敏转换、时间计算等。但如果缺少统一的权限管控，部分高风险UDF可能被滥用，进而带来数据泄露、越权访问或不符合规范的计算行为。因此，需要通过Ranger对UDF的访问进行统一治理，实现对函数使用范围的精细化控制。 操作步骤 1、登录Range的WebUI界面（操作详情见“登录Ranger WebUI界面”）。 2、点击Hadoop SQL下的Hive页签，您可以对Hive UDF进行权限管控： 1）点击右上角的“Add New Policy”添加新策略。 2）Ranger Hive可以配置UDF权限，例如配置一个用户是否可以使用、创建UDF，具体配置见下图。 具体参数说明如下： 参数名称 描述 Policy Name 策略名称，可自定义，不能与本服务内其他策略名称重复。 Policy Label 为当前策略指定一个标签，您可以根据这些标签搜索报告和筛选策略。 database 将适用该策略的列Hive数据库名称。 udf 指定UDF的名称。 Description 策略描述信息。 Audit Logging 是否审计此策略。 Allow Conditions 策略允许条件，配置本策略内允许的权限及例外。 如需添加多条权限控制规则，可单击+按钮添加。 如需当前条件中的用户或用户组管理本条策略，可勾选“Delegate Admin”，这些用户将成为受委托的管理员。被委托的管理员可以更新、删除本策略，它还可以基于原始策略创建子策略。 Deny Conditions 策略拒绝条件，配置本策略内拒绝的权限及例外，配置方法与“Allow Conditions”类似。 3）如果该函数由 Hive 注册，且函数类型为 UDAF，则在 Ranger 配置 Policy 时需要特别注意 Database 字段的填写方式。此类函数的库名前需要补充前缀 @。例如，若函数的限定名称为 testdb.testfunction，则在 Policy 配置页面中，Database 应填写为 @testdb。

本章节主要介绍解锁用户。 在用户输入错误密码次数大于允许输入错误次数，造成用户被锁定或者用户被管理员手动锁定后需要解锁用户的场景下，管理员用户可以通过Manager为锁定的用户解锁。开启Kerberos认证的集群或开启弹性公网IP功能的普通集群支持该操作。 说明 该章节操作仅适用于MRS 3.x之前版本集群。MRS3.x及之后版本集群请参考 操作步骤 访问MRS Manager，详细操作请参见访问MRSManager（MRS2.x及之前版本）。 1. 在MRS Manager，单击“系统设置”。 2. 在“权限配置”区域，单击“用户管理”。 3. 在要解锁用户所在行，选择“解锁用户”，解锁用户。 4. 在弹出的提示窗口，单击“确定”完成解锁操作。

本章节主要介绍安全认证原理和认证机制。 功能 开启了 Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。 Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”，后来沿用作为安全认证的概念，使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。 原理 Kerberos的原理架构和各模块的说明如下图所示： 原理架构 模块说明 App Client：应用客户端，通常是需要提交任务（或者作业）的应用程序。 App Server：应用服务端，通常是应用客户端需要访问的应用程序。 Key Distribution Center（KDC）：提供安全认证的服务。 Database：存储Principal数据。 Authentication Server（AS）：认证服务器，认证客户端身份，发放客户访问TGS的票据授权票据（TGT）。 Ticket Granting Server（TGS）：票据授予服务器，发放应用客户端访问应用服务端所需的服务票据（ST）。 步骤原理说明 应用客户端（App Client）可以是集群内某个服务，也可以是客户二次开发的一个应用程序，应用程序可以向应用服务提交任务或者作业。 1. ASREQ：App Client在提交任务或者作业前，需要向AS申请TGT，用于建立和TGS的安全会话。 2. ASREP：AS在收到TGT请求后，会解析其中的参数来生成对应的TGT，使用App Client指定的用户名的密钥进行加密响应消息。 3. TGSREQ：App Client收到TGT响应消息后，解析获取TGT，此时，再由App Client（通常是RPC底层）向TGS获取应用服务端的ST。 4. TGSREP：TGS在收到ST请求后，校验其中的TGT合法后，生成对应的App Server的ST，再使用App Server密钥将响应消息进行加密处理。 5. APREQ：App Client收到ST响应消息后，将ST打包到发给App Server的消息里面传输给对应的App Server。 6. APREP：App Server端收到请求后，使用App Server对应的密钥解析其中的ST，并校验成功后，本次请求合法通过。 说明 1. Kerberos认证时需要配置Kerberos认证所需要的文件参数，主要包含keytab路径，Kerberos认证的principal，Kerberos认证所需要的客户端配置krb5.conf文件。 2. 方法login()为调用的UserGroupInformation的方法执行Kerberos认证，生成TGT票据。 3. 方法doSth()调用hadoop的接口访问文件系统，此时底层RPC会自动携带TGT去Kerberos认证，生成ST票据。

本章节主要介绍使用Spark的操作指导。 前提条件 已安装客户端。 例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Spark客户端 1. 安装客户端。 2. 登录安装客户端的节点。 3. 执行以下命令，切换到客户端安装目录，例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 直接执行命令。例如： 7. plaintext sparksql

本章节主要介绍使用Hive的操作指导。 操作场景 该任务指导用户在运维场景或业务场景中使用Hive客户端。 前提条件 已安装客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Hive客户端 1. 安装客户端，具体请参考安装客户端章节。 2. 用户登录安装客户端的节点。 3. 执行以下命令，切换到客户端安装目录，例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 将实际的zookeeper主机名替换以下命令中的zkhostname1、zkhostname2、zkhostname3，执行命令登录Hive客户端。 plaintext beeline u "jdbc:hive2://zkhostname1:2181,zkhostname2:2181,zkhostname3:2181/default;serviceDiscoveryModezooKeeper;zooKeeperNamespacehiveserver2" 说明 beeline连接后可以编写并提交HQL语句执行相关任务。

本章节主要介绍如何通过后台提交并运行Flink作业。 通过后台提交作业 目前Flink客户端默认安装路径为“/usr/local/flink”。具体以实际为准。 1. 通过SSH方式登录集群。 2. 配置环境变量。 在/etc/profile添加如下配置： export HADOOPHOME/usr/local/hadoop3 export FLINKHOME/usr/local/flink export PATHPATH:PATH:FLINKHOME/bin:HADOOPHOME/bin export HADOOPCONFDIRHADOOPHOME/bin exportHADOOPCONFDIRHADOOPHOME/etc/hadoop export PATHPATH:PATH:HADOOPCONFDIR export HADOOPCLASSPATHhadoop classpath 执行如下命令初始化环境变量 source /etc/profile 3. 集群默认开启Kerberos认证，需要执行以下命令以完成认证。 示例： klist kt /etc/security/keytabs/flink.keytab 获取flink.keytab的principalname kinit kt /etc/security/keytabs/flink.keytab flink.keytab的principalname 同时，应配置安全认证。在“/usr/local/flink/conf/flinkconf.yaml”配置文件中的对应配置添加keytab路径以及用户名。 security.kerberos.login.useticketcache: true security.kerberos.login.keytab: security.kerberos.login.principal: user security.kerberos.login.contexts: Client,KafkaClient 例如： security.kerberos.login.keytab: /etc/security/keytabs/hdfs.keytab security.kerberos.login.principal: hdfs 4. 运行wordcount作业。 首先执行上述第3步骤中的认证操作，然后启动Flink集群。 /usr/local/flink/bin/startcluster.sh Session模式 执行如下命令在session中提交作业。 yarnsession.sh nm "sessionname" detached flink run /usr/local/flink/examples/streaming/WordCount.jar 提交成功后，会返回已提交的Flink作业的YARN Application ID以及Web地址，访问Web地址以通过Web UI的方式查看作业状态。 Application模式 执行如下命令以Application方式提交作业。 flink runapplication t yarnapplication/usr/local/flink/examples/streaming/WordCount.jar 提交成功后，会返回已提交的Flink作业的YARN Application ID以及Web地址，访问Web地址以通过Web UI的方式查看作业状态。

本章节主要介绍操作类问题中有帐号权限的问题。 如果不开启Kerberos认证，MRS集群能否支持访问权限细分？ MRS 2.1.0及之前版本：在MRS Manager页面选择“系统设置”>“配置”>“权限配置”查询。 MRS 3.x及之后版本：在FusionInsight Manager页面选择“系统 > 权限”查询。 如何给集群内用户添加租户管理权限？ 分析集群和混合集群支持添加租户管理权限，流式集群不支持添加租户管理权限。给新建帐号添加租户管理权限方法如下： MRS3.x之前版本 1.登录MRS Manager。 2.在“系统设置 > 用户管理”中选择新建的用户，单击“操作”列中的“修改”。 3.在“分配角色权限”中单击“选择并绑定角色”。 绑定Managertenant角色，则该帐号拥有租户管理的查看权限。 绑定Manageradministrator角色，则该帐号拥有租户管理的查看和操作权限。 4.单击“确定”完成修改。 MRS3.x及之后版本 1.登录FusionInsight Manager，选择“系统 > 权限 > 用户”。 2.在要修改信息的用户所在行，单击“修改”。 根据实际情况，修改对应参数。 绑定Managertenant角色，则该帐号拥有租户管理的查看权限。绑定Manageradministrator角色，则该帐号拥有租户管理的查看和操作权限。 说明 修改用户的用户组，或者修改用户的角色权限，最长可能需要3分钟时间生效。 3.单击“确定”完成修改操作。 为什么在Manager中找不到用户管理页面？ 当前登录用户没有Manageradministrator角色权限，所以在MRS Manager中无法查看“用户管理”相关内容，请使用admin用户或者其他具有Manager管理权限的用户重新登录Manager。 Hue有配置帐号权限的功能吗？ Hue服务没有配置帐号权限的功能。 可以通过在Manager的“系统设置”中配置用户角色和用户组来配置帐号权限，从而实现Hue权限的配置。

本章节主要介绍 配置并使用互信集群的用户 。 操作场景 配置完跨集群互信后，需要在互信的集群上设置用户的权限，这样本集群中的用户才能访问互信集群中同名用户可访问的资源。 说明 该章节操作仅适用于MRS 3.x之前版本集群。MRS3.x及之后版本集群请参考 前提条件 已完成跨集群互信配置，然后刷新两个集群的客户端。 操作步骤 在集群A的MRS Manager，选择“系统设置 > 用户管理”，检查互信集群B的用户，是否在A集群中已存在相同名字用户。 是，执行步骤2。 否，执行步骤3。 1. 单击用户名左侧的 展开用户的详细信息，检查该用户所在的用户组和角色分配的权限是否满足本次业务需求。 例如，集群A的“admin”用户拥有查看本集群HDFS中目录“/tmp”并创建文件的权限，然后执行步骤4。 2. 创建业务所需要使用的用户，同时关联业务所需要的用户组或者角色。然后执行步骤4。 3. 选择“服务管理 > HDFS > 实例”，查看“NameNode(主)”的“管理IP”。 4. 登录集群B的客户端节点。 例如在Master2节点更新客户端，则在该节点登录客户端，具体参见使用MRS客户端。 5. 执行以下命令，查看集群A中的目录“/tmp”。 hdfs dfs ls hdfs://192.168.6.159:9820/tmp 其中，192.168.6.159是集群A中主NameNode的IP地址，9820是客户端与NameNode通信的默认端口。 6. 执行以下命令，在集群A中的目录“/tmp”创建一个文件。 hdfs dfs touchz hdfs://192.168.6.159:9820/tmp/mrstest.txt 访问集群A，在目录“/tmp”中可查询到mrstest.txt文件，则表示配置跨集群互信成功。

本章节主要介绍操作类问题中有关集群创建的问题。 如何使用自定义安全组创建MRS集群？ 使用自定义安全组创建MRS集群有以下两种方式： 用户购买集群时，选择使用自己创建的安全组时，需要放开9022端口。 用户购买集群时，安全组选择“自动创建”。 创建MRS集群时，为什么找不到HDFS、Yarn、MapReduce组件？ HDFS、Yarn和MapReduce组件包含在Hadoop组件中，当创建MRS集群时无法看到HDFS、Yarn和MapReduce组件，勾选Hadoop组件并等待集群创建完成后即可在“组件管理”页签看到HDFS、Yarn和MapReduce组件。 创建MRS集群时，为什么找不到ZooKeeper组件？ 创建MRS 3.x之前版本集群时，ZooKeeper组件为默认安装的组件，不在创建集群的界面上显示。 集群创建完成后可在集群“组件管理”页签看到ZooKeeper组件。 创建MRS 3.x及之后版本集群时，可以在创建集群的界面看到ZooKeeper组件，并默认勾选。

本章节主要介绍修改操作系统用户密码。 操作场景 该任务指导用户定期修改MRS集群节点操作系统用户“omm”、“ommdba”、"root"的登录密码，以提升系统运维安全性。 各节点“omm”、“ommdba”、"root"无需设置为统一的密码。 操作步骤 登录Master1节点，然后登录要修改操作系统用户密码的其他节点。 1. 执行以下命令切换到用户。 sudo su root 执行如下命令，修改omm/ommdba/root用户密码。 passwd omm passwd ommdba passwd root 例如omm：passwd，系统显示： Changing password for user omm. New password: 输入用户的新密码。操作系统的密码修改策略由用户实际使用的操作系统类型决定。 Retype new password: passwd: all authentication tokens updated successfully. 说明 MRS集群默认密码复杂度要求： 密码字符长度至少8位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符'~!@$%^&()+[{}];:'", /?中的3种类型字符。 重置的密码不能是最近5次使用过的密码。

本章节主要介绍修复隔离主机补丁 。 若集群中存在主机被隔离的情况，集群补丁安装完成后，请参见本节操作对隔离主机进行补丁修复。修复完成后，被隔离的主机节点版本将与其他未被隔离的主机节点一致。 访问MRS Manager，详细操作请参见访问MRS Manager（MRS2.x及之前版本）。 1. 选择“系统设置 > 补丁管理”，进入补丁管理页面。 2. 在“操作”列表中，单击“详情”。 3. 在补丁详情界面，选中“Status”是“Isolated”的主机节点。 4. 单击“Select and Restore”，修复被隔离的主机节点。

本章节主要介绍 修改操作用户密码 。 操作场景 出于MRS集群安全的考虑，“人机”类型系统用户密码必须定期修改。该任务指导用户通过MRS Manager完成修改自身密码工作。 如需对用户修改的密码使用新的密码策略，请先修改密码策略，再参考本章节修改密码。 说明 该章节操作仅适用于MRS 3.x之前版本集群。MRS3.x及之后版本集群请参考 对系统的影响 修改MRS集群用户密码后，如果以前下载过用户认证文件，则需要重新下载并获取keytab文件。 前提条件 从管理员获取当前的密码策略。 从管理员获取MRS Manager访问地址。 开启Kerberos认证的集群或开启弹性公网IP功能的普通集群。 操作步骤 访问MRS Manager，详细操作请参见访问MRSManager（MRS2.x及之前版本）。 1. 在MRS Manager，移动鼠标到界面右上角的。 在弹出菜单，选择“修改密码”。 2. 分别输入“旧密码”、“新密码”、“确认新密码”，单击“确定”完成修改。 集群中，默认的密码复杂度要求： 密码字符长度为8～32位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符'~!@$%^&()+[{}];:'", /?中的3种类型字符。 不能与用户名或倒序的用户名相同。

本章节主要介绍操作类问题中有关客户端使用的问题。 怎么关闭ZooKeeper SASL认证？ 1.登录FusionInsight Manager。 2.选择“集群 > 服务 > ZooKeeper > 配置 > 全部配置”。 3.在左侧导航栏选择“quorumpeer > 自定义”添加参数名称和值：zookeeper.sasl.disable false。 保存配置后，重启ZooKeeper服务。 在MRS集群外客户端中执行kinit报错“Permission denied”如何处理？ 问题现象 在MRS集群外节点上安装了客户端后并执行kinit命令报错如下： bash kinit Permission denied 执行java命令也报错如下： bash: /xxx/java: Permission denied 执行 ll / java 安装路径 /JDK/jdk/bin/java命令查看该文件执行权限信息正常。 原因分析 执行mount column t查看挂接的分区状态，发现java执行文件所在的挂载点的分区状态是“noexec”。当前环境中将安装MRS客户端所在的数据盘配置成“noexec”，即禁止二进制文件执行，从而无法使用java命令。 解决方法 1.以root用户登录MRS客户端所在节点。 2.移除“/etc/fstab”文件中MRS客户端所在的数据盘的配置项“noexec”。 3.执行umount 命令卸载数据盘，然后再执行mount a重新挂载数据盘。

本章节主要介绍 修改用户信息。 操作场景 该任务指导管理员用户在MRSManager修改已创建的用户信息，包括修改用户组、主组、角色和描述。 操作步骤 在MRS Manager，单击“系统设置”。 1. 在“权限配置”区域，单击“用户管理”。 2. 在要修改用户所在的行，单击“修改”，修改用户信息。 说明 为用户修改用户组或分配的角色权限，最长可能需要3分钟时间生效。 3. 单击“确定”完成修改操作。

本章节主要介绍 删除用户。 MRS集群用户不再需要使用时，管理员可以在MRS Manager中删除此用户。 说明 如果删除用户A后，再次准备重新创建同名用户A，如果该用户A已经提交过作业（客户端提交或者MRS console页面提交），那么需要在删除该用户A的同时，删除该用户A残留的文件夹，否则使用重新创建的同名用户A提交作业会失败。 删除用户残留文件夹操作方法为：依次登录MRS集群的Core节点，在每个Core节点上执行如下两条命令，其中如下命令中“$user”为具体的以用户名命名的文件夹。 cd/srv/BigData/hadoop/data1/nm/localdir/usercache/ rmrf $user 操作步骤 在MRS Manager，单击“系统设置”。 1. 在“权限配置”区域，单击“用户管理”。 2. 在要删除用户所在的行，选择“更多 > 删除”。 3. 单击“确定”完成删除操作。

本章节主要介绍操作类问题中有关集群访问的问题。 MRS集群内节点的登录方式（密码或密钥对）如何切换？ 不可以切换。 创建集群时选择了节点登录方式后不能更改登录方式。 如何获取ZooKeeper的IP地址和端口？ ZooKeeper的IP地址和端口可以通过MRS控制台或登录Manager界面获取。 方法一：通过MRS控制台获取 1. 在MRS集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 2. 选择“组件管理 > ZooKeeper > 实例”，获取ZooKeeper实例的“业务IP”地址。 3. 选择“服务配置”页签，搜索“clientPort”参数，该参数的值即为ZooKeeper的端口。 方法二：通过Manager界面获取 1. 登录Manager界面。 2. 在Manager界面获取ZooKeeper的IP地址和端口。 −针对MRS 3.x之前版本集群 i.选择“服务管理 > ZooKeeper > 实例”，获取ZooKeeper实例的“业务IP”地址。 ii.选择“服务配置”页签，搜索“clientPort”参数，该参数的值即为ZooKeeper的端口。 −针对MRS 3.x及之后版本集群 i.选择“集群 > 服务 ZooKeeper > 实例”，获取ZooKeeper实例的“业务IP”地址。 ii.选择“配置”页签，搜索参数“clientPort”值，该参数的值即为ZooKeeper的端口。 如何通过集群外的节点访问MRS集群？ 创建集群外Linux操作系统ECS节点访问MRS集群 1.创建一个集群外ECS节点。 ECS节点的“可用区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 2.在VPC管理控制台，申请一个弹性IP地址，并与ECS绑定。 3.配置集群安全组规则。 a.在集群“概览”界面，选择“添加安全组规则 > 管理安全组规则”。 b.在“入方向规则”页签，选择“添加规则”，在“添加入方向规则”配置ECS节点的IP和放开所有端口。 c.安全组规则添加完成后，可以直接下载并安装客户端到集群外ECS节点。 d.使用客户端。 使用客户端安装用户，登录客户端节点，执行以下命令切换到客户端目录。 cd /opt/hadoopclient 执行以下命令加载环境变量。 source bigdataenv 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则通常情况下无需认证。 kinit MRS集群用户 例如： kinit admin 直接执行组件的客户端命令。 例如： 使用HDFS客户端命令查看HDFS根目录文件。 hdfs dfs ls / Found 15 items drwxrwxx hive hive 0 20211026 16:30 /apps drwxrxrx hdfs hadoop 0 20211018 20:54 /datasets drwxrxrx hdfs hadoop 0 20211018 20:54 /datastore drwxrwx+ flink hadoop 0 20211018 21:10 /flink drwxrx flume hadoop 0 20211018 20:54 /flume drwxrwxx hbase hadoop 0 20211030 07:31 /hbase ...

本章节主要介绍修改操作用户密码]。 操作场景 出于MRS集群安全的考虑，“人机”类型系统用户密码必须定期修改。该任务指导用户通过MRSManager完成修改自身密码工作。 如需对用户修改的密码使用新的密码策略，请先修改密码策略，再参考本章节修改密码。 对系统的影响 修改MRS集群用户密码后，如果以前下载过用户认证文件，则需要重新下载并获取keytab文件。 前提条件 从管理员获取当前的密码策略。 从管理员获取MRS Manager访问地址。 操作步骤 在MRS Manager，移动鼠标到界面右上角的。 在弹出菜单，选择“修改密码”。 1. 分别输入“旧密码”、“新密码”、“确认新密码”，单击“确定”完成修改。 集群中，默认的密码复杂度要求： 密码字符长度为8～32位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符'~!@$%^&()+[{}];:'", /?中的3种类型字符。 不能与用户名或倒序的用户名相同。

查看作业执行结果 1. 作业提交成功后，登录MRS集群的FusionInsight Manager界面，单击“集群 > 服务 > Yarn”。 2. 点击“ResourceManager WebUI”后的链接进入Yarn Web UI界面，在Applications页面查看当前Yarn作业的详细运行情况及运行日志。 3. 等待作业运行完成后，在OBS文件系统中指定的结果输出文件中可查看数据分析输出的结果。 下载“output”文件到本地并打开，可查看输出的分析结果。 a 3 and 2 batch 1 both 1 computing 2 data 2 demo 1 distribution 1 engine 1 flink 2 for 1 framework 1 is 2 it 1 mrs 1 parallel 1 processing 3 provides 1 stream 2 supports 2 test 1 that 2 this 1 unified 1 使用集群客户端命令行提交作业时，若不指定输出目录，在作业运行界面也可直接查看数据分析结果。 Job with JobID xxx has finished. Job Runtime: xxx ms Accumulator Results: e6209f96ffa423974f8c7043821814e9 (java.util.ArrayList) [31 elements] (a,3) (and,2) (batch,1) (both,1) (computing,2) (data,2) (demo,1) (distribution,1) (engine,1) (flink,2) (for,1) (framework,1) (is,2) (it,1) (mrs,1) (parallel,1) (processing,3) (provides,1) (stream,2) (supports,2) (test,1) (that,2) (this,1) (unified,1)

本章节主要介绍MRS 3.x版本操作注意事项。 概述 MRS 3.x之前的版本的MRS集群使用MRS Manager对集群进行管理、监控，同时用户可通过MRS管理控制台的集群管理页面，进行集群概览查看、节点管理、组件管理、告警管理、补丁管理、文件管理、作业管理、租户管理、备份恢复、引导操作设置及标签管理。 MRS 3.x版本的MRS集群使用FusionInsight Manager对集群进行管理、监控，同时用户可通过MRS管理控制台的集群管理页面，进行集群概览查看、节点管理、组件管理、告警管理、文件管理、作业管理、引导操作设置及标签管理。 MRS 3.x版本集群的部分维护操作与历史版本有部分差异，更多详细操作可参考MRS Manager操作指导（适用于2.x及之前）与FusionInsightManager操作指导（适用于3.x）。 访问MRS集群Manager 访问MRS 3.x之前的版本的MRS Manager请参考访问MRS Manager（MRS 2.x及之前版本）。 访问MRS 3.x版本的FusionInsight Manager请参考访问FusionInsight Manager（MRS 3.x及之后版本）。 修改MRS集群服务配置参数 MRS 3.x之前的版本，用户可直接通过MRS管理控制台的集群管理页面修改各服务配置参数： 1. 登录MRS控制台，在左侧导航栏选择“集群列表> 现有集群”，单击集群名称。 2. 选择“组件管理 > 服务名称 > 服务配置”。 默认显示“基础配置”，如果需要修改更多参数，请选择“全部配置”，界面上将显示该服务的全部配置参数导航树，导航树从上到下的一级节点分别为服务名称和角色名称。展开一级节点后显示参数分类。 3. 在导航树选择指定的参数分类，并在右侧修改参数值。 不确定参数的具体位置时，支持在右上角输入参数名，系统将实时进行搜索并显示结果。 4. 单击“保存配置”，并在确认对话框中单击“确定”。 5. 等待界面提示“操作成功”，单击“完成”，配置已修改。 查看集群是否存在配置过期的服务，如果存在，需重启对应服务或角色实例使配置生效。也可在保存配置时直接勾选“重新启动受影响的服务或实例。”。 MRS 3.x版本，服务配置参数需登录FusionInsight Manager修改： 1. 登录FusionInsight Manager。 2. 选择“集群 > 服务”。 3. 单击服务视图中指定的服务名称。 4. 单击“配置”。 默认显示“基础配置”，如果需要修改更多参数，请选择“全部配置”，界面上将显示该服务的全部配置参数导航树，导航树从上到下的一级节点分别为服务名称和角色名称。展开一级节点后显示参数分类。 5. 在导航树选择指定的参数分类，并在右侧修改参数值。 不确定参数的具体位置时，支持在右上角输入参数名，Manager将实时进行搜索并显示结果。 6. 单击“保存”，并在确认对话框中单击“确定”。 7. 等待界面提示“操作成功”，单击“完成”，配置已修改。 查看集群是否存在配置过期的服务，如果存在，需重启对应服务或角色实例使配置生效。

本章节主要介绍删除租户。 操作场景 当租户需要根据业务需求，将当前不再使用的租户删除时，可以在MRS Manager完成操作。 前提条件 已添加租户。 检查待删除的租户是否存在子租户，如果存在，需要先删除全部子租户，否则无法删除当前租户。 待删除租户的角色，不能与任何一个用户或者用户组存在关联关系。该任务对应取消角色与用户的绑定，请参见修改用户信息。 操作步骤 在MRS Manager，单击“租户管理”。 1. 在左侧租户列表，将光标移动到需要删除的租户节点上，单击“删除”。 界面显示“删除租户”对话框。根据业务需求，需要保留租户已有的数据时请同时勾选“保留该租户的数据”，否则将自动删除租户对应的存储空间。 2. 单击“确定”保存，删除租户。 保存配置需要等待一段时间，租户成功删除。租户对应的角色、存储空间将删除。 说明 租户删除后，Yarn中对应的租户任务队列不会被删除。 删除父租户时选择不保留数据，如果存在子租户且子租户使用了存储资源，则子租户的数据也会被删除。

本章节主要介绍修改备份任务. 操作场景 该任务指导用户通过MRS Manager修改已创建的备份任务的配置参数，以适应业务需求的变化。不支持修改任何恢复任务配置参数，只能查看恢复任务的配置参数。 对系统的影响 修改备份任务后，新的参数在下一次执行任务时生效。 前提条件 已创建备份任务。 已根据业务实际需求，规划新的备份任务策略。 操作步骤 在MRS Manager，选择“系统设置 > 备份管理”。 1. 在任务列表指定任务的“操作”列，单击“修改”，打开修改配置页面。 2. 在新页面中修改任务参数。 手动备份支持修改的参数项如下： −目的端路径 −最大备份数 周期备份支持修改的参数项如下： −开始时间 −周期 −目的端路径 −最大备份数 说明 当备份任务的“路径类型”为“LocalHDFS”时，修改备份任务时参数“目的端路径”有效。 修改某个备份任务参数“目的端路径”后，第一次执行此任务默认为全量备份。 3. 单击“确定”保存。

本章节主要介绍修改资源池。 操作场景 该任务指导用户通过MRS Manager，修改已有资源池中的成员。 操作步骤 在MRS Manager，单击“租户管理”。 1. 单击“资源池”页签。 2. 在资源池列表指定资源池所在行的“操作”列，单击“修改”。 3. 在“编辑资源池”修改“已添加主机”。 增加主机：在界面左边主机列表，选择指定的主机名称，单击，将选中的主机加入资源池。 删除主机：在界面右边主机列表，选择指定的主机名称，单击，将选中的主机移出资源池。资源池中的主机列表可以为空。 4. 单击“确定”保存。

操作场景 用户开发大数据应用程序并在支持Kerberos认证的MRS集群中运行程序时，需要准备访问MRS集群的用户认证文件。认证文件中的keytab文件可用于认证用户身份。 该任务指导管理员用户通过MRS Manager下载用户认证文件并导出keytab文件。 说明 如果选择下载“人机”用户的认证文件，在下载前需要使用Manager修改过一次此用户的密码使管理员设置的初始密码失效，否则导出的keytab文件无法使用。请参见 修改用户密码后，之前导出的keytab将失效，需要重新导出。 操作步骤 在MRS Manager，单击“系统设置”。 1. 在“权限配置”区域，单击“用户管理”。 2. 在需导出keytab文件用户所在的行，选择“更多 > 下载认证凭据”下载认证文件，待文件自动生成后指定保存位置，并妥善保管该文件。 3. 使用解压程序打开认证文件。 “user.keytab”表示用户keytab文件，用于认证用户身份。 “krb5.conf”表示认证服务器配置文件，应用程序在进行用户认证身份时根据该文件的配置信息连接认证服务器。

本章节主要介绍锁定用户 。 该任务指导管理员用户将MRS集群中的用户锁定。用户被锁定后，不能在MRS Manager重新登录或在集群中重新进行安全认证。 可通过以下两种方式锁定用户，锁定后的用户需要管理员手动解锁或者等待锁定时间结束才能恢复使用： 自动锁定：通过设置密码策略中的“允许输入错误次数”，将超过登录失败次数的用户自动锁定。具体操作请参见修改密码策略。 手动锁定：由管理员通过手动的方式将用户锁定。 以下将具体介绍手动锁定。不支持锁定“机机”用户。 操作步骤 在MRS Manager，单击“系统设置”。 1. 在“权限配置”区域，单击“用户管理”。 2. 在要锁定用户所在行，单击“锁定用户”，锁定用户。 3. 在弹出的提示窗口，单击“确定”完成锁定操作。

本章节主要介绍更新集群密钥 。 操作场景 在创建集群时，系统将自动生成加密密钥key值以对集群的部分安全信息（例如所有数据库用户密码、密钥文件访问密码等）进行加密存储。在集群安装成功后，建议用户定期通过以下操作手动更改密钥值。 对系统的影响 更新集群密钥后，集群中新增加一个随机生成的新密钥，用于加密解密新保存的数据。旧的密钥不会删除，用于解密旧的加密数据。在修改安全信息后，例如修改数据库用户密码，新密码将使用新的密钥加密。 更新集群密钥需要停止集群，集群停止时无法访问。 前提条件 停止依赖集群运行的上层业务应用。 操作步骤 在MRS Manager，选择“服务管理 > 更多 > 停止集群”。 在弹出窗口勾选“我已阅读此信息并了解影响。”，单击“确定”，界面提示“操作成功。”，单击“完成”，集群成功停止。 1. 登录主管理节点。 2. 执行以下命令切换用户： sudo su omm 3. 执行以下命令，防止超时退出。 TMOUT0 4. 执行以下命令，切换目录。 cd ${BIGDATAHOME}/om0.0.1/tools 5. 执行以下命令，更新集群密钥。 sh updateRootKey.sh 根据界面提示，输入 y ： The root key update is a critical operation. Do you want to continue?(y/n): 界面提示以下信息表示更新密钥成功： ...Step 41: The key save path is obtained successfully. ...Step 44: The root key is sent successfully. 6. 在MRS Manager界面，选择“服务管理 > 更多 > 启动集群”。 在弹出的提示框中单击“是”，开始启动集群。界面提示“操作成功。”，单击“完成”，集群成功启动。