本章节主要介绍如何如何删除MRS作业。 背景信息 支持删除单个作业和批量删除作业。作业删除后不可恢复，请谨慎操作。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名。 进入集群基本信息页面。 3.选择“作业管理”。 4.在需要删除作业对应的“操作”列中，选择“更多 > 删除”。 此处只能删除单个作业。 5.勾选多个作业，单击作业列表左上方的“删除”。 可以删除一个、多个或者全部作业。

参数 参数说明 作业名称 作业名称，只能由字母、数字、中划线和下划线组成，并且长度为1～64个字符。 说明 建议不同的作业设置不同的名称。 SQL类型 SQL查询语句提交类型。 SQL Script SQL语句 “SQL类型”参数为“SQL”时参数有效，请输入待运行的SQL语句，然后单击“检查”来检查SQL语句的正确性，确保输入语句正确。如果同时需要提交多条语句并执行，使用“;”分隔不同语句。 SQL文件 “SQL类型”参数为“Script”时参数有效，待执行SQL文件的路径，需要满足以下要求。 最多为1023字符，不能包含;l&>,<'$特殊字符，且不可为空或全空格。 执行程序路径可存储于HDFS或者OBS中，不同的文件系统对应的路径存在差异。 OBS：以“obs://”开头。示例： obs://wordcount/program/xxx.jar。 HDFS：以“/user”开头。数据导入HDFS请参考 说明 存储在OBS上的文件路径支持以“obs://”开头格式。如需使用该格式提交作业，访问OBS需要配置对应权限。 创建集群时开启“OBS权限控制”功能时，可直接使用“obs://”路径，无需单独配置。 创建集群时未开启或不支持“OBS权限控制”功能时，请参考 运行程序参数 可选参数，为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能。 常用运行程序参数如下表“运行程序参数”。 服务配置参数 可选参数，用于为本次执行的作业修改服务配置参数。该参数的修改仅适用于本次执行的作业，如需对集群永久生效，请参考 增加，如需删除参数，请单击右侧“删除”。 常用服务配置参数如下表“服务配置参数”。 命令参考 用于展示提交作业时提交到后台执行的命令。

本章节主要介绍如何查看作业配置信息和日志。 背景信息 支持查看所有作业的配置信息。 只有运行中的作业才能查看运行日志信息。 由于Spark SQL和Distcp作业在后台无日志，运行中的Spark SQL和Distcp作业不能查看运行日志信息。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名，进入集群基本信息页面。 3.选择“作业管理”。 4.在需要查看作业对应的“操作”列中，单击“查看详情”。 弹出“查看详情”窗口，显示该作业的配置信息。 5.选择一个运行中的作业，在作业对应的“操作”列中，单击“查看日志”。 弹出一个新页面，显示作业执行的实时日志信息。 每个租户并发提交作业和查看日志的个数均为10。

参数 参数说明 操作类型 记录执行的操作类型，包括： 集群操作 作业操作 数据操作 操作IP 记录执行操作的IP地址。 说明 当MRS集群部署失败时，集群会被自动删除，并且自动删除集群的操作日志中不包含用户的“操作IP”信息。 操作内容 记录实际操作内容，不超过2048字符。 时间 记录操作的时间。对于已删除的集群，界面只显示6个月内的日志信息，若需要查看6个月之前的日志信息，请联系支持人员。

本章节主要介绍如何删除集群。 如果作业执行结束后不需要集群， 可以删除MRS集群。 背景信息 一般在数据完成分析和存储后或集群异常无法提供服务时才执行集群删除操作。当MRS集群部署失败时，集群会被自动删除。 操作步骤 1.登录MRS管理控制台。 2.在左侧导航栏中选择“集群列表 > 现有集群”。 3.在需要删除的集群对应的“操作”列中，单击“删除”。 集群状态由“运行中”更新为“删除中”，待集群删除成功后，集群状态更新为“已删除”，并且显示在“历史集群”中。

本章节主要介绍如何切换集群子网。 MRS支持当子网IP不足时，切换子网到当前集群相同VPC下的其他子网，实现可用子网IP的扩充。切换子网不会影响当前已有节点的IP地址和子网。 如需对网络ACL出规则进行配置请参考下方如何配置网络ACL出规则。 未关联网络ACL时切换子网 1.登录MRS控制台。 2.单击集群名称进入集群详情页。 3.在“默认生效子网”右侧单击“切换子网”。 4.选择待切换子网，并单击“确定”完成切换。 若没有可用子网，请单击“创建子网”进入VPC控制台创建子网后，再在此处引用。 关联网络ACL时切换子网 1.登录MRS控制台，单击集群名称进入集群详情页。 2.MRS集群详情页，查看“虚拟私有云”。 3.进入VPC控制台，在左侧导航处选择“虚拟私有云”，获取步骤2中查询的“虚拟私有云”对应的“IPv4网段”。 4.在VPC控制台左侧导航处选择“访问控制 > 网络ACL”，单击MRS集群默认生效子网和切换后子网关联的网络ACL名称，选择“入方向规则”页签。 说明 若集群的默认生效子网和切换后子网均关联网络ACL，则两个子网关联的网络ACL中均需参考步骤5步骤7增加入方向规则。 详见下图： 网络ACL 5.在第一条规则的“操作”列，选择“更多 > 向前插规则”。 6.添加网络ACL规则，其中“策略”选择“允许”，“源地址”填入步骤3中获取的“虚拟私有云”对应的“IPv4网段”，其他值保持默认即可。 7.单击“确定”完成网络ACL规则添加。 说明 如果您不想放开VPC对应的全部IPv4网段的规则，请参考步骤8步骤12添加切换前后两个子网对应的IPv4网段地址。若已完成VPC对应IPv4网段的规则添加，则无需执行步骤8步骤12的操作。 8.登录MRS控制台。 9.单击集群名称进入集群详情页。 10.在“默认生效子网”右侧单击“切换子网”。 11.获取“默认生效子网”和待切换子网对应的IPv4网段。 须知 此时请勿单击切换子网的“确定”按钮，否则默认生效子网将更新为切换后的子网，切换前的子网不易查询，请谨慎操作。 12.参考步骤4步骤7添加“默认生效子网”和待切换子网的IPv4网段地址到切换前后子网绑定的网络ACL入方向规则中。 13.登录MRS控制台。 14.单击集群名称进入集群详情页。 15.在“默认生效子网”右侧单击“切换子网”。 16.选择待切换子网，并单击“确定”完成切换。

用户可以根据业务需求量，通过简单的缩减Core节点或者Task节点，对集群进行缩容，以使MRS拥有更优的存储、计算能力，降低运维成本。 当集群正在进行主备同步操作时，不允许进行缩容操作。 说明 MRS包周期集群暂不支持缩容，当前仅支持MRS按需集群按指定数量进行缩容。 背景信息 目前支持缩容Core节点和Task节点，不支持缩容Master节点。对集群进行缩容时，只需要在界面调整节点个数，MRS会自动选择缩容节点，完成缩容任务。 自动选择缩容节点的策略如下： 不允许缩容安装了基础组件（Zookeeper，DBService，KrbServer，LdapServer等）的节点，MRS不会选择这些节点进行缩容。因为这些基础组件是集群运行的基础。 Core节点是存放集群业务数据的节点，在缩容时必须保证待缩容节点上的数据被完整迁移到其他节点，即完成各个组件的退服之后，才会执行缩容的后续操作（节点退出Manager和删除ECS等）。在选择Core节点时，会优先选择存储数据量较小，且可退服实例健康状态良好的节点，避免节点退服失败。例如在分析集群上，Core节点安装了DataNode，缩容时会优先选择DataNode存储数据量较小且健康状态良好的节点。 Core节点在缩容的时候，会对原节点上的数据进行迁移。业务上如果对数据位置做了缓存，客户端自动刷新位置信息可能会影响时延。缩容节点可能会影响部分HBase on HDFS数据的第一次访问响应时长，可以重启HBase或者对相关的表Disable/Enable来避免。 Task节点本身不存储集群数据，属于计算节点，不存在节点数据迁移的问题。因此在选择Task节点时，优先选择健康状态为故障、未知、亚健康的节点进行缩容。这些节点实例的健康状态信息可以在MRS上的“实例”管理界面查看。

本章节主要介绍如何查看集群补丁信息。 查看集群组件的补丁信息。如果集群组件，如Hadoop或Spark等出现了异常，可下载补丁版本，选择“集群列表 > 现有集群”，选中一集群并单击集群名，进入集群详情页面升级组件，修复问题。 说明 MRS 3.x版本无补丁版本信息，不涉及此章节。

参数 参数说明 元数据 是否使用外部数据源存储元数据。 本地元数据： 元数据存储在集群本地。 数据连接：使用外部数据源元数据，若集群异常或删除时将不影响元数据，适用于存储计算分离的场景。 支持Hive或Ranger组件的集群支持该功能。 组件名 当“数据连接”功能开启时，该参数有效。用于表示可以设置外部数据源的组件类型。 Hive Ranger 数据连接类型 当“数据连接”功能开启时，该参数有效。用于表示外部数据源的类型。 Hive组件支持的数据连接类型： − RDS服务MySQL数据库 − 本地数据库 Ranger组件支持的数据连接类型： − RDS服务MySQL数据库 − 本地数据库 数据连接实例 当“数据连接类型”选择“RDS服务PostgreSQL数据库”或“RDS服务MySQL数据库”时，该参数有效。用于表示MRS集群与RDS服务数据库连接的名称，该实例必须先创建才能在此处引用。可单击“创建数据连接”进行创建，具体请参考 管理数据连接章节

本章节主要介绍集群列表。 通过概览信息可以快速查看所有集群和作业的状态，您也可以通过MRS控制台左侧导航的“帮助”中获取MRS相关帮助文档。 MRS用于海量数据的管理和分析，MRS使用简单，用户创建好一个集群，在集群内可新增MapReduce、Spark和Hive等作业，对用户数据进行分析和处理。数据处理完成后，采用SSL加密传输数据至OBS，保证数据的完整性和机密性。 集群状态 登录MRS管理控制台后，MRS所有集群包含的状态如下表所示。 集群状态说明 状态 说明 启动中 集群正在创建，则其状态为“启动中”。 运行中 集群创建成功且集群中所有组件状态均正常，则其状态为“运行中”。 扩容中 集群Core节点或者Task节点正在扩容，则其状态为“扩容中”。 说明 如果集群扩容失败，用户可重新进行扩容操作。 缩容中 当对集群节点进行关机、删除、变更OS、重装OS和修改规格的操作时，被变更的集群节点正在删除，则其状态为“缩容中”。 异常 集群中部分组件状态异常，导致集群异常，则其状态为“异常”。 删除中 集群节点正在删除中，则其状态为“删除中”。 已删除 集群已经删除，仅“历史集群”会显示此参数。 作业状态 登录MRS的管理控制台后，用户在MRS集群中执行的作业包含的状态如下表所示。 作业状态说明 状态 说明 已接受 作业提交成功后的初始状态。 运行中 作业执行过程中，则其状态为“运行中”。 已完成 作业执行完成，并且执行成功，则其状态为“已完成”。 已终止 作业执行过程中，停止执行，则其状态为“已终止”。 异常 作业执行过程中报错，或者作业执行完成，但执行失败，则其状态为“异常”。

本章节主要介绍如何快速创建Kafka流式集群。 本章节为您介绍如何快速创建一个Kafka流式集群，Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量，可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景，实现高效的流式数据采集，实时数据处理存储等。 快速创建Kafka流式集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息，参数详细信息请参考创建自定义集群。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20200321”。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：不同版本集群提供的组件有所不同，请根据需要选择集群版本。 组件选择：选择“Kafka流式集群”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 集群高可用：默认即可。MRS 3.x版本暂时不支持该参数。 LVM：默认即可。MRS 3.x版本暂时不支持该参数。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权，通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态部分 集群列表参数中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

本章节主要介绍如何配置Ranger数据连接。 本指导旨在指导用户将现有集群的Ranger元数据切换为RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据，且元数据不随集群的删除而删除。也能够避免集群迁移时Ranger元数据的迁移。 前置条件 已创建RDS服务MySQL数据库的实例，请参考 管理数据连接章节配置数据连接 中的 创建数据连接。 说明 对于MRS 3.x之前版本，当用户选择的数据连接为“RDS服务MySQL数据库”时，请确保使用的数据库用户为root用户。如果为非root用户，请参考 管理数据连接章节[配置数据连接]（ ） 中的 数据连接前置操作，新建用户并为该用户进行赋权。 对于MRS 3.x及之后版本，当用户选择的数据连接为“RDS服务MySQL数据库”时，数据库用户不允许为root用户，请参考 管理数据连接章节[配置数据连接]（ ）中的 数据连接前置操作，新建用户并为该用户进行赋权。 Ranger元数据外置到Mysql前置操作 该前置操作仅在MRS 3.1.0及之后版本需要执行。 1.登录FusionInsight Manager页面，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。选择“集群 > 服务 > 服务名称 ”。 当前MRS 3.1.x集群支持Ranger鉴权的组件为: HDFS、HBase、Hive、Spark、Impala、Storm、Kafka组件。 2.在服务“概览”页面右上角单击“更多 > 停用Ranger鉴权”，如果“停用Ranger鉴权”是灰色，则表示未开启Ranger鉴权无需停用Ranger鉴权，如下图所示。 3.（可选）如需使用已有鉴权策略请执行该步骤在Ranger Web页面导出已有组件的鉴权策略，切换Ranger元数据完成后可重新导入已有的鉴权策略。此处以Hive为例，导出后会生成本地的json格式的策略文件。 a.登录FusionInsight Manager页面。 b.选择“集群 > 服务 > Ranger”，进入Ranger服务概览页面。 c.单击“基本信息”区域中的“RangerAdmin”，进入Ranger WebUI界面。 admin用户在Ranger中的用户类型为“User”，如需查看所有管理页面，可点击右上角用户名后，选择“Log Out”，退出当前用户。 d.使用rangeradmin用户（默认密码为Rangeradmin@123）或者其他具有Ranger管理员权限用户重新登录。 e.单击Hive组件对应行的导出按钮，导出鉴权策略。 详见下图：导出鉴权策略 f.单击“Export”，导出后会生成本地的json格式的策略文件。 详见下图： 导出Hive鉴权策略

本章节主要介绍如何快速创建Hadoop分析集群。 本章节为您介绍如何快速创建一个Hadoop分析集群，Hadoop完全使用开源Hadoop生态，采用YARN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flink流式数据计算，Presto交互式查询，Tez有向无环图的分布式计算框架等Hadoop生态圈的组件，进行海量数据分析与查询。 快速创建Hadoop分析集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息，参数详细信息请参考创建自定义集群。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20180321”。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：选择“Hadoop分析集群”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 集群高可用：默认即可。MRS 3.x版本暂时不支持该参数。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权，通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态部分 集群列表参数中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

策略类别 IAM策略 同步后用户在MRS对应默认权限 是否有权限执行同步操作 是否有权限提交作业 细粒度 MRS ReadOnlyAccess Managerviewer 否 否 细粒度 MRS CommonOperations lManagerviewer default launcherjob 否 是 细粒度 MRS FullAccess Manageradministrator Managerauditor Manageroperator Managertenant Managerviewer Systemadministrator default launcherjob 是 是 RBAC MRS Administrator Manageradministrator Managerauditor Manageroperator Managertenant Managerviewer Systemadministrator default launcherjob 否 是 RBAC Server Administrator、Tenant Guest和MRS Administrator Manageradministrator Managerauditor Manageroperator Managertenant Managerviewer Systemadministrator default launcherjob 是 是 RBAC Tenant Administrator Manageradministrator Managerauditor Manageroperator Managertenant Managerviewer Systemadministrator default launcherjob 是 是 自定义 Custom policy（自定义策略） Managerviewer default launcherjob 自定义策略以RBAC策略为模板则参考RBAC策略。 自定义策略以细粒度策略为模板则参考细粒度策略，建议使用细粒度策略。 是

本章节主要介绍如何创建MRS操作用户。 如果您需要对您所拥有的MapReduce服务（MapReduce Service）进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），通过IAM，您可以： 根据企业的业务组织，在您的云帐号中，给企业中不同职能部门的员工创建IAM用户，让员工拥有唯一安全凭证，并使用MRS资源。 根据企业用户的职能，设置不同的访问权限，以达到用户之间的权限隔离。 将MRS资源委托给更专业、高效的其他云帐号或者云服务，这些帐号或者云服务可以根据权限进行代运维。 如果云帐号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用MRS服务的其它功能。 本章节为您介绍对用户授权的方法，操作流程如下图所示。 前提条件 给用户组授权之前，请您了解用户组可以添加的MRS权限，并结合实际需求进行选择。 示例流程 详见下图： 给用户授权MRS权限流程 1.创建用户组并授权 在IAM控制台创建用户组，并授予MRS服务对应权限。 2.创建用户并加入用户组 在IAM控制台创建用户，并将其加入上述创建用户组并授权中创建的用户组。 3.用户登录并验证权限 新创建的用户登录控制台，切换至授权区域，验证权限： −在“服务列表”中选择MRS服务，进入MRS主界面，单击右上角“创建集群”，尝试创建MRS集群，如果无法创建MRS集群（假设当前权限仅包含MRS ReadOnlyAccess），表示“MRS ReadOnlyAccess”已生效。 −在“服务列表”中选择除MRS服务外（假设当前策略仅包含MRS ReadOnlyAccess）的任一服务，若提示权限不足，表示“MRS ReadOnlyAccess”已生效。

接口功能介绍 重启防火墙v3 接口约束 无 URI POST /v3/firewall/rebootFirewall 路径参数 无 Query参数 参数 是否必填 参数类型 说明 示例 下级对象 regionId 是 String 资源池ID。 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx firewallOid 是 String 防火墙ID。 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 请求参数 请求头header参数 无 请求体body参数 无 响应参数 参数 参数类型 说明 示例 下级对象 statusCode Integer 状态码。可能值： 800：请求成功。 900：请求失败。 800 error String 错误码。 ECPC1000 message String 提示信息。 OK. returnObj Object 返回数据结构体。 returnObj 枚举参数 无 请求示例 请求url 请求头header 无 请求体body 无 响应示例 { "statusCode":800, "message":"OK.", "returnObj":{ } } 状态码 请参考 状态码 错误码 请参考 错误码

本章节介绍Ranger如何基于Role进行权限管控。 功能说明 Ranger支持基于角色（Role）的权限管控，即可以直接针对某个角色统一配置资源访问权限。关联该角色的用户在访问Hive、HDFS、HBase等组件资源时，组件侧的Ranger Plugin会拦截访问请求，并将请求中的用户关联角色、资源、操作类型等信息与Ranger Admin中的策略进行匹配，最终决定是否允许访问。基于角色授权是常用的权限配置方式之一，适用于按岗位、职能维度批量进行标准化权限管控的场景。 操作步骤 1、访问Ranger Admin WebUI页面。 2、首先点击右上角的“Settings”按钮，然后点击“Users/Groups/Roles”选项；最后点击“Roles”选项查看角色的相关信息。 3、UserSync只会从LDAP同步用户和用户组，角色信息需要手动注册，在“第二步”的基础上点击右上角的“Add New Role”按钮。 4、参照页面图示指引，填写角色注册所需各项信息，确认配置无误后点击“确定”按钮，完成角色的创建。 5、回到Service界面，选择目标Service（DEMO以HDFS为例）。 6、点击右上角新建Policy。 7、在Policy页面填写基础信息，首先在Conditions栏选择“Select Role”；然后选择目标角色。 8、确认配置后点击添加，即可生效。

本章节介绍Ranger如何基于User进行权限管控。 功能说明 Ranger支持基于User的权限管控，即可以直接针对某个用户配置资源访问权限。用户在访问Hive、HDFS、HBase等组件资源时，组件侧的Ranger Plugin会拦截访问请求，并将请求中的用户、资源、操作类型等信息与Ranger Admin中的策略进行匹配，最终决定是否允许访问。基于User授权是最常见的权限配置方式之一，适用于对单个用户进行精细化权限控制的场景。 操作步骤 1、访问Ranger Admin WebUI页面。 2、首先点击右上角的“Settings”按钮，然后点击“Users/Groups/Roles”选项；最后点击“Users”选项查看用户的相关信息。 3、回到Service界面，选择目标Service（DEMO以HDFS为例）。 4、点击右上角新建Policy。 5、在Policy页面填写基础信息，首先在Conditions栏选择“Select User”；然后选择目标用户。 6、确认配置后点击添加，即可生效。

本章节介绍Ranger如何基于Group进行权限管控。 功能说明 Ranger支持基于用户组的权限管控，即可以直接针对某个用户组统一配置资源访问权限。用户组内成员在访问Hive、HDFS、HBase等组件资源时，组件侧的Ranger Plugin会拦截访问请求，并将请求中的用户所属组、资源、操作类型等信息与Ranger Admin中的策略进行匹配，最终决定是否允许访问。基于用户组授权是常用的权限配置方式之一，适用于批量对同组人员进行统一权限管控的场景。 操作步骤 1、访问Ranger Admin WebUI页面。 2、首先点击右上角的“Settings”按钮，然后点击“Users/Groups/Roles”选项；最后点击“Groups”选项查看用户组的相关信息。 3、回到Service界面，选择目标Service（DEMO以HDFS为例）。 4、点击右上角新建Policy。 5、在Policy页面填写基础信息，首先在Conditions栏选择“Select Group”；然后选择目标用户组。 6、确认配置后点击添加，即可生效。

本章节主要介绍如何通过Ranger进行UDF管控。 在大数据平台中，UDF常用于扩展SQL的表达能力，例如字符串处理、脱敏转换、时间计算等。但如果缺少统一的权限管控，部分高风险UDF可能被滥用，进而带来数据泄露、越权访问或不符合规范的计算行为。因此，需要通过Ranger对UDF的访问进行统一治理，实现对函数使用范围的精细化控制。 操作步骤 1、登录Ranger的WebUI界面。 2、点击Hadoop SQL下的Hive页签，您可以对Hive UDF进行权限管控： 1）点击右上角的“Add New Policy”添加新策略。 2）Ranger Hive可以配置UDF权限，例如配置一个用户是否可以使用、创建UDF，具体配置见下图。 具体参数说明如下： 参数名称 描述 Policy Name 策略名称，可自定义，不能与本服务内其他策略名称重复。 Policy Label 为当前策略指定一个标签，您可以根据这些标签搜索报告和筛选策略。 database 将适用该策略的列Hive数据库名称。 udf 指定UDF的名称。 Description 策略描述信息。 Audit Logging 是否审计此策略。 Allow Conditions 策略允许条件，配置本策略内允许的权限及例外。 如需添加多条权限控制规则，可单击+按钮添加。 如需当前条件中的用户或用户组管理本条策略，可勾选“Delegate Admin”，这些用户将成为受委托的管理员。被委托的管理员可以更新、删除本策略，它还可以基于原始策略创建子策略。 Deny Conditions 策略拒绝条件，配置本策略内拒绝的权限及例外，配置方法与“Allow Conditions”类似。 3）如果该函数由 Hive 注册，且函数类型为 UDAF，则在 Ranger 配置 Policy 时需要特别注意 Database 字段的填写方式。此类函数的库名前需要补充前缀 @。例如，若函数的限定名称为 testdb.testfunction，则在 Policy 配置页面中，Database 应填写为 @testdb。

本章节主要介绍如何使用Ranger进行行级过滤。 行级过滤 Ranger支持对查询结果进行行级过滤。也就是说，可以根据预设条件动态限制用户可见的数据范围，让不同用户只能访问符合授权条件的数据子集。 操作步骤 1、在Ranger WebUI配置页面点击Hadoop SQL下的Hive页签，您可以对Hive数据进行脱敏处理。 2、单击上方的Row Level Filter页签。 3、单击右上角的Add New Policy。 4、在Create Policy页面，配置相关参数。 5、单击Add按钮添加policy。 Demo 1、简单 Row Filter 注册 row filter policy，HDFS 用户只能看到userid>3的数据。 Hive测试 Spark测试 2、复杂 Row Filter 设置表达式为email LIKE '%@gmail.com'只保留 gmail.com 后缀的数据。 Hive测试 Spark测试

本章节主要介绍解锁用户。 在用户输入错误密码次数大于允许输入错误次数，造成用户被锁定或者用户被管理员手动锁定后需要解锁用户的场景下，管理员用户可以通过Manager为锁定的用户解锁。开启Kerberos认证的集群或开启弹性公网IP功能的普通集群支持该操作。 说明 该章节操作仅适用于MRS 3.x之前版本集群。MRS3.x及之后版本集群请参考 操作步骤 访问MRS Manager，详细操作请参见访问MRSManager（MRS2.x及之前版本）。 1. 在MRS Manager，单击“系统设置”。 2. 在“权限配置”区域，单击“用户管理”。 3. 在要解锁用户所在行，选择“解锁用户”，解锁用户。 4. 在弹出的提示窗口，单击“确定”完成解锁操作。

本章节主要介绍使用Spark的操作指导。 前提条件 已安装客户端。 例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Spark客户端 1. 安装客户端。 2. 登录安装客户端的节点。 3. 执行以下命令，切换到客户端安装目录，例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 直接执行命令。例如： 7. plaintext sparksql

本章节主要介绍使用Hive的操作指导。 操作场景 该任务指导用户在运维场景或业务场景中使用Hive客户端。 前提条件 已安装客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Hive客户端 1. 安装客户端，具体请参考安装客户端章节。 2. 用户登录安装客户端的节点。 3. 执行以下命令，切换到客户端安装目录，例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 将实际的zookeeper主机名替换以下命令中的zkhostname1、zkhostname2、zkhostname3，执行命令登录Hive客户端。 plaintext beeline u "jdbc:hive2://zkhostname1:2181,zkhostname2:2181,zkhostname3:2181/default;serviceDiscoveryModezooKeeper;zooKeeperNamespacehiveserver2" 说明 beeline连接后可以编写并提交HQL语句执行相关任务。

本章节主要介绍操作类问题中有帐号权限的问题。 如果不开启Kerberos认证，MRS集群能否支持访问权限细分？ MRS 2.1.0及之前版本：在MRS Manager页面选择“系统设置”>“配置”>“权限配置”查询。 MRS 3.x及之后版本：在FusionInsight Manager页面选择“系统 > 权限”查询。 如何给集群内用户添加租户管理权限？ 分析集群和混合集群支持添加租户管理权限，流式集群不支持添加租户管理权限。给新建帐号添加租户管理权限方法如下： MRS3.x之前版本 1.登录MRS Manager。 2.在“系统设置 > 用户管理”中选择新建的用户，单击“操作”列中的“修改”。 3.在“分配角色权限”中单击“选择并绑定角色”。 绑定Managertenant角色，则该帐号拥有租户管理的查看权限。 绑定Manageradministrator角色，则该帐号拥有租户管理的查看和操作权限。 4.单击“确定”完成修改。 MRS3.x及之后版本 1.登录FusionInsight Manager，选择“系统 > 权限 > 用户”。 2.在要修改信息的用户所在行，单击“修改”。 根据实际情况，修改对应参数。 绑定Managertenant角色，则该帐号拥有租户管理的查看权限。绑定Manageradministrator角色，则该帐号拥有租户管理的查看和操作权限。 说明 修改用户的用户组，或者修改用户的角色权限，最长可能需要3分钟时间生效。 3.单击“确定”完成修改操作。 为什么在Manager中找不到用户管理页面？ 当前登录用户没有Manageradministrator角色权限，所以在MRS Manager中无法查看“用户管理”相关内容，请使用admin用户或者其他具有Manager管理权限的用户重新登录Manager。 Hue有配置帐号权限的功能吗？ Hue服务没有配置帐号权限的功能。 可以通过在Manager的“系统设置”中配置用户角色和用户组来配置帐号权限，从而实现Hue权限的配置。

本章节主要介绍 配置并使用互信集群的用户 。 操作场景 配置完跨集群互信后，需要在互信的集群上设置用户的权限，这样本集群中的用户才能访问互信集群中同名用户可访问的资源。 说明 该章节操作仅适用于MRS 3.x之前版本集群。MRS3.x及之后版本集群请参考 前提条件 已完成跨集群互信配置，然后刷新两个集群的客户端。 操作步骤 在集群A的MRS Manager，选择“系统设置 > 用户管理”，检查互信集群B的用户，是否在A集群中已存在相同名字用户。 是，执行步骤2。 否，执行步骤3。 1. 单击用户名左侧的 展开用户的详细信息，检查该用户所在的用户组和角色分配的权限是否满足本次业务需求。 例如，集群A的“admin”用户拥有查看本集群HDFS中目录“/tmp”并创建文件的权限，然后执行步骤4。 2. 创建业务所需要使用的用户，同时关联业务所需要的用户组或者角色。然后执行步骤4。 3. 选择“服务管理 > HDFS > 实例”，查看“NameNode(主)”的“管理IP”。 4. 登录集群B的客户端节点。 例如在Master2节点更新客户端，则在该节点登录客户端，具体参见使用MRS客户端。 5. 执行以下命令，查看集群A中的目录“/tmp”。 hdfs dfs ls hdfs://192.168.6.159:9820/tmp 其中，192.168.6.159是集群A中主NameNode的IP地址，9820是客户端与NameNode通信的默认端口。 6. 执行以下命令，在集群A中的目录“/tmp”创建一个文件。 hdfs dfs touchz hdfs://192.168.6.159:9820/tmp/mrstest.txt 访问集群A，在目录“/tmp”中可查询到mrstest.txt文件，则表示配置跨集群互信成功。

本章节主要介绍操作类问题中有关集群创建的问题。 如何使用自定义安全组创建MRS集群？ 使用自定义安全组创建MRS集群有以下两种方式： 用户购买集群时，选择使用自己创建的安全组时，需要放开9022端口。 用户购买集群时，安全组选择“自动创建”。 创建MRS集群时，为什么找不到HDFS、Yarn、MapReduce组件？ HDFS、Yarn和MapReduce组件包含在Hadoop组件中，当创建MRS集群时无法看到HDFS、Yarn和MapReduce组件，勾选Hadoop组件并等待集群创建完成后即可在“组件管理”页签看到HDFS、Yarn和MapReduce组件。 创建MRS集群时，为什么找不到ZooKeeper组件？ 创建MRS 3.x之前版本集群时，ZooKeeper组件为默认安装的组件，不在创建集群的界面上显示。 集群创建完成后可在集群“组件管理”页签看到ZooKeeper组件。 创建MRS 3.x及之后版本集群时，可以在创建集群的界面看到ZooKeeper组件，并默认勾选。

本章节主要介绍修改操作系统用户密码。 操作场景 该任务指导用户定期修改MRS集群节点操作系统用户“omm”、“ommdba”、"root"的登录密码，以提升系统运维安全性。 各节点“omm”、“ommdba”、"root"无需设置为统一的密码。 操作步骤 登录Master1节点，然后登录要修改操作系统用户密码的其他节点。 1. 执行以下命令切换到用户。 sudo su root 执行如下命令，修改omm/ommdba/root用户密码。 passwd omm passwd ommdba passwd root 例如omm：passwd，系统显示： Changing password for user omm. New password: 输入用户的新密码。操作系统的密码修改策略由用户实际使用的操作系统类型决定。 Retype new password: passwd: all authentication tokens updated successfully. 说明 MRS集群默认密码复杂度要求： 密码字符长度至少8位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符'~!@$%^&()+[{}];:'", /?中的3种类型字符。 重置的密码不能是最近5次使用过的密码。

本章节主要介绍修复隔离主机补丁 。 若集群中存在主机被隔离的情况，集群补丁安装完成后，请参见本节操作对隔离主机进行补丁修复。修复完成后，被隔离的主机节点版本将与其他未被隔离的主机节点一致。 访问MRS Manager，详细操作请参见访问MRS Manager（MRS2.x及之前版本）。 1. 选择“系统设置 > 补丁管理”，进入补丁管理页面。 2. 在“操作”列表中，单击“详情”。 3. 在补丁详情界面，选中“Status”是“Isolated”的主机节点。 4. 单击“Select and Restore”，修复被隔离的主机节点。

本章节主要介绍 修改操作用户密码 。 操作场景 出于MRS集群安全的考虑，“人机”类型系统用户密码必须定期修改。该任务指导用户通过MRS Manager完成修改自身密码工作。 如需对用户修改的密码使用新的密码策略，请先修改密码策略，再参考本章节修改密码。 说明 该章节操作仅适用于MRS 3.x之前版本集群。MRS3.x及之后版本集群请参考 对系统的影响 修改MRS集群用户密码后，如果以前下载过用户认证文件，则需要重新下载并获取keytab文件。 前提条件 从管理员获取当前的密码策略。 从管理员获取MRS Manager访问地址。 开启Kerberos认证的集群或开启弹性公网IP功能的普通集群。 操作步骤 访问MRS Manager，详细操作请参见访问MRSManager（MRS2.x及之前版本）。 1. 在MRS Manager，移动鼠标到界面右上角的。 在弹出菜单，选择“修改密码”。 2. 分别输入“旧密码”、“新密码”、“确认新密码”，单击“确定”完成修改。 集群中，默认的密码复杂度要求： 密码字符长度为8～32位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符'~!@$%^&()+[{}];:'", /?中的3种类型字符。 不能与用户名或倒序的用户名相同。

本章节主要介绍操作类问题中有关客户端使用的问题。 怎么关闭ZooKeeper SASL认证？ 1.登录FusionInsight Manager。 2.选择“集群 > 服务 > ZooKeeper > 配置 > 全部配置”。 3.在左侧导航栏选择“quorumpeer > 自定义”添加参数名称和值：zookeeper.sasl.disable false。 保存配置后，重启ZooKeeper服务。 在MRS集群外客户端中执行kinit报错“Permission denied”如何处理？ 问题现象 在MRS集群外节点上安装了客户端后并执行kinit命令报错如下： bash kinit Permission denied 执行java命令也报错如下： bash: /xxx/java: Permission denied 执行 ll / java 安装路径 /JDK/jdk/bin/java命令查看该文件执行权限信息正常。 原因分析 执行mount column t查看挂接的分区状态，发现java执行文件所在的挂载点的分区状态是“noexec”。当前环境中将安装MRS客户端所在的数据盘配置成“noexec”，即禁止二进制文件执行，从而无法使用java命令。 解决方法 1.以root用户登录MRS客户端所在节点。 2.移除“/etc/fstab”文件中MRS客户端所在的数据盘的配置项“noexec”。 3.执行umount 命令卸载数据盘，然后再执行mount a重新挂载数据盘。

本章节主要介绍 修改用户信息。 操作场景 该任务指导管理员用户在MRSManager修改已创建的用户信息，包括修改用户组、主组、角色和描述。 操作步骤 在MRS Manager，单击“系统设置”。 1. 在“权限配置”区域，单击“用户管理”。 2. 在要修改用户所在的行，单击“修改”，修改用户信息。 说明 为用户修改用户组或分配的角色权限，最长可能需要3分钟时间生效。 3. 单击“确定”完成修改操作。