本章节主要介绍如何配置Ranger数据连接。 本指导旨在指导用户将现有集群的Ranger元数据切换为RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据，且元数据不随集群的删除而删除。也能够避免集群迁移时Ranger元数据的迁移。 前置条件 已创建RDS服务MySQL数据库的实例，请参考 管理数据连接章节配置数据连接 中的 创建数据连接。 说明 对于MRS 3.x之前版本，当用户选择的数据连接为“RDS服务MySQL数据库”时，请确保使用的数据库用户为root用户。如果为非root用户，请参考 管理数据连接章节[配置数据连接]（ ） 中的 数据连接前置操作，新建用户并为该用户进行赋权。 对于MRS 3.x及之后版本，当用户选择的数据连接为“RDS服务MySQL数据库”时，数据库用户不允许为root用户，请参考 管理数据连接章节[配置数据连接]（ ）中的 数据连接前置操作，新建用户并为该用户进行赋权。 Ranger元数据外置到Mysql前置操作 该前置操作仅在MRS 3.1.0及之后版本需要执行。 1.登录FusionInsight Manager页面，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。选择“集群 > 服务 > 服务名称 ”。 当前MRS 3.1.x集群支持Ranger鉴权的组件为: HDFS、HBase、Hive、Spark、Impala、Storm、Kafka组件。 2.在服务“概览”页面右上角单击“更多 > 停用Ranger鉴权”，如果“停用Ranger鉴权”是灰色，则表示未开启Ranger鉴权无需停用Ranger鉴权，如下图所示。 3.（可选）如需使用已有鉴权策略请执行该步骤在Ranger Web页面导出已有组件的鉴权策略，切换Ranger元数据完成后可重新导入已有的鉴权策略。此处以Hive为例，导出后会生成本地的json格式的策略文件。 a.登录FusionInsight Manager页面。 b.选择“集群 > 服务 > Ranger”，进入Ranger服务概览页面。 c.单击“基本信息”区域中的“RangerAdmin”，进入Ranger WebUI界面。 admin用户在Ranger中的用户类型为“User”，如需查看所有管理页面，可点击右上角用户名后，选择“Log Out”，退出当前用户。 d.使用rangeradmin用户（默认密码为Rangeradmin@123）或者其他具有Ranger管理员权限用户重新登录。 e.单击Hive组件对应行的导出按钮，导出鉴权策略。 详见下图：导出鉴权策略 f.单击“Export”，导出后会生成本地的json格式的策略文件。 详见下图： 导出Hive鉴权策略

本章节主要介绍如何快速创建Hadoop分析集群。 本章节为您介绍如何快速创建一个Hadoop分析集群，Hadoop完全使用开源Hadoop生态，采用YARN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flink流式数据计算，Presto交互式查询，Tez有向无环图的分布式计算框架等Hadoop生态圈的组件，进行海量数据分析与查询。 快速创建Hadoop分析集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息，参数详细信息请参考创建自定义集群。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20180321”。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：选择“Hadoop分析集群”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 集群高可用：默认即可。MRS 3.x版本暂时不支持该参数。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权，通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态部分 集群列表参数中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

策略类别 IAM策略 同步后用户在MRS对应默认权限 是否有权限执行同步操作 是否有权限提交作业 细粒度 MRS ReadOnlyAccess Managerviewer 否 否 细粒度 MRS CommonOperations lManagerviewer default launcherjob 否 是 细粒度 MRS FullAccess Manageradministrator Managerauditor Manageroperator Managertenant Managerviewer Systemadministrator default launcherjob 是 是 RBAC MRS Administrator Manageradministrator Managerauditor Manageroperator Managertenant Managerviewer Systemadministrator default launcherjob 否 是 RBAC Server Administrator、Tenant Guest和MRS Administrator Manageradministrator Managerauditor Manageroperator Managertenant Managerviewer Systemadministrator default launcherjob 是 是 RBAC Tenant Administrator Manageradministrator Managerauditor Manageroperator Managertenant Managerviewer Systemadministrator default launcherjob 是 是 自定义 Custom policy（自定义策略） Managerviewer default launcherjob 自定义策略以RBAC策略为模板则参考RBAC策略。 自定义策略以细粒度策略为模板则参考细粒度策略，建议使用细粒度策略。 是

本章节主要介绍如何创建MRS操作用户。 如果您需要对您所拥有的MapReduce服务（MapReduce Service）进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），通过IAM，您可以： 根据企业的业务组织，在您的云帐号中，给企业中不同职能部门的员工创建IAM用户，让员工拥有唯一安全凭证，并使用MRS资源。 根据企业用户的职能，设置不同的访问权限，以达到用户之间的权限隔离。 将MRS资源委托给更专业、高效的其他云帐号或者云服务，这些帐号或者云服务可以根据权限进行代运维。 如果云帐号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用MRS服务的其它功能。 本章节为您介绍对用户授权的方法，操作流程如下图所示。 前提条件 给用户组授权之前，请您了解用户组可以添加的MRS权限，并结合实际需求进行选择。 示例流程 详见下图： 给用户授权MRS权限流程 1.创建用户组并授权 在IAM控制台创建用户组，并授予MRS服务对应权限。 2.创建用户并加入用户组 在IAM控制台创建用户，并将其加入上述创建用户组并授权中创建的用户组。 3.用户登录并验证权限 新创建的用户登录控制台，切换至授权区域，验证权限： −在“服务列表”中选择MRS服务，进入MRS主界面，单击右上角“创建集群”，尝试创建MRS集群，如果无法创建MRS集群（假设当前权限仅包含MRS ReadOnlyAccess），表示“MRS ReadOnlyAccess”已生效。 −在“服务列表”中选择除MRS服务外（假设当前策略仅包含MRS ReadOnlyAccess）的任一服务，若提示权限不足，表示“MRS ReadOnlyAccess”已生效。

目前微服务云应用平台处于公测阶段，服务协议请参见公测产品服务协议。

接口功能介绍 重启防火墙v3 接口约束 无 URI POST /v3/firewall/rebootFirewall 路径参数 无 Query参数 参数 是否必填 参数类型 说明 示例 下级对象 regionId 是 String 资源池ID。 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx firewallOid 是 String 防火墙ID。 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 请求参数 请求头header参数 无 请求体body参数 无 响应参数 参数 参数类型 说明 示例 下级对象 statusCode Integer 状态码。可能值： 800：请求成功。 900：请求失败。 800 error String 错误码。 ECPC1000 message String 提示信息。 OK. returnObj Object 返回数据结构体。 returnObj 枚举参数 无 请求示例 请求url 请求头header 无 请求体body 无 响应示例 { "statusCode":800, "message":"OK.", "returnObj":{ } } 状态码 请参考 状态码 错误码 请参考 错误码

接口功能介绍 重启防火墙v3 接口约束 无 URI POST /v3/firewall/rebootFirewall 路径参数 无 Query参数 参数 是否必填 参数类型 说明 示例 下级对象 regionId 是 String 资源池ID。 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx firewallOid 是 String 防火墙ID。 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 请求参数 请求头header参数 无 请求体body参数 无 响应参数 参数 参数类型 说明 示例 下级对象 statusCode Integer 状态码。可能值： 800：请求成功。 900：请求失败。 800 error String 错误码。 ECPC1000 message String 提示信息。 OK. returnObj Object 返回数据结构体。 returnObj 枚举参数 无 请求示例 请求url 请求头header 无 请求体body 无 响应示例 { "statusCode":800, "message":"OK.", "returnObj":{ } } 状态码 请参考 状态码 错误码 请参考 错误码

参数 是否必填 参数类型 说明 示例 下级对象 regionId 是 String 资源池ID。 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx firewallOid 是 String 防火墙ID。 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

本章节介绍Ranger如何基于Role进行权限管控。 功能说明 Ranger支持基于角色（Role）的权限管控，即可以直接针对某个角色统一配置资源访问权限。关联该角色的用户在访问Hive、HDFS、HBase等组件资源时，组件侧的Ranger Plugin会拦截访问请求，并将请求中的用户关联角色、资源、操作类型等信息与Ranger Admin中的策略进行匹配，最终决定是否允许访问。基于角色授权是常用的权限配置方式之一，适用于按岗位、职能维度批量进行标准化权限管控的场景。 操作步骤 1、访问Ranger Admin WebUI页面。 2、首先点击右上角的“Settings”按钮，然后点击“Users/Groups/Roles”选项；最后点击“Roles”选项查看角色的相关信息。 3、UserSync只会从LDAP同步用户和用户组，角色信息需要手动注册，在“第二步”的基础上点击右上角的“Add New Role”按钮。 4、参照页面图示指引，填写角色注册所需各项信息，确认配置无误后点击“确定”按钮，完成角色的创建。 5、回到Service界面，选择目标Service（DEMO以HDFS为例）。 6、点击右上角新建Policy。 7、在Policy页面填写基础信息，首先在Conditions栏选择“Select Role”；然后选择目标角色。 8、确认配置后点击添加，即可生效。

本章节介绍Ranger如何基于Role进行权限管控。 功能说明 Ranger支持基于角色（Role）的权限管控，即可以直接针对某个角色统一配置资源访问权限。关联该角色的用户在访问Hive、HDFS、HBase等组件资源时，组件侧的Ranger Plugin会拦截访问请求，并将请求中的用户关联角色、资源、操作类型等信息与Ranger Admin中的策略进行匹配，最终决定是否允许访问。基于角色授权是常用的权限配置方式之一，适用于按岗位、职能维度批量进行标准化权限管控的场景。 操作步骤 1、访问Ranger Admin WebUI页面。 2、首先点击右上角的“Settings”按钮，然后点击“Users/Groups/Roles”选项；最后点击“Roles”选项查看角色的相关信息。 3、UserSync只会从LDAP同步用户和用户组，角色信息需要手动注册，在“第二步”的基础上点击右上角的“Add New Role”按钮。 4、参照页面图示指引，填写角色注册所需各项信息，确认配置无误后点击“确定”按钮，完成角色的创建。 5、回到Service界面，选择目标Service（DEMO以HDFS为例）。 6、点击右上角新建Policy。 7、在Policy页面填写基础信息，首先在Conditions栏选择“Select Role”；然后选择目标角色。 8、确认配置后点击添加，即可生效。

本章节介绍Ranger如何基于User进行权限管控。 功能说明 Ranger支持基于User的权限管控，即可以直接针对某个用户配置资源访问权限。用户在访问Hive、HDFS、HBase等组件资源时，组件侧的Ranger Plugin会拦截访问请求，并将请求中的用户、资源、操作类型等信息与Ranger Admin中的策略进行匹配，最终决定是否允许访问。基于User授权是最常见的权限配置方式之一，适用于对单个用户进行精细化权限控制的场景。 操作步骤 1、访问Ranger Admin WebUI页面。 2、首先点击右上角的“Settings”按钮，然后点击“Users/Groups/Roles”选项；最后点击“Users”选项查看用户的相关信息。 3、回到Service界面，选择目标Service（DEMO以HDFS为例）。 4、点击右上角新建Policy。 5、在Policy页面填写基础信息，首先在Conditions栏选择“Select User”；然后选择目标用户。 6、确认配置后点击添加，即可生效。

本章节介绍Ranger如何基于Group进行权限管控。 功能说明 Ranger支持基于用户组的权限管控，即可以直接针对某个用户组统一配置资源访问权限。用户组内成员在访问Hive、HDFS、HBase等组件资源时，组件侧的Ranger Plugin会拦截访问请求，并将请求中的用户所属组、资源、操作类型等信息与Ranger Admin中的策略进行匹配，最终决定是否允许访问。基于用户组授权是常用的权限配置方式之一，适用于批量对同组人员进行统一权限管控的场景。 操作步骤 1、访问Ranger Admin WebUI页面。 2、首先点击右上角的“Settings”按钮，然后点击“Users/Groups/Roles”选项；最后点击“Groups”选项查看用户组的相关信息。 3、回到Service界面，选择目标Service（DEMO以HDFS为例）。 4、点击右上角新建Policy。 5、在Policy页面填写基础信息，首先在Conditions栏选择“Select Group”；然后选择目标用户组。 6、确认配置后点击添加，即可生效。

本章节介绍Ranger如何基于Group进行权限管控。 功能说明 Ranger支持基于用户组的权限管控，即可以直接针对某个用户组统一配置资源访问权限。用户组内成员在访问Hive、HDFS、HBase等组件资源时，组件侧的Ranger Plugin会拦截访问请求，并将请求中的用户所属组、资源、操作类型等信息与Ranger Admin中的策略进行匹配，最终决定是否允许访问。基于用户组授权是常用的权限配置方式之一，适用于批量对同组人员进行统一权限管控的场景。 操作步骤 1、访问Ranger Admin WebUI页面。 2、首先点击右上角的“Settings”按钮，然后点击“Users/Groups/Roles”选项；最后点击“Groups”选项查看用户组的相关信息。 3、回到Service界面，选择目标Service（DEMO以HDFS为例）。 4、点击右上角新建Policy。 5、在Policy页面填写基础信息，首先在Conditions栏选择“Select Group”；然后选择目标用户组。 6、确认配置后点击添加，即可生效。

高性能 Ranger通过策略本地缓存机制降低了组件鉴权过程对RangerAdmin的实时依赖。组件侧Ranger插件会周期性拉取策略并缓存到本地，在实际请求鉴权时主要基于本地缓存策略完成匹配判断，从而减少远程调用开销，提升鉴权性能。 在RangerAdmin多实例部署场景下，可结合负载均衡能力对WebUI访问及策略服务请求进行分发。用户通过浏览器访问RangerWebUI时，负载均衡组件可将请求转发至当前可用且负载较低的RangerAdmin实例，从而提升管理端访问的稳定性与整体服务能力。

本章节主要介绍如何通过Ranger进行UDF管控。 在大数据平台中，UDF常用于扩展SQL的表达能力，例如字符串处理、脱敏转换、时间计算等。但如果缺少统一的权限管控，部分高风险UDF可能被滥用，进而带来数据泄露、越权访问或不符合规范的计算行为。因此，需要通过Ranger对UDF的访问进行统一治理，实现对函数使用范围的精细化控制。 操作步骤 1、登录Ranger的WebUI界面。 2、点击Hadoop SQL下的Hive页签，您可以对Hive UDF进行权限管控： 1）点击右上角的“Add New Policy”添加新策略。 2）Ranger Hive可以配置UDF权限，例如配置一个用户是否可以使用、创建UDF，具体配置见下图。 具体参数说明如下： 参数名称 描述 Policy Name 策略名称，可自定义，不能与本服务内其他策略名称重复。 Policy Label 为当前策略指定一个标签，您可以根据这些标签搜索报告和筛选策略。 database 将适用该策略的列Hive数据库名称。 udf 指定UDF的名称。 Description 策略描述信息。 Audit Logging 是否审计此策略。 Allow Conditions 策略允许条件，配置本策略内允许的权限及例外。 如需添加多条权限控制规则，可单击+按钮添加。 如需当前条件中的用户或用户组管理本条策略，可勾选“Delegate Admin”，这些用户将成为受委托的管理员。被委托的管理员可以更新、删除本策略，它还可以基于原始策略创建子策略。 Deny Conditions 策略拒绝条件，配置本策略内拒绝的权限及例外，配置方法与“Allow Conditions”类似。 3）如果该函数由 Hive 注册，且函数类型为 UDAF，则在 Ranger 配置 Policy 时需要特别注意 Database 字段的填写方式。此类函数的库名前需要补充前缀 @。例如，若函数的限定名称为 testdb.testfunction，则在 Policy 配置页面中，Database 应填写为 @testdb。

本章节主要介绍如何使用Ranger进行行级过滤。 行级过滤 Ranger支持对查询结果进行行级过滤。也就是说，可以根据预设条件动态限制用户可见的数据范围，让不同用户只能访问符合授权条件的数据子集。 操作步骤 1、在Ranger WebUI配置页面点击Hadoop SQL下的Hive页签，您可以对Hive数据进行脱敏处理。 2、单击上方的Row Level Filter页签。 3、单击右上角的Add New Policy。 4、在Create Policy页面，配置相关参数。 5、单击Add按钮添加policy。 Demo 1、简单 Row Filter 注册 row filter policy，HDFS 用户只能看到userid>3的数据。 Hive测试 Spark测试 2、复杂 Row Filter 设置表达式为email LIKE '%@gmail.com'只保留 gmail.com 后缀的数据。 Hive测试 Spark测试

本章节主要介绍如何通过Ranger进行UDF管控。 在大数据平台中，UDF常用于扩展SQL的表达能力，例如字符串处理、脱敏转换、时间计算等。但如果缺少统一的权限管控，部分高风险UDF可能被滥用，进而带来数据泄露、越权访问或不符合规范的计算行为。因此，需要通过Ranger对UDF的访问进行统一治理，实现对函数使用范围的精细化控制。 操作步骤 1、登录Range的WebUI界面（操作详情见“登录Ranger WebUI界面”）。 2、点击Hadoop SQL下的Hive页签，您可以对Hive UDF进行权限管控： 1）点击右上角的“Add New Policy”添加新策略。 2）Ranger Hive可以配置UDF权限，例如配置一个用户是否可以使用、创建UDF，具体配置见下图。 具体参数说明如下： 参数名称 描述 Policy Name 策略名称，可自定义，不能与本服务内其他策略名称重复。 Policy Label 为当前策略指定一个标签，您可以根据这些标签搜索报告和筛选策略。 database 将适用该策略的列Hive数据库名称。 udf 指定UDF的名称。 Description 策略描述信息。 Audit Logging 是否审计此策略。 Allow Conditions 策略允许条件，配置本策略内允许的权限及例外。 如需添加多条权限控制规则，可单击+按钮添加。 如需当前条件中的用户或用户组管理本条策略，可勾选“Delegate Admin”，这些用户将成为受委托的管理员。被委托的管理员可以更新、删除本策略，它还可以基于原始策略创建子策略。 Deny Conditions 策略拒绝条件，配置本策略内拒绝的权限及例外，配置方法与“Allow Conditions”类似。 3）如果该函数由 Hive 注册，且函数类型为 UDAF，则在 Ranger 配置 Policy 时需要特别注意 Database 字段的填写方式。此类函数的库名前需要补充前缀 @。例如，若函数的限定名称为 testdb.testfunction，则在 Policy 配置页面中，Database 应填写为 @testdb。

天翼云为您提供对象存储服务等级协议,请您点击查看。 自2021年11月11日起，新版对象存储服务等级协议生效，详情请参见这里。 中国电信天翼对象存储系统服务等级协议 历史版本（2012年11月10日）

本章节主要介绍解锁用户。 在用户输入错误密码次数大于允许输入错误次数，造成用户被锁定或者用户被管理员手动锁定后需要解锁用户的场景下，管理员用户可以通过Manager为锁定的用户解锁。开启Kerberos认证的集群或开启弹性公网IP功能的普通集群支持该操作。 说明 该章节操作仅适用于MRS 3.x之前版本集群。MRS3.x及之后版本集群请参考 操作步骤 访问MRS Manager，详细操作请参见访问MRSManager（MRS2.x及之前版本）。 1. 在MRS Manager，单击“系统设置”。 2. 在“权限配置”区域，单击“用户管理”。 3. 在要解锁用户所在行，选择“解锁用户”，解锁用户。 4. 在弹出的提示窗口，单击“确定”完成解锁操作。

本节主要介绍OBS服务等级协议。 自2021年11月11日起，新版对象存储服务协议生效，详情请参见这里。 中国电信天翼对象存储系统服务协议 历史版本（2012年11月10日）

本章节主要介绍安全认证原理和认证机制。 功能 开启了 Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。 Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”，后来沿用作为安全认证的概念，使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。 原理 Kerberos的原理架构和各模块的说明如下图所示： 原理架构 模块说明 App Client：应用客户端，通常是需要提交任务（或者作业）的应用程序。 App Server：应用服务端，通常是应用客户端需要访问的应用程序。 Key Distribution Center（KDC）：提供安全认证的服务。 Database：存储Principal数据。 Authentication Server（AS）：认证服务器，认证客户端身份，发放客户访问TGS的票据授权票据（TGT）。 Ticket Granting Server（TGS）：票据授予服务器，发放应用客户端访问应用服务端所需的服务票据（ST）。 步骤原理说明 应用客户端（App Client）可以是集群内某个服务，也可以是客户二次开发的一个应用程序，应用程序可以向应用服务提交任务或者作业。 1. ASREQ：App Client在提交任务或者作业前，需要向AS申请TGT，用于建立和TGS的安全会话。 2. ASREP：AS在收到TGT请求后，会解析其中的参数来生成对应的TGT，使用App Client指定的用户名的密钥进行加密响应消息。 3. TGSREQ：App Client收到TGT响应消息后，解析获取TGT，此时，再由App Client（通常是RPC底层）向TGS获取应用服务端的ST。 4. TGSREP：TGS在收到ST请求后，校验其中的TGT合法后，生成对应的App Server的ST，再使用App Server密钥将响应消息进行加密处理。 5. APREQ：App Client收到ST响应消息后，将ST打包到发给App Server的消息里面传输给对应的App Server。 6. APREP：App Server端收到请求后，使用App Server对应的密钥解析其中的ST，并校验成功后，本次请求合法通过。 说明 1. Kerberos认证时需要配置Kerberos认证所需要的文件参数，主要包含keytab路径，Kerberos认证的principal，Kerberos认证所需要的客户端配置krb5.conf文件。 2. 方法login()为调用的UserGroupInformation的方法执行Kerberos认证，生成TGT票据。 3. 方法doSth()调用hadoop的接口访问文件系统，此时底层RPC会自动携带TGT去Kerberos认证，生成ST票据。

本章节主要介绍使用Spark的操作指导。 前提条件 已安装客户端。 例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Spark客户端 1. 安装客户端。 2. 登录安装客户端的节点。 3. 执行以下命令，切换到客户端安装目录，例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 直接执行命令。例如： 7. plaintext sparksql

本章节主要介绍使用Hive的操作指导。 操作场景 该任务指导用户在运维场景或业务场景中使用Hive客户端。 前提条件 已安装客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Hive客户端 1. 安装客户端，具体请参考安装客户端章节。 2. 用户登录安装客户端的节点。 3. 执行以下命令，切换到客户端安装目录，例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 将实际的zookeeper主机名替换以下命令中的zkhostname1、zkhostname2、zkhostname3，执行命令登录Hive客户端。 plaintext beeline u "jdbc:hive2://zkhostname1:2181,zkhostname2:2181,zkhostname3:2181/default;serviceDiscoveryModezooKeeper;zooKeeperNamespacehiveserver2" 说明 beeline连接后可以编写并提交HQL语句执行相关任务。

本章节主要介绍如何通过后台提交并运行Flink作业。 通过后台提交作业 目前Flink客户端默认安装路径为“/usr/local/flink”。具体以实际为准。 1. 通过SSH方式登录集群。 2. 配置环境变量。 在/etc/profile添加如下配置： export HADOOPHOME/usr/local/hadoop3 export FLINKHOME/usr/local/flink export PATHPATH:PATH:FLINKHOME/bin:HADOOPHOME/bin export HADOOPCONFDIRHADOOPHOME/bin exportHADOOPCONFDIRHADOOPHOME/etc/hadoop export PATHPATH:PATH:HADOOPCONFDIR export HADOOPCLASSPATHhadoop classpath 执行如下命令初始化环境变量 source /etc/profile 3. 集群默认开启Kerberos认证，需要执行以下命令以完成认证。 示例： klist kt /etc/security/keytabs/flink.keytab 获取flink.keytab的principalname kinit kt /etc/security/keytabs/flink.keytab flink.keytab的principalname 同时，应配置安全认证。在“/usr/local/flink/conf/flinkconf.yaml”配置文件中的对应配置添加keytab路径以及用户名。 security.kerberos.login.useticketcache: true security.kerberos.login.keytab: security.kerberos.login.principal: user security.kerberos.login.contexts: Client,KafkaClient 例如： security.kerberos.login.keytab: /etc/security/keytabs/hdfs.keytab security.kerberos.login.principal: hdfs 4. 运行wordcount作业。 首先执行上述第3步骤中的认证操作，然后启动Flink集群。 /usr/local/flink/bin/startcluster.sh Session模式 执行如下命令在session中提交作业。 yarnsession.sh nm "sessionname" detached flink run /usr/local/flink/examples/streaming/WordCount.jar 提交成功后，会返回已提交的Flink作业的YARN Application ID以及Web地址，访问Web地址以通过Web UI的方式查看作业状态。 Application模式 执行如下命令以Application方式提交作业。 flink runapplication t yarnapplication/usr/local/flink/examples/streaming/WordCount.jar 提交成功后，会返回已提交的Flink作业的YARN Application ID以及Web地址，访问Web地址以通过Web UI的方式查看作业状态。

对象存储服务协议生效，详情请参见这里。

对象存储服务等级协议生效，详情请参见这里。 中国电信天翼对象存储系统服务等级协议 历史版本（2012年11月10日）。

本章节主要介绍操作类问题中有帐号权限的问题。 如果不开启Kerberos认证，MRS集群能否支持访问权限细分？ MRS 2.1.0及之前版本：在MRS Manager页面选择“系统设置”>“配置”>“权限配置”查询。 MRS 3.x及之后版本：在FusionInsight Manager页面选择“系统 > 权限”查询。 如何给集群内用户添加租户管理权限？ 分析集群和混合集群支持添加租户管理权限，流式集群不支持添加租户管理权限。给新建帐号添加租户管理权限方法如下： MRS3.x之前版本 1.登录MRS Manager。 2.在“系统设置 > 用户管理”中选择新建的用户，单击“操作”列中的“修改”。 3.在“分配角色权限”中单击“选择并绑定角色”。 绑定Managertenant角色，则该帐号拥有租户管理的查看权限。 绑定Manageradministrator角色，则该帐号拥有租户管理的查看和操作权限。 4.单击“确定”完成修改。 MRS3.x及之后版本 1.登录FusionInsight Manager，选择“系统 > 权限 > 用户”。 2.在要修改信息的用户所在行，单击“修改”。 根据实际情况，修改对应参数。 绑定Managertenant角色，则该帐号拥有租户管理的查看权限。绑定Manageradministrator角色，则该帐号拥有租户管理的查看和操作权限。 说明 修改用户的用户组，或者修改用户的角色权限，最长可能需要3分钟时间生效。 3.单击“确定”完成修改操作。 为什么在Manager中找不到用户管理页面？ 当前登录用户没有Manageradministrator角色权限，所以在MRS Manager中无法查看“用户管理”相关内容，请使用admin用户或者其他具有Manager管理权限的用户重新登录Manager。 Hue有配置帐号权限的功能吗？ Hue服务没有配置帐号权限的功能。 可以通过在Manager的“系统设置”中配置用户角色和用户组来配置帐号权限，从而实现Hue权限的配置。

本章节主要介绍 配置并使用互信集群的用户 。 操作场景 配置完跨集群互信后，需要在互信的集群上设置用户的权限，这样本集群中的用户才能访问互信集群中同名用户可访问的资源。 说明 该章节操作仅适用于MRS 3.x之前版本集群。MRS3.x及之后版本集群请参考 前提条件 已完成跨集群互信配置，然后刷新两个集群的客户端。 操作步骤 在集群A的MRS Manager，选择“系统设置 > 用户管理”，检查互信集群B的用户，是否在A集群中已存在相同名字用户。 是，执行步骤2。 否，执行步骤3。 1. 单击用户名左侧的 展开用户的详细信息，检查该用户所在的用户组和角色分配的权限是否满足本次业务需求。 例如，集群A的“admin”用户拥有查看本集群HDFS中目录“/tmp”并创建文件的权限，然后执行步骤4。 2. 创建业务所需要使用的用户，同时关联业务所需要的用户组或者角色。然后执行步骤4。 3. 选择“服务管理 > HDFS > 实例”，查看“NameNode(主)”的“管理IP”。 4. 登录集群B的客户端节点。 例如在Master2节点更新客户端，则在该节点登录客户端，具体参见使用MRS客户端。 5. 执行以下命令，查看集群A中的目录“/tmp”。 hdfs dfs ls hdfs://192.168.6.159:9820/tmp 其中，192.168.6.159是集群A中主NameNode的IP地址，9820是客户端与NameNode通信的默认端口。 6. 执行以下命令，在集群A中的目录“/tmp”创建一个文件。 hdfs dfs touchz hdfs://192.168.6.159:9820/tmp/mrstest.txt 访问集群A，在目录“/tmp”中可查询到mrstest.txt文件，则表示配置跨集群互信成功。

本章节主要介绍操作类问题中有关集群创建的问题。 如何使用自定义安全组创建MRS集群？ 使用自定义安全组创建MRS集群有以下两种方式： 用户购买集群时，选择使用自己创建的安全组时，需要放开9022端口。 用户购买集群时，安全组选择“自动创建”。 创建MRS集群时，为什么找不到HDFS、Yarn、MapReduce组件？ HDFS、Yarn和MapReduce组件包含在Hadoop组件中，当创建MRS集群时无法看到HDFS、Yarn和MapReduce组件，勾选Hadoop组件并等待集群创建完成后即可在“组件管理”页签看到HDFS、Yarn和MapReduce组件。 创建MRS集群时，为什么找不到ZooKeeper组件？ 创建MRS 3.x之前版本集群时，ZooKeeper组件为默认安装的组件，不在创建集群的界面上显示。 集群创建完成后可在集群“组件管理”页签看到ZooKeeper组件。 创建MRS 3.x及之后版本集群时，可以在创建集群的界面看到ZooKeeper组件，并默认勾选。

本章节主要介绍修改操作系统用户密码。 操作场景 该任务指导用户定期修改MRS集群节点操作系统用户“omm”、“ommdba”、"root"的登录密码，以提升系统运维安全性。 各节点“omm”、“ommdba”、"root"无需设置为统一的密码。 操作步骤 登录Master1节点，然后登录要修改操作系统用户密码的其他节点。 1. 执行以下命令切换到用户。 sudo su root 执行如下命令，修改omm/ommdba/root用户密码。 passwd omm passwd ommdba passwd root 例如omm：passwd，系统显示： Changing password for user omm. New password: 输入用户的新密码。操作系统的密码修改策略由用户实际使用的操作系统类型决定。 Retype new password: passwd: all authentication tokens updated successfully. 说明 MRS集群默认密码复杂度要求： 密码字符长度至少8位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符'~!@$%^&()+[{}];:'", /?中的3种类型字符。 重置的密码不能是最近5次使用过的密码。

本章节主要介绍修复隔离主机补丁 。 若集群中存在主机被隔离的情况，集群补丁安装完成后，请参见本节操作对隔离主机进行补丁修复。修复完成后，被隔离的主机节点版本将与其他未被隔离的主机节点一致。 访问MRS Manager，详细操作请参见访问MRS Manager（MRS2.x及之前版本）。 1. 选择“系统设置 > 补丁管理”，进入补丁管理页面。 2. 在“操作”列表中，单击“详情”。 3. 在补丁详情界面，选中“Status”是“Isolated”的主机节点。 4. 单击“Select and Restore”，修复被隔离的主机节点。

本章节主要介绍 修改操作用户密码 。 操作场景 出于MRS集群安全的考虑，“人机”类型系统用户密码必须定期修改。该任务指导用户通过MRS Manager完成修改自身密码工作。 如需对用户修改的密码使用新的密码策略，请先修改密码策略，再参考本章节修改密码。 说明 该章节操作仅适用于MRS 3.x之前版本集群。MRS3.x及之后版本集群请参考 对系统的影响 修改MRS集群用户密码后，如果以前下载过用户认证文件，则需要重新下载并获取keytab文件。 前提条件 从管理员获取当前的密码策略。 从管理员获取MRS Manager访问地址。 开启Kerberos认证的集群或开启弹性公网IP功能的普通集群。 操作步骤 访问MRS Manager，详细操作请参见访问MRSManager（MRS2.x及之前版本）。 1. 在MRS Manager，移动鼠标到界面右上角的。 在弹出菜单，选择“修改密码”。 2. 分别输入“旧密码”、“新密码”、“确认新密码”，单击“确定”完成修改。 集群中，默认的密码复杂度要求： 密码字符长度为8～32位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符'~!@$%^&()+[{}];:'", /?中的3种类型字符。 不能与用户名或倒序的用户名相同。