本章节主要介绍如何配置角色实例参数。 操作场景 用户可以根据实际业务场景，在MRS中快速查看及修改角色实例默认的配置。支持导出或导入配置。 对系统的影响 配置HBase、HDFS、Hive、Spark、Yarn、Mapreduce服务属性后，需要重新下载并更新客户端配置文件。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 修改角色实例参数 1.在集群详情页，单击“组件管理”。 2.单击服务列表中指定的服务名称。 3.单击“实例”页签。 4.单击角色实例列表中指定的角色实例名称。 5.单击“实例配置”页签。 6.将页面右侧“基础配置”切换为“全部配置”，界面上将显示该角色实例的全部配置参数导航树。 7.在导航树选择指定的参数，修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 修改某个参数的值后需要取消修改，可以单击恢复。 8.单击“保存配置”，勾选“重新启动受影响的服务或实例。”并单击“确定”，重启角色实例。

任务示例 配置Hive自定义参数 Hive依赖于HDFS，默认情况下Hive访问HDFS时是HDFS的客户端，生效的配置参数统一由HDFS控制。例如HDFS参数“ipc.client.rpc.timeout”影响所有客户端连接HDFS服务端的RPC超时时间，如果用户需要单独修改Hive连接HDFS的超时时间，可以使用自定义配置项功能进行设置。在Hive的“coresite.xml”文件增加此参数可被Hive服务识别并代替HDFS的设置。 1.在集群详情页，单击“组件管理”。 2.选择 “Hive > 服务配置”。 3.将页面右侧“基础配置”切换为“全部配置”。 4.在左侧导航栏选择Hive服务级别“自定义”，MRS将显示Hive支持的服务级别自定义参数。 5.在“coresite.xml”对应参数“core.site.customized.configs”的“参数”输入“ipc.client.rpc.timeout”，“值”输入新的参数值，例如“150000”。单位为毫秒。 6.单击“保存配置”，勾选“重新启动受影响的服务或实例。”并单击“确定”重启服务。 界面提示“操作成功。”，单击“完成”，服务成功启动。

本章节主要介绍如何进行同步角色实例配置。 操作场景 当用户发现角色实例的“配置状态”为“配置超期”或“配置失败”时，可以在MRS尝试使用同步配置功能，同步角色实例的配置数据与后台配置数据，以恢复配置状态。 对系统的影响 同步配置角色实例后需要重启配置过期的角色实例。重启时对应的角色实例不可用。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“组件管理”。 2.选择服务名称。 3.单击“实例”页签。 4.在角色实例列表中，单击指定角色实例名称。 5.在角色实例状态及指标信息上方，选择“更多 > 同步配置”。 6.在弹出窗口勾选“重启配置过期的服务”，并单击“是”重启角色实例。

本章节主要介绍如何扩容集群。 MRS的扩容不论在存储还是计算能力上，都可以简单地通过增加Core节点或者Task节点来完成，不需要修改系统架构，降低运维成本。集群Core节点不仅可以处理数据，也可以存储数据。可以在集群中添加Core节点，通过增加节点数量处理峰值负载。集群Task节点主要用于处理数据，不存放持久数据。 背景信息 MRS集群支持Core与Task节点总数最大为500个。如果用户需要的Core/Task节点数大于500，可以联系支持人员或者调用后台接口修改数据库。 目前支持扩容Core节点和Task节点，不支持扩容Master节点。此处扩容的最大Core/Task节点数为（500 集群Core/Task节点数）。例如：当前集群Core节点数为3，此处扩容的Core节点数必须小于等于497。如果集群扩容失败，用户可重新进行扩容操作。 如果在创建集群时，没有扩容节点，用户可以在扩容时添加节点个数，但不能指定具体节点扩容。 选择的版本不同，扩容集群的操作也不同。 操作步骤 1.登录MRS管理控制台。 2.选择 “集群列表 > 现有集群” ，选中一个运行中的集群并单击集群名称，进入集群信息页面。 3.选择“节点管理”页签，在需要扩容的节点组的“操作”列单击“扩容”，进入扩容集群页面。 只有运行中的集群才能进行扩容操作。 4.设置“扩容节点数量”、“启动组件”和“执行引导操作”参数，并单击“确定”。 说明 若集群中没有Task节点组，请参考添加Task节点配置Task节点。 如果创建集群时添加了引导操作，则“执行引导操作”参数有效，开启该功能时扩容的节点会把创建集群时添加的引导操作脚本都执行一遍。 如果“新节点规格”参数有效，则表示与原有节点相同的规格已售罄或已下架，新扩容的节点将按照“新节点规格”增加。 扩容集群前需要检查集群安全组是否配置正确，要确保集群入方向安全组规则中有一条全部协议，全部端口，源地址为可信任的IP访问范围的规则。 5.进入“扩容节点”窗口，单击“确定”。 6.弹出扩容节点提交成功提示框。 集群扩容过程说明如下： 扩容中：集群正在扩容时集群状态为“扩容中”。已提交的作业会继续执行，也可以提交新的作业，但不允许继续扩容和删除集群，也不建议重启集群和修改集群配置。 扩容成功：集群扩容成功后集群状态为“运行中”。 扩容失败：集群扩容失败时集群状态为“运行中”。用户可以执行作业，也可以重新进行扩容操作。 扩容成功后，可以在集群详情的“节点管理”页签查看集群的节点信息。

参数名 参数解释 参数值 规则名称 规则名称 CPUMAX（举例） 告警级别 告警级别 l 紧急 l 重要 l 次要 l 提示 l 紧急 l 重要 l 次要 l 提示 阈值类型 选择某指标的最大值或最小值，类型为“最大值”表示指标的实际值大于设置的阈值时系统将产生告警，类型为“最小值”表示指标的实际值小于设置的阈值时系统将产生告警。 l 最大值 l 最小值 日期 设置规则生效的日期，即哪一天运行规则。 l 每天 l 每周 l 其他 添加日期 仅在“日期”模式为“其他”时可见，设置规则运行的自定义日期，支持多选。 0930 阈值设置 设置规则运行的具体时间范围。 起止时间：00:008:30 阈值设置 设置规则监控指标的阈值 阈值：10

本章节主要介绍通过Windows弹性云主机访问。 MRS支持通过Windows弹性云主机访问开源组件Web站点。该方式操作较为复杂，推荐不支持EIP功能的MRS集群使用。 1. 在MRS管理控制台，单击“集群列表”。 2. 在 “现有集群” 列表中，单击指定的集群名称。 记录集群的“可用区”、“虚拟私有云”、“集群控制台地址”、“安全组”。 说明 集群控制台地址获取方式：远程登录Master2节点，执行“ifconfig”命令，系统回显中“eth0:wsom”表示集群控制台地址，请记录“inet”的实际参数值。如果在Master2节点无法查询到集群控制台地址，请切换到Master1节点查询并记录。如果只有一个Master节点时，直接在该Master节点查询并记录。 3. 在ECS管理控制台，创建一个新的弹性云主机。 弹性云主机的“可用区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。例如，选择一个标准镜像“Windows Server 2012 R2 Standard 64bit(40GB)”。 其他配置参数详细信息，请参见“弹性云主机 > 用户指南 > 快速入门 > 创建并登录Windows弹性云主机”。 说明 如果ECS的安全组和MRS集群的“安全组”不同，用户可以选择以下任一种方法修改配置： 将ECS的安全组修改为MRS集群的安全组，请参见“ 用户指南 > 安全组 > 更改安全组”。 在集群Master节点和Core节点的安全组中添加两条安全组规则使ECS可以访问集群，“协议”需选择为“TCP”，“端口”需分别选择“28443”和“20009”。请参见“虚拟私有云 > 用户指南 > 安全性 > 安全组 > 添加安全组规则”。 4. 在VPC管理控制台，申请一个弹性IP地址，并与ECS绑定。 具体请参见“虚拟私有云>用户指南 > 弹性公网IP > 为弹性云主机申请和绑定弹性公网IP”。 5. 登录弹性云主机。 登录ECS需要Windows系统的帐号、密码，弹性IP地址以及配置安全组规则。具体请参见“弹性云主机> 用户指南 > 实例 > 登录弹性云主机 > 登录Windows弹性云主机”。 6. 在Windows的远程桌面中，打开浏览器访问Manager。 例如Windows 2012操作系统可以使用Internet Explorer 11。 Manager访问地址形式为 https:// 集群控制台地址 :28443/web 。访问时需要输入MRS集群的用户名和密码，例如“admin”用户。 说明 集群控制台地址：远程登录Master2节点，执行“ifconfig”命令，系统回显中“eth0:wsom”表示集群控制台地址，请记录“inet”的实际参数值。如果在Master2节点无法查询到集群控制台地址，请切换到Master1节点查询并记录。如果只有一个Master节点时，直接在该Master节点查询并记录。 如果使用其他MRS集群用户访问Manager，第一次访问时需要修改密码。新密码需要满足集群当前的用户密码复杂度策略。 默认情况下，在登录时输入5次错误密码将锁定用户，需等待5分钟自动解锁。 7. 请参考开源组件Web站点页面提供的站点地址访问开源组件Web站点。

为集群更换弹性公网IP 1.在MRS管理控制台，在“现有集群”列表，单击指定的集群名称，进入集群信息页面。 2.查看“弹性公网IP”。 3.登录“虚拟私有云 VPC”管理控制台。 4.选择“弹性公网IP和带宽 > 弹性公网IP”。 5.查找MRS集群所绑定的弹性公网IP，并在“操作”列单击“解绑”解绑MRS集群绑定的弹性公网IP。 6.登录MRS管理控制台，在“现有集群”列表，单击指定的集群名称，进入集群信息页面。 此时，集群详情页面“弹性公网IP”显示“暂未绑定”。 7.单击“集群管理页面 ”后的“前往 Manager”，在弹出的窗口中“访问方式”选择“EIP访问”。 8.在弹性公网IP下拉框中选择新的弹性公网IP并配置他参数，具体请参考通过弹性公网IP访问Manager。 为其他用户开通访问MRS Manager的权限 1.在MRS管理控制台，在“现有集群”列表，单击指定的集群名称，进入集群信息页面。 2.单击弹性公网IP后边的“添加安全组规则”。 3.进入“添加安全组规则”页面，添加需要开放权限用户访问公网的IP地址段并勾选“我确认这里设置的授权对象是可信任的公网访问IP范围，禁止使用0.0.0.0/0,否则会有安全风险。” 默认填充的是用户访问公网的IP地址，用户可根据需要修改IP地址段，如需开放多个IP段为可信范围，请重复执行14。如需对安全组规则进行查看，修改和删除操作，请单击“管理安全组规则”。 4.单击“确定”完成安全组规则添加。

本章节主要介绍MRS集群节点。 介绍远程登录的概念、MRS集群的节点类型和节点功能。 MRS集群节点支持用户远程登录，远程登录包含界面登录和SSH登录两种方式： 界面登录：直接通过弹性云主机管理控制台提供的远程登录功能，登录到集群Master节点的Linux界面。 SSH登录：仅适用于Linux弹性云主机。您可以使用远程登录工具（例如PuTTY），登录弹性云主机。此时，需要该弹性云主机绑定弹性IP地址。 Master节点申请和绑定弹性IP，请参见“《虚拟私有云》帮助文档”，为弹性云主机申请和绑定弹性公网IP。 可以使用密钥方式也可以使用密码方式登录Linux弹性云主机。 须知 当您使用密钥方式访问集群节点，需要以root用户登录，详细步骤请参见 登录集群节点章节登录弹性云主机（SSH密钥方式）。 当您使用密码方式访问集群节点，详细步骤请参见 登录集群节点章节登录弹性云主机（SSH密码方式）。 MRS集群中每个节点即为一台弹性云主机，节点类型及节点功能如下表所示。 集群节点分类 节点类型 功能 Master节点 MRS集群管理节点，负责管理和监控集群。在MRS管理控制台选择“集群列表>现有集群”，选中一个运行中的集群并单击集群名，进入集群信息页面。在“节点管理”中查看节点名称，名称中包含“master1”的节点为Master1节点，名称中包含“master2”的节点为Master2节点。 Master节点可以通过弹性云主机界面的VNC方式登录，也可以通过SSH方式登录，并且Master节点可以免密码登录到Core节点。 系统自动将Master节点标记为主备管理节点，并支持MRS集群管理的高可用特性。如果主管理节点无法提供服务，则备管理节点会自动切换为主管理节点并继续提供服务。 查看Master1节点是否为主管理节点，请参见如何确认Manager的主备管理节点。 Core节点 MRS集群工作节点，负责处理和分析数据，并存储过程数据。 Task节点 计算节点，用于弹性伸缩，集群计算资源不足时扩容至集群中。

本章节主要介绍如何查看集群基本信息。 集群创建完成后，可对集群进行监控和管理。选择“集群列表 > 现有集群”，选中一集群并单击集群名，进入集群详情页面，查看集群的基本配置信息、部署的节点信息。 说明 ECS集群和BMS集群在管理控制台操作基本一致，本文档主要以ECS集群描述为例，如有操作区别则分开描述。 在集群详情页面选择“概览”，参考下表查看集群详情概览信息参数说明。 集群基本信息 参数 参数说明 集群名称 集群的名称，创建集群时设置。单击可对集群名称进行修改。 当MRS集群为MRS 3.x之前版本时，修改集群名称后仅MRS管理控制台界面显示的集群名称修改，MRS Manager中集群名称不会同步修改。 集群状态 集群状态信息，请参见集群列表简介章节中的表：集群状态说明。 集群管理页面 Manager页面入口。 针对MRS 3.x及以后版本，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。 针对MRS 3.x之前版本，需要根据提示绑定弹性公网IP及添加安全组规则后才能进入MRS Manager页面，具体请参见访问MRS Manager（MRS 2.x及之前版本）。 具体操作请参见访问FusionInsight Manager（MRS 3.x及之后版本）。 集群版本 MRS版本信息。 集群类型 支持以下集群类型： 分析集群：用来做离线数据分析，提供的是Hadoop体系的组件。 流式集群：用来做流处理任务，提供的是流式处理组件。 混合集群：既可以用来做离线数据分析，也可以用来做流处理任务，提供的是Hadoop体系的组件和流式处理组件。 自定义：全量自定义组件组合的MRS集群，MRS 3.x及之后版本支持此类型。 集群ID 集群的唯一标识，创建集群时系统自动赋值，不需要用户设置。 创建时间 显示集群创建的时间。 可用区 集群工作区域下的可用区，创建集群时设置。 默认生效子网 子网信息，创建集群时所选。 当子网IP不足时，单击“切换子网”切换到当前集群相同VPC下的其他子网，实现可用子网IP的扩充。切换子网不会影响当前已有节点的IP地址和子网。 通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。 虚拟私有云 VPC信息，创建集群时所选。 VPC即虚拟私有云，是通过逻辑方式进行网络隔离，提供安全、隔离的网络环境。 弹性公网IP 通过将弹性公网IP与MRS集群绑定，实现使用弹性公网IP访问Manager的目的。 OBS权限控制 单击“单击管理”，修改MRS用户与OBS权限的映射关系，具体请参考配置MRS多用户访问OBS细粒度权限。 数据连接 单击“单击管理”，查看集群关联的数据连接类型，具体请参考配置数据连接。 委托 单击“管理委托”，为集群绑定或修改委托。 通过绑定委托，您可以将部分资源共享给ECS或BMS云服务来管理，例如通过配置ECS委托可自动获取AK/SK访问OBS，具体请参见配置存算分离集群（委托方式）。MRSECSDEFAULTAGENCY委托拥有对象存储服务的OBS OperateAccess权限和在集群所在区域拥有CES FullAccess（对开启细粒度策略的用户）、CES Administrator和KMS Administrator权限。 密钥对 密钥对名称，创建集群时设置。 如果创建集群时设置的登录方式为密码，则不显示。 Kerberos认证 登录Manager管理页面时是否启用Kerberos认证。 日志记录 用于收集集群创建失败及扩缩容失败的日志。 安全组 集群的安全组名称。 数据盘密钥名称 用于加密数据盘的密钥名称。如需对已使用的密钥进行管理，请登录密钥管理控制台进行操作。 数据盘密钥ID 用于加密数据盘的密钥ID。 IAM用户同步 可以将IAM侧用户信息同步至MRS集群，用于集群管理。具体请参见统一身份认证用户指南中有关同步MRS说明的章节。 说明 集群详情页的“组件管理”、“租户管理”和“备份恢复”页签需要同步用户后方可使用。MRS 3.x版本集群同步后可使用“组件管理”。 通讯安全授权 展示安全授权状态，通过可关闭和开启安全授权。关闭安全授权属于高危操作，请谨慎处理。详细信息请参考授权安全通信。 组件版本 参数 参数说明 Hadoop版本 显示Hadoop组件的版本信息。 Spark版本 显示Spark组件的版本信息，MRS 3.x之前版本集群支持。 HBase版本 显示HBase组件的版本信息。 Hive版本 显示Hive组件的版本信息。 Hue版本 显示Hue组件的版本信息。 Loader版本 显示Loader组件的版本信息。 Kafka版本 显示Kafka组件的版本信息。 Storm版本 显示Storm组件的版本信息。 Flume版本 显示Flume组件的版本信息。 Tez版本 显示Tez组件的版本信息。 Presto版本 显示Presto组件的版本信息。 KafkaManager版本 显示KafkaManager组件的版本信息。 Flink版本 显示Flink组件的版本信息。 Ranger版本 显示Ranger组件的版本信息。 Spark2x版本 显示Spark2x组件的版本信息。仅MRS 3.x及之后版本集群支持。 Oozie版本 显示Oozie组件的版本信息。仅MRS 3.x及之后版本集群支持。 ClickHouse版本 显示ClickHouse组件的版本信息。仅MRS 3.x及之后版本集群支持。 在集群详情页面选择“节点管理”，参考下表查看集群节点信息参数说明。 节点信息 参数 参数说明 配置Task节点 用于增加Task节点，请参见添加Task节点的相关任务。 对于3.x及之后版本，该操作仅适用于分析集群、流试集群和混合集群。 新增节点组 仅适用于3.x及之后版本，用于增加节点组，请参见添加节点组，仅适用自定义集群。 节点组名称 集群节点组名称。 节点类型 节点类型： Master：集群主节点，负责管理集群，协调将MapReduce可执行文件分配到核心节点。此外，还会跟踪每个作业的执行状态，监控DataNode的运行状况。 Task类型节点组是指仅部署了不存储数据的数据角色的节点组，主要包含：NodeManager、ThriftServer、Thrift1Server、RESTServer、Supervisor、Logviewer、HBaseIndexer、TagSync。 如果节点组内除以上角色外还部署了其他角色，则该节点组为Core类型节点组。 单击节点组名称前方的，显示该节点组包含的节点，单击节点名称，使用创建集群时配置的密码或者密钥对远程登录弹性云主机。节点参数说明请参见管理组件和主机监控。 节点数 对应节点组中包含的节点数量。 操作 扩容：请参见扩容集群。 缩容：请参见缩容集群。 弹性伸缩：请参见配置弹性伸缩规则。 查看角色信息：可查看所在节点组部署的角色信息。仅适用于3.x及之后版本的自定义集群。

配置参数 默认端口 端口说明 hbase.master.port 16000 HMaster RPC端口。该端口用于HBase客户端连接到HMaster。 说明 端口的取值范围为一个建议值，由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用：是 安全加固后是否启用：是 hbase.master.info.port 16010 HMaster HTTPS端口。该端口用于远程Web客户端连接到HMaster UI。 说明 端口的取值范围为一个建议值，由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用：是 安全加固后是否启用：是 hbase.regionserver.port 16020 RS (RegoinServer) RPC端口。该端口用于HBase客户端连接到RegionServer。 说明 端口的取值范围为一个建议值，由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用：是 安全加固后是否启用：是 hbase.regionserver.info.port 16030 Region server HTTPS端口。该端口用于远程Web客户端连接到RegionServer UI。 说明 端口的取值范围为一个建议值，由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用：是 安全加固后是否启用：是 hbase.thrift.info.port 9095 Thrift Server的Thrift Server侦听端口。 该端口用于： 客户端链接时使用该端口侦听。 说明 端口的取值范围为一个建议值，由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用：是 安全加固后是否启用：是 hbase.regionserver.thrift.port 9090 RegionServer的Thrift Server侦听端口 。 该端口用于： 客户端链接RegionServer时使用该端口侦听。 说明 端口的取值范围为一个建议值，由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用：是 安全加固后是否启用：是 hbase.rest.info.port 8085 RegionServer RESTServer原生Web界面的端口。 21309 RegionServer RESTServer的REST端口。

参数 说明 组件名称 Hive 模块类型 Hive元数据 连接类型 RDS服务MySQL数据库 本地数据库 连接实例 当“连接类型”参数选择“RDS服务PostgreSQL数据库”或“RDS服务MySQL数据库”时有效。选择MRS集群与RDS服务数据库连接名称，该连接必须先创建才能在此处引用。可单击“创建数据连接”进行创建，具体请参考

本章节主要介绍MapReduce对接OBS文件系统 。 使用本章节前已参考配置存算分离集群（委托方式）或配置存算分离集群（AKSK方式）完成存算分离集群配置。 1. 登录MRS管理控制台，单击集群名称进入集群详情页面。 2. 选择“组件管理 > Mapreduce”，进入Mapreduce服务“全部配置”页面，在左侧的导航列表中选择“Mapreduce>自定义”。在自定义配置项中，给参数文件“coresite.xml”添加配置项“mapreduce.jobhistory.alwaysscanuserdir”，设置值为“true”。 3. 保存配置，并重启Mapreduce服务。

本章节主要介绍 Flume对接OBS文件系统 。 本章节适用于MRS 3.x及之后的版本。 使用本章节前已参考配置存算分离集群（委托方式）或配置存算分离集群（AKSK方式）完成存算分离集群配置。 1.配置委托。 a.登录MRS控制台，在左侧导航栏选择“集群列表 > 现有集群”。 b.单击集群名称，进入集群详情页面。 c.在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 d.单击委托右侧的“管理委托”，选择需要绑定的委托并单击“确定”进行绑定。 2.创建OBS文件系统用于存放数据。 a.登录OBS控制台。 b.单击“并行文件系统”进入并行文件系统页面，单击“创建并行文件系统”。 c.填写文件系统名称，例如“esdkctestpfs1”，其他参数请根据需要填写。单击“立即创建”等待创建完成。 d.在OBS控制台并行文件系统列表中，单击已新建的文件系统名称进入详情页面。 e.在左侧导航栏选择“文件 > 新建文件夹”新建“testFlumeOutput”文件夹。 3.准备properties.properties文件并将上传至“/opt/flumeInput”目录。 a.在本地准备“properties.properties”文件，文件内容如下： source server.sources r1 channels server.channels c1 sink server.sinks obssink define net source server.sources.r1.type seq server.sources.r1.spooldir /opt/flumeInput

本章主要介绍开源组件Web站点 。 场景介绍 MRS集群默认在集群的Master节点或Core节点创建并托管了不同组件的Web站点，用户可以通过这些Web站点查看组件相关信息。 访问开源组件Web站点步骤： 1. 配置访问方式。 MRS提供如下访问开源组件Web站点的方式： 通过弹性公网IP访问：推荐使用该方式，为集群绑定弹性公网IP，简便易操作。 通过Windows弹性云主机访问：需要创建单独的ECS并进行相关配置。 创建连接MRS集群的SSH隧道并配置浏览器：当用户和MRS集群处于不同的网络中时可以使用该方式访问。 2. 访问站点。请参考下表的地址进行访问。 Web站点一览 说明 对于开启Kerberos认证的集群，admin用户不具备各组件的管理权限，如需正常访问各组件的Web UI界面，请提前创建具有对应组件管理权限的用户。 详见下表： 开源组件Web站点地址 集群类型 站点类型 站点地址 全部类型 MRS Manager 适用于所有版本集群 说明 1. 确保本地机器与MRS集群网络互通。 2. 远程登录Master2节点，执行“ifconfig”命令，系统回显中“eth0:wsom”表示MRS Manager浮动IP地址，请记录“inet”的实际参数值。如果在Master2节点无法查询到MRS Manager的浮动IP地址，请切换到Master1节点查询并记录。如果只有一个Master节点时，直接在该Master节点查询并记录。 MRS 3.x之前版本集群 具体请参见访问MRS Manager（MRS 2.x及之前版本）。 MRS 3.x及以后版本请参见访问FusionInsight Manager（MRS 3.x及之后版本）。 分析集群 HDFS NameNode MRS 3.x之前版本集群，在集群详情页选择“组件管理> HDFS > NameNode WebUI > NameNode (主)” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> HDFS > NameNode WebUI > NameNode ( 主机名称 ，主)” HBase HMaster MRS 3.x之前版本集群，在集群详情页选择“组件管理> HBase > HMaster WebUI > HMaster (主)” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> HBase > HMaster WebUI > HMaster ( 主机名称 ，主)” MapReduce JobHistoryServer MRS 3.x之前版本集群，在集群详情页选择“组件管理> Mapreduce > JobHistoryServer WebUI > JobHistoryServer” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> Mapreduce > JobHistoryServer WebUI > JobHistoryServer ( 主机名称 ，主)” YARN ResourceManager MRS 3.x之前版本集群，在集群详情页选择“组件管理> Yarn > ResourceManager WebUI > ResourceManager (主)” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> Yarn > ResourceManager WebUI > ResourceManager ( 主机名称 ，主)” Spark JobHistory MRS 3.x之前版本集群，在集群详情页选择“组件管理> Spark > Spark WebUI > JobHistory” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> Spark2x > Spark2x WebUI > JobHistory2x ( 主机名称 )” Hue MRS 3.x之前版本集群，在集群详情页选择“组件管理> Hue > Hue WebUI > Hue (主)” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> Hue > Hue WebUI > Hue (主机名称 ，主)” Loader页面是基于开放源代码Sqoop WebUI的图形化数据迁移管理工具，由Hue WebUI承载。 Tez MRS 3.x之前版本集群，在集群详情页选择“组件管理> Tez > Tez WebUI > TezUI” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> Tez > Tez WebUI > TezUI ( 主机名称 )” Presto MRS 3.x之前版本集群，在集群详情页选择“组件管理> Presto > Presto WebUI > Coordinator (主)” 在Manager页面选择“集群>服务> Presto > Coordinator WebUI > Coordinator(Coordinator)” Ranger MRS 3.x之前版本集群，在集群详情页选择“组件管理> Ranger > Ranger WebUI > RangerAdmin (主)” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> Ranger > Ranger WebUI > RangerAdmin” 流处理集群 Storm MRS 3.x之前版本集群，在集群详情页选择“组件管理> Storm > Storm WebUI > UI” 在Manager页面选择“集群>服务> Storm > Storm WebUI > UI (主机名称 )”

本章节主要介绍Spark2x对接OBS文件系统。 MRS集群支持Spark2x在集群安装完成后对接OBS文件系统。 使用本章节前已参考配置存算分离集群（委托方式）或配置存算分离集群（AKSK方式）完成存算分离集群配置。 集群安装后使用spark beeline 1.登录FusionInsight Manager，选择“集群 > 服务 > Spark2x > 配置 > 全部配置”。 在左侧的导航列表中选择“JDBCServer2x>自定义”。在参数“spark.hdfssite.customized.configs”中添加配置项“dfs.namenode.acls.enabled”，值为“false”。 2.在搜索框中搜索参数“spark.sql.statistics.fallBackToHdfs”，修改该参数值为“false”。 3.保存配置并重启JDBCServer2x实例。 4.使用安装客户端用户登录客户端安装节点。 5.配置环境变量。 source ${clienthome}/bigdataenv 6.如果是安全集群，使用以下命令用户进行用户认证，如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit 用户名 7.在sparkbeeline中访问OBS，例如在“obs://mrsword001/table/”目录中创建表“test”。 create table test(id int) location ' obs://mrsword001/table/ '; 8.执行如下命令查询所有表，返回结果中存在表test，即表示访问OBS成功。 show tables; 详见下图：Spark2x验证返回已创建的表名 9.使用“Ctrl + C”退出spark beeline。

本章节主要介绍如何快速创建ClickHouse集群。 本章节为您介绍如何快速创建一个ClickHouse集群，ClickHouse是一个用于联机分析的列式数据库管理系统，具有极致压缩率和极速查询性能。被广泛的应用于互联网广告、App和Web流量、电信、金融、物联网等众多领域。 ClickHouse集群包含的组件： MRS 3.1.0版本：ClickHouse 21.3.4.25、ZooKeeper 3.5.6。 CPU架构为鲲鹏计算的ClickHouse集群表引擎不支持使用HDFS和Kafka。 快速创建ClickHouse集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息，参数详细信息请参考创建自定义集群。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20201121”。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：选择“ClickHouse集群”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权，通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态部分 集群列表参数中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

client.sources staticlogsource client.channels staticlogchannel client.sinks kafkasink LOGTOHDFSONLINE1 client.sources.staticlogsource.type spooldir client.sources.staticlogsource.spoolDir 监控目录 client.sources.staticlogsource.fileSuffix .COMPLETED client.sources.staticlogsource.ignorePattern ^$ client.sources.staticlogsource.trackerDir 传输过程中元数据存储路径 client.sources.staticlogsource.maxBlobLength 16384 client.sources.staticlogsource.batchSize 51200 client.sources.staticlogsource.inputCharset UTF8 client.sources.staticlogsource.deserializer LINE client.sources.staticlogsource.selector.type replicating client.sources.staticlogsource.fileHeaderKey file client.sources.staticlogsource.fileHeader false client.sources.staticlogsource.basenameHeader true client.sources.staticlogsource.basenameHeaderKey basename client.sources.staticlogsource.deletePolicy never client.channels.staticlogchannel.type file client.channels.staticlogchannel.dataDirs 数据缓存路径，设置多个路径可提升性能，中间用逗号分开 client.channels.staticlogchannel.checkpointDir 检查点存放路径 client.channels.staticlogchannel.maxFileSize 2146435071 client.channels.staticlogchannel.capacity 1000000 client.channels.staticlogchannel.transactionCapacity 612000 client.channels.staticlogchannel.minimumRequiredSpace 524288000 client.sinks.kafkasink.type org.apache.flume.sink.kafka.KafkaSink client.sinks.kafkasink.kafka.topic 数据写入的topic ，如flumetest client.sinks.kafkasink.kafka.bootstrap.servers XXX . XXX . XXX . XXX :kafka 端口号 , XXX . XXX . XXX . XXX :kafka 端口号 , XXX . XXX . XXX . XXX :kafka端口号 client.sinks.kafkasink.flumeBatchSize 1000 client.sinks.kafkasink.kafka.producer.type sync client.sinks.kafkasink.kafka.security.protocol SASLPLAINTEXT client.sinks.kafkasink.kafka.kerberos.domain.name Kafka Domain名称，安全集群必填，如hadoop.xxx.1com client.sinks.kafkasink.requiredAcks 0 client.sources.staticlogsource.channels staticlogchannel client.sinks.kafkasink.channel staticlogchannel 说明 client.sinks.kafkasink.kafka.topic：数据写入的topic。若kafka中该topic不存在，默认情况下会自动创建该topic。 client.sinks.kafkasink.kafka.bootstrap.servers：Kafkabrokers列表，多个用英文逗号分隔。默认情况下，安全集群端口21007，普通集群对应端口9092。 client.sinks.kafkasink.kafka.security.protocol：安全集群为SASLPLAINTEXT，普通集群为PLAINTEXT。 client.sinks.kafkasink.kafka.kerberos.domain.name： 普通集群无需配置此参数。安全集群对应此参数的值为Kafka集群中“kerberos.domain.name”对应的值。 具体可到Broker实例所在节点上查看${BIGDATAHOME}/MRSCurrent/1 X Broker/etc/server.properties。 其中X为随机生成的数字，请根据实际情况修改。同时文件需要以Flume客户端安装用户身份保存，例如root用户。 具体可到Broker实例所在节点上查看“${BIGDATAHOME}/FusionInsightCurrent/1XBroker/etc/server.properties”。 9. 参数配置并保存后，Flume客户端将自动加载“properties.properties”中配置的内容。当spoolDir生成新的日志文件，文件内容将发送到Kafka生产者，并支持Kafka消费者消费。

本章节主要介绍安装客户端（3.x及之后版本）。 操作场景 该操作指导安装工程师安装MRS集群所有服务（不包含Flume）的客户端。Flume客户端安装请参见“组件操作指南 > 使用Flume > 安装Flume客户端”。 客户端可以安装集群内节点，也可以安装在集群外节点，本章节以安装目录“/opt/client”为例进行介绍，请以实际集群版本为准。 在集群外节点安装客户端前提条件 已准备一个Linux弹性云主机，主机操作系统及版本建议参见下表。 CPU架构 操作系统 支持的版本号 x86计算 Euler EulerOS 2.5 SUSE SUSE Linux Enterprise Server 12 SP4（SUSE 12.4） RedHat RedHat7.5x8664（RedHat 7.5） CentOS CentOS7.6版本（CentOS 7.6） 鲲鹏计算(ARM) Euler EulerOS 2.8 CentOS CentOS7.6版本（CentOS 7.6） 同时为弹性云服务分配足够的磁盘空间，例如“40GB”。 弹性云主机的VPC需要与MRS集群在同一个VPC中。 弹性云主机的安全组需要和MRS集群Master节点的安全组相同。 弹性云主机操作系统已安装NTP服务，且NTP服务运行正常。 若未安装，在配置了yum 源的情况下，可执行yum install ntp y命令自行安装。 需要允许用户使用密码方式登录Linux弹性云主机（SSH方式）。

操作系统 支持的版本号 Euler 可用：Euler OS 2.2 可用：Euler OS 2.3 可用：Euler OS 2.5

本章节主要介绍如何删除引导操作。 操作场景 该任务指导用户通过MRS删除已有引导操作。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一集群并单击集群名，进入集群基本信息页面。 3.在集群基本信息页，单击“引导操作”。 4.在列表中勾选需要修改的列表项，单击“删除”。 5.单击“确定”。

本章节主要介绍如何查看执行记录。 您可以在集群详情页选择“引导操作” 页签查看引导操作的执行结果。 查看执行结果 1.登录MRS管理控制台。 2.在“集群列表 > 现有集群”中单击需要查询的集群名称。 系统跳转至该集群详情页面。 3.在集群详情页面选择“引导操作”页签。系统显示创建集群时所添加的引导操作信息。 说明 可以通过选择右上角的“组件首次启动前”或者“组件首次启动后”查询相关的引导操作信息。 这里列出的是上次执行结果。对于新创建的集群，则列出的是创建时执行引导操作的记录；如果集群被扩容了，则列出的是上次扩容对新增节点执行引导操作的记录。 查看执行日志 如果需要查看引导操作的执行日志，请在添加引导操作时将“失败操作”配置为“继续”，然后登录到各个节点上查看运行日志，运行日志在/var/log/Bootstrap目录下。如果您对组件启动前后都添加了引导操作，可通过时间戳前后关系来区分两个阶段引导操作的日志。 建议您在脚本中尽量详细地打印日志，以方便查看运行结果。MRS将脚本的标准输出和错误输出都重定向到了引导操作日志目录下。

本章节主要介绍如何删除资源池。 操作场景 该任务指导用户通过MRS删除已有资源池。 前提条件 集群中任何一个队列不能使用待删除资源池为默认资源池，删除资源池前需要先取消默认资源池，请参见配置队列。 集群中任何一个队列不能在待删除资源池中配置过资源分布策略，删除资源池前需要先清除策略，请参见清除队列配置。 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考使用说明。 2.单击“资源池”页签。 3.在资源池列表指定资源池所在行的“操作”列，单击“删除”。 在弹出窗口中单击“确定”。

本章节主要介绍如何删除租户。 操作场景 当租户需要根据业务需求，将当前不再使用的租户删除时，可以在MRS完成操作。 前提条件 已添加租户。 检查待删除的租户是否存在子租户，如果存在，需要先删除全部子租户，否则无法删除当前租户。 待删除租户的角色，不能与任何一个用户或者用户组存在关联关系。该任务对应取消角色与用户的绑定，请参见修改用户信息。 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.在左侧租户列表，将光标移动到需要删除的租户节点上，单击“删除”。 界面显示删除租户对话框。根据业务需求，需要保留租户已有的数据时请同时勾选“保留该租户的数据”，否则将自动删除租户对应的存储空间。 3.单击“是”，删除租户。 保存配置需要等待一段时间，租户成功删除。租户对应的角色、存储空间将删除。 说明 租户删除后，Yarn中对应的租户任务队列不会被删除。 删除父租户时选择不保留数据，如果存在子租户且子租户使用了存储资源，则子租户的数据也会被删除。

本章节主要对引导操作进行简介。 引导操作是指启动集群组件前（或后）在指定的节点上执行脚本。您可以通过引导操作来完成安装其他第三方软件，修改集群运行环境等自定义操作。 如果集群扩容，选择执行引导操作，则引导操作也会以相同方式在新增节点上执行。如果集群开启弹性伸缩功能，可以在配置资源计划的同时添加自动化脚本，则自动化脚本会在弹性伸缩的节点上执行，实现用户自定义操作。 MRS会使用root用户执行您指定的脚本，脚本内部您可以通过su XXX命令切换用户。 说明 引导操作脚本以root身份执行，使用不当可能会对集群可用性造成影响，请谨慎操作。 MRS通过引导操作脚本返回码来判断结果，如果返回零，则代表脚本执行成功，非零代表执行失败。一个节点上执行某个引导脚本失败，则会导致相应引导脚本失败，您可以通过“失败后操作”来选择是否继续执行后续脚本。举例1：创建集群指定所有脚本的“失败后操作”都选择“继续”，则不管这些脚本实际执行成功或失败，都会全部执行，并完成启动流程。举例2：如果一个脚本执行失败，且“失败后操作”选择“终止”，则不会执行后续脚本，集群创建或扩容也随之失败。 您最多可以添加18个引导操作，它们会按照您指定的顺序在集群组件启动前（或后）执行。组件启动前（或后）执行的引导操作，必须在60分钟内完成，否则会引起集群创建或扩容失败。

本章节主要介绍如何恢复租户数据。 操作场景 租户的数据默认在Manager和集群组件中保存相关数据，在组件故障恢复或者卸载重新安装的场景下，所有租户的部分配置数据可能状态不正常，需要手动恢复。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.在左侧租户列表，单击某个租户节点。 3.检查租户数据状态。 a.在“概述”，查看“基本信息”左侧的圆圈，绿色表示租户可用，灰色表示租户不可用。 b.单击“资源”，查看“Yarn”或者“HDFS 存储”左侧的圆圈，绿色表示资源可用，灰色表示资源不可用。 c.单击“服务关联”，查看关联的服务表格的“状态”列，“良好”表示组件可正常为关联的租户提供服务，“故障”表示组件无法为租户提供服务。 d.任意一个检查结果不正常，需要恢复租户数据，请执行步骤4。 4.单击“恢复租户数据”。 5.在“恢复租户数据”窗口，选择一个或多个需要恢复数据的组件，单击“确定”，等待系统自动恢复租户数据。

典型场景操作步骤 1.选择“集群列表 > 现有集群”，单击集群名称进入集群详情页面。 2.单击“组件管理”，选择HBase，进入HBase服务页面。 3.单击“服务配置”页签，修改HBase某个参数并保存配置，根据界面提示进行保存。 说明 MRS 3.x之前版本存在“重新启动受影响的服务或实例”参数，请勿勾选，该处重启是普通重启方式，会并发重启所有服务或实例，引起业务断服。 4.保存配置完成后，单击“完成”。 5.选择“服务状态”页签。 6.在“服务状态”页签单击“更多”，选择“滚动重启服务”。 7.弹出“滚动重启服务”页面，勾选“仅重启配置过期的实例”，单击确定，开始滚动重启。 8.滚动重启任务完成后，单击“完成”。

导出告警 1.选择“集群列表 > 现有集群”，单击集群名称进入集群详情页面。 2.单击“告警管理 > 告警”。 3.单击“全部导出”。 4.在弹框内选择“保存类型”，单击“确定”。

相关任务 查看已添加的租户 1.在集群详情页，单击“租户管理”。 2.在左侧租户列表，单击已添加租户的名称。 默认在右侧显示“概述”页签。 3.查看当前租户的“基本信息”、“资源配额”和“统计”。 如果HDFS处于“已停止”状态，“资源配额”中“Space”的“可用”和“已使用”会显示为“unknown”。

本章节主要介绍如何管理租户目录。 操作场景 用户根据业务需求，可以在MRS对指定租户使用的HDFS存储目录，进行管理操作。支持用户对租户添加目录、修改目录文件数量配额、修改存储空间配额和删除目录。 前提条件 已添加关联了HDFS存储资源的租户。 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 查看租户目录 1. 在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2. 在左侧租户列表，单击目标的租户。 3. 单击“资源”页签。 4. 查看“HDFS 存储”表格。 指定租户目录的“文件/目录数上限”列表示文件和目录数量配额。 指定租户目录的“存储空间配额”列表示租户目录的存储空间大小。 添加租户目录 1. 在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2. 在左侧租户列表，单击需要添加HDFS存储目录的租户。 3. 单击“资源”页签。 4. 在“HDFS 存储”表格，单击“添加目录”。 “路径”填写租户目录的路径。 说明 如果当前租户不是子租户，新路径将在HDFS的根目录下创建。 如果当前租户是一个子租户，新路径将在指定的目录下创建。 完整的HDFS存储目录最多包含1023个字符。HDFS目录名称包含数字、大小写字母、空格和下划线。空格只能在HDFS目录名称的中间使用。 “文件/目录数上限”填写文件和目录数量配额。 “文件/目录数上限”为可选参数，取值范围从1到9223372036854775806。 “存储空间配额 ”填写租户目录的存储空间大小。 “存储空间配额 ”的取值范围从1到8796093022208。 说明 为了保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即默认共2个副本。HDFS存储空间所有副本文件在HDFS中占用磁盘空间大小总和。例如“存储空间配额”设置为“500”，则实际只能保存约500/2250MB大小的文件。 5. 单击“确定”完成租户目录添加，系统将在HDFS根目录下创建租户的目录。

本章节主要介绍如何导出集群的配置数据。 操作场景 为了满足实际业务的需求，用户可以在MRS中将集群所有配置数据导出，导出文件用于快速更新服务配置。 说明 MRS3.x版本暂不支持在管理控制台执行本章节操作。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 在集群详情页，单击页面右上角“配置 > 导出集群配置”。 导出文件用于更新服务配置，请参见配置服务参数中 导入服务配置参数 。

本章节主要介绍如何同步服务配置。 操作场景 当用户发现部分服务的“配置状态”为“配置超期”或“配置失败”时，您可以尝试使用同步配置功能，以恢复配置状态。或者集群中所有服务的配置状态为“失败”时，同步指定服务的配置数据与后台配置数据。 对系统的影响 同步服务配置后，需要重启配置过期的服务。重启时对应的服务不可用。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“组件管理”。 2.在服务列表中，单击指定服务名称。 3.在服务状态页签，选择“更多 > 同步配置”。 4.在弹出窗口勾选“重启配置过期的服务”，并单击“是”重启配置过期的服务。

说明 在Console上添加服务会自动同步到Manager页面。 删除服务 MRS 3.1.2LTS.3及之后版本支持添加和删除服务。 步骤 1 在集群详情页，单击“组件管理”。 步骤 2 在指定服务所在行，单击“删除”操作。  如果需要删除的服务存在上层依赖，则不可删除，每次只能删除一个服务。  不支持删除Hadoop（HDFS、Yarn、MapReduce）、Ranger、DBService、KrbServer、LdapServer和meta服务，其他已安装服务可删除。 步骤 3 在弹出的对话框中单击“是”，删除该服务。 注意  在Console上删除服务会自动同步到Manager页面。  删除服务前，请先备份该服务的数据，避免数据丢失。 启动、停止和重启服务 步骤 1 在集群详情页，单击“组件管理”。 步骤 2 在指定服务所在行，单击“启动”、“停止”和“重启”执行启动、停止和重启操作。 服务之间存在依赖关系。对某服务执行启动、停止和重启操作时，与该服务存在依赖关系的服务将受到影响。 具体影响如下： 启动某服务，该服务依赖的下层服务需先启动，服务功能才可生效。 停止某服务，依赖该服务的上层服务将无法提供功能。 重启某服务，依赖该服务且启动的上层服务需重启后才可生效。