本章节主要介绍Hudi对接OBS文件系统。 Hudi对接OBS文件系统 1. 使用安装客户端用户登录客户端安装节点。 2. 配置环境变量。 source ${clienthome}/bigdataenv source ${clienthome}/Hudi/componentenv 3. 修改配置文件： vim ${clienthome}/Hudi/hudi/conf/hdfssite.xml dfs.namenode.acls.enabled false 4. 如果是安全集群，使用以下命令用户进行用户认证，如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit 用户名 5. 启动sparkshell，执行下面的命令创建COW表存储到OBS中： importorg.apache.hudi.QuickstartUtils. importscala.collection.JavaConversions. importorg.apache.spark.sql.SaveMode. importorg.apache.hudi.DataSourceReadOptions. importorg.apache.hudi.DataSourceWriteOptions. importorg.apache.hudi.config.HoodieWriteConfig. valtableName "hudicowtable" valbasePath "obs://testhudi/cowtable/" valdataGen new DataGenerator valinserts convertToStringList(dataGen.generateInserts(10)) valdf spark.read.json(spark.sparkContext.parallelize(inserts, 2)) df.write.format("org.apache.hudi"). options(getQuickstartWriteConfigs). option(PRECOMBINEFIELDOPTKEY,"ts"). option(RECORDKEYFIELDOPTKEY,"uuid"). option(PARTITIONPATHFIELDOPTKEY,"partitionpath"). option(TABLENAME,tableName). mode(Overwrite). save(basePath); 6. 使用datasource查看表建立成功，数据正常。 valroViewDF spark. read. format("org.apache.hudi"). load(basePath·"/ / / / ") roViewDF.createOrReplaceTempView("hudirotable") spark.sql("select·from hudirotable").show() 7. 执行:q退出sparkshell命令行。

本章主要介绍通过弹性公网IP访问 。 为了方便用户访问开源组件的Web站点，MRS集群支持通过为集群绑定弹性公网IP的方式，访问MRS集群上托管的开源组件。该方式更加简便易操作，推荐使用该方式访问开源组件的Web站点。 为集群绑定弹性公网IP并添加安全组规则 1.在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步，待IAM用户同步成功后，在集群详情页会出现“组件管理”页签。 2.单击“集群管理页面”右侧的“前往 Manager”。 3.弹出访问MRS Manager页面，绑定弹性公网IP并添加安全组规则。仅首次访问该集群的组件开源站点时，需要如下配置。 a. 绑定弹性公网IP，在弹性公网IP下拉框中选择可用的弹性公网IP。若没有可用的弹性公网IP，请单击“管理弹性公网IP”创建弹性公网IP后在该页面引用。若创建集群时已绑定弹性公网IP，请跳过该步骤。 b. 选择待添加的安全组规则所在安全组，该安全组在创建群时配置。 c. 添加安全组规则，默认填充的是用户访问公网IP地址9022端口的规则。如需对安全组规则进行查看，修改和删除操作，请单击“管理安全组规则”。 说明 自动获取的访问公网IP与用户本机IP不一致，属于正常现象，无需处理。 9022端口为knox的端口，需要开启访问knox的9022端口权限，才能访问MRS组件。 d. 勾选“我确认xx.xx.xx.xx为可信任的公网访问IP，并允许从该IP访问MRS Manager页面。” e. 单击“确定”，进入登录页面，用户名使用“admin”，密码为创建集群时设置的admin密码。 4.登录Manager页面，选择“集群 > 服务 > HDFS > NameNode WebUI> NameNode( 主机名称 ，主)”，访问开源组件Web站点。此处仅以HDFS NameNode为例介绍，其他组件访问地址请参考开源组件Web站点页面提供的站点地址。

本章节主要介绍使用Storm客户端 。 操作场景 该任务指导用户在运维场景或业务场景中使用Storm客户端。 前提条件 已安装客户端。例如安装目录为“/opt/hadoopclient”。 各组件业务用户由系统管理员根据业务需要创建。安全模式下，“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。（普通模式不涉及） 操作步骤 1. 根据业务情况，准备好客户端，登录安装客户端的节点。 请根据客户端所在位置，参考“用户指南 > 使用MRS客户端 > 安装客户端”章节，登录安装客户端的节点。 2. 执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 3. 执行以下命令配置环境变量。 source bigdataenv 4. 若安装了Storm多实例，在使用Storm命令提交拓扑时，请执行以下命令加载具体实例的环境变量，否则请跳过此步骤。例如，Storm2实例： source Storm2/componentenv 5. 执行以下命令，进行用户认证。（普通模式跳过此步骤） kinit 组件业务用户 6. 执行命令进行客户端操作。 例如执行以下命令： cql storm 说明 同一个storm客户端不能同时连接安全和非安全的ZooKeeper。

集群创建成功后关闭安全通信 1.登录MRS管理控制台。 2.在现有集群列表中，单击待关闭安全通信的集群名称。 系统跳转至该集群详情页面。 3.单击“通信安全授权”右侧的开关关闭授权，在弹出窗口单击“确定”。 关闭授权后将导致集群状态变更为“网络通道未授权”，集群部分功能不可用，请谨慎操作。 为关闭安全通信的集群开启安全通信 1.登录MRS管理控制台。 2.在现有集群列表中，单击待开启安全通信的集群名称。 系统跳转至该集群详情页面。 3.单击“通信安全授权”右侧的开关开启授权。 开启授权后集群状态变更为“运行中”。 一键修复 当集群中授权的安全组规则不足以支撑MRS集群管理控制台为用户发放、管理和使用大数据组件的操作时，“通信安全授权”右侧出现的提示，请单击“一键修复”按钮进行修复。 1.登录MRS管理控制台。 2.在现有集群列表中，单击待修复安全通信的集群名称。 系统跳转至该集群详情页面。 3.单击“通信安全授权”右侧的“一键修复”。 详见下图：一键修复 4.单击“确定”，完成修复。 详见下图： 修复访问控制策略

本章节主要介绍更新客户端（3.x及之后版本）。 集群提供了客户端，可以在连接服务端、查看任务结果或管理数据的场景中使用。用户如果在Manager修改了服务配置参数并重启了服务，已安装的客户端需要重新下载并安装，或者使用配置文件更新客户端。 更新客户端配置 方法一： 1.访问FusionInsight Manager（MRS 3.x及之后版本），在“集群”下拉列表中单击需要操作的集群名称。 2.选择“更多 > 下载客户端 > 仅配置文件”。 此时生成的压缩文件包含所有服务的配置文件。 3.是否在集群的节点中生成配置文件？ 是，勾选“仅保存到如下路径”，单击“确定”开始生成客户端文件，文件生成后默认保存在主管理节点“/tmp/FusionInsightClient”。支持自定义其他目录且omm用户拥有目录的读、写与执行权限。然后执行步骤4。 否，单击“确定”指定本地的保存位置，开始下载完整客户端，等待下载完成，然后执行步骤4。 4.使用WinSCP工具，以客户端安装用户将压缩文件保存到客户端安装的目录，例如“/opt/hadoopclient”。 5.解压软件包。 例如下载的客户端文件为“FusionInsightCluster1ServicesClient.tar”执行如下命令进入客户端所在目录，解压文件到本地目录。 cd /opt/hadoopclient tar xvf FusionInsightCluster1ServicesClient.tar 6.校验软件包。 执行sha256sum命令校验解压得到的文件，检查回显信息与sha256文件里面的内容是否一致，例如： sha256sum c FusionInsightCluster1ServicesClientConfigConfigFiles.tar.sha256 FusionInsightCluster1ServicesClientConfigConfigFiles.tar:OK 7.解压获取配置文件。 tar xvf FusionInsightCluster1ServicesClientConfigConfigFiles.tar 8.在客户端安装目录下执行如下命令，使用配置文件更新客户端。 sh refreshConfig.sh 客户端安装目录 配置文件所在目录 例如，执行以下命令： sh refreshConfig.sh /opt/hadoopclient /opt/hadoopclient/FusionInsightCluster1ServicesClientConfigConfigFiles 界面显示以下信息表示配置刷新更新成功： Succeed to refresh components client config.

本章节主要介绍如何修改引导操作。 操作场景 该任务指导用户通过MRS修改已有引导操作。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一集群并单击集群名，进入集群基本信息页面。 3.在集群基本信息页，单击“引导操作”。 4.在列表中勾选需要修改的列表项，单击“编辑”。 5.根据界面信息修改对应参数。 6.单击“确定”保存修改的参数。 7.单击“是”，即可修改成功。

本章节主要介绍如何快速创建一个HBase查询集群。 本章节为您介绍如何快速创建一个HBase查询集群，HBase集群使用Hadoop和HBase组件提供一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值。 快速创建HBase查询集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息，参数详细信息请参考创建自定义集群。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20180321”。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：选择“HBase查询集群”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 集群高可用：默认即可。MRS 3.x版本暂时不支持该参数。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权，通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态 部分 集群列表参数中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

本章节主要介绍如何配置队列。 操作场景 用户根据业务需求，可以在MRS修改指定租户的队列配置。 前提条件 已添加关联Yarn并分配了动态资源的租户。 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.单击“队列配置”页签。 3.在租户队列表格，指定租户队列的“操作”列，单击“修改”。 说明 说明 在“租户管理”页签左侧租户列表，单击目标的租户，切换到“资源”页签，单击也能打开修改队列配置页面。 一个队列只能绑定一个非default资源池。 MRS 3.x之前版本： 队列配置参数 参数名 描述 最大应用数量 表示最大应用程序数量。取值范围从“1”到“2147483647”。 AM最大资源百分比 表示集群中可用于运行application master的最大资源占比。取值范围从“0”到“1”。 用户资源最小上限百分比(%) 表示用户使用的最小资源上限百分比。取值范围从“0”到“100”。 用户资源上限因子 表示用户使用的最大资源限制因子，与当前租户在集群中实际资源百分比相乘，可计算出用户使用的最大资源百分比。最小值为“0”。 状态 表示资源计划当前的状态，“运行”为运行状态，“停止”为停止状态。 默认资源池 表示队列使用的资源池。默认为“default”，如果需要修改为其他资源，需要先配置队列容量，请参见配置资源池的队列容量策略。 MRS 3.x及之后版本： 队列配置参数 参数名 描述 AM最多占有资源（%） 表示当前队列内所有Application Master所占的最大资源百分比。 每个YARN容器最多分配核数 表示当前队列内单个YARN容器可分配的最多核数，默认为1，表示取值范围内不限制。 每个YARN容器最大分配内存（MB） 表示当前队列内单个YARN容器可分配的最大内存，默认为1，表示取值范围内不限制。 最多运行任务数 表示当前队列最多同时可执行任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。取值范围为1～2147483647。 每个用户最多运行任务数 表示每个用户在当前队列中最多同时可执行任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。取值范围为1～2147483647。 最多挂起任务数 表示当前队列最多同时可挂起任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可挂起任务。取值范围为1～2147483647。 资源分配规则 表示单个用户任务间的资源分配规则，包括FIFO和FAIR。 一个用户若在当前队列上提交了多个任务，FIFO规则代表一个任务完成后再执行其他任务，按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。 默认资源标签 表示在指定资源标签（Label）的节点上执行任务。 说明 如果需要使用新的资源池，需要修改默认标签为新的资源池标签。 Active状态 ACTIVE表示当前队列可接受并执行任务。 INACTIVE表示当前队列可接受但不执行任务，若提交任务，任务将处于挂起状态。 Open状态 OPEN表示当前队列处于打开状态。 CLOSED表示当前队列处于关闭状态，若提交任务，任务直接会被拒绝。

本章节主要介绍如何添加资源池。 操作场景 在MRS集群中，用户从逻辑上对YARN集群的节点进行分区，使多个NodeManager形成一个YARN资源池。每个NodeManager只能属于一个资源池。系统中默认包含了一个名为“default”的资源池，所有未加入用户自定义资源池的NodeManager属于此资源池。 该任务指导用户通过MRS添加一个自定义的资源池，并将未加入自定义资源池的主机加入此资源池。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.单击“资源池”页签。 3.单击“添加资源池”。 4.在“添加资源池”设置资源池的属性。 “名称”：填写资源池的名称。不支持创建名称为“default”的资源池。 资源池的名称，长度为1到20个字节，可包含数字、字母和下划线，且不能以下划线开头。 “可用主机”：在界面左边主机列表，勾选指定的主机名称加入资源池。只支持选择本集群中的主机。资源池中的主机列表可以为空。 5.单击“确定”保存。 6.完成资源池创建后，用户可以在资源池的列表中查看资源池的“名称”、“成员”、“类型”、“虚拟核数”与“内存”。已加入自定义资源池的主机，不再是“default”资源池的成员。

本章节主要介绍如何修改资源池。 操作场景 该任务指导用户通过MRS修改已有资源池中的成员。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1. 在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2. 单击“资源池”页签。 3. 在资源池列表指定资源池所在行的“操作”列，单击“修改”。 4. 在“修改资源池”修改“已添加主机”。 增加主机：在界面左边主机列表，勾选指定的主机名称加入资源池。 删除主机：在界面右边主机列表，单击指定主机后的将选中的主机移出资源池。资源池中的主机列表可以为空。 5. 单击“确定”保存。

本章节主要介绍如何同步集群配置。 操作场景 当MRS显示全部服务或部分服务的“配置状态”为“过期”或“失败”时，用户可以尝试使用同步配置功能，以恢复配置状态。 若集群中所有服务的配置状态为“失败”时，同步集群的配置数据与后台配置数据。 若集群中某些服务的配置状态为“失败”时，同步指定服务的配置数据与后台配置数据。 说明 MRS3.x版本暂不支持在管理控制台执行本章节操作。 对系统的影响 同步集群配置后，需要重启配置过期的服务。重启时对应的服务不可用。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击页面右上角“配置 > 同步配置”。 2.在弹出窗口勾选“重启配置过期的服务或实例。”，并单击“确定”，重启配置过期的服务。 界面提示“操作成功”，单击“完成”，集群成功启动。

本章节主要进行租户简介。 定义 MRS集群拥有的不同资源和服务支持多个组织、部门或应用共享使用。集群提供了一个逻辑实体来统一使用不同资源和服务，这个逻辑实体就是租户。多个不同的租户统称多租户。当前仅分析集群支持租户。 原理 MRS集群提供多租户的功能，支持层级式的租户模型，支持动态添加和删除租户，实现资源的隔离，可以对租户的计算资源和存储资源进行动态配置和管理。 计算资源指租户Yarn任务队列资源，可以修改任务队列的配额，并查看任务队列的使用状态和使用统计。 存储资源目前支持HDFS存储，可以添加删除租户HDFS存储目录，设置目录的文件数量配额和存储空间配额。 租户可以在界面上根据业务需要，在集群中创建租户、管理租户。 创建租户时将自动创建租户对应的角色、计算资源和存储资源。默认情况下，新的计算资源和存储资源的全部权限将分配给租户的角色。 默认情况下，查看当前租户的资源，在当前租户中添加子租户并管理子租户资源的权限将分配给租户的角色。 修改租户的计算资源或存储资源，对应的角色关联权限将自动更新。 MRS中最多支持512个租户。系统默认创建的租户包含“default”。和默认租户同处于最上层的租户，可以统称为一级租户。 资源池 YARN任务队列支持一种调度策略，称为标签调度（Label Based Scheduling）。通过此策略，YARN任务队列可以关联带有特定节点标签（Node Label）的NodeManager，使YARN任务在指定的节点运行，实现任务的调度与使用特定硬件资源的需求。例如，需要使用大量内存的YARN任务，可以通过标签关联具有大量内存的节点上运行，避免性能不足影响业务。 在MRS集群中，租户从逻辑上对YARN集群的节点进行分区，使多个NodeManager形成一个资源池。YARN任务队列通过配置队列容量策略，与指定的资源池进行关联，可以更有效地使用资源池中的资源，且互不影响。 MRS中最多支持50个资源池。系统默认包含一个“default”资源池。

本章节主要介绍如何操作退服和入服角色实例。 操作场景 某个Core或Task节点出现问题时，可能导致整个集群状态显示为“异常”。MRS集群支持将数据存储在不同Core节点，用户可以在MRS指定角色实例退服，使退服的角色实例不再提供服务。在排除故障后，可以将已退服的角色实例入服。 支持退服、入服的角色实例包括： HDFS的DataNode角色实例 Yarn的NodeManager角色实例 HBase的RegionServer角色实例 ClickHouse的ClickHouseServer角色实例 Kafka的Broker角色实例 限制： 当DataNode数量少于或等于HDFS的副本数时，不能执行退服操作。例如HDFS副本数为3时，则系统中少于4个DataNode，将无法执行退服，MRS在执行退服操作时会等待30分钟后报错并退出执行。 Kafka Broker数量少于或等于副本数时，不能执行退服。例如Kafka副本数为2时，则系统中少于3个节点，将无法执行退服，MRS执行退服操作时会失败并退出执行。 已经退服的角色实例，必须执行入服操作启动该实例，才能重新使用。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“组件管理”。 2.单击服务列表中相应服务。 3.单击“实例”页签。 4.勾选指定角色实例名称前的复选框。 5.选择“更多 > 退服”或“入服”执行相应的操作。 说明 实例退服操作未完成时在其他浏览器窗口重启集群中相应服务，可能导致MRS提示停止退服，实例的“操作状态”显示为“已启动”。实际上后台已将该实例退服，请重新执行退服操作同步状态。

本章节主要介绍如何运行Kafka作业。 用户可将自己开发的程序提交到MRS中，执行程序并获取结果。本章节教您在Kafka主题中产生和消费消息。 暂不支持通过界面提交Kafka作业，请通过后台功能来提交作业。 通过后台提交作业 先查询ZooKeeper和Kafka的实例地址，再运行Kafka作业。 查询实例地址（3.x版本） 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 3.请参考访问FusionInsight Manager（MRS 3.x及之后版本），跳转至FusionInsight Manager页面。然后选择“服务 > ZooKeeper > 实例”，查看ZooKeeper角色实例的IP地址。记录ZooKeeper角色实例中任意一个的IP地址即可。 4.选择“服务 > Kafka > 实例”，查看Kafka角色实例的IP地址。记录Kafka角色实例中任意一个的IP地址即可。 查询实例地址（3.x之前版本） a. 登录MRS管理控制台。 b. 选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 c. 在MRS集群详情页面，选择“组件管理 > ZooKeeper > 实例”，查看ZooKeeper角色实例的IP地址。记录ZooKeeper角色实例中任意一个的IP地址即可。 d. 选择“组件管理 > Kafka > 实例”，查看Kafka角色实例的IP地址。记录Kafka角色实例中任意一个的IP地址即可。 运行Kafka作业 MRS 3.x及之后版本客户端默认安装路径为“/opt/Bigdata/client”，MRS 3.x之前版本为“/opt/client”。具体以实际为准。 1.在集群信息页面的“节点管理”页签中单击Master2节点名称，进入弹性云主机管理控制台。 2.单击页面右上角的“远程登录”。 3.根据界面提示，输入Master节点的用户名和密码，用户名、密码分别为root和创建集群时设置的密码。 4.执行如下命令初始化环境变量。 source /opt/Bigdata/client/bigdataenv 5.如果当前集群已开启Kerberos认证，执行以下命令认证当前用户。如果当前集群未开启Kerberos认证，则无需执行该步骤。 kinit MRS集群用户 例如, kinit admin 6.执行如下命令，创建kafka topic。 kafkatopics.sh create zookeeper ZooKeeper角色实例IP:2181/kafkapartitions 2 replicationfactor 2 topic 7.在topic test中产生消息。 首先执行命令kafkaconsoleproducer.sh brokerlist Kafka角色实例IP:9092 topic producer.config /opt/Bigdata/client/Kafka/kafka/config/producer.properties 。 然后输入指定的内容作为生产者产生的消息，输入完成后按回车发送消息。如果需要结束产生消息，使用“Ctrl + C”退出任务。 8.消费topic test中的消息。 kafkaconsoleconsumer.sh topic bootstrapserver Kafka角色实例IP:9092 consumer.config/opt/Bigdata/client/Kafka/kafka/config/consumer.properties 说明 如果集群开启Kerberos认证，则执行如上两个命令时请修改端口号9092为21007，详见

本章节主要介绍管理角色实例操作。 操作场景 用户可以在MRS启动操作状态为“停止”、“停止失败”或“启动失败”角色实例，以使用该角色实例，也可以停止不再使用或异常的角色实例，或者重启异常的角色实例，以恢复角色实例功能。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“组件管理”。 2.单击服务列表中指定的服务名称。 3.单击“实例”页签。 4.勾选待操作角色实例前的复选框。 5.选择“更多 > 启动实例”、“停止实例”、“重启实例”或“滚动重启实例”等，执行相应操作。

本章节主要介绍如何取消隔离主机。 操作场景 用户已排除主机的异常或故障后，需要将主机隔离状态取消才能正常使用。 该任务指导用户在MRS上取消隔离主机。 前提条件 主机状态为“已隔离”。 主机的异常或故障已确认修复。 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“节点管理”。 2.展开节点组信息，勾选待取消隔离主机前的复选框。 3.选择“节点操作 > 取消隔离主机”。 4.确认待取消隔离主机信息并单击“确定”。 界面提示“操作成功。”，单击“完成”，主机成功取消隔离，“操作状态”显示为“正常”。 5.勾选已取消隔离的主机，选择“节点操作 > 启动所有角色”。

本章节主要介绍如何管理主机（节点）。 操作场景 当主机（节点）故障异常时，用户可能需要在MRS停止主机（节点）上的所有角色，对主机（节点）进行维护检查。故障清除后，启动主机（节点）上的所有角色恢复主机（节点）业务。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“节点管理”。 2.展开节点组信息，勾选待操作节点前的复选框。 3.选择“节点操作 > 启动所有角色”或“停止所有角色”执行相应操作。

本章节主要介绍如何进行远程运维。 运维授权 当用户使用集群过程中出现问题需要支持人员协助解决时，用户可先联系支持人员，再通过“运维授权”功能授权支持人员访问用户机器的权限用于定位问题。 操作步骤 1.登录MRS管理控制台。 2.在左侧导航栏中选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 3.在页面右上角单击“运维”，选择“运维授权”，选择授权给支持人员访问本机的权限的“截止时间”。在截止时间之前支持人员有临时访问本机的权限。 4.问题解决后，在页面右上角单击“运维”，选择“取消授权”为支持人员取消访问权限。 日志共享 当用户使用集群过程中出现问题需要支持人员协助解决时，用户可先联系支持人员，再通过“日志共享”功能提供特定时间段内的日志给支持人员以便定位问题。 操作步骤 1.登录MRS管理控制台。 2.在左侧导航栏中选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 3.在页面右上角单击“运维”，选择“日志共享”，进入“日志共享”界面。 4.在“起止时间”的输入框单击选择日期和时间。 说明 “起止时间”按照支持人员的建议选取。 结束时间的选择的时间必须大于开始时间选择的时间，否则，无法根据时间筛选日志。

本章节主要介绍如何查看历史集群信息。 选择“集群列表 > 历史集群”，选中一集群并单击集群名，进入集群基本信息页面。用户可查看集群的配置信息、部署的节点信息。 参考下列表格查看集群信息参数说明。 集群基本信息 参数 参数说明 集群名称 集群的名称，创建集群时设置。 集群状态 集群状态信息。 集群版本 集群的版本信息。 集群类型 创建集群时的集群类型。 集群ID 集群的唯一标识，创建集群时系统自动赋值，不需要用户设置。 创建时间 显示集群创建的时间。 可用区 集群工作区域下的可用区，创建集群时设置。 默认生效子网 子网信息，创建集群时所选。 通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。 虚拟私有云 VPC信息，创建集群时所选。 VPC即虚拟私有云，是通过逻辑方式进行网络隔离，提供安全、隔离的网络环境。 OBS权限控制 单击“单击管理”，修改MRS用户与OBS权限的映射关系，具体请参考配置MRS多用户访问OBS细粒度权限。 数据连接 单击“单击管理”，查看集群关联的数据连接类型，具体请参考配置数据连接。 委托 单击“管理委托”，为集群绑定或修改委托。 通过绑定委托，您可以将部分资源共享给ECS或BMS云服务来管理，例如通过配置ECS委托可自动获取AK/SK访问OBS，具体请参见配置存算分离集群（委托方式）。MRSECSDEFAULTAGENCY委托拥有对象存储服务的OBSOperateAccess权限和在集群所在区域拥有CESFullAccess（对开启细粒度策略的用户）、CES Administrator和KMS Administrator权限。 密钥对 密钥对名称，创建集群时设置。 如果创建集群时设置的登录方式为密码，则不显示。 Keberos认证 登录Manager管理页面时是否启用Kerberos认证。 说明 Kerberos认证模式不支持手动修改，集群创建成功后将无法开启和关闭此功能，需要在创建MRS服务集群的时候选择开启或者关闭Kerberos服务，建议重新创建集群。 安全组 集群的安全组名称。 数据盘密钥名称 用于加密数据盘的密钥名称。如需对已使用的密钥进行管理，请登录密钥管理控制台进行操作。 数据盘密钥ID 用于加密数据盘的密钥ID。 组件版本 集群安装各组件的版本信息。 委托 通过绑定委托，ECS或BMS云服务将有权限来管理您的部分资源。 返回到历史集群列表页面，用户可使用如下按钮进行操作，参考下列表格查看按钮说明。 按钮 说明 单击，手动刷新节点信息。 在搜索框中输入集群名称或ID，单击，搜索集群。

本章节主要介绍如何确认Manager的主备管理节点。 背景信息 用户可以在Master节点登录到集群中的其他节点，同时登录Master节点后，可以确认Manager的主备管理节点，并在对应的管理节点中执行命令。 在主备模式下，由于Master1和Master2之间会切换，Master1节点不一定是Manager的主管理节点。 操作步骤 1.确认MRS集群的Master节点。 a.登录MapReduce服务管理控制台，选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名，进入集群信息页面。查看指定的集群信息。 b.在“节点管理”中查看节点名称，名称中包含“master1”的节点为Master1节点，名称中包含“master2”的节点为Master2节点。 2.确认Manager的主备管理节点。 a.远程登录Master1节点，请参见登录集群节点。 Master节点支持CloudInit特性，Cloudinit预配置的用户名“root”，密码为创建集群时设置的密码。 b.执行以下命令切换用户。 sudo su root su omm c.执行以下命令确认主备管理节点： MRS 3.x之前版本集群执行命令： sh ${BIGDATAHOME}/om0.0.1/sbin/statusoms.sh MRS3.x及之后版本集群执行命令： sh ${BIGDATAHOME}/omserver/om/sbin/statusoms.sh 回显信息中“HAActive”参数值为“active”的节点为主管理节点（如下例中“mgtomsdatsh3011”为主管理节点），参数值为“standby”的节点为备管理节点（如下例中“mgtomsdatsh3012”为备管理节点）。 Ha mode double NodeName HostName HAVersion StartTime HAActive HAAllResOK HARunPhase 192168030 mgtomsdatsh3011 V100R001C01 20141118 23:43:02 active normal Actived 192168024 mgtomsdatsh3012 V100R001C01 20141121 07:14:02 standby normal Deactived 说明 如果当前登录的Master1节点是备管理节点，且需要登录到主管理节点时，请执行以下命令： ssh Master2节点IP地址

参数 规则 样例 标签键 不能为空。 对于同一个集群，Key值唯一。 长度不超过36个字符。 不能包含“”,“”,“<”,“>”,“”,“,”,“l”,“/”，且首尾字符不能为空格。 Organization 标签值 长度不超过43个字符。 不能包含“”,“”,“<”,“>”,“”,“,”,“l”,“/”，且首尾字符不能为空格。value可以为空。 Apache

本章节主要介绍如何查看并删除失败的MRS任务。 背景信息 当集群创建失败、集群删除失败、集群扩容失败和集群缩容失败后，失败任务会转入“失败任务管理”页面，其中仅集群删除失败的任务会同步转入“历史集群”页面。当不需要失败的任务时，可以删除。 操作步骤 1.登录MRS管理控制台。 2.在左侧导航栏中选择“集群列表 > 现有集群”。 3.单击“失败任务管理”右侧的或数字，进入“失败任务管理”页面。 4.在需要删除的任务对应的“操作”列中，单击“删除”。 此处只能删除单个失败的任务。 5.单击任务列表左上方的“删除所有失败任务”可以删除全部任务。

本章节主要介绍如何快速创建实时分析集群。 本章节为您介绍如何快速创建一个实时分析集群，实时分析集群使用Hadoop、Kafka、Flink和ClickHouse组件提供一个海量的数据采集、数据的实时分析和查询的系统。 集群包含的组件信息实时分析： MRS 3.1.0版本：Hadoop 3.1.1、Kafka 2.112.4.0、Flink 1.12.0、ClickHouse 21.3.4.25、ZooKeeper 3.5.6、Ranger 2.0.0。 快速创建实时分析集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3在创建集群页面，选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息，参数详细信息请参考创建自定义集群。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20201130”。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：选择“实时分析集群”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权，通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态 部分 集群列表参数中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

本章节主要介绍如何创建MRS自定义策略。 如果系统预置的MRS权限，不满足您的授权要求，可以创建自定义策略。 目前支持以下两种方式创建自定义策略： 可视化视图创建自定义策略：无需了解策略语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图创建自定义策略：可以在选择策略模板后，根据具体需求编辑策略内容；也可以直接在编辑框内编写JSON格式的策略内容。 本章为您介绍常用的MRS自定义策略样例。 MRS自定义策略样例 示例1：授权用户仅有创建MRS集群的权限。 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "mrs:cluster:create", "ecs::", "bms::", "evs::", "vpc::", "smn::" ] } ] } 示例2：授权用户调整MRS集群。 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "mrs:cluster:resize" ] } ] } 示例3：授权用户创建集群、创建并执行作业、删除单个作业，但不允许用户删除集群的权限。 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "mrs:cluster:create", "mrs:job:submit", "mrs:job:delete" ] }, { "Effect": "Deny", "Action": [ "mrs:cluster:delete" ] } ] } 示例4：授权用户最小权限，创建ECS规格的集群。 说明 创建集群时如果使用秘钥对，增加权限：ecs:serverKeypairs:get和ecs:serverKeypairs:list 创集群时使用数据盘加密，增加权限：kms:cmk:list 创建集群时开启告警功能，增加权限：mrs:alarm:subscribe 创建集群时使用外置数据源，增加权限：rds:instance:list { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "mrs:cluster:create" ] }, { "Effect": "Allow", "Action": [ "ecs:cloudServers:updateMetadata", "ecs:cloudServerFlavors:get", "ecs:cloudServerQuotas:get", "ecs:servers:list", "ecs:servers:get", "ecs:cloudServers:delete", "ecs:cloudServers:list", "ecs:serverInterfaces:get", "ecs:serverGroups:manage", "ecs:servers:setMetadata", "ecs:cloudServers:get", "ecs:cloudServers:create" ] }, { "Effect": "Allow", "Action": [ "vpc:securityGroups:create", "vpc:securityGroupRules:delete", "vpc:vpcs:create", "vpc:ports:create", "vpc:securityGroups:get", "vpc:subnets:create", "vpc:privateIps:delete", "vpc:quotas:list", "vpc:networks:get", "vpc:publicIps:list", "vpc:securityGroups:delete", "vpc:securityGroupRules:create", "vpc:privateIps:create", "vpc:ports:get", "vpc:ports:delete", "vpc:publicIps:update", "vpc:subnets:get", "vpc:publicIps:get", "vpc:ports:update", "vpc:vpcs:list" ] }, { "Effect": "Allow", "Action": [ "evs:quotas:get", "evs:types:get" ] }, { "Effect": "Allow", "Action": [ "bms:serverFlavors:get" ] } ] } 示例5：授权用户最小权限，创建BMS规格的集群。 说明 创建集群时如果使用秘钥对，增加权限：ecs:serverKeypairs:get和ecs:serverKeypairs:list 创集群时使用数据盘加密，增加权限：kms:cmk:list 创建集群时开启告警功能，增加权限：mrs:alarm:subscribe 创建集群时使用外置数据源，增加权限：rds:instance:list { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "mrs:cluster:create" ] }, { "Effect": "Allow", "Action": [ "ecs:servers:list", "ecs:servers:get", "ecs:cloudServers:delete", "ecs:serverInterfaces:get", "ecs:serverGroups:manage", "ecs:servers:setMetadata", "ecs:cloudServers:create", "ecs:cloudServerFlavors:get", "ecs:cloudServerQuotas:get" ] }, { "Effect": "Allow", "Action": [ "vpc:securityGroups:create", "vpc:securityGroupRules:delete", "vpc:vpcs:create", "vpc:ports:create", "vpc:securityGroups:get", "vpc:subnets:create", "vpc:privateIps:delete", "vpc:quotas:list", "vpc:networks:get", "vpc:publicIps:list", "vpc:securityGroups:delete", "vpc:securityGroupRules:create", "vpc:privateIps:create", "vpc:ports:get", "vpc:ports:delete", "vpc:publicIps:update", "vpc:subnets:get", "vpc:publicIps:get", "vpc:ports:update", "vpc:vpcs:list" ] }, { "Effect": "Allow", "Action": [ "evs:quotas:get", "evs:types:get" ] }, { "Effect": "Allow", "Action": [ "bms:servers:get", "bms:servers:list", "bms:serverQuotas:get", "bms:servers:updateMetadata", "bms:serverFlavors:get" ] } ] } 示例6：授权用户最小权限，创建ECS和BMS混合集群。 说明 创建集群时如果使用秘钥对，增加权限：ecs:serverKeypairs:get和ecs:serverKeypairs:list 创集群时使用数据盘加密，增加权限：kms:cmk:list 创建集群时开启告警功能，增加权限：mrs:alarm:subscribe 创建集群时使用外置数据源，增加权限：rds:instance:list { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "mrs:cluster:create" ] }, { "Effect": "Allow", "Action": [ "ecs:cloudServers:updateMetadata", "ecs:cloudServerFlavors:get", "ecs:cloudServerQuotas:get", "ecs:servers:list", "ecs:servers:get", "ecs:cloudServers:delete", "ecs:cloudServers:list", "ecs:serverInterfaces:get", "ecs:serverGroups:manage", "ecs:servers:setMetadata", "ecs:cloudServers:get", "ecs:cloudServers:create" ] }, { "Effect": "Allow", "Action": [ "vpc:securityGroups:create", "vpc:securityGroupRules:delete", "vpc:vpcs:create", "vpc:ports:create", "vpc:securityGroups:get", "vpc:subnets:create", "vpc:privateIps:delete", "vpc:quotas:list", "vpc:networks:get", "vpc:publicIps:list", "vpc:securityGroups:delete", "vpc:securityGroupRules:create", "vpc:privateIps:create", "vpc:ports:get", "vpc:ports:delete", "vpc:publicIps:update", "vpc:subnets:get", "vpc:publicIps:get", "vpc:ports:update", "vpc:vpcs:list" ] }, { "Effect": "Allow", "Action": [ "evs:quotas:get", "evs:types:get" ] }, { "Effect": "Allow", "Action": [ "bms:servers:get", "bms:servers:list", "bms:serverQuotas:get", "bms:servers:updateMetadata", "bms:serverFlavors:get" ] } ] }

本章节介绍创建MRS服务的方式。 快速创建Hadoop分析集群：快速创建Hadoop分析集群为您提高了配置效率，可以在几分钟之内快速创建Hadoop集群，更加方便快捷的进行海量数据分析与查询。 快速创建HBase查询集群：快速创建HBase查询集群为您提高了配置效率，可以在几分钟之内快速创建HBase集群，更加方便快捷的进行海量数据存储以及分布式计算。 快速创建Kafka流式集群：快速创建Kafka流式集群为您提高了配置效率，可以在几分钟之内快速创建Kafka集群，更加方便快捷的进行流式数据采集，实时数据处理存储等。 快速创建ClickHouse集群：快速创建一个ClickHouse集群，ClickHouse是一个用于联机分析的列式数据库管理系统，具有极致压缩率和极速查询性能。 快速创建实时分析集群：快速创建一个实时分析集群为您提高了配置效率，可以在几分钟之内快速创建实时分析集群，更加方便快捷的进行海量的数据采集、数据的实时分析和查询。 创建自定义集群：自定义创建可以灵活地选择配置项，针对不同的应用场景，可以选择不同规格的弹性云主机，全方位贴合您的业务诉求。