client.sources staticlogsource client.channels staticlogchannel client.sinks kafkasink LOGTOHDFSONLINE1 client.sources.staticlogsource.type spooldir client.sources.staticlogsource.spoolDir 监控目录 client.sources.staticlogsource.fileSuffix .COMPLETED client.sources.staticlogsource.ignorePattern ^$ client.sources.staticlogsource.trackerDir 传输过程中元数据存储路径 client.sources.staticlogsource.maxBlobLength 16384 client.sources.staticlogsource.batchSize 51200 client.sources.staticlogsource.inputCharset UTF8 client.sources.staticlogsource.deserializer LINE client.sources.staticlogsource.selector.type replicating client.sources.staticlogsource.fileHeaderKey file client.sources.staticlogsource.fileHeader false client.sources.staticlogsource.basenameHeader true client.sources.staticlogsource.basenameHeaderKey basename client.sources.staticlogsource.deletePolicy never client.channels.staticlogchannel.type file client.channels.staticlogchannel.dataDirs 数据缓存路径，设置多个路径可提升性能，中间用逗号分开 client.channels.staticlogchannel.checkpointDir 检查点存放路径 client.channels.staticlogchannel.maxFileSize 2146435071 client.channels.staticlogchannel.capacity 1000000 client.channels.staticlogchannel.transactionCapacity 612000 client.channels.staticlogchannel.minimumRequiredSpace 524288000 client.sinks.kafkasink.type org.apache.flume.sink.kafka.KafkaSink client.sinks.kafkasink.kafka.topic 数据写入的topic ，如flumetest client.sinks.kafkasink.kafka.bootstrap.servers XXX . XXX . XXX . XXX :kafka 端口号 , XXX . XXX . XXX . XXX :kafka 端口号 , XXX . XXX . XXX . XXX :kafka端口号 client.sinks.kafkasink.flumeBatchSize 1000 client.sinks.kafkasink.kafka.producer.type sync client.sinks.kafkasink.kafka.security.protocol SASLPLAINTEXT client.sinks.kafkasink.kafka.kerberos.domain.name Kafka Domain名称，安全集群必填，如hadoop.xxx.1com client.sinks.kafkasink.requiredAcks 0 client.sources.staticlogsource.channels staticlogchannel client.sinks.kafkasink.channel staticlogchannel 说明 client.sinks.kafkasink.kafka.topic：数据写入的topic。若kafka中该topic不存在，默认情况下会自动创建该topic。 client.sinks.kafkasink.kafka.bootstrap.servers：Kafkabrokers列表，多个用英文逗号分隔。默认情况下，安全集群端口21007，普通集群对应端口9092。 client.sinks.kafkasink.kafka.security.protocol：安全集群为SASLPLAINTEXT，普通集群为PLAINTEXT。 client.sinks.kafkasink.kafka.kerberos.domain.name： 普通集群无需配置此参数。安全集群对应此参数的值为Kafka集群中“kerberos.domain.name”对应的值。 具体可到Broker实例所在节点上查看${BIGDATAHOME}/MRSCurrent/1 X Broker/etc/server.properties。 其中X为随机生成的数字，请根据实际情况修改。同时文件需要以Flume客户端安装用户身份保存，例如root用户。 具体可到Broker实例所在节点上查看“${BIGDATAHOME}/FusionInsightCurrent/1XBroker/etc/server.properties”。 9. 参数配置并保存后，Flume客户端将自动加载“properties.properties”中配置的内容。当spoolDir生成新的日志文件，文件内容将发送到Kafka生产者，并支持Kafka消费者消费。

本章节主要介绍安装客户端（3.x及之后版本）。 操作场景 该操作指导安装工程师安装MRS集群所有服务（不包含Flume）的客户端。Flume客户端安装请参见“组件操作指南 > 使用Flume > 安装Flume客户端”。 客户端可以安装集群内节点，也可以安装在集群外节点，本章节以安装目录“/opt/client”为例进行介绍，请以实际集群版本为准。 在集群外节点安装客户端前提条件 已准备一个Linux弹性云主机，主机操作系统及版本建议参见下表。 CPU架构 操作系统 支持的版本号 x86计算 Euler EulerOS 2.5 SUSE SUSE Linux Enterprise Server 12 SP4（SUSE 12.4） RedHat RedHat7.5x8664（RedHat 7.5） CentOS CentOS7.6版本（CentOS 7.6） 鲲鹏计算(ARM) Euler EulerOS 2.8 CentOS CentOS7.6版本（CentOS 7.6） 同时为弹性云服务分配足够的磁盘空间，例如“40GB”。 弹性云主机的VPC需要与MRS集群在同一个VPC中。 弹性云主机的安全组需要和MRS集群Master节点的安全组相同。 弹性云主机操作系统已安装NTP服务，且NTP服务运行正常。 若未安装，在配置了yum 源的情况下，可执行yum install ntp y命令自行安装。 需要允许用户使用密码方式登录Linux弹性云主机（SSH方式）。

操作系统 支持的版本号 Euler 可用：Euler OS 2.2 可用：Euler OS 2.3 可用：Euler OS 2.5

本章节主要介绍如何添加引导操作。 该操作适用于MRS 3.x之前版本集群。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一集群并单击集群名，进入集群基本信息页面。 3.在集群基本信息页，单击“引导操作”。 4.单击“添加”，根据界面信息填写对应参数。 参数描述 参数 说明 名称 引导操作脚本的名称。 只能由数字、英文字符、空格、中划线和下划线组成，且不能以空格开头。 可输入的字符串长度为1～64个字符。 说明 同一集群内，不允许配置相同的名称。不同集群之间，可以配置相同的名称。 脚本路径 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径，必须以s3a://开头，以.sh结尾。例如：s3a://mrssamples/xxx.sh 虚拟机本地的路径，脚本所在的路径必须以‘/’开头，以.sh结尾。 说明 同一集群内，不允许配置相同的路径。不同集群之间，可以配置相同的路径。 参数 引导操作脚本参数。 执行节点 选择引导操作脚本所执行的节点类型。 执行时机 选择引导操作脚本执行的时间。 组件首次启动前 组件首次启动后 失败操作 该脚本执行失败后，是否继续执行后续脚本和创建集群。 说明 建议您设置为“继续”，无论此引导操作是否执行成功，则集群都能继续创建。 5.单击“确定”保存添加的引导操作。 6.单击“是”即可添加成功。

本章节主要介绍如何删除引导操作。 操作场景 该任务指导用户通过MRS删除已有引导操作。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一集群并单击集群名，进入集群基本信息页面。 3.在集群基本信息页，单击“引导操作”。 4.在列表中勾选需要修改的列表项，单击“删除”。 5.单击“确定”。

本章节主要介绍如何删除资源池。 操作场景 该任务指导用户通过MRS删除已有资源池。 前提条件 集群中任何一个队列不能使用待删除资源池为默认资源池，删除资源池前需要先取消默认资源池，请参见配置队列。 集群中任何一个队列不能在待删除资源池中配置过资源分布策略，删除资源池前需要先清除策略，请参见清除队列配置。 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考使用说明。 2.单击“资源池”页签。 3.在资源池列表指定资源池所在行的“操作”列，单击“删除”。 在弹出窗口中单击“确定”。

本章节主要介绍如何准备引导操作脚本。 引导操作目前仅支持linux shell脚本，脚本文件需以.sh结尾。 上传所需安装包等文件至OBS文件系统 正式编写脚本前，您需要将所需安装包、配置包的所有相关文件都上传到同region的OBS文件系统中。因为不同region间有网络隔离，MRS虚拟机无法下载其他region上的OBS文件。 脚本中如何从OBS文件系统下载文件 您可以在脚本中指定从OBS下载需要的文件。如果将文件上传到私有文件系统，需要用hadoop fs下载，下面的例子会将 obs://yourbucket/myfile.tar.gz 这个文件下载到本地，并解压到 /yourdir 目录下： !/bin/bash source /opt/Bigdata/client/bigdataenv;hadoop fs D fs.obs.endpoint D fs.obs.access.key D fs.obs.secret.key copyToLocal obs://yourbucket/myfile.tar.gz ./ mkdir p / tar zxvf myfile.tar.gz C / 说明 MRS 3.x及之后版本客户端默认安装路径为“/opt/Bigdata/client”，MRS 3.x之前版本为“/opt/client”。具体以实际为准。 Hadoop客户端已预安装在MRS节点上，hadoop fs命令可对OBS做下载、上传等操作。 各region下obsendpoint请向管理员获取。 上传脚本至OBS文件系统 脚本完成后上传到同region的OBS文件系统中。在您选定的时机，集群各节点会从OBS将脚本下载下来并以root用户执行。

本章节主要介绍如何删除租户。 操作场景 当租户需要根据业务需求，将当前不再使用的租户删除时，可以在MRS完成操作。 前提条件 已添加租户。 检查待删除的租户是否存在子租户，如果存在，需要先删除全部子租户，否则无法删除当前租户。 待删除租户的角色，不能与任何一个用户或者用户组存在关联关系。该任务对应取消角色与用户的绑定，请参见修改用户信息。 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.在左侧租户列表，将光标移动到需要删除的租户节点上，单击“删除”。 界面显示删除租户对话框。根据业务需求，需要保留租户已有的数据时请同时勾选“保留该租户的数据”，否则将自动删除租户对应的存储空间。 3.单击“是”，删除租户。 保存配置需要等待一段时间，租户成功删除。租户对应的角色、存储空间将删除。 说明 租户删除后，Yarn中对应的租户任务队列不会被删除。 删除父租户时选择不保留数据，如果存在子租户且子租户使用了存储资源，则子租户的数据也会被删除。

本章节主要介绍如何恢复租户数据。 操作场景 租户的数据默认在Manager和集群组件中保存相关数据，在组件故障恢复或者卸载重新安装的场景下，所有租户的部分配置数据可能状态不正常，需要手动恢复。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.在左侧租户列表，单击某个租户节点。 3.检查租户数据状态。 a.在“概述”，查看“基本信息”左侧的圆圈，绿色表示租户可用，灰色表示租户不可用。 b.单击“资源”，查看“Yarn”或者“HDFS 存储”左侧的圆圈，绿色表示资源可用，灰色表示资源不可用。 c.单击“服务关联”，查看关联的服务表格的“状态”列，“良好”表示组件可正常为关联的租户提供服务，“故障”表示组件无法为租户提供服务。 d.任意一个检查结果不正常，需要恢复租户数据，请执行步骤4。 4.单击“恢复租户数据”。 5.在“恢复租户数据”窗口，选择一个或多个需要恢复数据的组件，单击“确定”，等待系统自动恢复租户数据。

导出告警 1.选择“集群列表 > 现有集群”，单击集群名称进入集群详情页面。 2.单击“告警管理 > 告警”。 3.单击“全部导出”。 4.在弹框内选择“保存类型”，单击“确定”。

相关任务 查看已添加的租户 1.在集群详情页，单击“租户管理”。 2.在左侧租户列表，单击已添加租户的名称。 默认在右侧显示“概述”页签。 3.查看当前租户的“基本信息”、“资源配额”和“统计”。 如果HDFS处于“已停止”状态，“资源配额”中“Space”的“可用”和“已使用”会显示为“unknown”。

本章节主要介绍如何管理租户目录。 操作场景 用户根据业务需求，可以在MRS对指定租户使用的HDFS存储目录，进行管理操作。支持用户对租户添加目录、修改目录文件数量配额、修改存储空间配额和删除目录。 前提条件 已添加关联了HDFS存储资源的租户。 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 查看租户目录 1. 在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2. 在左侧租户列表，单击目标的租户。 3. 单击“资源”页签。 4. 查看“HDFS 存储”表格。 指定租户目录的“文件/目录数上限”列表示文件和目录数量配额。 指定租户目录的“存储空间配额”列表示租户目录的存储空间大小。 添加租户目录 1. 在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2. 在左侧租户列表，单击需要添加HDFS存储目录的租户。 3. 单击“资源”页签。 4. 在“HDFS 存储”表格，单击“添加目录”。 “路径”填写租户目录的路径。 说明 如果当前租户不是子租户，新路径将在HDFS的根目录下创建。 如果当前租户是一个子租户，新路径将在指定的目录下创建。 完整的HDFS存储目录最多包含1023个字符。HDFS目录名称包含数字、大小写字母、空格和下划线。空格只能在HDFS目录名称的中间使用。 “文件/目录数上限”填写文件和目录数量配额。 “文件/目录数上限”为可选参数，取值范围从1到9223372036854775806。 “存储空间配额 ”填写租户目录的存储空间大小。 “存储空间配额 ”的取值范围从1到8796093022208。 说明 为了保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即默认共2个副本。HDFS存储空间所有副本文件在HDFS中占用磁盘空间大小总和。例如“存储空间配额”设置为“500”，则实际只能保存约500/2250MB大小的文件。 5. 单击“确定”完成租户目录添加，系统将在HDFS根目录下创建租户的目录。

本章节主要介绍如何导出集群的配置数据。 操作场景 为了满足实际业务的需求，用户可以在MRS中将集群所有配置数据导出，导出文件用于快速更新服务配置。 说明 MRS3.x版本暂不支持在管理控制台执行本章节操作。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 在集群详情页，单击页面右上角“配置 > 导出集群配置”。 导出文件用于更新服务配置，请参见配置服务参数中 导入服务配置参数 。

本章节主要介绍如何同步服务配置。 操作场景 当用户发现部分服务的“配置状态”为“配置超期”或“配置失败”时，您可以尝试使用同步配置功能，以恢复配置状态。或者集群中所有服务的配置状态为“失败”时，同步指定服务的配置数据与后台配置数据。 对系统的影响 同步服务配置后，需要重启配置过期的服务。重启时对应的服务不可用。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“组件管理”。 2.在服务列表中，单击指定服务名称。 3.在服务状态页签，选择“更多 > 同步配置”。 4.在弹出窗口勾选“重启配置过期的服务”，并单击“是”重启配置过期的服务。

说明 在Console上添加服务会自动同步到Manager页面。 删除服务 MRS 3.1.2LTS.3及之后版本支持添加和删除服务。 步骤 1 在集群详情页，单击“组件管理”。 步骤 2 在指定服务所在行，单击“删除”操作。  如果需要删除的服务存在上层依赖，则不可删除，每次只能删除一个服务。  不支持删除Hadoop（HDFS、Yarn、MapReduce）、Ranger、DBService、KrbServer、LdapServer和meta服务，其他已安装服务可删除。 步骤 3 在弹出的对话框中单击“是”，删除该服务。 注意  在Console上删除服务会自动同步到Manager页面。  删除服务前，请先备份该服务的数据，避免数据丢失。 启动、停止和重启服务 步骤 1 在集群详情页，单击“组件管理”。 步骤 2 在指定服务所在行，单击“启动”、“停止”和“重启”执行启动、停止和重启操作。 服务之间存在依赖关系。对某服务执行启动、停止和重启操作时，与该服务存在依赖关系的服务将受到影响。 具体影响如下： 启动某服务，该服务依赖的下层服务需先启动，服务功能才可生效。 停止某服务，依赖该服务的上层服务将无法提供功能。 重启某服务，依赖该服务且启动的上层服务需重启后才可生效。

本章节主要介绍如何启动及停止集群。 集群是包含着服务组件的集合。用户可以启动或者停止集群中所有服务。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 启动及停止集群 在集群详情页，单击页面右上角“管理操作 > 启动所有组件”或“停止所有组件”执行相应的操作。

参数 参数说明 作业名称 作业名称，只能由字母、数字、中划线和下划线组成，并且长度为1～64个字符。 说明 建议不同的作业设置不同的名称。 执行程序路径 待执行程序包地址，需要满足如下要求： 最多为1023字符，不能包含;l&>,<'$特殊字符，且不可为空或全空格。 执行程序路径可存储于HDFS或者OBS中，不同的文件系统对应的路径存在差异。 OBS：以“obs://”开头。示例： obs://wordcount/program/xxx.jar。 HDFS：以“/user”开头。数据导入HDFS请参考 运行程序参数 可选参数，为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能。 常用运行程序参数如下表“运行程序参数”。 执行程序参数 可选参数，程序执行的关键参数，该参数由用户程序内的函数指定，MRS只负责参数的传入。多个参数间使用空格隔开。 最多为150000字符，不能包含不能包含;;&><'$特殊字符，可为空。 注意 若输入带有敏感信息（如登录密码）的参数可能在作业详情展示和日志打印中存在暴露的风险，请谨慎操作。 服务配置参数 可选参数，用于为本次执行的作业修改服务配置参数。该参数的修改仅适用于本次执行的作业，如需对集群永久生效，请参考 增加，如需删除参数，请单击右侧“删除”。 常用服务配置参数如下表“服务配置参数”。 命令参考 用于展示提交作业时提交到后台执行的命令。

本章节主要介绍如何查看配置。 用户可以在MRS上查看服务（含角色）和角色实例的配置。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 查看服务的配置。 1.在集群详情页，单击“组件管理”。 2.单击服务列表中指定的服务名称。 3.单击“服务配置”。 4.将页面右侧“基础配置”切换为“全部配置”，界面上将显示该服务的全部配置参数导航树，导航树从上到下的根节点分别为服务名称和角色名称。 5.在导航树选择指定的参数，修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 在服务节点下的参数属于服务配置参数，在角色节点下的参数是角色配置参数。 6.在“——请选择——”选项中选择“非默认”，界面上显示参数值为非默认值的参数（MRS 3.x之前版本存在此选项）。 查看角色实例的配置。 1.在集群详情页，单击“组件管理”。 2.单击服务列表中指定的服务名称。 3.单击“实例”页签。 4.单击角色实例列表中指定的角色实例名称。 5.单击“实例配置”。 6.将页面右侧“基础配置”切换为“全部配置”，界面上将显示该角色实例的全部配置参数导航树。 7.在导航树选择指定的参数，修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 8.在“——请选择——”选项中选择“非默认”，界面上显示参数值为非默认值的参数（MRS 3.x之前版本存在此选项）。

本章节主要介绍如何如何删除MRS作业。 背景信息 支持删除单个作业和批量删除作业。作业删除后不可恢复，请谨慎操作。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名。 进入集群基本信息页面。 3.选择“作业管理”。 4.在需要删除作业对应的“操作”列中，选择“更多 > 删除”。 此处只能删除单个作业。 5.勾选多个作业，单击作业列表左上方的“删除”。 可以删除一个、多个或者全部作业。

本章节主要介绍如何查看作业配置信息和日志。 背景信息 支持查看所有作业的配置信息。 只有运行中的作业才能查看运行日志信息。 由于Spark SQL和Distcp作业在后台无日志，运行中的Spark SQL和Distcp作业不能查看运行日志信息。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名，进入集群基本信息页面。 3.选择“作业管理”。 4.在需要查看作业对应的“操作”列中，单击“查看详情”。 弹出“查看详情”窗口，显示该作业的配置信息。 5.选择一个运行中的作业，在作业对应的“操作”列中，单击“查看日志”。 弹出一个新页面，显示作业执行的实时日志信息。 每个租户并发提交作业和查看日志的个数均为10。

通过后台提交作业 MRS 3.x及之后版本客户端默认安装路径为“/opt/Bigdata/client”，MRS 3.x之前版本为“/opt/client”。具体以实际为准。 1.参考创建用户页面，创建一个用于提交作业的用户。 本示例创建一个用户开发场景使用的机机用户，并分配了正确的用户组（hadoop、supergroup）、主组（supergroup）和角色权限（Systemadministrator、default）。 2.下载认证凭据。 对于MRS 3.x及之后版本集群，请登录FusionInsight Manager页面选择“系统 > 权限 > 用户”，在新增用户的操作列单击“更多 > 下载认证凭据”。 对于MRS 3.x之前版本集群，请登录MRS Manager页面选择“系统设置 > 用户管理”，在新增用户的操作列单击“更多 > 下载认证凭据”。 3.将与作业相关的jar包上传到集群中，本示例使用Spark自带的样例jar包，位置在“$SPARKHOME/examples/jars”下。 4.上传步骤2创建的用户认证凭据到集群的“/opt”目录下，并执行如下命令解压。 tar –xvfMRSTestxxxxxxkeytab.tar 您将会得到user.keytab和krb5.conf两个文件。 5.在对集群操作之前首先需要执行： source /opt/Bigdata/client/bigdataenv cd $SPARKHOME 6.提交spark作业，使用的命令如下： ./bin/sparksubmitmaster yarn deploymode client conf spark.yarn.principalMRSTest conf spark.yarn.keytab/opt/user.keytab class org.apache.spark.examples.SparkPi examples/jars/sparkexamples2.112.3.2mrs2.0.jar 10 参数解释： 1.yarn的计算能力，指定使用client模式提交该作业。 2.Spark作业的配置项，这里是传入了认证文件和用户名。 3.spark.yarn.principal 第一步创建的用户。 4.spark.yarn.keytab 认证使用的keytab文件。 5.xx.jar 作业的使用的jar。

参数 参数说明 操作类型 记录执行的操作类型，包括： 集群操作 作业操作 数据操作 操作IP 记录执行操作的IP地址。 说明 当MRS集群部署失败时，集群会被自动删除，并且自动删除集群的操作日志中不包含用户的“操作IP”信息。 操作内容 记录实际操作内容，不超过2048字符。 时间 记录操作的时间。对于已删除的集群，界面只显示6个月内的日志信息，若需要查看6个月之前的日志信息，请联系支持人员。

本章节主要介绍如何删除集群。 如果作业执行结束后不需要集群， 可以删除MRS集群。 背景信息 一般在数据完成分析和存储后或集群异常无法提供服务时才执行集群删除操作。当MRS集群部署失败时，集群会被自动删除。 操作步骤 1.登录MRS管理控制台。 2.在左侧导航栏中选择“集群列表 > 现有集群”。 3.在需要删除的集群对应的“操作”列中，单击“删除”。 集群状态由“运行中”更新为“删除中”，待集群删除成功后，集群状态更新为“已删除”，并且显示在“历史集群”中。

状态 描述 正常 主机及主机上的服务角色正常运行。 已隔离 主机被用户隔离，主机上的服务角色停止运行。

本章节主要介绍如何切换集群子网。 MRS支持当子网IP不足时，切换子网到当前集群相同VPC下的其他子网，实现可用子网IP的扩充。切换子网不会影响当前已有节点的IP地址和子网。 如需对网络ACL出规则进行配置请参考下方如何配置网络ACL出规则。 未关联网络ACL时切换子网 1.登录MRS控制台。 2.单击集群名称进入集群详情页。 3.在“默认生效子网”右侧单击“切换子网”。 4.选择待切换子网，并单击“确定”完成切换。 若没有可用子网，请单击“创建子网”进入VPC控制台创建子网后，再在此处引用。 关联网络ACL时切换子网 1.登录MRS控制台，单击集群名称进入集群详情页。 2.MRS集群详情页，查看“虚拟私有云”。 3.进入VPC控制台，在左侧导航处选择“虚拟私有云”，获取步骤2中查询的“虚拟私有云”对应的“IPv4网段”。 4.在VPC控制台左侧导航处选择“访问控制 > 网络ACL”，单击MRS集群默认生效子网和切换后子网关联的网络ACL名称，选择“入方向规则”页签。 说明 若集群的默认生效子网和切换后子网均关联网络ACL，则两个子网关联的网络ACL中均需参考步骤5步骤7增加入方向规则。 详见下图： 网络ACL 5.在第一条规则的“操作”列，选择“更多 > 向前插规则”。 6.添加网络ACL规则，其中“策略”选择“允许”，“源地址”填入步骤3中获取的“虚拟私有云”对应的“IPv4网段”，其他值保持默认即可。 7.单击“确定”完成网络ACL规则添加。 说明 如果您不想放开VPC对应的全部IPv4网段的规则，请参考步骤8步骤12添加切换前后两个子网对应的IPv4网段地址。若已完成VPC对应IPv4网段的规则添加，则无需执行步骤8步骤12的操作。 8.登录MRS控制台。 9.单击集群名称进入集群详情页。 10.在“默认生效子网”右侧单击“切换子网”。 11.获取“默认生效子网”和待切换子网对应的IPv4网段。 须知 此时请勿单击切换子网的“确定”按钮，否则默认生效子网将更新为切换后的子网，切换前的子网不易查询，请谨慎操作。 12.参考步骤4步骤7添加“默认生效子网”和待切换子网的IPv4网段地址到切换前后子网绑定的网络ACL入方向规则中。 13.登录MRS控制台。 14.单击集群名称进入集群详情页。 15.在“默认生效子网”右侧单击“切换子网”。 16.选择待切换子网，并单击“确定”完成切换。

本章节主要介绍如何查看集群补丁信息。 查看集群组件的补丁信息。如果集群组件，如Hadoop或Spark等出现了异常，可下载补丁版本，选择“集群列表 > 现有集群”，选中一集群并单击集群名，进入集群详情页面升级组件，修复问题。 说明 MRS 3.x版本无补丁版本信息，不涉及此章节。

登录弹性云主机（SSH密码方式） 本地使用Windows操作系统 如果本地主机为Windows操作系统，可以按照下面方式登录弹性云主机。下面步骤以PuTTY为例。 1.登录MapReduce服务管理控制台。 2.选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名称，进入集群基本信息页面。 3.在“节点管理”页签单击Master节点组中某一Master节点名称，登录到弹性云主机管理控制台。 4.选择“弹性公网IP”页签，单击“绑定弹性IP”为弹性云主机绑定一个弹性公网IP并记录该IP地址，若已绑定弹性公网IP请跳过该步骤。 5.运行PuTTY。 6.单击“Session”。 a.Host Name (or IP address)：输入弹性云主机所绑定的弹性公网IP。 b.Port：输入 22。 c.Connection Type：选择 SSH。 d.Saved Sessions：任务名称，在下一次使用PuTTY时就可以单击保存的任务名称，即可打开远程连接。 详见下图： 单击Session 7.单击“Window”，在“Translation”下的“Remote character set:”选择“UTF8”。 8.单击“Open”登录云服务器。 如果首次登录云服务器，PuTTY会显示安全警告对话框，询问是否接受服务器的安全证书。单击“是”将证书保存到本地注册表中。 9.建立到云服务器的SSH连接后，根据提示输入用户名和密码登录弹性云主机。 说明 用户名、密码分别是root和创建集群时设置的密码。 本地使用Linux操作系统 如果本地主机为Linux操作系统，您可以参考步骤1~步骤4为弹性云主机绑定弹性公网IP后，在计算机的命令行中运行如下命令登录弹性云主机：ssh弹性云主机绑定的弹性公网IP

参数 说明 规则名称 用户自定义发送订阅消息的规则名称，只能包含数字、英文字符、中划线和下划线。 提醒通知 选择开启时，将按照该订阅规则为订阅者发送对应订阅消息。 选择关闭时，该规则不会生效，即不会向订阅者发送订阅消息。 主题名称 选择已创建的主题，也可以单击“创建主题”重新创建。 消息类型 选择需要订阅的消息类型。 告警 事件 订阅规则 选择需要订阅的消息规则，可根据需要勾选全部或部分规则。 、 MRS 3.x及之后版本订阅规则： 告警：紧急，重要，次要 事件：重要，次要，提示 MRS 3.x之前版本订阅规则： 致命 严重 一般 提示

本章节主要介绍如何查看集群状态。 集群列表显示MRS所有的集群，集群数量较多时，可采用翻页显示，您可以查看任何状态下的集群。 MRS作为一个海量数据管理和分析平台，数据处理能力在PB级以上。MRS支持创建多个集群，集群创建数量受弹性云主机数量限制。 集群列表默认按时间顺序排列，时间最近的集群显示在最前端。集群列表参数说明如下表所示。 现有集群：包括除了“失败”和“已删除”状态以外的所有集群。 历史集群：仅包含“已删除”的集群，目前界面只显示6个月内创建且已删除的集群，若需要查看6个月以前删除的集群，请联系支持人员。 失败任务管理：仅包含“失败”状态的任务。 −集群创建失败的任务 −集群删除失败的任务 −集群扩容失败的任务 −集群缩容失败的任务 −集群安装补丁失败的任务（仅MRS 3.x之前版本支持） −集群卸载补丁失败的任务（仅MRS 3.x之前版本支持） −集群升级规格失败的任务 集群列表参数 参数 参数说明 名称/ID 集群的名称，创建集群时设置。集群的ID是集群的唯一标识，创建集群时系统自动赋值，不需要用户设置。 ：修改集群名称。 ：复制集群ID。 集群版本 集群的版本号。 节点数 集群部署的节点个数，创建集群时设置。 状态 集群状态、进度信息。 创建集群进度包括： Verifying cluster parameters：校验集群参数中 Applying for cluster resources：申请集群资源中 Creating VMs：创建虚拟机中 Initializing VMs：初始化虚拟机中 Installing MRS Manager：安装MRS Manager中 Deploying the cluster：部署集群中 Cluster installation failed：集群安装失败 扩容集群进度包括： Preparing for cluster expansion：准备扩容中 Creating VM：创建虚拟机中 Initializing VM：初始化虚拟机中 Adding node to the cluster：节点加入集群中 Cluster expansion failed：集群扩容失败 缩容集群进度包括： Preparing for cluster shrink：正在准备缩容 Decommissioning instance：实例退服中 Deleting VM：删除虚拟机中 Deleting node from the cluster：从集群删除节点中 Cluster shrink failed：集群缩容失败 集群安装、扩容、缩容失败，会显示失败的原因，详情请参见创建自定义集群章节“集群创建失败” 中的“错误码表”。 创建时间 集群节点创建成功。 删除时间 集群节点停止时间，也是集群节点开始删除时间。仅“历史集群”会显示此参数。 可用区 集群工作区域下的可用区，创建集群时设置。 企业项目 集群所属的企业项目。 操作 删除：如果作业执行结束后不需要集群，可以单击“删除”，集群状态由“运行中”更新为“删除中”，待集群删除成功后，集群状态更新为“已删除”，并且显示在“历史集群”中。当MRS集群部署失败时，集群会被自动删除。 仅“现有集群”会显示此参数。 说明 一般在数据完成分析和存储后或集群异常无法提供服务时才执行删除操作。如果数据没有完成处理分析，删除集群会导致数据丢失，请谨慎操作。 按钮说明 按钮 说明 在下拉框中选择企业项目，筛选对应集群。 在下拉框中选择集群状态，筛选现有集群。 现有集群 − 所有状态：表示筛选所有的现有集群 − 启动中：表示筛选“启动中”状态的现有集群 − 运行中：表示筛选“运行中”状态的现有集群 − 扩容中：表示筛选“扩容中”状态的现有集群。 − 缩容中：表示筛选“缩容中”状态的现有集群。 − 异常：表示筛选“异常”状态的现有集群 − 删除中：表示筛选“删除中”状态的现有集群 选择“集群列表>现有集群”，单击进入“失败任务管理”页面。 Num：表示“失败”状态的任务数。 在搜索框中输入集群名称或ID，单击，搜索集群。 标签搜索 单击“标签搜索”输入待查询集群的标签，然后单击“搜索”搜索对应集群。 标签键或标签值可以通过下拉列表中选择，当标签键或标签值全匹配时，系统可以自动查询到目标集群。当有多个标签条件时，会取各个标签的交集，进行集群查询。 单击，手动刷新现有集群列表。

本章节主要介绍集群列表。 通过概览信息可以快速查看所有集群和作业的状态，您也可以通过MRS控制台左侧导航的“帮助”中获取MRS相关帮助文档。 MRS用于海量数据的管理和分析，MRS使用简单，用户创建好一个集群，在集群内可新增MapReduce、Spark和Hive等作业，对用户数据进行分析和处理。数据处理完成后，采用SSL加密传输数据至OBS，保证数据的完整性和机密性。 集群状态 登录MRS管理控制台后，MRS所有集群包含的状态如下表所示。 集群状态说明 状态 说明 启动中 集群正在创建，则其状态为“启动中”。 运行中 集群创建成功且集群中所有组件状态均正常，则其状态为“运行中”。 扩容中 集群Core节点或者Task节点正在扩容，则其状态为“扩容中”。 说明 如果集群扩容失败，用户可重新进行扩容操作。 缩容中 当对集群节点进行关机、删除、变更OS、重装OS和修改规格的操作时，被变更的集群节点正在删除，则其状态为“缩容中”。 异常 集群中部分组件状态异常，导致集群异常，则其状态为“异常”。 删除中 集群节点正在删除中，则其状态为“删除中”。 已删除 集群已经删除，仅“历史集群”会显示此参数。 作业状态 登录MRS的管理控制台后，用户在MRS集群中执行的作业包含的状态如下表所示。 作业状态说明 状态 说明 已接受 作业提交成功后的初始状态。 运行中 作业执行过程中，则其状态为“运行中”。 已完成 作业执行完成，并且执行成功，则其状态为“已完成”。 已终止 作业执行过程中，停止执行，则其状态为“已终止”。 异常 作业执行过程中报错，或者作业执行完成，但执行失败，则其状态为“异常”。

参数 说明 名称 引导操作脚本的名称。 只能由数字、英文字符、空格、中划线和下划线组成，且不能以空格开头。 可输入的字符串长度为1～64个字符。 说明 同一集群内，不允许配置相同的名称。不同集群之间，可以配置相同的名称。 脚本路径 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径，必须以s3a://开头，以.sh结尾。例如：s3a://mrssamples/xxx.sh l 虚拟机本地的路径，脚本所在的路径必须以‘/’开头，以.sh结尾。 说明 同一集群内，不允许配置相同的路径。不同集群之间，可以配置相同的路径。 参数 引导操作脚本参数。 执行节点 选择引导操作脚本所执行的节点类型。 执行时机 选择引导操作脚本执行的时间。 组件首次启动前 组件首次启动后 失败操作 该脚本执行失败后，是否继续执行后续脚本和创建集群。 说明 建议您设置为“继续”，无论此引导操作是否执行成功，则集群都能继续创建。

本章节主要介绍如何快速创建Kafka流式集群。 本章节为您介绍如何快速创建一个Kafka流式集群，Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量，可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景，实现高效的流式数据采集，实时数据处理存储等。 快速创建Kafka流式集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息，参数详细信息请参考创建自定义集群。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20200321”。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：不同版本集群提供的组件有所不同，请根据需要选择集群版本。 组件选择：选择“Kafka流式集群”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 集群高可用：默认即可。MRS 3.x版本暂时不支持该参数。 LVM：默认即可。MRS 3.x版本暂时不支持该参数。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权，通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态部分 集群列表参数中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。