本章节主要介绍如何登录集群节点。 本章节介绍如何使用弹性云主机管理控制台上提供的远程登录（VNC方式）和如何使用密钥或密码方式（SSH方式）登录MRS集群中的节点，远程登录主要用于紧急运维场景，远程登录弹性云主机进行相关维护操作。其他场景下，建议用户采用SSH方式登录。 说明 如果需要使用SSH方式登录集群节点，需要在集群的安全组规则中手动添加入方向规则：其中源地址为“客户端IPV4地址/32(或者客户端IPV6地址/128)”，端口为22，具体请参见“虚拟私有云 > 用户指南 > 安全性 > 安全组 > 添加安全组规则”。 登录弹性云主机（VNC方式） 1.登录MapReduce服务管理控制台。 2.选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名，进入集群基本信息页面。 3.在“节点管理”页签单击Master节点组中某一Master节点名称，登录到弹性云主机管理控制台。 4.单击右上角的“远程登录”。 5.根据界面提示，输入Master节点的用户名和密码。 创建集群时登录方式选择了“密码”。此时，你需要输入的用户名、密码分别是root和创建集群时设置的密码。 创建集群时登录方式选择了密钥对，则使用如下方式登录： a. 创建集群成功后，参见“虚拟私有云 ​> 用户指南 ​> 虚拟IP”章节中的相关内容，为集群的Master节点绑定一个弹性IP地址。 b. 使用root用户名和密钥文件，SSH方式远程登录Master节点。 c. 执行passwd root命令，设置root用户密码。 d. 设置成功后，返回界面登录方式，输入root用户名和步骤5.2.c设置的密码，登录节点。

本章节主要介绍如何确认Manager的主备管理节点。 背景信息 用户可以在Master节点登录到集群中的其他节点，同时登录Master节点后，可以确认Manager的主备管理节点，并在对应的管理节点中执行命令。 在主备模式下，由于Master1和Master2之间会切换，Master1节点不一定是Manager的主管理节点。 操作步骤 1.确认MRS集群的Master节点。 a.登录MapReduce服务管理控制台，选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名，进入集群信息页面。查看指定的集群信息。 b.在“节点管理”中查看节点名称，名称中包含“master1”的节点为Master1节点，名称中包含“master2”的节点为Master2节点。 2.确认Manager的主备管理节点。 a.远程登录Master1节点，请参见登录集群节点。 Master节点支持CloudInit特性，Cloudinit预配置的用户名“root”，密码为创建集群时设置的密码。 b.执行以下命令切换用户。 sudo su root su omm c.执行以下命令确认主备管理节点： MRS 3.x之前版本集群执行命令： sh ${BIGDATAHOME}/om0.0.1/sbin/statusoms.sh MRS3.x及之后版本集群执行命令： sh ${BIGDATAHOME}/omserver/om/sbin/statusoms.sh 回显信息中“HAActive”参数值为“active”的节点为主管理节点（如下例中“mgtomsdatsh3011”为主管理节点），参数值为“standby”的节点为备管理节点（如下例中“mgtomsdatsh3012”为备管理节点）。 Ha mode double NodeName HostName HAVersion StartTime HAActive HAAllResOK HARunPhase 192168030 mgtomsdatsh3011 V100R001C01 20141118 23:43:02 active normal Actived 192168024 mgtomsdatsh3012 V100R001C01 20141121 07:14:02 standby normal Deactived 说明 如果当前登录的Master1节点是备管理节点，且需要登录到主管理节点时，请执行以下命令： ssh Master2节点IP地址

本章节主要介绍如何配置消息通知。 MRS联合消息通知服务(SMN)，采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式（短信和邮件通知）。 操作场景 在MRS管理控制台，按照集群维度，在集群信息页面的告警页签中能够提供选择是否使能通知服务，只有对应集群开关开启以后，才能实现以下场景的功能： 在用户订阅了通知服务之后，当集群出现扩容成功/失败、缩容成功/失败、删除成功/失败、弹性升缩成功/失败的场景下，由MRS管理面通过邮件或短信方式通知对应用户。 管理面检查大数据集群的告警信息，如果大数据集群的告警信息影响到服务的使用，其告警级别达到致命时，则发送信息通知给对应租户。 在用户集群的ECS机器被删除、关机、修改规格、重启、更新OS的行为，会导致大数据集群异常，当检测到用户的虚拟机出现以上状态的时候，发送通知给对应用户。 创建主题 主题是消息发布或客户端订阅通知的特定事件类型。它作为发送消息和订阅通知的信道，为发布者和订阅者提供一个可以相互交流的通道。 1.登录管理控制台。 2.单击“服务列表”选择“管理与监管 > 消息通知服务”。 进入消息通知服务页面。 3.在左侧导航栏，选择“主题管理 > 主题”。 进入主题页面。 4.在主题页面，单击“创建主题”，开始创建主题。 此时将显示“创建主题”对话框。 5.在“主题名称”框中，输入主题名称，在“显示名”框中输入相关描述。 6.在“企业项目”中选择已有的项目，或者单击“新建企业项目”，在“企业项目管理”界面创建好企业项目后再进行添加。 7.在“标签”填写“标签键”和“标签值”，用于标识云资源，可对云资源进行分类和搜索。

按钮 说明 在下拉框中选择企业项目，筛选对应集群。 在下拉框中选择集群状态，筛选现有集群。 现有集群 − 所有状态：表示筛选所有的现有集群 − 启动中：表示筛选“启动中”状态的现有集群 − 运行中：表示筛选“运行中”状态的现有集群 − 扩容中：表示筛选“扩容中”状态的现有集群。 − 缩容中：表示筛选“缩容中”状态的现有集群。 − 异常：表示筛选“异常”状态的现有集群 − 删除中：表示筛选“删除中”状态的现有集群 选择“集群列表>现有集群”，单击 进入“失败任务管理”页面。 Num ：表示“失败”状态的任务数。 在搜索框中输入集群名称或ID，单击 ，搜索集群。 标签搜索 单击“标签搜索”输入待查询集群的标签，然后单击“搜索”搜索对应集群。 标签键或标签值可以通过下拉列表中选择，当标签键或标签值全匹配时，系统可以自动查询到目标集群。当有多个标签条件时，会取各个标签的交集，进行集群查询。 单击 ，手动刷新现有集群列表。

参数 规则 样例 标签键 不能为空。 对于同一个集群，Key值唯一。 长度不超过36个字符。 不能包含“”,“”,“<”,“>”,“”,“,”,“l”,“/”，且首尾字符不能为空格。 Organization 标签值 长度不超过43个字符。 不能包含“”,“”,“<”,“>”,“”,“,”,“l”,“/”，且首尾字符不能为空格。value可以为空。 Apache

参数 说明 类型 选择外部源连接的类型。 RDS服务MySQL数据库，支持Hive或Ranger组件的集群支持连接该类型数据库。 名称 数据连接的名称。 数据库实例 RDS服务数据库实例，该实例需要先在RDS服务创建后在此处引用，且已创建数据库，具体请参考管理数据连接章节 说明 为了保证集群和PostgreSQL数据库的网络访问，建议该实例与MRS集群的虚拟私有云和子网一致。 该实例的安全组入方向规则需要放通3306端口（可通过在RDS控制台单击实例名称进入实例基本信息页面，在“连接信息”区域单击“安全组”右侧的安全组名称进入安全组控制台，在入方向规则页签中添加一个“协议端口”为TCP 3306，“源地址”为Hive的MetaStore实例所在的所有节点IP的规则）。 当前MRS支持的RDS上Postgres数据库版本号为PostgreSQL9.5/PostgreSQL9.6。 当前MRS仅支持RDS上MySQL数据库版本为MySQL 5.7.x。 数据库 待连接的数据库的名称。 用户名 登录待连接的数据库的用户名。 密码 登录待连接的数据库的密码。

状态 说明 启动中 集群正在创建，则其状态为“启动中”。 运行中 集群创建成功且集群中所有组件状态均正常，则其状态为“运行中”。 扩容中 集群Core节点或者Task节点正在扩容，则其状态为“扩容中”。 说明 如果集群扩容失败，用户可重新进行扩容操作。 缩容中 当对集群节点进行关机、删除、变更OS、重装OS和修改规格的操作时，被变更的集群节点正在删除，则其状态为“缩容中”。 异常 集群中部分组件状态异常，导致集群异常，则其状态为“异常”。 删除中 集群节点正在删除中，则其状态为“删除中”。 已删除 集群已经删除，仅“历史集群”会显示此参数。

本章节主要介绍如何通过引导操作安装第三方软件。 该操作适用于MRS 3.x之前版本集群。 MRS 3.x版本暂不支持在创建集群时添加引导操作。 前提条件 已准备好引导操作脚本，详情请参见准备引导操作脚本。 在创建集群时添加引导操作 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“自定义创建”。 4.参考创建自定义集群配置集群软件配置和硬件配置信息。 5.在“高级配置”区域的引导操作栏，单击“添加”。 参数描述 参数 说明 名称 引导操作脚本的名称。 只能由数字、英文字符、空格、中划线和下划线组成，且不能以空格开头。 可输入的字符串长度为1～64个字符。 说明 同一集群内，不允许配置相同的名称。不同集群之间，可以配置相同的名称。 脚本路径 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径，必须以s3a://开头，以.sh结尾。例如：s3a://mrssamples/xxx.sh l 虚拟机本地的路径，脚本所在的路径必须以‘/’开头，以.sh结尾。 说明 同一集群内，不允许配置相同的路径。不同集群之间，可以配置相同的路径。 参数 引导操作脚本参数。 执行节点 选择引导操作脚本所执行的节点类型。 执行时机 选择引导操作脚本执行的时间。 组件首次启动前 组件首次启动后 失败操作 该脚本执行失败后，是否继续执行后续脚本和创建集群。 说明 建议您设置为“继续”，无论此引导操作是否执行成功，则集群都能继续创建。 6.单击“确定”。 添加成功后，可以通过“操作”列进行编辑、克隆和删除。

常用模板 说明 节点数量范围 管控合设 管理角色和控制角色共同部署在Master节点中，数据实例合设在同一节点组。该部署方式适用于100个以下的节点，可以减少成本。 Master节点数量大于等于3个，小于等于11个。 节点组数量总和小于等于10个，非Master节点组中节点数量总和小于等于10000个。 管控分设 管理角色和控制角色分别部署在不同的Master节点中，数据实例合设在同一节点组。该部署方式适用于100500个节点，在高并发负载情况下表现更好。 Master节点数量大于等于5个，小于等于11个。 节点组数量总和小于等于10个，非Master节点组中节点数量总和小于等于10000个。 数据分设 管理角色和控制角色分别部署在不同的Master节点中，数据实例分设在不同节点组。该部署方式适用于500个以上的节点，可以将各组件进一步分开部署，适用于更大的集群规模。 Master节点数量大于等于9个，小于等于11个。 节点组数量总和小于等于10个，非Master节点组中节点数量总和小于等于10000个。

本章节主要介绍如何查看并删除失败的MRS任务。 背景信息 当集群创建失败、集群删除失败、集群扩容失败和集群缩容失败后，失败任务会转入“失败任务管理”页面，其中仅集群删除失败的任务会同步转入“历史集群”页面。当不需要失败的任务时，可以删除。 操作步骤 1.登录MRS管理控制台。 2.在左侧导航栏中选择“集群列表 > 现有集群”。 3.单击“失败任务管理”右侧的或数字，进入“失败任务管理”页面。 4.在需要删除的任务对应的“操作”列中，单击“删除”。 此处只能删除单个失败的任务。 5.单击任务列表左上方的“删除所有失败任务”可以删除全部任务。

为MRS集群配置数据连接 1.登录MRS控制台。 2.单击集群名称进入集群详情页面。 3.单击“数据连接”右侧的“单击管理”，进入数据连接配置界面。 4.单击“配置数据连接”，并配置相关参数。 组件名称：Ranger l模块类型：Ranger元数据 连接类型：RDS服务MySQL数据库 连接实例：请选择已创建的到RDS服务MySQL数据库的实例，如需创建新的数据连接，请参考 管理数据连接章节配置数据连接 中的 创建数据连接。 5.勾选“我已经阅读上述信息，并了解具体影响。”并单击“测试”。 6.测试成功后，单击“确定”完成数据连接配置。 7.登录FusionInsight Manager页面。 8.选择“集群 > 服务 > Ranger”，进入Ranger服务概览页面。 9.单击“更多 > 重启服务”或“更多 > 滚动重启服务”。 重启服务会造成业务中断，滚动重启可以尽量减少或者不影响业务运行。 重启Ranger组件会影响所有受Ranger控制组件的权限，可能影响业务的正常运行，请在集群空闲或业务量较少时时执行重启。重启Ranger组件前，Ranger中的策略依然生效。 详见下图： 重启服务 10.启用需要鉴权的组件的Ranger鉴权。此处以Hive组件为例。 当前MRS 3.1.x集群支持Ranger鉴权的组件为: HDFS、HBase、Hive、Spark、Impala、Storm、Kafka组件。 a.登录FusionInsight Manager页面，选择“集群 > 服务 > 服务名称 ”。 b.在服务“概览”页面右上角单击“更多 > 启用Ranger鉴权”。 详见下图： 启用Ranger鉴权 11.登录Ranger WebUI界面，单击Hive组件对应行的导入按钮。 12.配置导入参数。 Select file：选择 Ranger元数据外置到Mysql前置操作 中下载的鉴权策略文件。 Merge If Exist Policy：勾选。 详见下图： 导入鉴权策略 13.重启启用Ranger鉴权的组件。 a.登录FusionInsight Manager页面。 b.选择“集群 > 服务 > Hive”，进入Hive服务概览页面。 c.单击“更多 > 重启服务”或“更多 > 滚动重启服务”。 重启服务会造成业务中断，滚动重启可以尽量减少或者不影响业务运行。

本章节主要介绍如何快速创建实时分析集群。 本章节为您介绍如何快速创建一个实时分析集群，实时分析集群使用Hadoop、Kafka、Flink和ClickHouse组件提供一个海量的数据采集、数据的实时分析和查询的系统。 集群包含的组件信息实时分析： MRS 3.1.0版本：Hadoop 3.1.1、Kafka 2.112.4.0、Flink 1.12.0、ClickHouse 21.3.4.25、ZooKeeper 3.5.6、Ranger 2.0.0。 快速创建实时分析集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3在创建集群页面，选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息，参数详细信息请参考创建自定义集群。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20201130”。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：选择“实时分析集群”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权，通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态 部分 集群列表参数中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

操作步骤 1.创建用户并授权使用MRS服务，具体请参考创建MRS操作用户。 2.登录MRS控制台并创建集群，具体请参考创建自定义集群。 3.在左侧导航栏中选择“集群列表 > 现有集群”，单击集群名称进入集群详情页面。 4.在“概览”页签的基本信息区域，单击“IAM用户同步”右侧的“单击同步”进行IAM用户同步。 5.同步请求下发后，返回MRS控制台在左侧导航栏中选择“操作日志”页面查看同步是否成功，日志相关说明请参考查看MRS服务操作日志。 6.同步成功后，即可使用IAM同步用户进行后续操作。 说明 l 当IAM用户的用户组的所属策略从MRS ReadOnlyAccess向MRS CommonOperations、MRS FullAccess、MRS Administrator变化时，由于集群节点的SSSD（System Security Services Daemon）缓存刷新需要时间，因此同步完成后，请等待5分钟，等待新修改策略生效之后，再进行提交作业。否则，会出现提交作业失败的情况。 l 当IAM用户的用户组的所属策略从MRS CommonOperations、MRS FullAccess、MRS Administrator向MRS ReadOnlyAccess变化时，由于集群节点的SSSD缓存刷新需要时间，因此同步完成后，请等待5分钟，新修改策略才能生效。 l 单击“IAM用户同步”右侧的“同步”后，集群详情页面会出现短时间空白，这是由于正在进行用户数据同步中，请耐心等待，数据同步完成后，页面将会正常显示。 l 安全集群提交作业：安全集群中用户可通过界面“作业管理”功能提交作业，具体请参考

操作 MRS FullAccess MRS CommonOperations MRS ReadOnlyAccess MRS Administrator 创建集群 √ x x √ 调整集群 √ x x √ 升级节点规格 √ x x √ 删除集群 √ x x √ 查询集群详情 √ √ √ √ 查询集群列表 √ √ √ √ 设置弹性伸缩策略 √ x x √ 查询主机列表 √ √ √ √ 查询操作日志 √ √ √ √ 创建并执行作业 √ √ x √ 停止作业 √ √ x √ 删除单个作业 √ √ x √ 批量删除作业 √ √ x √ 查询作业详情 √ √ √ √ 查询作业列表 √ √ √ √ 新建文件夹 √ √ x √ 删除文件 √ √ x √ 查询文件列表 √ √ √ √ 批量操作集群标签 √ √ x √ 创建单个集群标签 √ √ x √ 删除单个集群标签 √ √ x √ 按照标签查询资源列表 √ √ √ √ 查询集群标签 √ √ √ √ 访问Manager页面 √ √ x √ 查询补丁列表 √ √ √ √ 安装补丁 √ √ x √ 卸载补丁 √ √ x √ 运维通道授权 √ √ x √ 运维通道日志共享 √ √ x √ 查询告警列表 √ √ √ √ 订阅告警消息提醒 √ √ x √ 提交SQL语句 √ √ x √ 查询SQL结果 √ √ x √ 取消SQL执行任务 √ √ x √

本章节主要介绍如何创建MRS自定义策略。 如果系统预置的MRS权限，不满足您的授权要求，可以创建自定义策略。 目前支持以下两种方式创建自定义策略： 可视化视图创建自定义策略：无需了解策略语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图创建自定义策略：可以在选择策略模板后，根据具体需求编辑策略内容；也可以直接在编辑框内编写JSON格式的策略内容。 本章为您介绍常用的MRS自定义策略样例。 MRS自定义策略样例 示例1：授权用户仅有创建MRS集群的权限。 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "mrs:cluster:create", "ecs::", "bms::", "evs::", "vpc::", "smn::" ] } ] } 示例2：授权用户调整MRS集群。 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "mrs:cluster:resize" ] } ] } 示例3：授权用户创建集群、创建并执行作业、删除单个作业，但不允许用户删除集群的权限。 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "mrs:cluster:create", "mrs:job:submit", "mrs:job:delete" ] }, { "Effect": "Deny", "Action": [ "mrs:cluster:delete" ] } ] } 示例4：授权用户最小权限，创建ECS规格的集群。 说明 创建集群时如果使用秘钥对，增加权限：ecs:serverKeypairs:get和ecs:serverKeypairs:list 创集群时使用数据盘加密，增加权限：kms:cmk:list 创建集群时开启告警功能，增加权限：mrs:alarm:subscribe 创建集群时使用外置数据源，增加权限：rds:instance:list { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "mrs:cluster:create" ] }, { "Effect": "Allow", "Action": [ "ecs:cloudServers:updateMetadata", "ecs:cloudServerFlavors:get", "ecs:cloudServerQuotas:get", "ecs:servers:list", "ecs:servers:get", "ecs:cloudServers:delete", "ecs:cloudServers:list", "ecs:serverInterfaces:get", "ecs:serverGroups:manage", "ecs:servers:setMetadata", "ecs:cloudServers:get", "ecs:cloudServers:create" ] }, { "Effect": "Allow", "Action": [ "vpc:securityGroups:create", "vpc:securityGroupRules:delete", "vpc:vpcs:create", "vpc:ports:create", "vpc:securityGroups:get", "vpc:subnets:create", "vpc:privateIps:delete", "vpc:quotas:list", "vpc:networks:get", "vpc:publicIps:list", "vpc:securityGroups:delete", "vpc:securityGroupRules:create", "vpc:privateIps:create", "vpc:ports:get", "vpc:ports:delete", "vpc:publicIps:update", "vpc:subnets:get", "vpc:publicIps:get", "vpc:ports:update", "vpc:vpcs:list" ] }, { "Effect": "Allow", "Action": [ "evs:quotas:get", "evs:types:get" ] }, { "Effect": "Allow", "Action": [ "bms:serverFlavors:get" ] } ] } 示例5：授权用户最小权限，创建BMS规格的集群。 说明 创建集群时如果使用秘钥对，增加权限：ecs:serverKeypairs:get和ecs:serverKeypairs:list 创集群时使用数据盘加密，增加权限：kms:cmk:list 创建集群时开启告警功能，增加权限：mrs:alarm:subscribe 创建集群时使用外置数据源，增加权限：rds:instance:list { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "mrs:cluster:create" ] }, { "Effect": "Allow", "Action": [ "ecs:servers:list", "ecs:servers:get", "ecs:cloudServers:delete", "ecs:serverInterfaces:get", "ecs:serverGroups:manage", "ecs:servers:setMetadata", "ecs:cloudServers:create", "ecs:cloudServerFlavors:get", "ecs:cloudServerQuotas:get" ] }, { "Effect": "Allow", "Action": [ "vpc:securityGroups:create", "vpc:securityGroupRules:delete", "vpc:vpcs:create", "vpc:ports:create", "vpc:securityGroups:get", "vpc:subnets:create", "vpc:privateIps:delete", "vpc:quotas:list", "vpc:networks:get", "vpc:publicIps:list", "vpc:securityGroups:delete", "vpc:securityGroupRules:create", "vpc:privateIps:create", "vpc:ports:get", "vpc:ports:delete", "vpc:publicIps:update", "vpc:subnets:get", "vpc:publicIps:get", "vpc:ports:update", "vpc:vpcs:list" ] }, { "Effect": "Allow", "Action": [ "evs:quotas:get", "evs:types:get" ] }, { "Effect": "Allow", "Action": [ "bms:servers:get", "bms:servers:list", "bms:serverQuotas:get", "bms:servers:updateMetadata", "bms:serverFlavors:get" ] } ] } 示例6：授权用户最小权限，创建ECS和BMS混合集群。 说明 创建集群时如果使用秘钥对，增加权限：ecs:serverKeypairs:get和ecs:serverKeypairs:list 创集群时使用数据盘加密，增加权限：kms:cmk:list 创建集群时开启告警功能，增加权限：mrs:alarm:subscribe 创建集群时使用外置数据源，增加权限：rds:instance:list { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "mrs:cluster:create" ] }, { "Effect": "Allow", "Action": [ "ecs:cloudServers:updateMetadata", "ecs:cloudServerFlavors:get", "ecs:cloudServerQuotas:get", "ecs:servers:list", "ecs:servers:get", "ecs:cloudServers:delete", "ecs:cloudServers:list", "ecs:serverInterfaces:get", "ecs:serverGroups:manage", "ecs:servers:setMetadata", "ecs:cloudServers:get", "ecs:cloudServers:create" ] }, { "Effect": "Allow", "Action": [ "vpc:securityGroups:create", "vpc:securityGroupRules:delete", "vpc:vpcs:create", "vpc:ports:create", "vpc:securityGroups:get", "vpc:subnets:create", "vpc:privateIps:delete", "vpc:quotas:list", "vpc:networks:get", "vpc:publicIps:list", "vpc:securityGroups:delete", "vpc:securityGroupRules:create", "vpc:privateIps:create", "vpc:ports:get", "vpc:ports:delete", "vpc:publicIps:update", "vpc:subnets:get", "vpc:publicIps:get", "vpc:ports:update", "vpc:vpcs:list" ] }, { "Effect": "Allow", "Action": [ "evs:quotas:get", "evs:types:get" ] }, { "Effect": "Allow", "Action": [ "bms:servers:get", "bms:servers:list", "bms:serverQuotas:get", "bms:servers:updateMetadata", "bms:serverFlavors:get" ] } ] }

本章节介绍创建MRS服务的方式。 快速创建Hadoop分析集群：快速创建Hadoop分析集群为您提高了配置效率，可以在几分钟之内快速创建Hadoop集群，更加方便快捷的进行海量数据分析与查询。 快速创建HBase查询集群：快速创建HBase查询集群为您提高了配置效率，可以在几分钟之内快速创建HBase集群，更加方便快捷的进行海量数据存储以及分布式计算。 快速创建Kafka流式集群：快速创建Kafka流式集群为您提高了配置效率，可以在几分钟之内快速创建Kafka集群，更加方便快捷的进行流式数据采集，实时数据处理存储等。 快速创建ClickHouse集群：快速创建一个ClickHouse集群，ClickHouse是一个用于联机分析的列式数据库管理系统，具有极致压缩率和极速查询性能。 快速创建实时分析集群：快速创建一个实时分析集群为您提高了配置效率，可以在几分钟之内快速创建实时分析集群，更加方便快捷的进行海量的数据采集、数据的实时分析和查询。 创建自定义集群：自定义创建可以灵活地选择配置项，针对不同的应用场景，可以选择不同规格的弹性云主机，全方位贴合您的业务诉求。

接口功能介绍 防火墙解绑专线v3 接口约束 无 URI POST /v3/firewall/cancelCloudLine 路径参数 无 Query参数 参数 是否必填 参数类型 说明 示例 下级对象 regionId 是 String 资源池ID。 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx firewallOid 是 String 防火墙ID。 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx vgwOid 是 String 专线虚拟网关ID。 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 请求参数 请求头header参数 无 请求体body参数 无 响应参数 参数 参数类型 说明 示例 下级对象 statusCode Integer 状态码。可能值： 800：请求成功。 900：请求失败。 800 error String 错误码。 ECPC1000 message String 提示信息。 OK. returnObj Object 返回数据结构体。 returnObj 枚举参数 无 请求示例 请求url 请求头header 无 请求体body 无 响应示例 { "statusCode":800, "message":"OK.", "returnObj":{ } } 状态码 请参考 状态码 错误码 请参考 错误码

参数 是否必填 参数类型 说明 示例 下级对象 regionId 是 String 资源池ID。 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx firewallOid 是 String 防火墙ID。 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx vgwOid 是 String 专线虚拟网关ID。 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

本章节介绍如何查看Ranger的审计日志信息。 Ranger的审计模块是数据安全治理的核心，提供了全方位、多维度的操作追踪与系统监控能力。该模块是进行安全事件调查、合规性审计和系统健康度检查的统一入口。 操作步骤 1、访问Ranger Admin WebUI页面。 2、Access日志记录了系统对资源访问的详细信息，每条日志通常包含访问时间、操作用户、访问类型、目标资源、客户端IP、访问结果（允许/拒绝）等关键字段，是进行安全审计、权限排查和合规性分析的核心数据来源。首先点击顶层的“Audit”选项，然后点击“Access”选项即可查看Access日志。 3、Admin日志记录了系统管理员对Ranger服务本身进行管理操作的历史记录。首先点击顶层的“Audit”选项，然后点击“Admin”选项即可查看Admin日志。 4、Login Sessions日志记录了用户在Ranger控制台发起登录尝试的历史活动。它追踪每次登录请求的时间戳、用户名、来源IP地址、登录使用的方法以及登录结果（成功/失败），首先点击顶层的“Audit”选项，然后点击“Login Sessions”选项即可查看Admin的登陆情况。 5、Plugin页面展示了Ranger Agent在各集群节点上的部署与运行状态。首先点击顶层的“Audit”选项，然后点击“Plugins”选项即可查看查看Ranger Plugin与Admin的交互信息。 6、“Plugin Status”用于实时监控Ranger Plugin的运行健康度。它会展示各插件与Ranger Admin的连接状态、心跳信息及策略同步详情。首先点击顶层的“Audit”选项，然后点击“Plugin Status”选项即可查看各个Plugin状态信息。 7、“User Sync”用于展示Ranger与外部认证源（如LDAP）进行用户和组同步的日志与状态。首先点击顶层的“Audit”选项，然后点击“User Sync”选项即可查看Ranger UserSync服务同步用户的日志。

本章节介绍如何查看Ranger的审计日志信息。 Ranger的审计模块是数据安全治理的核心，提供了全方位、多维度的操作追踪与系统监控能力。该模块是进行安全事件调查、合规性审计和系统健康度检查的统一入口。 操作步骤 1、访问Ranger Admin WebUI页面。 2、Access日志记录了系统对资源访问的详细信息，每条日志通常包含访问时间、操作用户、访问类型、目标资源、客户端IP、访问结果（允许/拒绝）等关键字段，是进行安全审计、权限排查和合规性分析的核心数据来源。首先点击顶层的“Audit”选项，然后点击“Access”选项即可查看Access日志。 3、Admin日志记录了系统管理员对Ranger服务本身进行管理操作的历史记录。首先点击顶层的“Audit”选项，然后点击“Admin”选项即可查看Admin日志。 4、Login Sessions日志记录了用户在Ranger控制台发起登录尝试的历史活动。它追踪每次登录请求的时间戳、用户名、来源IP地址、登录使用的方法以及登录结果（成功/失败），首先点击顶层的“Audit”选项，然后点击“Login Sessions”选项即可查看Admin的登陆情况。 5、Plugin页面展示了Ranger Agent在各集群节点上的部署与运行状态。首先点击顶层的“Audit”选项，然后点击“Plugins”选项即可查看查看Ranger Plugin与Admin的交互信息。 6、“Plugin Status”用于实时监控Ranger Plugin的运行健康度。它会展示各插件与Ranger Admin的连接状态、心跳信息及策略同步详情。首先点击顶层的“Audit”选项，然后点击“Plugin Status”选项即可查看各个Plugin状态信息。 7、“User Sync”用于展示Ranger与外部认证源（如LDAP）进行用户和组同步的日志与状态。首先点击顶层的“Audit”选项，然后点击“User Sync”选项即可查看Ranger UserSync服务同步用户的日志。

本章节介绍Ranger如何基于User进行权限管控。 功能说明 Ranger支持基于User的权限管控，即可以直接针对某个用户配置资源访问权限。用户在访问Hive、HDFS、HBase等组件资源时，组件侧的Ranger Plugin会拦截访问请求，并将请求中的用户、资源、操作类型等信息与Ranger Admin中的策略进行匹配，最终决定是否允许访问。基于User授权是最常见的权限配置方式之一，适用于对单个用户进行精细化权限控制的场景。 操作步骤 1、访问Ranger Admin WebUI页面。 2、首先点击右上角的“Settings”按钮，然后点击“Users/Groups/Roles”选项；最后点击“Users”选项查看用户的相关信息。 3、回到Service界面，选择目标Service（DEMO以HDFS为例）。 4、点击右上角新建Policy。 5、在Policy页面填写基础信息，首先在Conditions栏选择“Select User”；然后选择目标用户。 6、确认配置后点击添加，即可生效。

本章节主要介绍如何使用Ranger进行行级过滤。 行级过滤 Ranger支持对查询结果进行行级过滤。也就是说，可以根据预设条件动态限制用户可见的数据范围，让不同用户只能访问符合授权条件的数据子集。 操作步骤 1、在Ranger WebUI配置页面点击Hadoop SQL下的Hive页签，您可以对Hive数据进行脱敏处理。 2、单击上方的Row Level Filter页签。 3、单击右上角的Add New Policy。 4、在Create Policy页面，配置相关参数。 5、单击Add按钮添加policy。 Demo 1、简单 Row Filter 注册 row filter policy，HDFS 用户只能看到userid>3的数据。 Hive测试 Spark测试 2、复杂 Row Filter 设置表达式为email LIKE '%@gmail.com'只保留 gmail.com 后缀的数据。 Hive测试 Spark测试

本章节主要介绍操作类问题中有关性能优化的问题。 MRS集群是否支持重装系统？是否支持切换操作系统？ MRS集群不支持重装系统，也不支持切换操作系统。 如何提高集群Core节点的资源使用率？ 1.进入 Yarn服务配置页面： −MRS 1.8.10及之前版本，登录MRS Manager页面，然后选择“服务管理 > Yarn > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 −MRS 1.8.10之后及2.x版本，单击集群名称，登录集群详情页面，选择“组件管理 > Yarn > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 说明 若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 −MRS 3.x及后续版本，登录FusionInsight Manager。然后选择“集群 > 待操作的集群名称 > 服务 > Yarn > 配置 > 全部配置”。 2.搜索并修改“yarn.nodemanager.resource.memorymb”的值，请根据集群的节点内存实际情况调大该值。 3.保存配置并重启受影响的服务或实例。 如何关闭防火墙服务？ 以root用户登录集群的各个节点。 1.检查防火墙服务是否启动。 例如，EulerOS环境下执行systemctl status firewalld.service命令。 2.关闭防火墙服务。

本章节主要介绍如何启动及停止集群。 集群是包含着服务组件的集合。用户可以启动或者停止集群中所有服务。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 启动及停止集群 在集群详情页，单击页面右上角“管理操作 > 启动所有组件”或“停止所有组件”执行相应的操作。

本章节主要介绍补丁操作指导。 当您通过如下途径获知集群版本补丁信息，请根据您的实际需求进行补丁升级操作。 通过消息中心服务推送的消息获知MapReduce服务发布了补丁信息。 进入现有集群，查看“补丁信息”页面，呈现补丁信息。 安装补丁前准备 请参见执行健康检查检查集群状态，确认集群健康状态正常后再安装补丁。 您根据“补丁内容”中的补丁信息描述，确认将要安装的目标补丁。 安装补丁 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一集群并单击集群名，进入集群基本信息页面。 3.进入“补丁管理”页面，在操作列表中单击“安装”，安装目标补丁。 说明 对于集群中被隔离的主机节点，请参见 卸载补丁 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一集群并单击集群名，进入集群基本信息页面。 3.进入“补丁管理”页面，在操作列表中单击“卸载”，卸载目标补丁。 说明 对于集群中被隔离的主机节点，请参见

参数名 描述 父租户 显示上级父租户的名称。 名称 指定当前租户的名称，长度为3到20，可包含数字、字母和下划线。 租户类型 可选参数值为“叶子租户”和“非叶子租户”，当选中“叶子租户”时表示当前租户为叶子租户，无法再添加子租户。当选中“非叶子租户”时表示当前租户可以再添加子租户。 动态资源 为当前租户选择动态计算资源。系统将自动在Yarn父租户队列中以子租户名称创建任务队列。动态资源不选择“Yarn”时，系统不会自动创建任务队列。如果父租户未选择动态资源，子租户也无法使用动态资源。 默认资源池容量(%) 配置当前租户使用的资源百分比，基数为父租户的资源总量。 默认资源池最大容量(%) 配置当前租户使用的最大计算资源百分比，基数为父租户的资源总量。 储存资源 为当前租户选择存储资源。系统将自动在HDFS父租户目录中，以子租户名称创建文件夹。存储资源不选择“HDFS”时，系统不会在HDFS中创建存储目录。如果父租户未选择存储资源，子租户也无法使用存储资源。 存储空间配额(MB) 配置当前租户使用的HDFS存储空间配额。最小值值为“1”，最大值为父租户的全部存储配额。单位为MB。此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。若此配额大于父租户的配额，实际存储量受父租户配额影响。 说明 为了保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即默认共2个副本。HDFS存储空间球所有副本文件在HDFS中占用磁盘空间大小总和。例如“父租户中分配资源”设置为“500”，则实际只能保存约500/2250MB大小的文件。 存储路径 配置租户在HDFS中的存储目录。系统默认将自动在父租户目录中以子租户名称创建文件夹。例如子租户“ta1s”，父目录为“tenant/ta1”，系统默认自动配置此参数值为“tenant/ta1/ta1s”，最终子租户的存储目录为“/tenant/ta1/ta1s”。支持在父目录中自定义存储路径。存储路径的父目录必需是父租户的存储目录。 服务 配置当前租户关联使用的其他服务资源，支持HBase。单击“关联服务”，在“服务”选择“HBase”。在“关联类型”选择“独占”表示独占服务资源，选择“共享”表示共享服务资源。 描述 配置当前租户的描述信息。

本章节主要介绍使用Trino的操作指导。 操作场景 该任务指导用户使用Trino客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Trino客户端 1. 执行如下命令启动客户端。 plaintext ./trinocliexecutable.jar server catalog hive user presto 2. 执行成功后的客户端界面。

本章节主要介绍Kibana用户体验、性能优化的最佳实践。 Kibana是一个用于可视化和分析ElasticSearch中数据的强大工具。为了最大化利用Kibana的功能，提高用户体验和数据洞察力，以下是Kibana的一些最佳实践。 1. 仪表盘设计 明确的目标 在创建仪表盘之前，明确您的目标和需求。确定您希望从数据中获得什么样的见解，以便针对性地设计可视化组件。比如假设您是一个电子商务平台的数据分析师，您想要创建一个仪表盘来监控商品销售情况。您的目标是找出最畅销的商品类别和购买趋势。 简洁和重点突出 避免过于拥挤的仪表盘，尽量保持简洁。突出显示关键指标和信息，避免分散用户的注意力。避免在同一个仪表盘中混杂过多的信息，以确保用户专注于关键指标。 2. 可视化 合适的图表类型 根据数据的性质选择合适的图表类型，例如线形图、柱状图、饼图等。确保图表类型能够最有效地呈现数据。比如为了展示商品销售趋势，您可以选择使用折线图。这可以清晰地显示出不同类别的销售额随时间的变化。 轴标签和标题 为图表添加清晰的轴标签和标题，以便用户理解数据的含义。标签应该简洁明了，避免过于技术性的术语。比如在折线图上添加横轴和纵轴标签，分别标明时间和销售额。为图表添加标题，比如“商品销售趋势”。 3. 搜索和过滤

本章节主要介绍使用HDFS的操作指导。 操作场景 该任务指导用户在运维场景或业务场景中使用HDFS客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用HDFS客户端 1. 安装客户端。 2. 登录安装客户端的节点。 3. 执行以下命令，切换到客户端安装目录，例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 直接执行HDFS Shell命令。例如： plaintext hdfs dfs ls /

本章节主要介绍使用Kyuubi的操作指导。 前提条件 已安装客户端并且部署了ZooKeeper集群。 例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Kyuubi客户端 1. 安装客户端。 2. 登录安装客户端的节点。 3. 执行以下命令，切换到客户端安装目录，例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 直接执行命令。例如： 7. plaintext bin/beeline u 'jdbc:subprotocol://host:port' subprotocol:kyuubi or hive2 host: IP address of the kyuubi server

本章节主要介绍使用Hbase的操作指导。 操作场景 该任务指导用户在运维场景或业务场景中使用HBase客户端。 前提条件 已安装客户端。例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 非root用户使用HBase客户端，请确保该HBase客户端目录的属主为该用户，否则请参考如下命令修改属主。 plaintext chown user:group R客户端安装目录/HBase 使用HBase客户端 1. 安装客户端，具体请参考安装客户端章节。 2. 用户登录安装客户端的节点。 3. 执行以下命令切换到客户端目录，例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 直接执行HBase组件的客户端命令。 7. plaintext hbase shell

本章节主要介绍使用Kafka的操作指导。 操作场景 用户可以在集群客户端完成Topic的创建、查询、删除等基本操作。 前提条件 已安装客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Kafka客户端 1. 安装客户端，具体请参考安装客户端章节。 2. 登录安装客户端的节点。 3. 执行以下命令，切换到客户端目录，例如： plaintext cd /opt/hadoopclient/Kafka/kafka/bin 4. 执行以下命令，配置环境变量。 plaintext source /opt/hadoopclient/bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 创建一个Topic。 plaintext sh kafkatopics.sh create topic 主题名称partitions 主题占用的分区数 replicationfactor 主题的备份个数 zookeeper ZooKeeper角色实例所在节点IP地址:clientPort/kafka 7. 执行以下命令，查询集群中的Topic信息。 plaintext sh kafkatopics.sh list zookeeper ZooKeeper角色实例所在节点IP地址:clientPort/kafka 8. 删除创建的Topic。 plaintext sh kafkatopics.sh delete topic 主题名称 zookeeper ZooKeeper角色实例所在节点IP地址:clientPort/kafka 输入 "y"，回车。