状态 说明 启动中 集群正在创建，则其状态为“启动中”。 运行中 集群创建成功且集群中所有组件状态均正常，则其状态为“运行中”。 扩容中 集群Core节点或者Task节点正在扩容，则其状态为“扩容中”。 说明 如果集群扩容失败，用户可重新进行扩容操作。 缩容中 当对集群节点进行关机、删除、变更OS、重装OS和修改规格的操作时，被变更的集群节点正在删除，则其状态为“缩容中”。 异常 集群中部分组件状态异常，导致集群异常，则其状态为“异常”。 删除中 集群节点正在删除中，则其状态为“删除中”。 已删除 集群已经删除，仅“历史集群”会显示此参数。

本章节主要介绍如何通过引导操作安装第三方软件。 该操作适用于MRS 3.x之前版本集群。 MRS 3.x版本暂不支持在创建集群时添加引导操作。 前提条件 已准备好引导操作脚本，详情请参见准备引导操作脚本。 在创建集群时添加引导操作 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“自定义创建”。 4.参考创建自定义集群配置集群软件配置和硬件配置信息。 5.在“高级配置”区域的引导操作栏，单击“添加”。 参数描述 参数 说明 名称 引导操作脚本的名称。 只能由数字、英文字符、空格、中划线和下划线组成，且不能以空格开头。 可输入的字符串长度为1～64个字符。 说明 同一集群内，不允许配置相同的名称。不同集群之间，可以配置相同的名称。 脚本路径 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径，必须以s3a://开头，以.sh结尾。例如：s3a://mrssamples/xxx.sh l 虚拟机本地的路径，脚本所在的路径必须以‘/’开头，以.sh结尾。 说明 同一集群内，不允许配置相同的路径。不同集群之间，可以配置相同的路径。 参数 引导操作脚本参数。 执行节点 选择引导操作脚本所执行的节点类型。 执行时机 选择引导操作脚本执行的时间。 组件首次启动前 组件首次启动后 失败操作 该脚本执行失败后，是否继续执行后续脚本和创建集群。 说明 建议您设置为“继续”，无论此引导操作是否执行成功，则集群都能继续创建。 6.单击“确定”。 添加成功后，可以通过“操作”列进行编辑、克隆和删除。

常用模板 说明 节点数量范围 管控合设 管理角色和控制角色共同部署在Master节点中，数据实例合设在同一节点组。该部署方式适用于100个以下的节点，可以减少成本。 Master节点数量大于等于3个，小于等于11个。 节点组数量总和小于等于10个，非Master节点组中节点数量总和小于等于10000个。 管控分设 管理角色和控制角色分别部署在不同的Master节点中，数据实例合设在同一节点组。该部署方式适用于100500个节点，在高并发负载情况下表现更好。 Master节点数量大于等于5个，小于等于11个。 节点组数量总和小于等于10个，非Master节点组中节点数量总和小于等于10000个。 数据分设 管理角色和控制角色分别部署在不同的Master节点中，数据实例分设在不同节点组。该部署方式适用于500个以上的节点，可以将各组件进一步分开部署，适用于更大的集群规模。 Master节点数量大于等于9个，小于等于11个。 节点组数量总和小于等于10个，非Master节点组中节点数量总和小于等于10000个。

本章节主要介绍如何查看并删除失败的MRS任务。 背景信息 当集群创建失败、集群删除失败、集群扩容失败和集群缩容失败后，失败任务会转入“失败任务管理”页面，其中仅集群删除失败的任务会同步转入“历史集群”页面。当不需要失败的任务时，可以删除。 操作步骤 1.登录MRS管理控制台。 2.在左侧导航栏中选择“集群列表 > 现有集群”。 3.单击“失败任务管理”右侧的或数字，进入“失败任务管理”页面。 4.在需要删除的任务对应的“操作”列中，单击“删除”。 此处只能删除单个失败的任务。 5.单击任务列表左上方的“删除所有失败任务”可以删除全部任务。

为MRS集群配置数据连接 1.登录MRS控制台。 2.单击集群名称进入集群详情页面。 3.单击“数据连接”右侧的“单击管理”，进入数据连接配置界面。 4.单击“配置数据连接”，并配置相关参数。 组件名称：Ranger l模块类型：Ranger元数据 连接类型：RDS服务MySQL数据库 连接实例：请选择已创建的到RDS服务MySQL数据库的实例，如需创建新的数据连接，请参考 管理数据连接章节配置数据连接 中的 创建数据连接。 5.勾选“我已经阅读上述信息，并了解具体影响。”并单击“测试”。 6.测试成功后，单击“确定”完成数据连接配置。 7.登录FusionInsight Manager页面。 8.选择“集群 > 服务 > Ranger”，进入Ranger服务概览页面。 9.单击“更多 > 重启服务”或“更多 > 滚动重启服务”。 重启服务会造成业务中断，滚动重启可以尽量减少或者不影响业务运行。 重启Ranger组件会影响所有受Ranger控制组件的权限，可能影响业务的正常运行，请在集群空闲或业务量较少时时执行重启。重启Ranger组件前，Ranger中的策略依然生效。 详见下图： 重启服务 10.启用需要鉴权的组件的Ranger鉴权。此处以Hive组件为例。 当前MRS 3.1.x集群支持Ranger鉴权的组件为: HDFS、HBase、Hive、Spark、Impala、Storm、Kafka组件。 a.登录FusionInsight Manager页面，选择“集群 > 服务 > 服务名称 ”。 b.在服务“概览”页面右上角单击“更多 > 启用Ranger鉴权”。 详见下图： 启用Ranger鉴权 11.登录Ranger WebUI界面，单击Hive组件对应行的导入按钮。 12.配置导入参数。 Select file：选择 Ranger元数据外置到Mysql前置操作 中下载的鉴权策略文件。 Merge If Exist Policy：勾选。 详见下图： 导入鉴权策略 13.重启启用Ranger鉴权的组件。 a.登录FusionInsight Manager页面。 b.选择“集群 > 服务 > Hive”，进入Hive服务概览页面。 c.单击“更多 > 重启服务”或“更多 > 滚动重启服务”。 重启服务会造成业务中断，滚动重启可以尽量减少或者不影响业务运行。

本章节主要介绍如何快速创建实时分析集群。 本章节为您介绍如何快速创建一个实时分析集群，实时分析集群使用Hadoop、Kafka、Flink和ClickHouse组件提供一个海量的数据采集、数据的实时分析和查询的系统。 集群包含的组件信息实时分析： MRS 3.1.0版本：Hadoop 3.1.1、Kafka 2.112.4.0、Flink 1.12.0、ClickHouse 21.3.4.25、ZooKeeper 3.5.6、Ranger 2.0.0。 快速创建实时分析集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3在创建集群页面，选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息，参数详细信息请参考创建自定义集群。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20201130”。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：选择“实时分析集群”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权，通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态 部分 集群列表参数中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

操作步骤 1.创建用户并授权使用MRS服务，具体请参考创建MRS操作用户。 2.登录MRS控制台并创建集群，具体请参考创建自定义集群。 3.在左侧导航栏中选择“集群列表 > 现有集群”，单击集群名称进入集群详情页面。 4.在“概览”页签的基本信息区域，单击“IAM用户同步”右侧的“单击同步”进行IAM用户同步。 5.同步请求下发后，返回MRS控制台在左侧导航栏中选择“操作日志”页面查看同步是否成功，日志相关说明请参考查看MRS服务操作日志。 6.同步成功后，即可使用IAM同步用户进行后续操作。 说明 l 当IAM用户的用户组的所属策略从MRS ReadOnlyAccess向MRS CommonOperations、MRS FullAccess、MRS Administrator变化时，由于集群节点的SSSD（System Security Services Daemon）缓存刷新需要时间，因此同步完成后，请等待5分钟，等待新修改策略生效之后，再进行提交作业。否则，会出现提交作业失败的情况。 l 当IAM用户的用户组的所属策略从MRS CommonOperations、MRS FullAccess、MRS Administrator向MRS ReadOnlyAccess变化时，由于集群节点的SSSD缓存刷新需要时间，因此同步完成后，请等待5分钟，新修改策略才能生效。 l 单击“IAM用户同步”右侧的“同步”后，集群详情页面会出现短时间空白，这是由于正在进行用户数据同步中，请耐心等待，数据同步完成后，页面将会正常显示。 l 安全集群提交作业：安全集群中用户可通过界面“作业管理”功能提交作业，具体请参考

操作 MRS FullAccess MRS CommonOperations MRS ReadOnlyAccess MRS Administrator 创建集群 √ x x √ 调整集群 √ x x √ 升级节点规格 √ x x √ 删除集群 √ x x √ 查询集群详情 √ √ √ √ 查询集群列表 √ √ √ √ 设置弹性伸缩策略 √ x x √ 查询主机列表 √ √ √ √ 查询操作日志 √ √ √ √ 创建并执行作业 √ √ x √ 停止作业 √ √ x √ 删除单个作业 √ √ x √ 批量删除作业 √ √ x √ 查询作业详情 √ √ √ √ 查询作业列表 √ √ √ √ 新建文件夹 √ √ x √ 删除文件 √ √ x √ 查询文件列表 √ √ √ √ 批量操作集群标签 √ √ x √ 创建单个集群标签 √ √ x √ 删除单个集群标签 √ √ x √ 按照标签查询资源列表 √ √ √ √ 查询集群标签 √ √ √ √ 访问Manager页面 √ √ x √ 查询补丁列表 √ √ √ √ 安装补丁 √ √ x √ 卸载补丁 √ √ x √ 运维通道授权 √ √ x √ 运维通道日志共享 √ √ x √ 查询告警列表 √ √ √ √ 订阅告警消息提醒 √ √ x √ 提交SQL语句 √ √ x √ 查询SQL结果 √ √ x √ 取消SQL执行任务 √ √ x √

本章节主要介绍如何创建MRS自定义策略。 如果系统预置的MRS权限，不满足您的授权要求，可以创建自定义策略。 目前支持以下两种方式创建自定义策略： 可视化视图创建自定义策略：无需了解策略语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图创建自定义策略：可以在选择策略模板后，根据具体需求编辑策略内容；也可以直接在编辑框内编写JSON格式的策略内容。 本章为您介绍常用的MRS自定义策略样例。 MRS自定义策略样例 示例1：授权用户仅有创建MRS集群的权限。 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "mrs:cluster:create", "ecs::", "bms::", "evs::", "vpc::", "smn::" ] } ] } 示例2：授权用户调整MRS集群。 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "mrs:cluster:resize" ] } ] } 示例3：授权用户创建集群、创建并执行作业、删除单个作业，但不允许用户删除集群的权限。 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "mrs:cluster:create", "mrs:job:submit", "mrs:job:delete" ] }, { "Effect": "Deny", "Action": [ "mrs:cluster:delete" ] } ] } 示例4：授权用户最小权限，创建ECS规格的集群。 说明 创建集群时如果使用秘钥对，增加权限：ecs:serverKeypairs:get和ecs:serverKeypairs:list 创集群时使用数据盘加密，增加权限：kms:cmk:list 创建集群时开启告警功能，增加权限：mrs:alarm:subscribe 创建集群时使用外置数据源，增加权限：rds:instance:list { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "mrs:cluster:create" ] }, { "Effect": "Allow", "Action": [ "ecs:cloudServers:updateMetadata", "ecs:cloudServerFlavors:get", "ecs:cloudServerQuotas:get", "ecs:servers:list", "ecs:servers:get", "ecs:cloudServers:delete", "ecs:cloudServers:list", "ecs:serverInterfaces:get", "ecs:serverGroups:manage", "ecs:servers:setMetadata", "ecs:cloudServers:get", "ecs:cloudServers:create" ] }, { "Effect": "Allow", "Action": [ "vpc:securityGroups:create", "vpc:securityGroupRules:delete", "vpc:vpcs:create", "vpc:ports:create", "vpc:securityGroups:get", "vpc:subnets:create", "vpc:privateIps:delete", "vpc:quotas:list", "vpc:networks:get", "vpc:publicIps:list", "vpc:securityGroups:delete", "vpc:securityGroupRules:create", "vpc:privateIps:create", "vpc:ports:get", "vpc:ports:delete", "vpc:publicIps:update", "vpc:subnets:get", "vpc:publicIps:get", "vpc:ports:update", "vpc:vpcs:list" ] }, { "Effect": "Allow", "Action": [ "evs:quotas:get", "evs:types:get" ] }, { "Effect": "Allow", "Action": [ "bms:serverFlavors:get" ] } ] } 示例5：授权用户最小权限，创建BMS规格的集群。 说明 创建集群时如果使用秘钥对，增加权限：ecs:serverKeypairs:get和ecs:serverKeypairs:list 创集群时使用数据盘加密，增加权限：kms:cmk:list 创建集群时开启告警功能，增加权限：mrs:alarm:subscribe 创建集群时使用外置数据源，增加权限：rds:instance:list { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "mrs:cluster:create" ] }, { "Effect": "Allow", "Action": [ "ecs:servers:list", "ecs:servers:get", "ecs:cloudServers:delete", "ecs:serverInterfaces:get", "ecs:serverGroups:manage", "ecs:servers:setMetadata", "ecs:cloudServers:create", "ecs:cloudServerFlavors:get", "ecs:cloudServerQuotas:get" ] }, { "Effect": "Allow", "Action": [ "vpc:securityGroups:create", "vpc:securityGroupRules:delete", "vpc:vpcs:create", "vpc:ports:create", "vpc:securityGroups:get", "vpc:subnets:create", "vpc:privateIps:delete", "vpc:quotas:list", "vpc:networks:get", "vpc:publicIps:list", "vpc:securityGroups:delete", "vpc:securityGroupRules:create", "vpc:privateIps:create", "vpc:ports:get", "vpc:ports:delete", "vpc:publicIps:update", "vpc:subnets:get", "vpc:publicIps:get", "vpc:ports:update", "vpc:vpcs:list" ] }, { "Effect": "Allow", "Action": [ "evs:quotas:get", "evs:types:get" ] }, { "Effect": "Allow", "Action": [ "bms:servers:get", "bms:servers:list", "bms:serverQuotas:get", "bms:servers:updateMetadata", "bms:serverFlavors:get" ] } ] } 示例6：授权用户最小权限，创建ECS和BMS混合集群。 说明 创建集群时如果使用秘钥对，增加权限：ecs:serverKeypairs:get和ecs:serverKeypairs:list 创集群时使用数据盘加密，增加权限：kms:cmk:list 创建集群时开启告警功能，增加权限：mrs:alarm:subscribe 创建集群时使用外置数据源，增加权限：rds:instance:list { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "mrs:cluster:create" ] }, { "Effect": "Allow", "Action": [ "ecs:cloudServers:updateMetadata", "ecs:cloudServerFlavors:get", "ecs:cloudServerQuotas:get", "ecs:servers:list", "ecs:servers:get", "ecs:cloudServers:delete", "ecs:cloudServers:list", "ecs:serverInterfaces:get", "ecs:serverGroups:manage", "ecs:servers:setMetadata", "ecs:cloudServers:get", "ecs:cloudServers:create" ] }, { "Effect": "Allow", "Action": [ "vpc:securityGroups:create", "vpc:securityGroupRules:delete", "vpc:vpcs:create", "vpc:ports:create", "vpc:securityGroups:get", "vpc:subnets:create", "vpc:privateIps:delete", "vpc:quotas:list", "vpc:networks:get", "vpc:publicIps:list", "vpc:securityGroups:delete", "vpc:securityGroupRules:create", "vpc:privateIps:create", "vpc:ports:get", "vpc:ports:delete", "vpc:publicIps:update", "vpc:subnets:get", "vpc:publicIps:get", "vpc:ports:update", "vpc:vpcs:list" ] }, { "Effect": "Allow", "Action": [ "evs:quotas:get", "evs:types:get" ] }, { "Effect": "Allow", "Action": [ "bms:servers:get", "bms:servers:list", "bms:serverQuotas:get", "bms:servers:updateMetadata", "bms:serverFlavors:get" ] } ] }

本章节介绍创建MRS服务的方式。 快速创建Hadoop分析集群：快速创建Hadoop分析集群为您提高了配置效率，可以在几分钟之内快速创建Hadoop集群，更加方便快捷的进行海量数据分析与查询。 快速创建HBase查询集群：快速创建HBase查询集群为您提高了配置效率，可以在几分钟之内快速创建HBase集群，更加方便快捷的进行海量数据存储以及分布式计算。 快速创建Kafka流式集群：快速创建Kafka流式集群为您提高了配置效率，可以在几分钟之内快速创建Kafka集群，更加方便快捷的进行流式数据采集，实时数据处理存储等。 快速创建ClickHouse集群：快速创建一个ClickHouse集群，ClickHouse是一个用于联机分析的列式数据库管理系统，具有极致压缩率和极速查询性能。 快速创建实时分析集群：快速创建一个实时分析集群为您提高了配置效率，可以在几分钟之内快速创建实时分析集群，更加方便快捷的进行海量的数据采集、数据的实时分析和查询。 创建自定义集群：自定义创建可以灵活地选择配置项，针对不同的应用场景，可以选择不同规格的弹性云主机，全方位贴合您的业务诉求。

本章节主要介绍如何使用Ranger进行行级过滤。 行级过滤 Ranger支持对查询结果进行行级过滤。也就是说，可以根据预设条件动态限制用户可见的数据范围，让不同用户只能访问符合授权条件的数据子集。 操作步骤 1、在Ranger WebUI配置页面点击Hadoop SQL下的Hive页签，您可以对Hive数据进行脱敏处理。 2、单击上方的Row Level Filter页签。 3、单击右上角的Add New Policy。 4、在Create Policy页面，配置相关参数。 5、单击Add按钮添加policy。 Demo 1、简单 Row Filter 注册 row filter policy，HDFS 用户只能看到userid>3的数据。 Hive测试 Spark测试 2、复杂 Row Filter 设置表达式为email LIKE '%@gmail.com'只保留 gmail.com 后缀的数据。 Hive测试 Spark测试

本章节主要介绍如何使用Ranger进行行级过滤。 行级过滤 Ranger支持对查询结果进行行级过滤。也就是说，可以根据预设条件动态限制用户可见的数据范围，让不同用户只能访问符合授权条件的数据子集。 操作步骤 1、在Ranger WebUI配置页面点击Hadoop SQL下的Hive页签，您可以对Hive数据进行脱敏处理。 2、单击上方的Row Level Filter页签。 3、单击右上角的Add New Policy。 4、在Create Policy页面，配置相关参数。 5、单击Add按钮添加policy。 Demo 1、简单 Row Filter 注册 row filter policy，HDFS 用户只能看到userid>3的数据。 Hive测试 Spark测试 2、复杂 Row Filter 设置表达式为email LIKE '%@gmail.com'只保留 gmail.com 后缀的数据。 Hive测试 Spark测试

本章节主要介绍操作类问题中有关性能优化的问题。 MRS集群是否支持重装系统？是否支持切换操作系统？ MRS集群不支持重装系统，也不支持切换操作系统。 如何提高集群Core节点的资源使用率？ 1.进入 Yarn服务配置页面： −MRS 1.8.10及之前版本，登录MRS Manager页面，然后选择“服务管理 > Yarn > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 −MRS 1.8.10之后及2.x版本，单击集群名称，登录集群详情页面，选择“组件管理 > Yarn > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 说明 若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 −MRS 3.x及后续版本，登录FusionInsight Manager。然后选择“集群 > 待操作的集群名称 > 服务 > Yarn > 配置 > 全部配置”。 2.搜索并修改“yarn.nodemanager.resource.memorymb”的值，请根据集群的节点内存实际情况调大该值。 3.保存配置并重启受影响的服务或实例。 如何关闭防火墙服务？ 以root用户登录集群的各个节点。 1.检查防火墙服务是否启动。 例如，EulerOS环境下执行systemctl status firewalld.service命令。 2.关闭防火墙服务。

本章节主要介绍如何启动及停止集群。 集群是包含着服务组件的集合。用户可以启动或者停止集群中所有服务。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 启动及停止集群 在集群详情页，单击页面右上角“管理操作 > 启动所有组件”或“停止所有组件”执行相应的操作。

本章节主要介绍补丁操作指导。 当您通过如下途径获知集群版本补丁信息，请根据您的实际需求进行补丁升级操作。 通过消息中心服务推送的消息获知MapReduce服务发布了补丁信息。 进入现有集群，查看“补丁信息”页面，呈现补丁信息。 安装补丁前准备 请参见执行健康检查检查集群状态，确认集群健康状态正常后再安装补丁。 您根据“补丁内容”中的补丁信息描述，确认将要安装的目标补丁。 安装补丁 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一集群并单击集群名，进入集群基本信息页面。 3.进入“补丁管理”页面，在操作列表中单击“安装”，安装目标补丁。 说明 对于集群中被隔离的主机节点，请参见 卸载补丁 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一集群并单击集群名，进入集群基本信息页面。 3.进入“补丁管理”页面，在操作列表中单击“卸载”，卸载目标补丁。 说明 对于集群中被隔离的主机节点，请参见

参数名 描述 父租户 显示上级父租户的名称。 名称 指定当前租户的名称，长度为3到20，可包含数字、字母和下划线。 租户类型 可选参数值为“叶子租户”和“非叶子租户”，当选中“叶子租户”时表示当前租户为叶子租户，无法再添加子租户。当选中“非叶子租户”时表示当前租户可以再添加子租户。 动态资源 为当前租户选择动态计算资源。系统将自动在Yarn父租户队列中以子租户名称创建任务队列。动态资源不选择“Yarn”时，系统不会自动创建任务队列。如果父租户未选择动态资源，子租户也无法使用动态资源。 默认资源池容量(%) 配置当前租户使用的资源百分比，基数为父租户的资源总量。 默认资源池最大容量(%) 配置当前租户使用的最大计算资源百分比，基数为父租户的资源总量。 储存资源 为当前租户选择存储资源。系统将自动在HDFS父租户目录中，以子租户名称创建文件夹。存储资源不选择“HDFS”时，系统不会在HDFS中创建存储目录。如果父租户未选择存储资源，子租户也无法使用存储资源。 存储空间配额(MB) 配置当前租户使用的HDFS存储空间配额。最小值值为“1”，最大值为父租户的全部存储配额。单位为MB。此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。若此配额大于父租户的配额，实际存储量受父租户配额影响。 说明 为了保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即默认共2个副本。HDFS存储空间球所有副本文件在HDFS中占用磁盘空间大小总和。例如“父租户中分配资源”设置为“500”，则实际只能保存约500/2250MB大小的文件。 存储路径 配置租户在HDFS中的存储目录。系统默认将自动在父租户目录中以子租户名称创建文件夹。例如子租户“ta1s”，父目录为“tenant/ta1”，系统默认自动配置此参数值为“tenant/ta1/ta1s”，最终子租户的存储目录为“/tenant/ta1/ta1s”。支持在父目录中自定义存储路径。存储路径的父目录必需是父租户的存储目录。 服务 配置当前租户关联使用的其他服务资源，支持HBase。单击“关联服务”，在“服务”选择“HBase”。在“关联类型”选择“独占”表示独占服务资源，选择“共享”表示共享服务资源。 描述 配置当前租户的描述信息。

本章节主要介绍使用Trino的操作指导。 操作场景 该任务指导用户使用Trino客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Trino客户端 1. 执行如下命令启动客户端。 plaintext ./trinocliexecutable.jar server catalog hive user presto 2. 执行成功后的客户端界面。

本章节主要介绍Kibana用户体验、性能优化的最佳实践。 Kibana是一个用于可视化和分析ElasticSearch中数据的强大工具。为了最大化利用Kibana的功能，提高用户体验和数据洞察力，以下是Kibana的一些最佳实践。 1. 仪表盘设计 明确的目标 在创建仪表盘之前，明确您的目标和需求。确定您希望从数据中获得什么样的见解，以便针对性地设计可视化组件。比如假设您是一个电子商务平台的数据分析师，您想要创建一个仪表盘来监控商品销售情况。您的目标是找出最畅销的商品类别和购买趋势。 简洁和重点突出 避免过于拥挤的仪表盘，尽量保持简洁。突出显示关键指标和信息，避免分散用户的注意力。避免在同一个仪表盘中混杂过多的信息，以确保用户专注于关键指标。 2. 可视化 合适的图表类型 根据数据的性质选择合适的图表类型，例如线形图、柱状图、饼图等。确保图表类型能够最有效地呈现数据。比如为了展示商品销售趋势，您可以选择使用折线图。这可以清晰地显示出不同类别的销售额随时间的变化。 轴标签和标题 为图表添加清晰的轴标签和标题，以便用户理解数据的含义。标签应该简洁明了，避免过于技术性的术语。比如在折线图上添加横轴和纵轴标签，分别标明时间和销售额。为图表添加标题，比如“商品销售趋势”。 3. 搜索和过滤

本章节主要介绍使用HDFS的操作指导。 操作场景 该任务指导用户在运维场景或业务场景中使用HDFS客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用HDFS客户端 1. 安装客户端。 2. 登录安装客户端的节点。 3. 执行以下命令，切换到客户端安装目录，例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 直接执行HDFS Shell命令。例如： plaintext hdfs dfs ls /

本章节主要介绍使用Kyuubi的操作指导。 前提条件 已安装客户端并且部署了ZooKeeper集群。 例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Kyuubi客户端 1. 安装客户端。 2. 登录安装客户端的节点。 3. 执行以下命令，切换到客户端安装目录，例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 直接执行命令。例如： 7. plaintext bin/beeline u 'jdbc:subprotocol://host:port' subprotocol:kyuubi or hive2 host: IP address of the kyuubi server

本章节主要介绍使用Hbase的操作指导。 操作场景 该任务指导用户在运维场景或业务场景中使用HBase客户端。 前提条件 已安装客户端。例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 非root用户使用HBase客户端，请确保该HBase客户端目录的属主为该用户，否则请参考如下命令修改属主。 plaintext chown user:group R客户端安装目录/HBase 使用HBase客户端 1. 安装客户端，具体请参考安装客户端章节。 2. 用户登录安装客户端的节点。 3. 执行以下命令切换到客户端目录，例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 直接执行HBase组件的客户端命令。 7. plaintext hbase shell

本章节主要介绍使用Kafka的操作指导。 操作场景 用户可以在集群客户端完成Topic的创建、查询、删除等基本操作。 前提条件 已安装客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Kafka客户端 1. 安装客户端，具体请参考安装客户端章节。 2. 登录安装客户端的节点。 3. 执行以下命令，切换到客户端目录，例如： plaintext cd /opt/hadoopclient/Kafka/kafka/bin 4. 执行以下命令，配置环境变量。 plaintext source /opt/hadoopclient/bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 创建一个Topic。 plaintext sh kafkatopics.sh create topic 主题名称partitions 主题占用的分区数 replicationfactor 主题的备份个数 zookeeper ZooKeeper角色实例所在节点IP地址:clientPort/kafka 7. 执行以下命令，查询集群中的Topic信息。 plaintext sh kafkatopics.sh list zookeeper ZooKeeper角色实例所在节点IP地址:clientPort/kafka 8. 删除创建的Topic。 plaintext sh kafkatopics.sh delete topic 主题名称 zookeeper ZooKeeper角色实例所在节点IP地址:clientPort/kafka 输入 "y"，回车。

本章节主要介绍YARN客户端的使用。 操作场景 该任务指导用户在运维场景或业务场景中使用YARN客户端。 前提条件 已安装客户端。例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用YARN客户端 1. 安装客户端。 2. 用户登录安装客户端的节点。 3. 执行以下命令，切换到客户端安装目录，例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 直接执行YARN命令。例如： 7. plaintext yarn application list

本章节主要介绍使用ZooKeeper的操作指导。 前提条件 已安装客户端。 例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用ZooKeeper客户端 1. 安装客户端并安装了JDK8。 2. 登录安装客户端的节点。 3. 执行以下命令，切换到客户端安装目录，例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 直接执行命令。例如： 7. plaintext zkCli.sh 服务器IP:端口号

本章节主要介绍操作类问题中有关API使用的问题。 使用调整集群节点接口时参数nodeid如何配置？ 问题详情 使用调整集群节点接口时（/v1.1/{projectid}/clusterinfos/{clusterid}），请求参数“nodeid”如何配置？ 问题解答 使用调整集群节点接口时，请求参数“nodeid”的值固定为“nodeorderadd”。

本章节主要介绍操作类问题中有关监控告警的问题。 在MRS流式集群中，Kafka Topic的监控是否支持发送告警？ 暂不支持Kafka Topic监控发送邮件和短信告警。 用户可以在集群Manager界面查看组件相关告警信息。 产生“ALM18022 Yarn队列资源不足”告警时，正在运行的资源队列可以在哪查看？ Yarn资源队列可以登录Manager界面，选择“集群 > 服务 > Yarn ResourceManager(主)”，登录Yarn的原生页面进行查看。 具体的告警处理方法可查看该告警的联机帮助文档进行处理。 HBase操作请求次数指标中的多级图表统计如何理解？ 以“RegionServer级别操作请求次数”监控项为例： 1.登录FusionInsight Manager，选择“集群 > 服务 > HBase > 资源”，在该界面即可查看“RegionServer级别操作请求次数”图表，选中“all”，则显示当前集群所有RegionServer的所有操作请求次数总和排Top10的值，统计时间间隔为5分钟。 2.单击表格中某一统计点，即可进入二级图表，表示该时刻前5分钟内统计的所有RegionServer的操作请求数。 3.再单击某一个操作统计柱状图即可进入三级图表，表示该时间段内各个Region相应操作的分布情况。 4.单击某个Region名称，进入该Region在12小时内每5分钟做的操作数统计分布图，可查看具体的操作在该时间段内执行的次数。

本章节主要介绍操作类问题中有关帐号密码的问题。 登录集群Manager的用户是什么？ 系统默认登录Manager 的帐号为 admin ，密码为创建集群时用户自己设置的密码。 集群内用户密码的过期时间如何查询和修改？ 查询密码有效期 查询组件运行用户（人机用户、机机用户）密码有效期： 以客户端安装用户，登录安装了客户端的节点。 1.执行以下命令，切换到客户端目录，例如“/opt/Bigdata/client”。 cd /opt/Bigdata/client 2.执行以下命令，配置环境变量。 source bigdataenv 3.执行以下命令，输入kadmin/admin用户密码后进入kadmin控制台。 kadmin p kadmin/admin 说明 kadmin/admin的默认密码为“Admin@123”，首次登录后需修改密码，请按照提示修改并妥善保存。 4.执行如下命令，可以查看用户的信息。 kadmin: getprinc user1 ...... Expiration date: [never] Last password change: Sun Oct 09 15:29:54 CST 2022 Password expiration date: [never] ...... 查询操作系统用户密码有效期： 以root用户登录集群任一Master节点。 5.执行以下命令查看用户密码有效期（“Password expires”参数值）。 chage l 用户名 例如查看root 用户密码有效期，则执行 chage l root ，执行后结果如下： [root@xxx ~]chage l root Last password change : Sep 12, 2021 Password expires : never Password inactive : never Account expires : never Minimum number of days between password change : 0 Maximum number of days between password change : 99999 Number of days of warning before password expires : 7 修改密码有效期 “机机”用户密码随机生成，密码默认永不过期。 “人机”用户密码的有效期可以在Manager页面通过修改密码策略进行修改。

本章节主要介绍修改组件运行用户密码。 操作场景 该任务指导用户定期修改MRS集群组件运行用户的密码，以提升系统运维安全性。 如果初始密码由系统随机生成，需要直接重置密码。 修改该密码会导致已经下载的用户凭证不可用，请修改该密码后重新下载认证凭据并替换旧凭据。 前提条件 已在Master1节点准备客户端。 操作步骤 登录Master1节点。 1. （可选）若想要使用omm用户修改密码，请执行以下命令切换用户。 sudo su omm 2. 执行以下命令，切换到客户端目录，例如“/opt/client”。 cd /opt/client 3. 执行以下命令，配置环境变量。 source bigdataenv 4. 执行以下命令，使用kadmin/admin登录控制台。 kadmin p kadmin/admin 说明 kadmin /admin的默认密码为“KAdmin@123”，首次登录后会提示该密码过期，请按照提示修改密码并妥善保存。 5. 执行以下命令，重置组件运行用户密码。此操作对所有服务器生效。 cpw 组件运行用户名 例如重置admin密码：cpw admin 集群中，默认的密码复杂度要求： 密码字符长度为8～32位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符'~!@$%^&()+[{}];:'", /?中的3种类型字符。 不能与用户名或倒序的用户名相同。

本章节主要介绍操作类问题中有关元数据管理的问题。 如何查看MRS Hive元数据？ Hive的元数据存放在MRS服务集群的GaussDB中，可执行如下步骤查看： 1.以root用户登录到DBServer主节点。 2.执行以下命令登录Hive元数据库： su omm source $DBSERVERHOME/.dbserviceprofile gsql p 20051 U USER W PASSWD d hivemeta 3.执行以下命令可以查看Hive元数据库中的所有元数据表： d+ 4.执行q退出查看元数据表页面。 5.执行以下命令可以查看元数据表中的数据： select from 表名; 说明 DBServer主节点的IP地址可登录Manager界面，选择“集群 > 服务 > DBService > 实例 ”查看。 Hive元数据存放在外部的关系型数据库存储时，请通过如下步骤获取信息： 1.集群详情页的“数据连接”右侧单击“单击管理”。 2.在弹出页面中查看“数据连接ID”。 3.在MRS控制台，单击“数据连接”。 4.在数据连接列表中根据集群所关联的数据连接ID查找对应数据连接。 5.在对应数据连接的“操作”列单击“编辑”，查看该数据连接所连接的RDS实例及数据库。

本章节主要介绍修改用户信息 。 该任务指导管理员用户在Manager修改已创建的用户信息，包括修改用户组、主组、角色和描述。 开启Kerberos认证的集群或开启弹性公网IP功能的普通集群支持该操作。 说明 该章节操作仅适用于MRS 3.x之前版本集群。MRS3.x及之后版本集群请参考修改用户信息章节。 操作步骤 访问MRS Manager，详细操作请参见访问MRSManager（MRS2.x及之前版本）。 1. 在MRS Manager，单击“系统设置”。 2. 在“权限配置”区域，单击“用户管理”。 3. 在要修改用户所在的行，单击“修改”，修改用户信息。 说明 为用户修改用户组或分配的角色权限，最长可能需要3分钟时间生效。 4. 单击“确定”完成修改操作。

本章节主要介绍操作类问题中有关集群升级/补丁的问题。 MRS集群版本如何进行升级？ MRS普通版本集群 MRS普通版本集群无法实现低版本到高版本的平滑升级。如需体验新版本集群相关能力，建议重新创建一个新版本的集群，然后将老版本集群的数据迁移到新的集群。 MRS LTS版本集群 MRS LTS版集群支持版本升级能力，可从历史版本升级至目标LTS版本。如果需要使用版本升级能力，需联系运维人员确认支持的升级路径并购买相关专业服务进行升级。 MRS是否支持升级集群内组件的内核版本？ MRS不支持单独升级集群内组件的内核版本，如需体验新版本MRS集群所支持组件的特性内容，建议删除当前集群之后重新创建集群。

MRS集群用户不再需要使用时，管理员可以在MRS Manager中删除此用户。开启Kerberos认证的集群或开启弹性公网IP功能的普通集群支持删除用户操作。 说明 如果删除用户A后，再次准备重新创建同名用户A，如果该用户A已经提交过作业（客户端提交或者MRS console页面提交），那么需要在删除该用户A的同时，删除该用户A残留的文件夹，否则使用重新创建的同名用户A提交作业会失败。 删除用户残留文件夹操作方法为：依次登录MRS集群的Core节点，在每个Core节点上执行如下两条命令，其中如下命令中“$user”为具体的以用户名命名的文件夹。 cd /srv/BigData/hadoop/data1/nm/localdir/usercache/ rm rf $user 该章节操作仅适用于MRS 3.x之前版本集群。MRS3.x及之后版本集群请参考删除用户章节。 操作步骤 访问MRS Manager，详细操作请参见访问MRSManager（MRS2.x及之前版本）。 1. 在MRS Manager，单击“系统设置”。 2. 在“权限配置”区域，单击“用户管理”。 3. 在要删除用户所在的行，选择“更多 > 删除”。 详见下图：删除用户 4. 单击“确定”完成删除操作。