本章节主要介绍使用Trino的操作指导。 操作场景 该任务指导用户使用Trino客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Trino客户端 1. 执行如下命令启动客户端。 plaintext ./trinocliexecutable.jar server catalog hive user presto 2. 执行成功后的客户端界面。

参数 参数类型 说明 示例 下级对象 statusCode Integer 状态码，成功：200，失败：500 200 message String 用来简述当前接口调用状态以及必要提示信息 请求成功 error String 错误码，请求成功时，不返回该字段 EMR400000 returnObj Object 返回结果

状态码 请参考 状态码 错误码 请参考 错误码

本章节主要介绍Kibana用户体验、性能优化的最佳实践。 Kibana是一个用于可视化和分析ElasticSearch中数据的强大工具。为了最大化利用Kibana的功能，提高用户体验和数据洞察力，以下是Kibana的一些最佳实践。 1. 仪表盘设计 明确的目标 在创建仪表盘之前，明确您的目标和需求。确定您希望从数据中获得什么样的见解，以便针对性地设计可视化组件。比如假设您是一个电子商务平台的数据分析师，您想要创建一个仪表盘来监控商品销售情况。您的目标是找出最畅销的商品类别和购买趋势。 简洁和重点突出 避免过于拥挤的仪表盘，尽量保持简洁。突出显示关键指标和信息，避免分散用户的注意力。避免在同一个仪表盘中混杂过多的信息，以确保用户专注于关键指标。 2. 可视化 合适的图表类型 根据数据的性质选择合适的图表类型，例如线形图、柱状图、饼图等。确保图表类型能够最有效地呈现数据。比如为了展示商品销售趋势，您可以选择使用折线图。这可以清晰地显示出不同类别的销售额随时间的变化。 轴标签和标题 为图表添加清晰的轴标签和标题，以便用户理解数据的含义。标签应该简洁明了，避免过于技术性的术语。比如在折线图上添加横轴和纵轴标签，分别标明时间和销售额。为图表添加标题，比如“商品销售趋势”。 3. 搜索和过滤

2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）重启FlinkHistoryServer服务，推荐滚动重启。 Kyuubi 1、修改配置 1）前往Manager页面，集群服务> Kyuubi集群> 配置管理> default配置组> 配置文件kyuubidefaults.conf > 配置项kyuubi.ha.addresses。 2）将新的ZK节点，添加到配置项kyuubi.ha.addresses中。 3）相同操作：同时修改client配置组的配置项。 2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）需要重启Kyuubi服务，推荐滚动重启。 HBase 1、修改配置 1）前往Manager页面，集群服务> HBase集群> 配置管理> default配置组> 配置文件hbasesite.xml > 配置项hbase.zookeeper.quorum。 2）将新的ZK节点，添加到配置项hbase.zookeeper.quorum中。 3）相同操作：同时修改client配置组的配置项。 2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）需要重启HBase所有服务，包含HMaster和HRegionServer，推荐滚动重启。 Kafka 警告：Kafka不建议重启，所以不建议修改ZK节点。 原因：Kafka每个节点都是有状态的，每个节点的主分区都不一样，重启会导致业务受影响。 1、修改配置 1）前往Manager页面，集群服务> Kafka集群> 配置管理> default配置组> 配置文件server.properties > 配置项zookeeper.connect。 2）将新的ZK节点，通过vs统一修改3个配置，添加到配置项zookeeper.connect中。 2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）需要重启Kafka所有服务。请谨慎进行Kafka集群的重启操作。

配置参数 默认端口 当前配置端口 端口说明 dfs.namenode.httpaddress.x.x 9870 50070 namenode Web UI绑定端口 dfs.namenode.httpsaddress.x.x 9871 9871 namenode https绑定端口 dfs.namenode.rpcaddress.x.x 8020 54310 namenode响应client请求RPC绑定端口 dfs.namenode.servicerpcaddress.x.x 53310 namenode响应内部服务请求RPC绑定端口，例如datanode等server请求 com.sun.management.jmxremote.port 8006 namenode jmx端口 dfs.datanode.address 9866 1004 datanode 数据传输端口 dfs.datanode.http.address 9864 1006 datanode http webUI端口 dfs.datanode.ipc.address 9867 9867 datanode rpc响应端口 com.sun.management.jmxremote.port 8016 datanode jmx端口 dfs.datanode.https.address 9865 datanode https端口 dfs.journalnode.rpcaddress 8485 8485 journalnode rpc端口 dfs.journalnode.httpaddress 8480 8480 journalnode http端口 dfs.journalnode.httpsaddress 8481 8481 journalnode https端口 com.sun.management.jmxremote.port 8046 journalnode jmx端口 dfs.ha.zkfc.port 8019 8019 zkfc rpc端口 com.sun.management.jmxremote.port 8056 zkfc jmx端口 dfs.federation.router.rpcaddress 8888 55310 hdfs router 响应client请求 rpc处理端口 dfs.federation.router.adminaddress 8111 hdfs router 响应 admin请求 rpc处理端口 dfs.federation.router.httpaddress 50071 hdfs router http端口 dfs.federation.router.httpsaddress 50072 hdfs router https端口 com.sun.management.jmxremote.port 8106 hdfs router jxm端口

本章节主要介绍使用HDFS的操作指导。 操作场景 该任务指导用户在运维场景或业务场景中使用HDFS客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用HDFS客户端 1. 安装客户端。 2. 登录安装客户端的节点。 3. 执行以下命令，切换到客户端安装目录，例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 直接执行HDFS Shell命令。例如： plaintext hdfs dfs ls /

本章节主要介绍使用Kyuubi的操作指导。 前提条件 已安装客户端并且部署了ZooKeeper集群。 例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Kyuubi客户端 1. 安装客户端。 2. 登录安装客户端的节点。 3. 执行以下命令，切换到客户端安装目录，例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 直接执行命令。例如： 7. plaintext bin/beeline u 'jdbc:subprotocol://host:port' subprotocol:kyuubi or hive2 host: IP address of the kyuubi server

本章节主要介绍使用Hbase的操作指导。 操作场景 该任务指导用户在运维场景或业务场景中使用HBase客户端。 前提条件 已安装客户端。例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 非root用户使用HBase客户端，请确保该HBase客户端目录的属主为该用户，否则请参考如下命令修改属主。 plaintext chown user:group R客户端安装目录/HBase 使用HBase客户端 1. 安装客户端，具体请参考安装客户端章节。 2. 用户登录安装客户端的节点。 3. 执行以下命令切换到客户端目录，例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 直接执行HBase组件的客户端命令。 7. plaintext hbase shell

本章节主要介绍使用Kafka的操作指导。 操作场景 用户可以在集群客户端完成Topic的创建、查询、删除等基本操作。 前提条件 已安装客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Kafka客户端 1. 安装客户端，具体请参考安装客户端章节。 2. 登录安装客户端的节点。 3. 执行以下命令，切换到客户端目录，例如： plaintext cd /opt/hadoopclient/Kafka/kafka/bin 4. 执行以下命令，配置环境变量。 plaintext source /opt/hadoopclient/bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 创建一个Topic。 plaintext sh kafkatopics.sh create topic 主题名称partitions 主题占用的分区数 replicationfactor 主题的备份个数 zookeeper ZooKeeper角色实例所在节点IP地址:clientPort/kafka 7. 执行以下命令，查询集群中的Topic信息。 plaintext sh kafkatopics.sh list zookeeper ZooKeeper角色实例所在节点IP地址:clientPort/kafka 8. 删除创建的Topic。 plaintext sh kafkatopics.sh delete topic 主题名称 zookeeper ZooKeeper角色实例所在节点IP地址:clientPort/kafka 输入 "y"，回车。

本章节主要介绍YARN客户端的使用。 操作场景 该任务指导用户在运维场景或业务场景中使用YARN客户端。 前提条件 已安装客户端。例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用YARN客户端 1. 安装客户端。 2. 用户登录安装客户端的节点。 3. 执行以下命令，切换到客户端安装目录，例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 直接执行YARN命令。例如： 7. plaintext yarn application list

本章节主要介绍使用ZooKeeper的操作指导。 前提条件 已安装客户端。 例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用ZooKeeper客户端 1. 安装客户端并安装了JDK8。 2. 登录安装客户端的节点。 3. 执行以下命令，切换到客户端安装目录，例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 直接执行命令。例如： 7. plaintext zkCli.sh 服务器IP:端口号

本节介绍管理员可以自定义设置脱密申请的审批流程。 云电脑内的加密文件如需外发，需要经过审批，管理员可以自定义设置脱密申请的审批流程。 部门领导审批 1.打开“组织管理”—“审批流程”； 2.点击“分管设置”，设置租户内各个部门的分管人员。部门内用户提交的脱密申请将由分管人员审批。 部门的分管人员若设置了多个，则部门内人员提交的脱密申请，按该部门分管人员列表从上到下的顺序进行审批。 若配置分管人员时发现部门人员与当前组织架构不符，可点击列表右上方的“同步组织机构”进行更新。 除此之外，脱密审批流程支持更加灵活的自定义配置。在“流程配置”中找到企业加密流程，点击“编辑”进行修改。 审批流程设置 当管理员开启了脱密审批功能，系统将自动配置一个默认审批流程规则：默认配置只有一个流程审批节点，审批人为提交人的上级主管（如存在多个主管时默认第一个主管审批，如未配置主管流程会自动通过）。 如果业务需要自定义流程审批规则，管理员可以根据实际情况自行修改审批流程设置。常用的审批节点有6种：流程开始节点、流程结束节点、审批节点、抄送节点、经办节点、汇合点。其中流程开始节点和流程结束节点为系统默认放置的两个节点，不可删除。 下面我们以最常用的审批节点为例进行配置说明。

修改开源组件Web页面的超时时间 1.进入服务全部配置界面。 MRS 3.x之前版本集群：在集群详情页面，选择“组件管理 > meta > 服务配置”。 MRS 3.x及之后版本集群：登录FusionInsight Manager，选择“集群 > 服务 > meta”，单击“配置”，选择“全部配置”。 2.根据需要修改“meta”下的“http.server.session.timeout.secs”值，单位为秒。 3.保存配置，不勾选“重新启动受影响的服务或实例”并单击“确定”。 重启会影响业务，建议在业务空闲时执行重启操作。 4.可选）若需要使用Spark的Web页面，则需要Spark“全部配置”页面，搜索并修改配置项“spark.session.maxAge”为合适的值，单位为秒。 保存配置，不勾选“重新启动受影响的服务或实例”并单击“确定”。 5.重启meta服务及需要使用Web界面的服务，或者在业务空闲时重启集群。 重启会影响业务，建议在业务空闲时执行重启操作，或使用滚动重启功能，在不影响业务的情况下重启服务。 说明 不支持修改Flink组件Web页面的超时时间。 MRS租户管理中的动态资源计划页面无法刷新怎么办？ 以root用户分别登录Master1和Master2节点。 1.执行ps ef grep aos命令检查aos进程号。 2.执行kill 9 aos 进程号 结束aos进程。 3.等待aos进程自动重启成功，可通过ps ef grep aos命令查询进程是否存在，若存在则重启成功，若不存在请稍后再查询。 Kafka Topic监控页签在Manager页面不显示怎么办？ 分别登录集群Master节点，并切换用户为omm。 1.进入目录“/opt/Bigdata/apachetomcat7.0.78/webapps/web/WEBINF/lib/components/Kafka/”。 2.拷贝zookeeper包到该目录“cp /opt/share/zookeeper3.5.1mrs2.0/zookeeper3.5.1mrs2.0.jar ./”。 3.重启Tomcat。 sh /opt/Bigdata/apachetomcat7.0.78/bin/shutdown.sh sh /opt/Bigdata/apachetomcat7.0.78/bin/startup.sh

本章节主要介绍操作类问题中有关API使用的问题。 使用调整集群节点接口时参数nodeid如何配置？ 问题详情 使用调整集群节点接口时（/v1.1/{projectid}/clusterinfos/{clusterid}），请求参数“nodeid”如何配置？ 问题解答 使用调整集群节点接口时，请求参数“nodeid”的值固定为“nodeorderadd”。

本章节主要介绍操作类问题中有关监控告警的问题。 在MRS流式集群中，Kafka Topic的监控是否支持发送告警？ 暂不支持Kafka Topic监控发送邮件和短信告警。 用户可以在集群Manager界面查看组件相关告警信息。 产生“ALM18022 Yarn队列资源不足”告警时，正在运行的资源队列可以在哪查看？ Yarn资源队列可以登录Manager界面，选择“集群 > 服务 > Yarn ResourceManager(主)”，登录Yarn的原生页面进行查看。 具体的告警处理方法可查看该告警的联机帮助文档进行处理。 HBase操作请求次数指标中的多级图表统计如何理解？ 以“RegionServer级别操作请求次数”监控项为例： 1.登录FusionInsight Manager，选择“集群 > 服务 > HBase > 资源”，在该界面即可查看“RegionServer级别操作请求次数”图表，选中“all”，则显示当前集群所有RegionServer的所有操作请求次数总和排Top10的值，统计时间间隔为5分钟。 2.单击表格中某一统计点，即可进入二级图表，表示该时刻前5分钟内统计的所有RegionServer的操作请求数。 3.再单击某一个操作统计柱状图即可进入三级图表，表示该时间段内各个Region相应操作的分布情况。 4.单击某个Region名称，进入该Region在12小时内每5分钟做的操作数统计分布图，可查看具体的操作在该时间段内执行的次数。

本章节主要介绍创建角色。 操作场景 该任务指导管理员用户在MRS Manager创建角色，并对Manager和组件进行授权管理。 MRS Manager支持的角色数为1000。 前提条件 管理员用户已明确业务需求。 操作步骤 在MRS Manager，选择“系统设置 > 角色管理”。 1. 单击“添加角色”，然后在“角色名称”和“描述”输入角色名字与描述。 “角色名称”为必选参数，字符长度为3到30，可以包含数字、字母和下划线。“描述”为可选参数。 2. 设置角色“权限”。 a.单击“服务名称”，并选择一个“视图名称”。 b.勾选一个或多个权限。 说明 “权限”为可选参数。 在选择“视图”设置组件的权限时，可通过右上角的“搜索”框输入资源名称，然后单击显示搜索结果。 搜索范围仅包含当前权限目录，无法搜索子目录。搜索关键字支持模糊搜索，不区分大小写。支持搜索下一页的结果。 详见下表：Manager权限描述 支持权限管理的资源 权限设置说明 “Alarm” Manager告警功能授权，勾选“View”表示可以查看告警，勾选“Management”表示可以管理告警。 “Audit” Manager审计日志功能授权，勾选“View”表示可以查看审计，勾选“Management”表示可以管理审计。 “Dashboard” Manager概览功能授权，勾选“View”表示可以查看集群概览。 “Hosts” Manager集群节点管理功能授权，勾选“View”表示可以查看节点，勾选“Management”表示可以管理节点。 “Services” MRS集群服务管理功能授权，勾选“View”表示可以查看服务，勾选“Management”表示可以管理服务。 “Systemclustermanagement” MRS集群管理授权，勾选“Management”表示可以使用MRS补丁管理功能。 “Systemconfiguration” MRS集群配置功能授权，勾选“Management”表示可以使用Manager配置MRS集群。 “Systemtask” MRS集群任务功能授权，勾选“Management”表示可以使用Manager管理MRS集群的周期任务。 “Tenant” Manager多租户管理功能授权，勾选“Management”表示可以查看Manager的租户管理页面。 详见下表：HBase权限描述 支持权限管理的资源 权限设置说明 “SUPERUSERGROUP” 选中时表示授予HBase管理员权限。 “Global” HBase的一种资源类型，表示HBase整体组件。 “Namespace” HBase的一种资源类型，表示命名空间，用来保存HBase表。 具体权限： “Admin”：表示管理此命名空间的权限。 “Create”：表示在此命名空间创建HBase表的权限。 “Read”：表示访问此命名空间的权限。 “Write”：表示写入此命名空间数据的权限。 “Execute”：表示可执行协处理器（Endpoint）的权限。 “Table” HBase的一种资源类型，表示数据表，用来保存数据。 具体权限： “Admin”：表示管理此数据表的权限。 “Create”：表示在此数据表创建列族和列的权限。 “Read”：表示读取数据表的权限。 “Write”：表示写入数据到表的权限。 “Execute”：表示可执行协处理器（Endpoint）的权限。 “ColumnFamily” HBase的一种资源类型，表示列族，用来保存数据。 具体权限： “Create”：表示在此列族创建列的权限。 “Read”：表示读取列族的权限。 “Write”：表示写入数据到列族的权限。 “Qualifier” HBase的一种资源类型，表示列，用来保存数据。具体权限： “Read”：表示读取列的权限。 “Write”：表示写入数据到列的权限。 HBase中每一级资源类型的权限默认会传递到下级资源类型，但“递归”选项没有默认勾选。例如命名空间“default”添加了“Read”和“Write”权限，则命名空间中的表、列族和列自动添加该权限。若设置父资源后，再手动设置子资源，则子资源的权限取父资源与当前子资源设置的并集。 详见下表： HDFS权限描述 支持权限管理的资源 权限设置说明 “Folder” HDFS的一种资源类型，表示HDFS目录，可以保存文件或子目录。 具体权限： “Read”：表示访问此HDFS目录的权限。 “Write”：表示在此HDFS目录写入数据的权限。 “Execute”：表示执行操作的权限。在添加访问或写入权限必须同时勾选。 “Files” HDFS的一种资源类型，表示HDFS中的文件。 具体权限： “Read”：表示访问此文件的权限。 “Write”：表示写入此文件的权限。 “Execute”：表示执行操作的权限。在添加访问或写入权限必须同时勾选。 HDFS中每一级目录的权限默认不会传递到下级目录类型。例如目录“tmp”添加了“Read”和“Execute”，需要同时勾选“递归”才能为子目录添加权限。 详见下表：Hive权限描述 支持权限管理的资源 权限设置说明 “Hive Admin Privilege” 选中时表示授予Hive管理员权限。 “Database” Hive的一种资源类型，表示Hive数据库，用来保存Hive表。 具体权限： “Select”：表示查询Hive数据库的权限。 “Delete”：表示在Hive数据库执行删除操作的权限。 “Insert”：表示在Hive数据库执行插入操作的权限。 “Create”：表示在Hive数据库执行创建操作的权限。 “Table” Hive的一种资源类型，表示Hive表，用来保存数据。 具体权限： “Select”：表示查询Hive表的权限。 “Delete”：表示在Hive表执行删除操作的权限。 “Update”：表示为角色添加Hive表的“Update”权限。 “Insert”：表示在Hive表执行插入操作的权限。 “Grant of Select”：选中表示属于此角色的用户可以使用Hive语句为其他用户添加“Select”权限。 “Grant of Delete”：选中表示属于此角色的用户可以使用Hive语句为其他用户添加“Delete”权限。 “Grant of Update”：选中表示属于此角色的用户可以使用Hive语句为其他用户添加“Update”权限。 “Grant of Insert”：选中表示属于此角色的用户可以使用Hive语句为其他用户添加“Insert”权限。 Hive中每一级资源类型的权限默认会传递到下级资源类型，但“递归”选项没有默认勾选。例如数据库“default”添加了“Select”和“Insert”权限，则数据库中的表和列自动添加该权限。若设置父资源后，再手动设置子资源，则子资源的权限取父资源与当前子资源设置的并集。 详见下表： YARN权限描述 支持权限管理的资源 权限设置说明 “Cluster Admin Operations” 选中时表示授予YARN管理员权限。 “root” YARN的根队列。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。 “Parent Queue” YARN的一种资源类型，表示父队列，可以包含子队列。根队列也属于父队列的一种。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。 “Leaf Queue” YARN的一种资源类型，表示叶子队列。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。 YARN中每一级资源类型的权限默认会传递到下级资源类型，但“递归”选项没有默认勾选。例如队列“root”添加了“Submit”权限，则子队列自动添加该权限。子队列继承的权限不在“权限”表格显示被选中。若设置父资源后，再手动设置子资源，则子资源的权限取父资源与当前子资源设置的并集。 详见下表：Hue权限描述 支持权限管理的资源 权限设置说明 “Storage Policy Admin” 选中时表示授予Hue中存储策略管理员权限。 3. 单击“确定”完成，返回“角色管理”。

本章节主要介绍操作类问题中有关帐号密码的问题。 登录集群Manager的用户是什么？ 系统默认登录Manager 的帐号为 admin ，密码为创建集群时用户自己设置的密码。 集群内用户密码的过期时间如何查询和修改？ 查询密码有效期 查询组件运行用户（人机用户、机机用户）密码有效期： 以客户端安装用户，登录安装了客户端的节点。 1.执行以下命令，切换到客户端目录，例如“/opt/Bigdata/client”。 cd /opt/Bigdata/client 2.执行以下命令，配置环境变量。 source bigdataenv 3.执行以下命令，输入kadmin/admin用户密码后进入kadmin控制台。 kadmin p kadmin/admin 说明 kadmin/admin的默认密码为“Admin@123”，首次登录后需修改密码，请按照提示修改并妥善保存。 4.执行如下命令，可以查看用户的信息。 kadmin: getprinc user1 ...... Expiration date: [never] Last password change: Sun Oct 09 15:29:54 CST 2022 Password expiration date: [never] ...... 查询操作系统用户密码有效期： 以root用户登录集群任一Master节点。 5.执行以下命令查看用户密码有效期（“Password expires”参数值）。 chage l 用户名 例如查看root 用户密码有效期，则执行 chage l root ，执行后结果如下： [root@xxx ~]chage l root Last password change : Sep 12, 2021 Password expires : never Password inactive : never Account expires : never Minimum number of days between password change : 0 Maximum number of days between password change : 99999 Number of days of warning before password expires : 7 修改密码有效期 “机机”用户密码随机生成，密码默认永不过期。 “人机”用户密码的有效期可以在Manager页面通过修改密码策略进行修改。

参数名 描述 “realmname” 填写互信集群的域名，即步骤4中获得的“defaultrealm”的值。 “ipport” 填写互信集群的KDC地址，参数值格式为：外部集群 KerberosServer 部署的节点IP 地址:kdcport。 两个KerberosServer的IP地址使用逗号分隔，例如KerberosServer部署在10.0.0.1和10.0.0.2上，则对应参数值为“10.0.0.1:21732,10.0.0.2:21732”。

修改租户目录 1. 在MRS Manager，单击“租户管理”。 2. 在左侧租户列表，单击需要修改HDFS存储目录的租户。 3. 单击“资源”页签。 4. 在“HDFS存储”表格，指定租户目录的“操作”列，单击“修改”。 “文件目录数上限”填写文件和目录数量配额。 “文件目录数上限”为可选参数，取值范围从1到9223372036854775806。 “存储空间配额”填写租户目录的存储空间大小。 “存储空间配额”的取值范围从1到8796093022208。 说明 为了保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即默认共2个副本。HDFS存储空间球所有副本文件在HDFS中占用磁盘空间大小总和。例如“存储空间配额”设置为“500”，则实际只能保存约500/2250MB大小的文件。 5. 单击“确定”完成租户目录修改。 删除租户目录 1. 在MRS Manager，单击“租户管理”。 2. 在左侧租户列表，单击需要删除HDFS存储目录的租户。 3. 单击“资源”页签。 4. 在“HDFS存储”表格，指定租户目录的“操作”列，单击“删除”。 创建租户时设置的默认HDFS存储目录不支持删除，仅支持删除新添加的HDFS存储目录。 5. 单击“确定”完成租户目录删除。

本章节主要介绍修改组件运行用户密码。 操作场景 该任务指导用户定期修改MRS集群组件运行用户的密码，以提升系统运维安全性。 如果初始密码由系统随机生成，需要直接重置密码。 修改该密码会导致已经下载的用户凭证不可用，请修改该密码后重新下载认证凭据并替换旧凭据。 前提条件 已在Master1节点准备客户端。 操作步骤 登录Master1节点。 1. （可选）若想要使用omm用户修改密码，请执行以下命令切换用户。 sudo su omm 2. 执行以下命令，切换到客户端目录，例如“/opt/client”。 cd /opt/client 3. 执行以下命令，配置环境变量。 source bigdataenv 4. 执行以下命令，使用kadmin/admin登录控制台。 kadmin p kadmin/admin 说明 kadmin /admin的默认密码为“KAdmin@123”，首次登录后会提示该密码过期，请按照提示修改密码并妥善保存。 5. 执行以下命令，重置组件运行用户密码。此操作对所有服务器生效。 cpw 组件运行用户名 例如重置admin密码：cpw admin 集群中，默认的密码复杂度要求： 密码字符长度为8～32位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符'~!@$%^&()+[{}];:'", /?中的3种类型字符。 不能与用户名或倒序的用户名相同。

MRS集群节点时间信息不正确如何处理？ 若集群内节点时间不正确，请分别登录集群内时间不正确的节点，并从步骤2开始执行。 若集群内节点与集群外节点时间不同步，请登录集群外节点，并从步骤1开始执行。 1.执行vi /etc/ntp.conf 命令编辑NTP客户端配置文件，并增加MRS集群中Master节点的IP并注释掉其他server的地址。 server master1ip prefer server master2ip 增加Master节点的IP 2.执行service ntpd stop命令关闭NTP服务。 3.执行 /usr/sbin/ntpdate 主Master节点的IP地址 命令手动同步一次时间。 4.执行service ntpd start 或systemctl restart ntpd命令启动NTP服务。 5.执行ntpstat命令查看时间同步结果。 如何查询MRS节点的启动时间？ 登录当前节点，执行如下命令查询节点启动时间： date d "$(awk F. '{print $1}' /proc/uptime) second ago" +"%Y%m%d %H:%M:%S" 节点互信异常如何处理？ 当Manager报“ALM12066 节点间互信失效”告警，或者发现节点间无ssh互信时，可参考如下步骤操作。 1. 分别在互信集群的两端节点执行sshadd l确认是否有identities信息。 2. 如果没有identities信息，执行ps efgrep sshagent 找到sshagent 进程，并kill该进程等待该进程自动重启。 3. 执行sshadd l 查看是否已经添加identities信息，如果已经添加，请手动ssh确认互信是否正常。 4. 如果有identities信息，需要确认/home/omm/.ssh/authorizedkeys中是否有对端节点/home/omm/.ssh/idrsa.pub文件中的信息，如果没有手动添加对端节点信息。 5. 检查/home/omm/.ssh目录下的文件权限是否正确。 6. 排查日志文件 “/var/log/Bigdata/nodeagent/scriptlog/sshagentmonitor.log”。 7. 如果用户把omm的家目录删除了，需要联系MRS支撑人员修复。

本章节主要介绍操作类问题中有关元数据管理的问题。 如何查看MRS Hive元数据？ Hive的元数据存放在MRS服务集群的GaussDB中，可执行如下步骤查看： 1.以root用户登录到DBServer主节点。 2.执行以下命令登录Hive元数据库： su omm source $DBSERVERHOME/.dbserviceprofile gsql p 20051 U USER W PASSWD d hivemeta 3.执行以下命令可以查看Hive元数据库中的所有元数据表： d+ 4.执行q退出查看元数据表页面。 5.执行以下命令可以查看元数据表中的数据： select from 表名; 说明 DBServer主节点的IP地址可登录Manager界面，选择“集群 > 服务 > DBService > 实例 ”查看。 Hive元数据存放在外部的关系型数据库存储时，请通过如下步骤获取信息： 1.集群详情页的“数据连接”右侧单击“单击管理”。 2.在弹出页面中查看“数据连接ID”。 3.在MRS控制台，单击“数据连接”。 4.在数据连接列表中根据集群所关联的数据连接ID查找对应数据连接。 5.在对应数据连接的“操作”列单击“编辑”，查看该数据连接所连接的RDS实例及数据库。

使用限制 请在低业务负载时间段进行滚动重启操作。 例如：在滚动重启kafka服务时候， 如果kafka服务业务吞吐量很高（100M/s以上的情况下），会出现kafka服务滚动重启失败的情况。 例如：在滚动重启HBase服务时候，如果原生界面上每个RegionServer上每秒的请求数超过1W，需要增大handle数来预防重启过程中负载过大导致的RegionServer重启失败。 重启前需要观察当前hbase的负载请求数（原生界面上每个rs的请求数如果超过1W，需要增大handle数来预防到时候负载不过来） 在集群Core节点个数小于6个的情况下，可能会出现业务短时间受影响的情况。 请优先使用滚动重启操作来重启实例或服务，并勾选“仅重启配置过期的实例”。 滚动重启服务 在MRS Manager，单击“服务管理”，选择需要滚动重启的服务，进入服务页面。 1. 在“服务状态”页签单击“更多”，选择“滚动重启服务”。 2. 输入管理员密码后，弹出“滚动重启服务”页面，勾选“仅重启配置过期的实例”，单击确认，开始滚动重启服务。 3. 滚动重启任务完成后，单击“完成”。 滚动重启实例 在MRS Manager，单击“服务管理”，选择需要滚动重启的服务，进入服务页面。 1. 在“实例”页签，勾选要重启的实例，单击“更多”，选择“滚动重启实例”。 2. 输入管理员密码后，弹出“滚动重启实例”页面，勾选“仅重启配置过期的实例”，单击确认，开始滚动重启实例。 3. 滚动重启任务完成后，单击“完成”。

删除用户组 在MRS Manager，单击“系统设置”。 4. 在“权限配置”区域，单击“用户组管理”。 5. 在要删除用户组所在的行，单击“删除”。 6. 单击“确定”完成删除操作。

本章节主要介绍修改用户信息 。 该任务指导管理员用户在Manager修改已创建的用户信息，包括修改用户组、主组、角色和描述。 开启Kerberos认证的集群或开启弹性公网IP功能的普通集群支持该操作。 说明 该章节操作仅适用于MRS 3.x之前版本集群。MRS3.x及之后版本集群请参考修改用户信息章节。 操作步骤 访问MRS Manager，详细操作请参见访问MRSManager（MRS2.x及之前版本）。 1. 在MRS Manager，单击“系统设置”。 2. 在“权限配置”区域，单击“用户管理”。 3. 在要修改用户所在的行，单击“修改”，修改用户信息。 说明 为用户修改用户组或分配的角色权限，最长可能需要3分钟时间生效。 4. 单击“确定”完成修改操作。

本章节主要介绍操作类问题中有关集群升级/补丁的问题。 MRS集群版本如何进行升级？ MRS普通版本集群 MRS普通版本集群无法实现低版本到高版本的平滑升级。如需体验新版本集群相关能力，建议重新创建一个新版本的集群，然后将老版本集群的数据迁移到新的集群。 MRS LTS版本集群 MRS LTS版集群支持版本升级能力，可从历史版本升级至目标LTS版本。如果需要使用版本升级能力，需联系运维人员确认支持的升级路径并购买相关专业服务进行升级。 MRS是否支持升级集群内组件的内核版本？ MRS不支持单独升级集群内组件的内核版本，如需体验新版本MRS集群所支持组件的特性内容，建议删除当前集群之后重新创建集群。

问题现象 管控面提交Flink任务时launcherjob因heap size不足被Yarn终止如何处理？ 解决方法 调大launcherjob的heap size值。 1.使用omm用户登录主OMS节点。 2.修改“/opt/executor/webapps/executor/WEBINF/classes/servicebroker.xml”中参数“job.launcher.resource.memory.mb”的值为“2048”。 3.使用sh /opt/executor/bin/restartexecutor.sh重启executor进程。 提交Flink作业时报错slot request timeout如何处理？ 问题现象 Flink作业提交时，jobmanager启动成功，但taskmanager一直是启动中直到超时，报错如下： org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException: Could not allocate the required slot within slot request timeout. Please make sure that the cluster has enough resources 可能原因 1.Yarn队列中资源不足，导致创建taskmanager启动不成功。 2.用户的Jar包与环境中的Jar包冲突导致，可以通过执行wordcount程序是否成功来判断。 3.若集群为安全集群，可能是Flink的SSL证书配置错误，或者证书过期。 解决方法 1.增加队列的资源。 2.排除用户Jar包中的Flink和Hadoop依赖，依靠环境中的Jar包。 3.重新配置Flink的SSL证书。 DistCP作业导入导出数据常见问题 DistCP类型作业导入导出数据时，是否会对比数据的一致性？ 不会。 DistCP类型作业导入导出数据时不会对比数据的一致性，只是对数据进行拷贝，不会修改数据。 DistCP类型作业在导出时，遇到OBS里已经存在的文件是如何处理的？ 覆盖原始文件。 DistCP类型作业在导出时，遇到OBS里已经存在的文件时会覆盖原始文件。 如何通过Yarn WebUI查看Hive作业对应的SQL语句？ 以业务用户登录FusionInsight Manager。 1.选择“集群 > 服务 > Yarn”，单击“ResourceManager WebUI”后的“ResourceManager(xxx，主) ”超链接，进入Yarn WebUI界面。 2.单击待查看的作业ID。 3.单击“Tracking URL”后的“ApplicationMaster”或“History”。 4.单击左侧导航栏的“Configuration”，在右上角搜索“hive.query.string”参数，即可查询出对应的HiveSQL。 如何查看指定Yarn任务的日志？ 以root用户登录主Master节点。 1.执行如下命令初始化环境变量。 source 客户端安装目录/bigdataenv 2.如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit MRS集群用户 3.执行以下命令获取指定任务的日志信息。 yarn logs applicationId 待查看作业的applicationID

MRS集群用户不再需要使用时，管理员可以在MRS Manager中删除此用户。开启Kerberos认证的集群或开启弹性公网IP功能的普通集群支持删除用户操作。 说明 如果删除用户A后，再次准备重新创建同名用户A，如果该用户A已经提交过作业（客户端提交或者MRS console页面提交），那么需要在删除该用户A的同时，删除该用户A残留的文件夹，否则使用重新创建的同名用户A提交作业会失败。 删除用户残留文件夹操作方法为：依次登录MRS集群的Core节点，在每个Core节点上执行如下两条命令，其中如下命令中“$user”为具体的以用户名命名的文件夹。 cd /srv/BigData/hadoop/data1/nm/localdir/usercache/ rm rf $user 该章节操作仅适用于MRS 3.x之前版本集群。MRS3.x及之后版本集群请参考删除用户章节。 操作步骤 访问MRS Manager，详细操作请参见访问MRSManager（MRS2.x及之前版本）。 1. 在MRS Manager，单击“系统设置”。 2. 在“权限配置”区域，单击“用户管理”。 3. 在要删除用户所在的行，选择“更多 > 删除”。 详见下图：删除用户 4. 单击“确定”完成删除操作。

模块 说明 Application Client 应用客户端，通常是需要提交任务（或者作业）的应用程序。 Application Server 应用服务端，通常是应用客户端需要访问的应用程序。 Kerberos 提供安全认证的服务。 KerberosAdmin 提供认证用户管理的进程。 KerberosServer 提供认证票据分发的进程。

本章节主要介绍集群（未启用Kerberos认证）安全配置建议。 Hadoop社区版本提供两种认证方式Kerberos认证（安全模式）和Simple认证（普通模式），在创建集群时，MRS支持配置是否启用Kerberos认证。 在安全模式下MRS集群统一使用Kerberos认证协议进行安全认证。 而普通模式下MRS集群各组件使用原生开源的认证机制，一般为Simple认证方式。而Simple认证，在客户端连接服务端的过程中，默认以客户端执行用户（例如操作系统用户“root”等）自动完成认证，管理员或业务用户不显示感知认证。而且客户端在运行时，甚至可以通过注入UserGroupInformation来伪装成任意用户（包括superuser），集群资源管理接口和数据控制接口在服务端无认证和鉴权控制，很容易被黑客利用和攻击。 所以在普通模式下，必须通过严格限定网络访问权限来保障集群的安全。操作建议如下： 尽量将业务应用程序部署在同VPC和子网下的ECS中，避免通过外网访问MRS集群。 配置严格限制访问范围的安全组规则，禁止对MRS集群的入方向端口配置允许Any或0.0.0.0的访问规则。 如需从集群外访问集群内组件原生页面，请参考创建连接MRS集群的SSH隧道并配置浏览器进行配置。

服务 实例 是否支持滚动重启 HDFS NameNode 是 HDFS Zkfc 是 HDFS JournalNode 是 HDFS HttpFS 是 HDFS DataNode 是 Yarn ResourceManager 是 Yarn NodeManager 是 Hive MetaStore 是 Hive WebHCat 是 Hive HiveServer 是 Mapreduce JobHistoryServer 是 HBase HMaster 是 HBase RegionServer 是 HBase ThriftServer 是 HBase RESTServer 是 Spark JobHistory 是 Spark JDBCServer 是 Spark SparkResource 否 Hue Hue 否 Tez TezUI 否 Loader Sqoop 否 Zookeeper Quorumpeer 是 Kafka Broker 是 Kafka MirrorMaker 否 Flume Flume 是 Flume MonitorServer 是 Storm Nimbus 是 Storm UI 是 Storm Supervisor 是 Storm Logviewer 是