入口 功能描述 Access Manager 查看当前Ranger已集成的各服务权限管理插件，用户可通过对应插件设置更细粒度的权限。 Audit 查看Ranger运行及权限管控相关审计日志信息。 Security Zone 配置安全区域，Ranger管理员可将各组件的资源切分为多个区域，由不同Ranger管理员为服务的指定资源设置安全策略，以便更好的管理。 Settings 查看Ranger相关权限设置信息，例如查看用户、用户组、Role等。

本章节主要介绍如何通过Ranger进行UDF管控。 在大数据平台中，UDF常用于扩展SQL的表达能力，例如字符串处理、脱敏转换、时间计算等。但如果缺少统一的权限管控，部分高风险UDF可能被滥用，进而带来数据泄露、越权访问或不符合规范的计算行为。因此，需要通过Ranger对UDF的访问进行统一治理，实现对函数使用范围的精细化控制。 操作步骤 1、登录Range的WebUI界面（操作详情见“登录Ranger WebUI界面”）。 2、点击Hadoop SQL下的Hive页签，您可以对Hive UDF进行权限管控： 1）点击右上角的“Add New Policy”添加新策略。 2）Ranger Hive可以配置UDF权限，例如配置一个用户是否可以使用、创建UDF，具体配置见下图。 具体参数说明如下： 参数名称 描述 Policy Name 策略名称，可自定义，不能与本服务内其他策略名称重复。 Policy Label 为当前策略指定一个标签，您可以根据这些标签搜索报告和筛选策略。 database 将适用该策略的列Hive数据库名称。 udf 指定UDF的名称。 Description 策略描述信息。 Audit Logging 是否审计此策略。 Allow Conditions 策略允许条件，配置本策略内允许的权限及例外。 如需添加多条权限控制规则，可单击+按钮添加。 如需当前条件中的用户或用户组管理本条策略，可勾选“Delegate Admin”，这些用户将成为受委托的管理员。被委托的管理员可以更新、删除本策略，它还可以基于原始策略创建子策略。 Deny Conditions 策略拒绝条件，配置本策略内拒绝的权限及例外，配置方法与“Allow Conditions”类似。 3）如果该函数由 Hive 注册，且函数类型为 UDAF，则在 Ranger 配置 Policy 时需要特别注意 Database 字段的填写方式。此类函数的库名前需要补充前缀 @。例如，若函数的限定名称为 testdb.testfunction，则在 Policy 配置页面中，Database 应填写为 @testdb。

Partial maskFirst 4 Partial mask：show first 4表示仅保留原始字符串的前4个字符，其余部分使用固定字符替换。 Hive测试结果 Spark测试结果 Partial maskLast 4 Partial mask: show last 4表示仅保留原始字符串的后4个字符，其余部分使用固定字符替换。 Hive测试 Spark测试 Hash Hash：会将原始字符串转换为对应的哈希值进行展示，不再返回明文内容。 Hive测试 Spark测试 Nullify Nullify：会将原始字段值直接替换为NULL，适用于完全禁止展示该字段内容的场景。 Hive测试结果 Spark测试结果

告警ID 告警级别 是否自动清除 12054 重要 是

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 路径名 异常的文件路径或者名称。

收集故障信息 8.在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 9.在“服务”中勾选待操作集群的“DataNode”。 10.单击右上角的 设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 11.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 6.在FusionInsight Manager界面，选择“运维>日志>下载”。 7.在“服务”中勾选“Controller”和“OmmServer”，单击“确定”。 8.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 9.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。

收集故障信息 6.在FusionInsight Manager界面，选择“运维>日志>下载”。 7.在“服务”中勾选“Controller”和“OmmServer”，单击“确定”。 8.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 9.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍如何查看告警列表。 告警列表显示了MRS集群中的所有告警信息，MRS界面显示需要用户及时处理的“告警”和标志事情发生的“事件。 MRS管理控制台“告警管理”只能查询MRS中未清除告警的基本信息，查看详细信息或管理告警具体请参见查看与手动清除告警。 告警列表默认按时间顺序排列，时间最近的告警显示在最前端。 告警信息中的各字段说明如下表所示。 参数 参数说明 告警ID 告警的ID。 告警名 告警的名称。 级别 告警级别。 MRS 3.x之前版本集群告警级别为： 致命 指集群服务不可用，节点故障、GaussDB主备数据不同步、LdapServer数据同步异常等影响集群正常运行的告警，需要根据告警及时检查集群情况并恢复。 严重 指集群部分功能不可用的告警，包括进程故障、周期备份任务失败、关键文件权限异常等，需要根据告警及时检查报告告警的对象并恢复。 一般 指不影响当前集群主要功能的告警，包括证书文件即将过期、审计日志转储失败、License文件即将过期等告警。 提示 指级别最低的一种告警，起到信息展示或信息提示的作用，标识这件事情的发生，一般包括：停止服务、删除服务、停止实例、删除实例、删除节点、重启服务、重启实例、Manager主备倒换、缩容主机、实例恢复、实例故障、作业执行成功、作业执行失败等。 MRS 3.x及之后版本集群告警级别为： 紧急 指集群服务不可用，节点故障、GaussDB主备数据不同步、LdapServer数据同步异常等影响集群正常运行的告警，需要根据告警及时检查集群情况并恢复。 重要 指集群部分功能不可用的告警，包括进程故障、周期备份任务失败、关键文件权限异常等，需要根据告警及时检查报告告警的对象并恢复。 次要 指不影响当前集群主要功能的告警，包括证书文件即将过期、审计日志转储失败、License文件即将过期等告警。 提示 指级别最低的一种告警，起到信息展示或信息提示的作用，标识这件事情的发生，一般包括：停止服务、删除服务、停止实例、删除实例、删除节点、重启服务、重启实例、Manager主备倒换、缩容主机、实例恢复、实例故障、作业执行成功、作业执行失败等。 生成时间 产生告警的时间。 定位信息 告警的详细信息。 操作 当告警可手动清除时，单击“清除告警”进行处理。 按钮说明 按钮 说明 在下拉框中选择刷新告警列表的周期。 每30s刷新一次 每60s刷新一次 停止刷新 在下拉框中选择告警级别，筛选告警。 MRS 3.x之前版本集群可筛选告警包括：全部、致命、严重、一般、提示。 MRS 3.x及之后版本集群可筛选告警包括：全部、紧急、重要、次要、提示。 单击，手动刷新告警列表。 高级搜索 单击“高级搜索”显示告警搜索区域，设置查询条件后，单击“搜索”，查看指定的告警信息。单击“重置”清除输入的搜索条件。

参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 任务名 任务名称。

告警ID 告警级别 是否自动清除 12064 重要 是

收集故障信息 6.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 7.在“服务”中勾选“Controller”和“OmmServer”，单击“确定”。 8.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 9.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

查看NameNode节点的CPU性能是否不足 8.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，查看是否有该NameNode节点的ID为“12016”“ALM12016 CPU使用率超过阈值”告警。 是，执行步骤9 否，步骤11 9.按照“ALM12016 CPU使用率超过阈值”告警处理文档，处理该告警。 10.处理完12016告警后，等待10分钟，查看该告警是否自动消除。 是，处理结束。 否，执行步骤11 查看NameNode节点的内存是否设置过小 11.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，查看是否有该NameNode节点的ID为“14007”“ALM14007 HDFS NameNode堆内存使用率超过阈值”告警。 是，执行步骤12 否，执行步骤14 12.按照“ALM14007 HDFS NameNode堆内存使用率超过阈值”告警处理文档，处理该告警。 13.处理完14007告警后，等待10分钟，查看该告警是否自动消除。 是，处理结束。 否，执行步骤14 查看该NameNode配置参数是否合理 14.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置”，搜索配置项“dfs.namenode.handler.count”，查看其值。如果值小于或等于128，则设置为128；如果大于128但小于192，则设置为192。 15.搜索配置项“ipc.server.read.threadpool.size”，查看其值。如果值小于5，则设置为5。 16.单击“保存”，单击“确定”。 17.在HDFS的“实例”页面，先勾选发出该告警的NameService的备NameNode，在“更多”中单击“重启实例”，输入密码后单击“确定”，等待备NameNode启动完毕。 18.在HDFS的“实例”页面，先勾选发出该告警的NameService的主NameNode，在“更多”中单击“重启实例”，输入密码后单击“确定”，等待主NameNode启动完毕。 19.等待1小时，查看该告警是否自动消除。 是，处理结束。 否，执行步骤20

告警ID 告警级别 是否自动清除 43001 紧急 是

告警ID 告警级别 是否自动清除 45287 重要 是

本章节主要介绍解锁用户。 在用户输入错误密码次数大于允许输入错误次数，造成用户被锁定或者用户被管理员手动锁定后需要解锁用户的场景下，管理员用户可以通过Manager为锁定的用户解锁。开启Kerberos认证的集群或开启弹性公网IP功能的普通集群支持该操作。 说明 该章节操作仅适用于MRS 3.x之前版本集群。MRS3.x及之后版本集群请参考 操作步骤 访问MRS Manager，详细操作请参见访问MRSManager（MRS2.x及之前版本）。 1. 在MRS Manager，单击“系统设置”。 2. 在“权限配置”区域，单击“用户管理”。 3. 在要解锁用户所在行，选择“解锁用户”，解锁用户。 4. 在弹出的提示窗口，单击“确定”完成解锁操作。

响应参数 参数 参数类型 说明 示例 下级对象 statusCode Integer 状态码，成功：200，失败：500 200 error String 错误码，请求成功时，不返回该字段 EMR400000 message String 用来简述当前接口调用状态以及必要提示信息 请求成功 returnObj Object 返回结果 表 returnObj 表 returnObj 参数 参数类型 说明 示例 下级对象 orderNo String 订单号 20221018153152727265 枚举参数 无 请求示例 请求url 请求头header 无 请求体body 数据湖请求示例： { "clustername": "sjfwtest1", "clustertype": "datalake", "components": "OpenLDAP,Kerberos,ZooKeeper,HDFS,YARN,Hive,Tez,Spark,Hudi,Iceberg,HBase,Trino,Kyuubi,Doris,Ranger,Kafka,Knox,Flink,JeekeFS,Flume", "regionid": "bb9fdb42056f11eda1610242ac110002", "availablezoneid": "cnhuadong1jsnj3Apublicctcloud", "vpcId": "vpcn83zi9vuo0", "subnetid": "subnet8hzbyype9r", "securitygroupsid": "sgzfh4pgydhe", "enableipv6": false, "noderootpassword": "Juhwqe7h!21Da.", "ostype": "CTyun", "hosttype": "ecs", "cputype": "X86", "spectype": 1, "dpstype": null, "chargeinfo": { "chargemode": "prePaid", "periodtype": "month", "periodnum": 1, "isautorenew": false }, "datasourceconfigs": [{ "type": "Hive", "properties": [{ "name": "DBHost", "value": "192.168.1.100" }, { "name": "DBPort", "value": "3306" }, { "name": "DBName", "value": "hive1" }, { "name": "DBUser", "value": "hive" }, { "name": "DBPassword", "value": "A121daDAqw2A." } ] }, { "type": "Ranger", "properties": [{ "name": "DBHost", "value": "192.168.1.100" }, { "name": "DBPort", "value": "3306" }, { "name": "DBName", "value": "ranger1" }, { "name": "DBUser", "value": "ranger" }, { "name": "DBPassword", "value": "A121daDAqw2A." } ] } ], "nodedetails": [{ "groupname": "master", "nodenum": 3, "nodesize": "physical.s5.2xlarge1", "affinitygroup": true, "diskspecifications": [{ "diskfunction": "SYSTEM", "disktype": "cloud", "iotype": "SATA", "disksize": 100, "disknum": 1 }, { "diskfunction": "DATA", "disktype": "cloud", "iotype": "SATA", "disksize": 80, "disknum": 2 } ] }, { "groupname": "core1", "nodenum": 3, "nodesize": "physical.s5.2xlarge1", "affinitygroup": true, "diskspecifications": [{ "diskfunction": "SYSTEM", "disktype": "cloud", "iotype": "SATA", "disksize": 100, "disknum": 1 }, { "diskfunction": "DATA", "disktype": "cloud", "iotype": "SATA", "disksize": 80, "disknum": 2 } ] }, { "groupname": "task1", "nodenum": 1, "nodesize": "physical.s5.2xlarge4", "affinitygroup": true, "diskspecifications": [{ "diskfunction": "SYSTEM", "disktype": "local", "raiduuid": "rwtzluqacgzzxgunnabdkpnpjew3d" }, { "diskfunction": "DATA", "disktype": "local", "raiduuid": "rqytwf9r5h0yn9x4evjkyr0n1cwyb" } ] } ] }

参数 参数类型 说明 示例 下级对象 statusCode Integer 状态码 200 / message String 用来简述当前接口调用状态以及必要提示信息 success / error String 错误码，请求成功时，不返回该字段 EMR400001 / returnObj Object 返回结果 returnObj

磁盘数目 存储磁盘的 IOPS（每秒输入/输出操作次数）和每秒读/写字节数有限制。创建新分区时，Kafka 会将每个新分区存储在现有分区最少的磁盘上，以便在可用磁盘之间平衡分区的数目。尽管有存储策略进行调节，但在处理每个磁盘上的数百个分区副本时，Kafka 很容易就会使可用磁盘吞吐量达到饱和。此时，需要在吞吐量与成本之间进行取舍。如果应用场景需要更大的吞吐量，请创建一个可为每个代理提供更多托管磁盘的群集。 主题和分区的数目 Kafka生产者将写入主题。Kafka 消费者读取主题。主题与日志相关联，该日志是磁盘上的数据结构。Kafka 将生产者中的记录追加到主题日志的末尾。主题日志包括分散在多个文件之间的多个分区。而这些文件又分散在多个 Kafka 群集节点之间。消费者可以按照自己的节奏从 Kafka 主题中读取内容，并可以在主题日志中选择自己的位置（偏移）。 每个 Kafka 分区是在系统上的一个日志文件，生产者线程可以同时写入到多个日志。同样，由于每个消费者线程从一个分区读取消息，因此也能并行处理从多个分区使用消息的操作。 提高分区密度（每个代理的分区数）会增大与元数据操作以及每个分区领先者及其后继者之间的分区请求/响应相关的开销。即使不存在流动的数据，分区副本也仍会从领先者提取数据，导致需要通过网络额外处理发送和接收请求。 对于 HDInsight 中的 Apache Kafka 群集 2.1 和 2.4 以及更高版本，我们建议最多为每个代理提供 2000 个分区（包括副本）。增加每个代理的分区数会降低吞吐量，并可能导致主题不可用。

本章节主要介绍安全认证原理和认证机制。 功能 开启了 Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。 Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”，后来沿用作为安全认证的概念，使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。 原理 Kerberos的原理架构和各模块的说明如下图所示： 原理架构 模块说明 App Client：应用客户端，通常是需要提交任务（或者作业）的应用程序。 App Server：应用服务端，通常是应用客户端需要访问的应用程序。 Key Distribution Center（KDC）：提供安全认证的服务。 Database：存储Principal数据。 Authentication Server（AS）：认证服务器，认证客户端身份，发放客户访问TGS的票据授权票据（TGT）。 Ticket Granting Server（TGS）：票据授予服务器，发放应用客户端访问应用服务端所需的服务票据（ST）。 步骤原理说明 应用客户端（App Client）可以是集群内某个服务，也可以是客户二次开发的一个应用程序，应用程序可以向应用服务提交任务或者作业。 1. ASREQ：App Client在提交任务或者作业前，需要向AS申请TGT，用于建立和TGS的安全会话。 2. ASREP：AS在收到TGT请求后，会解析其中的参数来生成对应的TGT，使用App Client指定的用户名的密钥进行加密响应消息。 3. TGSREQ：App Client收到TGT响应消息后，解析获取TGT，此时，再由App Client（通常是RPC底层）向TGS获取应用服务端的ST。 4. TGSREP：TGS在收到ST请求后，校验其中的TGT合法后，生成对应的App Server的ST，再使用App Server密钥将响应消息进行加密处理。 5. APREQ：App Client收到ST响应消息后，将ST打包到发给App Server的消息里面传输给对应的App Server。 6. APREP：App Server端收到请求后，使用App Server对应的密钥解析其中的ST，并校验成功后，本次请求合法通过。 说明 1. Kerberos认证时需要配置Kerberos认证所需要的文件参数，主要包含keytab路径，Kerberos认证的principal，Kerberos认证所需要的客户端配置krb5.conf文件。 2. 方法login()为调用的UserGroupInformation的方法执行Kerberos认证，生成TGT票据。 3. 方法doSth()调用hadoop的接口访问文件系统，此时底层RPC会自动携带TGT去Kerberos认证，生成ST票据。

本章节主要介绍ElasticSearch集群规划、性能优化的最佳实践。 Elasticsearch 是一个强大的分布式搜索和分析引擎，用于存储、检索和分析大规模数据。为了获得最佳性能、稳定性和可伸缩性，以下是Elasticsearch 的一些最佳实践。 集群规划 节点数量 在构建 Elasticsearch 集群时，节点的数量和分布是关键因素。通常建议使用奇数个节点，以便更好地处理主节点选举和故障转移。考虑一个具有 3 个主节点的集群，其中 2 个节点失败，仍然可以保持功能正常。 避免单节点集群，因为这会导致单点故障。 分片和副本 分片是数据在集群中的水平划分。在创建索引时，根据数据量和查询负载选择适当的分片数量，通常不超过节点数量的两倍。然后，为了保障数据的可用性，设置足够的副本数，但不要过多，以避免资源浪费。示例如下： PUT /myindex { "settings": { "numberofshards": 5, "numberofreplicas": 1 } } 索引设计 分片和副本设置 在创建索引时，根据数据量和预期查询负载来选择合适的分片数量。 对于热门索引，可以适度增加副本数量以提高查询性能。 索引字段 合理选择字段类型，避免使用不必要的复杂类型，例如对于精确值，使用 keyword 类型，对于全文本搜索，使用 text 类型。示例如下： PUT /myindex { "mappings": {"properties": { "productname": { "type": "text" }, "category": { "type": "keyword" }, "price": { "type": "float" } } } } 关闭不需要索引的字段，以减小索引大小，提高性能。 写入操作

枚举参数 无 请求示例 请求url 请求头header 无 请求体body { "clusterid": "22cbc1c6c69e5abe863e43a091cd02b7", "nodegroupname": "core1", "count": 1, "scalewithoutstart": true } 响应示例 请求成功示例： { "statusCode": 200, "message": "success", "returnObj": { "orderNo": "20221018153152727265" } } 请求失败示例1： { "statusCode": 500, "error": "EMR400000", "message": "请求失败", "returnObj": {} } 请求失败示例2： { "statusCode": 500, "error": "EMR400000", "message": "请求失败", "returnObj": "当前资源存在在途单 不允许重复提交，产品规格实例ID：0cfc7bb1e6ae48649a1749d0b5b3ad11，在途单的订单号：20241206151843080993" } 验签失败示例： { "statusCode": 500, "error": "EMR401000", "message": "OpenAPI认证失败", "returnObj": {} } 实名认证失败示例： { "statusCode": 500, "error": "EMR401009", "message": "账号未进行实名认证", "returnObj": {} } 非法操作示例： { "statusCode": 500, "error": "EMR401004", "message": "非法操作", "returnObj": {} } 请求参数类型错误示例： { "statusCode": 500, "error": "EMR401001", "message": "请求参数类型错误", "returnObj": "{"count": "应为int范围内整数"}" } 请求参数值无效示例： { "statusCode": 500, "error": "EMR401002", "message": "请求参数值无效", "returnObj": "{"count": "不能为空"}" } 运维约束示例： { "statusCode": 500, "error": "EMR401010", "message": "存在与之约束的运维操作", "returnObj": {} } 服务异常示例： { "statusCode": 500, "error": "EMR401011", "message": "存在服务异常，正在为您加速处理中", "returnObj": {} } 规格不足示例： { "statusCode": 500, "error": "EMR401012", "message": "规格已售罄", "returnObj": {} } IP不足示例： { "statusCode": 500, "error": "EMR401013", "message": "子网下IP余量不足", "returnObj": {} }

参数 参数类型 说明 示例 下级对象 statusCode Integer 状态码，成功：200，失败：500 200 message String 用来简述当前接口调用状态以及必要提示信息 请求成功 error String 错误码，请求成功时，不返回该字段 EMR400000 returnObj Array of Objects 返回结果，退订成功时返回下单事件信息 表returnObj

枚举参数 无 请求示例 请求url 请求头header 无 请求体body 无 响应示例 请求成功返回值示例 { "statusCode": 200, "message": "success", "returnObj": { "clusterId": "da595eb1d81503b323fdc01d9bf786b7", "databaseName": "testdb1", "tableName": "testtable1", "hivePath": "/hive/xxx/xxx/xx", "fileCnt": 100, "storageCnt": 204800, "avgStorageCnt": 2048, "lastAccessTime": "20241106 01:09:37", "isExternalTable": false, "isMisDelete": false, "isPartitionTable": true, "partitionCnt": 20, "iceFileCnt": 1, "iceStorageCnt": 20, "coldFileCnt": 1, "coldStorageCnt": 1024, "emptyFilePtCnt": 1, "emptyFilePtFileCnt": 2, "smallFilePtCnt": 5, "smallFilePtFileCnt": 5 } } 请求失败返回值示例 请求参数值无效示例1： { "statusCode": 500, "error": "EMR401002", "message": "请求参数值无效", "returnObj": { "timestamp": "timestamp应为长整型" } } 请求参数值无效示例2： { "statusCode": 500, "error": "EMR401002", "message": "请求参数值无效", "returnObj": { "timestamp": "时间戳不能为null" } } 请求参数值无效示例3： { "statusCode": 500, "error": "EMR401002", "message": "请求参数值无效", "returnObj": { "timestamp": "时间戳必须是正整数" } } 请求参数值无效示例4： { "statusCode": 500, "error": "EMR401002", "message": "请求参数值无效", "returnObj": { "timestamp": "时间戳不在有效范围内,请输入不大于当前时间的时间戳(单位: 秒)" } } 请求参数值无效示例5： { "statusCode": 500, "error": "EMR401002", "message": "请求参数值无效", "returnObj": { "databaseName": "databaseName不能为null", "tableName": "tableName不能为null" } } 请求参数值无效示例6： { "statusCode": 500, "error": "EMR401002", "message": "请求参数值无效", "returnObj": { "timestamp": "时间戳不在有效范围内,请输入不大于当前时间的时间戳(单位: 秒)" } } 请求参数无效示例7： { "statusCode": 500, "error": "EMR401002", "message": "请求参数值无效", "returnObj": { "clusterId": "不能为空" } } 请求参数无效示例8： { "statusCode": 500, "error": "EMR401002", "message": "请求参数值无效", "returnObj": { "clusterId": "无效的集群id" } } 集群状态不合法示例： { "statusCode": 500, "error": "EMR401006", "message": "非运行中集群无法查看信息，当前的集群状态为：启动中", "returnObj": {} } 集群不涉及元数据组件示例： { "statusCode": 500, "error": "EMR401014", "message": "集群不涉及元数据组件", "returnObj": {} } 集群不属于该用户示例： { "statusCode": 500, "error": "EMR401004", "message": "非法操作", "returnObj": {} } 该集群不存在示例： { "statusCode": 500, "error": "EMR401005", "message": "该集群不存在", "returnObj": {} } 请求失败示例： { "statusCode": 500, "error": "EMR400000", "message": "请求失败", "returnObj": {} }

参数 是否必填 参数类型 说明 示例 下级对象 clusterId 是 String 集群id bdbbc8cc1288a78e5851839dc26f58b9 nodeState 否 Integer 主机状态（1:启动中,2:正在关机,4:已删除,8:运行中,9:已关机） 1 selectKey 否 String 模糊查询参数，可以通过节点名称、内网IP、外网IP进行模糊查询 10.0.0.2

参数 参数类型 说明 示例 下级对象 id String 节点组id 175187849787779 clusterId String 集群id da595eb1d81503b323fdc01d9bf786b7 payType Integer 付费类型 1 nodeGroupType String 节点类型code码 MASTER nodeGroupName String 节点类型code值 master imageId String 镜像id f8d28855ffda426d96e20f6bf46877e0 hostNum Integer 主机数量 3 computeSpecificationId Integer 主机规格id 101 iaasVmSpecCode String IAAS虚机规格编码 s7.2xlarge.4 cpuNum Integer cpu核数 8 memory Integer 内存大小 32 diskSpecificationList String 磁盘规格列表 [{diskFunctionType:1,diskFunctionName:系统盘,diskType:cloud,diskTypeName:云硬盘,ioType:SSDgenric,ioTypeName:通用型SSD,volume:200,diskNum:1}] createTime Integer 创建时间 1706515356000 updateTime Integer 更新时间 1706515356000 mountPublicIp Boolean 是否挂载公网 false iaasVmSpecId String IAAS虚机规格id b307034dcbc327bb24f7a97565814236 highest Boolean 节点组规格是否最高 false

本章节主要介绍在ZooKeeper服务进行Master扩容后，对其他相关服务的修改建议。 前置条件 1. ZooKeeper扩容完成，从3节点扩容到5节点。 2. ZooKeeper扩容之后，ZooKeeper集群正常。 相关服务修改建议 HDFS 1、修改配置 1）前往Manager页面，集群服务> HDFS集群> 配置管理> default配置组> 配置文件coresite.xml > 配置项ha.zookeeper.quorum。 2）将新的ZK节点，添加到配置项ha.zookeeper.quorum中。 2、配置同步 1）点击配置同步，推送配置。 YARN 1、修改配置 1）前往Manager页面，集群服务> YARN集群> 配置管理> default配置组> 配置文件yarnsite.xml > 配置项hadoop.zk.address。 2）将新的zk节点，添加到配置项hadoop.zk.address中。 3）相同操作：同时修改client配置组的配置项。 2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）需要重启ResourceManager服务，推荐滚动重启。 Hive 1、修改配置 1）前往Manager页面，集群服务> Hive集群> 配置管理> default配置组> 配置文件hivesite.xml > 配置项hive.zookeeper.quorum。 2）将新的zk节点，添加到配置项hive.zookeeper.quorum中。 3）相同操作：同时修改client配置组的配置项。 2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）重启HiveServer2服务，推荐滚动重启。 Flink 1、修改配置 1）前往Manager页面，集群服务> Flink集群> 配置管理> default配置组> 配置文件flinkconf.yaml > 配置项highavailability.zookeeper.quorum。 2）将新的ZK节点，添加到配置项highavailability.zookeeper.quorum中。 3）相同操作：同时修改client配置组的配置项。

本章节主要介绍使用Spark的操作指导。 前提条件 已安装客户端。 例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Spark客户端 1. 安装客户端。 2. 登录安装客户端的节点。 3. 执行以下命令，切换到客户端安装目录，例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 直接执行命令。例如： 7. plaintext sparksql

配置参数 默认端口 当前配置端口 端口说明 yarn.resourcemanager.address 8032 8032 RM应用管理端口 yarn.resourcemanager.scheduler.address 8030 8030 RM调度端口 yarn.resourcemanager.webapp.address 8088 8088 RM http webUI端口 yarn.resourcemanager.webapp.https.address 8090 8090 RM https webUI端口 yarn.resourcemanager.resourcetracker.address 8031 8031 RM jmx 端口 yarn.resourcemanager.admin.address 8033 8033 RM admin 端口 yarn.nodemanager.address 45454 NM container 管理端口 com.sun.management.jmxremote.port 8026 RM jmx 端口 yarn.nodemanager.localizer.address 8040 8040 NM 本地化 IPC 端口 yarn.nodemanager.collectorservice.address 8048 8048 NM 控制服务端口 yarn.nodemanager.webapp.address 8042 8042 NM http webUI端口 yarn.nodemanager.webapp.https.address 8044 8044 NM https webUI端口 yarn.timelineservice.address 10200 10200 timeline server RPC 端口 yarn.timelineservice.webapp.address 8188 8188 timeline server http webUI端口 yarn.timelineservice.webapp.https.address 8190 8190 timeline server https webUI端口 yarn.sharedcache.admin.address 8047 8047 SCM服务 admin RPC端口 yarn.sharedcache.webapp.address 8788 8788 SCM服务 webUI端口 yarn.sharedcache.uploader.server.address 8046 8046 SCM服务 节点管理 RPC端口 yarn.sharedcache.clientserver.address 8045 8045 SCM服务响应client RPC端口 yarn.nodemanager.amrmproxy.address 8049 8049 在yarn federation下开启amrmproxy绑定的服务端口 yarn.router.webapp.address 8089 8089 yarn route http webUI端口 yarn.router.webapp.https.address 8091 8091 yarn route https webUI端口 com.sun.management.jmxremote.port 8036 8036 NM jmx 端口 com.sun.management.jmxremote.port 8086 mrhistory jmx 端口 mapreduce.jobhistory.address 10020 10020 mrhistory IPC 端口 mapreduce.jobhistory.webapp.address 19888 19888 mrhistory http webUI端口 mapreduce.jobhistory.webapp.https.address 19890 19890 mrhistory https webUI端口 mapreduce.jobhistory.admin.address 10033 10033 mrhistory admin RPC端口 mapreduce.shuffle.port 13562 13562 MR shuffle 端口 spark.shuffle.service.port 7337 7337 spark shuffle 端口

本章节主要介绍使用Hive的操作指导。 操作场景 该任务指导用户在运维场景或业务场景中使用Hive客户端。 前提条件 已安装客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Hive客户端 1. 安装客户端，具体请参考安装客户端章节。 2. 用户登录安装客户端的节点。 3. 执行以下命令，切换到客户端安装目录，例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 将实际的zookeeper主机名替换以下命令中的zkhostname1、zkhostname2、zkhostname3，执行命令登录Hive客户端。 plaintext beeline u "jdbc:hive2://zkhostname1:2181,zkhostname2:2181,zkhostname3:2181/default;serviceDiscoveryModezooKeeper;zooKeeperNamespacehiveserver2" 说明 beeline连接后可以编写并提交HQL语句执行相关任务。

本章节主要介绍如何通过后台提交并运行Flink作业。 通过后台提交作业 目前Flink客户端默认安装路径为“/usr/local/flink”。具体以实际为准。 1. 通过SSH方式登录集群。 2. 配置环境变量。 在/etc/profile添加如下配置： export HADOOPHOME/usr/local/hadoop3 export FLINKHOME/usr/local/flink export PATHPATH:PATH:FLINKHOME/bin:HADOOPHOME/bin export HADOOPCONFDIRHADOOPHOME/bin exportHADOOPCONFDIRHADOOPHOME/etc/hadoop export PATHPATH:PATH:HADOOPCONFDIR export HADOOPCLASSPATHhadoop classpath 执行如下命令初始化环境变量 source /etc/profile 3. 集群默认开启Kerberos认证，需要执行以下命令以完成认证。 示例： klist kt /etc/security/keytabs/flink.keytab 获取flink.keytab的principalname kinit kt /etc/security/keytabs/flink.keytab flink.keytab的principalname 同时，应配置安全认证。在“/usr/local/flink/conf/flinkconf.yaml”配置文件中的对应配置添加keytab路径以及用户名。 security.kerberos.login.useticketcache: true security.kerberos.login.keytab: security.kerberos.login.principal: user security.kerberos.login.contexts: Client,KafkaClient 例如： security.kerberos.login.keytab: /etc/security/keytabs/hdfs.keytab security.kerberos.login.principal: hdfs 4. 运行wordcount作业。 首先执行上述第3步骤中的认证操作，然后启动Flink集群。 /usr/local/flink/bin/startcluster.sh Session模式 执行如下命令在session中提交作业。 yarnsession.sh nm "sessionname" detached flink run /usr/local/flink/examples/streaming/WordCount.jar 提交成功后，会返回已提交的Flink作业的YARN Application ID以及Web地址，访问Web地址以通过Web UI的方式查看作业状态。 Application模式 执行如下命令以Application方式提交作业。 flink runapplication t yarnapplication/usr/local/flink/examples/streaming/WordCount.jar 提交成功后，会返回已提交的Flink作业的YARN Application ID以及Web地址，访问Web地址以通过Web UI的方式查看作业状态。