本章节主要介绍翼MapReduce服务的配置修改建议说明。 操作场景 当节点组内ECS实例的规格（vCPU和内存）无法满足您的业务需求时，您可以使用配置升级功能提升ECS实例规格。升级配置后需要手动修改HDFS、YARN和Spark等服务的配置信息。本文为您介绍如何在翼MR Manager的“配置管理”页面修改配置项。 前提条件 已创建集群。 操作步骤 在翼MR Manager中，单击“运维与配置”。 1. 单击“配置管理”。 2. 选择“所选集群服务”，点击查询，即可在当前页面修改配置信息。 配置修改建议说明 1. Doris：Doris所在节点配置升级后，Doris FE建议使用节点一半内存。 2. Elasticsearch：一个ES节点，内存建议不超过64G。ES所在节点配置升级后，ES会自动根据节点情况设置内存值，一般无须用户手动修改，但需要重启集群。如果想手动设置，可以修改jvm.options文件配置Xms30g、Xmx30g参数，并重启集群。 3. HBase：HBase所在节点配置升级后，修改建议如下： hbasesite.xml：hbase.regionserver.handler.count 说明 一般跟CPU核数相同。 hbaseenv.sh：export HBASEMASTEROPTS ："Xmsg Xmxg" 说明 master不消耗很多内存，一般默认不添加或者分配2~8G左右。 hbaseenv.sh：export HBASEREGIONSERVEROPTS："Xmsg Xmxg " 说明 regionserver需要较多内存，一般配置内存配额的一半或更多。 4. HDFS：HDFS所在节点配置升级后，可以根据hadoopenv.sh 参数配置进行，通过调整服务的内存大小调整服务的性能，如Xmx20g Xms20g Xmn4g，然后重启服务。NameNode 建议文件、目录、数据块之和1亿，配置50G。 5. Hive：Hive所在节点配置升级后，可以通过hiveenv.sh统一参数配置来进行，也可以在作业提交时使用额外参数指定来进行。通过调整服务的内存大小调整服务的性能，如Xmx20g Xms20g Xmn4g，然后重启服务。内存大小可以根据机器的总内存而定，建议初始值为总内存大小的10%，后续根据性能需求调整。 6. Kafka：Kafka所在节点配置升级后，建议配置如下： kafkaenv.sh设置jvm配置参数：调整jvm堆大小，通过调整参数：export KAFKAHEAPOPTS"Xmx20G Xms20G Xmn4g"设置堆大小。 server.properties文件建议修改的配置项： num.io.threads：修改写磁盘的线程数，建议配置为CPU核数的50%； num.replica.fetchers：修改副本拉取线程数，建议配置为CPU核数50%的1/3； num.network.threads：修改数据传输线程数，建议配置为CPU核数的50%的2/3； replica.fetch.max.bytes：副本拉取数据量的大小。内存增加，可以适当加大该值； socket.send.buffer.bytes：调整socket发送的数据量。内存增加，可以适当加大该值； socket.receive.buffer.bytes：调整socke接受的数据量。内存增加，可以适当加大该值； socket.request.max.bytes：socket请求的数据量。内存增加，可以适当加大该值。 7. Kerberos：建议保持默认值，无需修改配置。 8. Kibana：Kibana是一个基于NodeJS的单页web应用，一般情况下，对内存CPU占用很少，无须修改内存、CPU等配置。 9. Kyuubi：Kyuubi一般情况下，对内存CPU占用很少，无须修改内存、CPU等配置。 10. OpenLDAP：建议保持默认值，无需修改配置。 11. Ranger：Ranger所在节点配置升级后，修改建议如下： rangeradmin通过{installdir}/ews/rangeradminservices.sh中变量 rangeradminmaxheapsize的值修改JMX，JAVAOPTS修改Xmx、Xmn等JVM参数，一般设置18g，1K policy建议设置为1G，1W policy建议设置为8G。 rangerusersync通过/{installdir}/rangerusersyncservices.sh中变量rangerusersyncmaxheapsize 的值修改JMX，JAVAOPTS修改Xmx Xmn等JVM参数，一般设置18g，1K policy建议设置为1G，1W policy建议设置为8G。 12. Spark：Spark所在节点配置升级后，修改建议如下： spark.history.kerberos.principal和spark.history.kerberos.keytab为spark读写eventLog的租户，用户如有特殊需求自行更改。 spark.yarn.historyServer.address: 说明了history server的地址，用户如有特殊需求自行更改。 spark.dynamicAllocation.enabled 和 spark.dynamicAllocation.maxExecutors 分别控制动态和动态开启下能使用的最大资源，用户如有特殊需求自行更改。 spark.executor.cores 和 spark.executor.memory 确保spark.executor的每一个core分配到2~4g内存，标准是4g，具体视情况而定，设置core的memory设置过小executor容易oom。 13. Trino：Trino的服务包括coordinator和worker。Trino所在节点配置升级后，可以根据jvm.config参数配置进行，通过调整服务的内存大小调整服务的性能，如Xmx128g Xms128g，然后重启服务。 14. YARN：YARN所在节点配置升级后，可以根据yarnenv.sh 参数配置进行，通过调整服务的内存大小来调整服务的性能，如Xmx20g Xms20g Xmn4g，然后重启服务。NM用于集群中作业的内存和CPU，需要修改NodeManager节点的yarnsite.xml中的yarn.nodemanager.resource.memorymb的值，该值用于所有作业的最多可用内存；以及yarn.nodemanager.resource.cpuvcores的值，该值用于所有作业的最多可用虚拟CPU核数。 15. ZooKeeper：ZooKeeper所在节点配置升级后，可通过配置java.env文件，在其中添加：export ZKSERVERHEAP2048（这里设置的单位默认是MB）。

参数 参数说明 Hadoop版本 显示Hadoop组件的版本信息。 Spark版本 显示Spark组件的版本信息，MRS 3.x之前版本集群支持。 HBase版本 显示HBase组件的版本信息。 Hive版本 显示Hive组件的版本信息。 Hue版本 显示Hue组件的版本信息。 Loader版本 显示Loader组件的版本信息。 Kafka版本 显示Kafka组件的版本信息。 Storm版本 显示Storm组件的版本信息。 Flume版本 显示Flume组件的版本信息。 Tez版本 显示Tez组件的版本信息。 Presto版本 显示Presto组件的版本信息。 KafkaManager版本 显示KafkaManager组件的版本信息。 Flink版本 显示Flink组件的版本信息。 Ranger版本 显示Ranger组件的版本信息。 Spark2x版本 显示Spark2x组件的版本信息。仅MRS 3.x及之后版本集群支持。 Oozie版本 显示Oozie组件的版本信息。仅MRS 3.x及之后版本集群支持。 ClickHouse版本 显示ClickHouse组件的版本信息。仅MRS 3.x及之后版本集群支持。

服务名称 依赖关系 角色名称 角色业务部署建议 说明 OMSServer OMSServer 部署在Master节点上，不支持修改。 ClickHouse 依赖ZooKeeper CHS（ClickHouseServer） 所有节点均可部署。 角色实例部署数量范围：偶数个，2~256。 部署了该角色的非Master节点组会被认为是Core节点类型。 ClickHouse 依赖ZooKeeper CLB（ClickHouseBalancer） 所有节点均可部署。 角色实例部署数量范围：2~256。 ZooKeeper QP(quorumpeer) 只能部署在Master节点上。 角色实例部署数量范围：3~9，步长为2。 Hadoop 依赖ZooKeeper NN(NameNode) 只能部署在Master节点上。 角色实例部署数量范围：2。 NameNode与Zkfc进程共机部署用于集群高可用 Hadoop 依赖ZooKeeper HFS（HttpFS） 只能部署在Master节点上。 角色实例部署数量范围：0~10。 Hadoop 依赖ZooKeeper JN(JournalNode) 只能部署在Master节点上。 角色实例部署数量范围：3~60，步长为2。 Hadoop 依赖ZooKeeper DN(DataNode) 所有节点均可部署。 角色实例部署数量范围：3~10000。 部署了该角色的非Master节点组会被认为是Core节点类型。 Hadoop 依赖ZooKeeper RM(ResourceManager) 只能部署在Master节点上。 角色实例部署数量范围：2。 Hadoop 依赖ZooKeeper NM(NodeManager) 所有节点均可部署。 角色实例部署数量范围：3~10000。 Hadoop 依赖ZooKeeper JHS(JobHistoryServer) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 Hadoop 依赖ZooKeeper TLS(TimelineServer) 只能部署在Master节点上。 角色实例部署数量范围：0~1。 Presto 依赖Hive PCD(Coordinator) 只能部署在Master节点上。 角色实例部署数量范围：2。 Presto 依赖Hive PWK(Worker) 所有节点均可部署。 角色实例部署数量范围：1~10000。 Spark2x l 依赖Hadoop l 依赖Hive l 依赖ZooKeeper JS2X(JDBCServer2x) 只能部署在Master节点上。 角色实例部署数量范围：2~10。 Spark2x l 依赖Hadoop l 依赖Hive l 依赖ZooKeeper JH2X(JobHistory2x) 只能部署在Master节点上。 角色实例部署数量范围：2。 Spark2x l 依赖Hadoop l 依赖Hive l 依赖ZooKeeper SR2X(SparkResource2x) 只能部署在Master节点上。 角色实例部署数量范围：2~50。 Spark2x l 依赖Hadoop l 依赖Hive l 依赖ZooKeeper IS2X(IndexServer2x) （可选）只能部署在Master节点上。 角色实例部署数量范围：0~2，步长为2。 HBase 依赖Hadoop HM(HMaster) 只能部署在Master节点上。 角色实例部署数量范围：2。 HBase 依赖Hadoop TS(ThriftServer) 所有节点均可部署。 角色实例部署数量范围：0~10000。 HBase 依赖Hadoop RT(RESTServer) 所有节点均可部署。 角色实例部署数量范围：0~10000。 HBase 依赖Hadoop RS(RegionServer) 所有节点均可部署。 角色实例部署数量范围：3~10000。 HBase 依赖Hadoop TS1(Thrift1Server) 所有节点均可部署。 角色实例部署数量范围：0~10000。 若集群安装了Hue服务并且需要在Hue WebUI使用HBase，HBase服务需安装此实例。 Hive l 依赖Hadoop l 依赖DBService MS(MetaStore) 只能部署在Master节点上。 角色实例部署数量范围：2~10。 Hive l 依赖Hadoop l 依赖DBService WH（WebHCat） 只能部署在Master节点上。 角色实例部署数量范围：1~10。 Hive l 依赖Hadoop l 依赖DBService HS(HiveServer) 只能部署在Master节点上。 角色实例部署数量范围：2~80。 Hue 依赖DBService H(Hue) 只能部署在Master节点上。 角色实例部署数量范围：2。 Sqoop 依赖Hadoop SC(SqoopClient) 所有节点均可部署。 角色实例部署数量范围：1~10000。 Kafka 依赖ZooKeeper B(Broker) 所有节点均可部署。 角色实例部署数量范围：3~10000。 Flume MS(MonitorServer) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 Flume F(Flume) 所有节点均可部署。 角色实例部署数量范围：1~10000。 部署了该角色的非Master节点组会被认为是Core节点类型。 Tez l 依赖Hadoop l 依赖DBService l 依赖ZooKeeper TUI(TezUI) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 Flink l 依赖ZooKeeper l 依赖Hadoop FR(FlinkResource) 所有节点均可部署。 角色实例部署数量范围：1~10000。 Flink l 依赖ZooKeeper l 依赖Hadoop FS(FlinkServer) 所有节点均可部署。 角色实例部署数量范围：0~2。 Oozie l 依赖Hadoop l 依赖DBService l 依赖ZooKeeper O(oozie) 只能部署在Master节点上。 角色实例部署数量范围：2。 Impala l 依赖Hadoop l 依赖Hive l 依赖DBService l 依赖ZooKeeper StateStore 只能部署在Master节点上。 角色实例部署数量范围：1。 Impala l 依赖Hadoop l 依赖Hive l 依赖DBService l 依赖ZooKeeper Catalog 只能部署在Master节点上。 角色实例部署数量范围：1。 Impala l 依赖Hadoop l 依赖Hive l 依赖DBService l 依赖ZooKeeper Impalad 所有节点均可部署。 角色实例部署数量范围：1~10000。 Kudu KuduMaster 只能部署在Master节点上。 角色实例部署数量范围：3或者5。 Kudu KuduTserver 所有节点均可部署。 角色实例部署数量范围：3~10000。 Ranger 依赖DBservice RA(RangerAdmin) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 Ranger 依赖DBservice USC(UserSync) 只能部署在Master节点上。 角色实例部署数量范围：1。 Ranger 依赖DBservice TSC（TagSync） 所有节点均可部署。 角色实例部署数量范围：0~1。

解决方法 运行Spark作业前，调整hbase.client.scanner.timeout.period参数，（例如从60秒调高到120秒）。 登录Manage界面，选择“集群 > 服务 > HBase > 配置 > 全部配置”，搜索参数“hbase.client.scanner.timeout.period”，并修改参数值为“120000”（参数单位为毫秒）。 DataArts Studio调度Spark作业偶现失败如何处理？ 问题现象 DataArts Studio调度spark作业，偶现失败，重跑失败，作业报错： Caused by: org.apache.spark.SparkException: Application application16195119263962586346 finished with failed status 解决方法 使用root用户登录Spark客户端节点，调高“sparkdefaults.conf”文件中“spark.driver.memory”参数值。 Flink任务运行失败，报错“java.lang.NoSuchFieldError: SECURITYSSLENCRYPTENABLED”如何处理？ 问题现象 Flink任务运行失败，报错： Caused by: java.lang.NoSuchFieldError: SECURITYSSLENCRYPTENABLED 解决方法 客户代码里面打包的第三方依赖包和集群包冲突，提交到MRS集群运行失败，需修改相关的依赖包，并将pom文件中的开源版本的Hadoop包和Flink包的作用域设置为provide，添加完成后重新打包运行任务。 提交的Yarn作业在界面上查看不到如何处理？ 问题现象 创建完Yarn作业后，以admin用户登录Manager界面查看不到运行的作业。 解决方法 admin用户为集群管理页面用户，检查是否有supergroup权限，通常需要使用具有supergroup权限的用户才可以查看作业。 使用提交作业的用户登录查看Yarn上的作业，不使用admin管理帐号查看。 如何修改现有集群的HDFS fs.defaultFS？ 当前不建议在服务端修改或者新增集群内HDFS NameSpace（fs.defaultFS）。 如果只是为了客户端更好的识别，则一般可以通过修改客户端内“coresite.xml”，“hdfssite.xml”两个文件的相关参数进行实现。 提交Flink任务时launcherjob被Yarn终止如何处理？

服务名称 Spark SQL作业 Spark jar作业 Flink SQL作业 Flink jar作业 APIG x x √ x CSS √ √ √ √ DCS Redis √ √ √ √ DDS Mongo √ √ √ √ DMS Kafka x x √ √ DWS √ √ √ √ MRS HBase √ √ √ √ MRS Kafka x x √ √ MRS OpenTSDB √ √ x √ RDS MySQL √ √ √ √ RDS PostGre √ √ √ √

CDM集群是否支持升级操作？ 不支持。 CDM集群目前暂不支持升级操作，如果需要使用高版本集群则需要重新创建。 CDM迁移性能如何？ 单个cdm.large规格实例理论上可以支持1TB～8TB/天的数据迁移。 但在实际使用中，实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。 CDM不同集群规格对应并发的作业数是多少？ CDM不同集群规格对应并发的作业数如表下表所示。 产品规格 cdm.large cdm.xlarge cdm.4xlarge 规格 节点数量：1个 vCPUs/内存：8核16GB 基准/最大带宽：0.8/3Gbit/s 节点数量：1个 vCPUs/内存：16核32GB 基准/最大带宽：4/10Gbit/s 节点数量：1个 vCPUs/内存：64核128GB 基准/最大带宽：36/40Gbit/s 并发执行的作业数 30 100 300 包含但不限于以下情况，建议使用多个CDM集群进行业务分流： 作为不同的用途，例如用于数据迁移作业，或作为DataArts Studio管理中心连接代理。 给不同的业务部门使用，例如财务、网上商城等。 功能类 是否支持增量迁移？ CDM支持增量数据迁移。利用定时任务配置和时间宏变量函数等参数，可支持以下场景的增量数据迁移： 文件增量迁移 关系数据库增量迁移 使用时间宏变量完成增量同步 HBase/CloudTable增量迁移

参数名 说明 数据源类型 从下拉列表中选择数据源类型。 说明 元数据采集支持丰富的数据源类型，对于DWS、DLI、MRS HBase、MRS Hive、RDS（MySQL）、RDS（PostgreSQL）和ORACLE类型的数据源，首先需要在管理中心创建数据连接。 OBS桶 选择待采集数据归属的OBS桶，仅数据源类型为OBS时，呈现此参数。 数据连接 所选数据连接类型中已创建数据连接，支持从下拉列表中选择。 所选数据连接类型中未创建数据连接，请单击“新建”，创建新的数据连接。 OBS路径 选择待采集数据在OBS桶中的存储路径，仅数据源类型为OBS时，呈现此参数。 采集范围 选择待采集数据的采集范围，仅数据源类型为OBS时，呈现此参数，原因是obs桶中是分目录层级的。 选择“当前文件夹”，采集任务仅采集obs路径中设置的文件夹下的对象。 选择“当前文件夹和所有子文件夹”，采集任务会采集obs路径中设置的文件夹下所有的对象，包括其子文件夹下的对象 采集内容 选择待采集数据的采集内容，仅数据源类型为OBS时，呈现此参数，原因是obs桶中是分目录层级的。 选择“文件夹和对象”，采集任务采集文件夹和对象。 选择“ 文件夹”，采集任务仅采集文件夹。 数据库和schema 仅数据源类型为DWS时，呈现此参数。 单击数据库和schema后的“设置”，设置采集任务扫描的数据库和schema范围。当不进行设置时，默认选择该数据连接下的所有数据库和schema。 单击“清除”，可对已选择的数据库和schema进行修改。 命名空间 仅数据源类型为MRS HBase时，呈现此参数。 单击命名空间后的“设置”，设置采集任务扫描的命名空间范围。当不进行设置时，默认选择该数据连接下的所有命名空间 。 单击“清除”，可对已选择的命名空间进行修改。 数据库 数据表 呈现待采集的数据库和数据表。 单击数据库后的“设置”，设置采集任务扫描的数据库范围。当不进行设置时，默认选择该数据连接下的所有数据库 。 单击数据表后的“设置”，设置采集任务扫描的数据表范围。当不进行设置时，默认选择数据库下的所有数据表。针对数据连接类型为Mysql、Oracle和DLI的数据表，支持按照正则表达式过滤需要采集的表。 当数据库和数据表均不设置时，则采集任务扫描的数据范围为该数据连接下的所有数据表。 单击“清除”，可对已选择的数据库和数据表进行修改。 选择图 仅数据源类型为GES时，呈现此参数。 选择存储了以“关系”为基础的结构数据的图。 选择集群 仅数据源类型为CSS时，呈现此参数。 选择待采集数据存储的CSS集群。 您也可以单击“新建”，创建CSS集群，创建完成后单击“刷新”，选择新建的CSS集群即可。 绑定Agent 管理CloudTable/GES/CSS类型的数据连接，请选择CDM集群提供的Agent。 用户也可以单击“新建”，创建新的Agent，创建完成后单击“刷新”，选择新的Agent即可。 索引 仅数据源类型为CSS时，呈现此参数。 用于存储Elasticsearch的数据，类似关系型数据库的Database。是一个或多个分片分组在一起的逻辑空间。

接口功能介绍 创建集群（包周期，即包年/包月）。 接口约束 参数校验必须通过。 注意事项：  1.云搜索和数据分析类型集群不支持task节点组  2.云搜索类型集群的core类型节点组机器数量为115，且可以没有core节点组  3.非云搜索类型的集群，都需要存在master和core1节点组，且core1节点组机器数量为315  4.自定义类型集群需参考组件依赖关系 components组件信息如下：  datalake数据湖   必选组件：OpenLDAP(2.4.50)、Kerberos(1.18.2)、ZooKeeper(3.7.1)、HDFS(3.3.3)、YARN(3.3.3)、Hive(3.1.2)、Tez(0.10.1)、TezUI(0.10.1)、Spark(3.4.1)、Hudi(0.14.0)、Iceberg(1.4.3)   可选组件：HBase(2.4.12)、Trino(440)、Kyuubi(1.8.2)、Doris(2.1.6)、Ranger(2.2.0)、Kafka(2.8.1)、KafkaUI(1.0.0)、Knox(1.6.1)、Flink(1.16.2)、JeekeFS(1.1.1)、Flume(1.11.0)、SeaTunnel(2.3.7)、Pushgateway(1.6.2)  dataanalysis数据分析   必选组件：Doris(2.1.6)  dataservice数据服务   必选组件：OpenLDAP(2.4.50)、Kerberos(1.18.2)、ZooKeeper(3.7.1)、HDFS(3.3.3)、YARN(3.3.3)、HBase(2.4.12)   可选组件：Ranger(2.2.0)、Knox(1.6.1)、JeekeFS(1.1.1)  cloudsearch云搜索   必选组件：Elasticsearch(7.10.2)、Kibana(7.10.2)   可选组件：Logstash(7.10.2)  realtimedataprocessing实时数据流   必选组件：HDFS(3.3.3)、YARN(3.3.3)、Flink(1.16.2)、ZooKeeper(3.7.1)、Kerberos(1.18.2)、OpenLDAP(2.4.50)、Hudi(0.14.0)、Iceberg(1.4.3)、SeaTunnel(2.3.7)   可选组件：Kafka(2.8.1)、KafkaUI(1.0.0)、Knox(1.6.1)、JeekeFS(1.1.1)、Pushgateway(1.6.2)  customize自定义   可选组件：OpenLDAP(2.4.50)、Kerberos(1.18.2)、ZooKeeper(3.7.1)、HDFS(3.3.3)、YARN(3.3.3)、Hive(3.1.2)、Spark(3.4.1)、Hudi(0.14.0)、Iceberg(1.4.3)、HBase(2.4.12)、Trino(440)、Kyuubi(1.8.2)、Doris(2.1.6)、Ranger(2.2.0)、Kafka(2.8.1)、KafkaUI(1.0.0)、Knox(1.6.1)、Flink(1.16.2)、JeekeFS(1.1.1)、Flume(1.11.0)、Tez(0.10.1)、TezUI(0.10.1)、SeaTunnel(2.3.7)、Pushgateway(1.6.2) 自定义集群组件依赖关系如下：  Flink    依赖（全部）HDFS、Hudi、Iceberg、Kerberos、OpenLDAP、SeaTunnel、YARN、ZooKeeper  HBase   依赖（全部）HDFS、Kerberos、OpenLDAP、ZooKeeper  HDFS    依赖（全部）Kerberos、OpenLDAP、ZooKeeper  Hive    依赖（全部）HDFS、Hudi、Iceberg、Kerberos、OpenLDAP、Tez、YARN、ZooKeeper  Hudi    依赖（任意）Flink、Hive、Spark  Iceberg   依赖（任意）Flink、Hive、Spark  JeekeFS   依赖（全部）Kerberos  Kafka    依赖（全部）Kerberos、ZooKeeper  KafkaUI   依赖（全部）Kafka、Kerberos、OpenLDAP  Kerberos  依赖（全部）OpenLDAP  Knox    依赖（全部）Kerberos、OpenLDAP  Kyuubi   依赖（全部）HDFS、Hive、Kerberos、OpenLDAP、Spark、YARN、ZooKeeper  Ranger   依赖（全部）HDFS、Kerberos、OpenLDAP、ZooKeeper  Spark    依赖（全部）HDFS、Hive、Hudi、Iceberg、Kerberos、OpenLDAP、YARN、ZooKeeper  TezUI    依赖（全部）Tez、YARN  Trino    依赖（全部）Kerberos、OpenLDAP  YARN    依赖（全部）HDFS、Kerberos、OpenLDAP、ZooKeeper  ZooKeeper 依赖（全部）Kerberos、OpenLDAP

本章节主要介绍翼MapReduce的服务管理操作。 总览 登录FusionInsight Manager以后，选择“集群 > 待操作集群的名称 > 服务”后，打开服务管理页面，包含功能区和服务列表。 详见下图：服务管理页面 功能区 服务管理页面的功能区支持选择视图类型，以及通过服务类型筛选和搜索服务。通过高级搜索可以根据“运行状态”和“配置状态”选择所需要的服务。 服务列表 服务管理页面的服务列表包含了集群中所有已安装的服务。如果选择“平铺视图”，则显示为窗格样式；如果选择“列表视图”，则显示为表格样式。 说明 本章节默认以“平铺视图”进行介绍。 服务列表可显示每个服务的运行状态、配置状态、角色的类型以及对应的实例个数。同时可以执行部分服务维护任务，例如启动、停止、重启服务等。 服务运行状态 状态 说明 良好 表示服务当前运行正常。 故障 表示服务当前无法正常工作。 亚健康 表示服务部分增强功能无法正常工作。 未启动 表示服务已停止。 未知 表示服务的初始状态信息无法检测。 正在启动 表示服务正在执行启动过程。 正在停止 表示服务正在执行停止过程。 启动失败 表示服务启动操作失败。 停止失败 表示服务停止操作失败。 说明 服务的运行状态为“故障”，会触发告警，请根据告警信息处理。 HBase、Hive、Spark和Loader可显示“亚健康”（Subhealthy）状态。 Yarn已安装且不正常时，HBase处于“亚健康”状态。如启用多实例功能，则已安装的所有HBase服务实例处于“亚健康”状态。 HBase已安装且状态不正常时，Hive、Spark和Loader处于“亚健康”状态。 启用多实例功能后，任意一个HBase服务实例已安装且不正常时，Loader处于“亚健康”状态。 启用多实例功能后，某一个HBase服务实例已安装且不正常时，对应的Hive和Spark服务实例处于“亚健康”状态，即HBase2已安装且不正常时，Hive2和Spark2为“亚健康”状态。 服务配置状态 状态 说明 已同步 表示服务所有参数配置已在集群内全部生效。 配置过期 表示修改服务参数后，最新的配置未同步且未生效，需要同步配置且重启相应服务。可点击配置状态后的图标查看过期的配置项。 失败 表示同步参数配置过程中出现通信或读写异常等操作。尝试使用“同步配置”恢复。 正在同步 表示正在同步服务参数配置。 未知 表示服务配置的初始状态信息无法检测。 服务列表中单击服务对应菜单，可对服务进行简单的维护管理操作，具体如下表所示。 基本维护管理功能 操作入口 说明 “启动服务” 启动集群中指定服务。 “停止服务” 将集群中指定服务停止。 “重启服务” 将集群中指定服务重启。 说明 某个服务可能被其他服务依赖，重启该服务则导致其他服务不可用，需要勾选“同时重启上层服务”。请根据对话框的服务列表确认是否可以执行操作，集群中由于依赖关系服务的重启为串行进行。单个服务的重启时长如下表“重启时长”所示 “滚动重启服务” 为集群中指定服务提供不中断业务的重启操作。具体参数配置可参考滚动重启集群章节中的“滚动重启参数”表 “同步配置” 为集群中指定服务启用新的配置参数。 为集群中“配置状态”为“配置过期”的服务，下发新的配置参数。 说明 部分服务同步配置后需重启服务使配置生效。 重启时长 服务名称 重启时长 启动时长 附加说明 ClickHouse 4min ClickHouseServer：2min ClickHouseBalancer：2min HDFS 10min+x NameNode：4min+x DataNode：2min JournalNode：2min Zkfc：2min x为NameNode元数据加载时长，每千万文件大约耗时2分钟，例如5000万文件x为10min。由于受DataNode数据块上报影响启动时间有一定浮动。 Yarn 5min+x ResourceManager：3min+x NodeManager：2min x为ResourceManager保留任务数恢复时长，每1万保留任务大约需要1分钟 Mapreduce 2min+x JobHistoryServer：2min+x x为历史任务扫描时长，每10万任务大约2.5min ZooKeeper 2min+x quorumpeer：2min+x x为加载znode节点时长，每100万znode大约1min Hive 3.5min HiveServer：3min MetaStore：1min30s WebHcat：1min Hive整体服务：3min Spark2x 5min JobHistory2x：5min SparkResource2x：5min JDBCServer2x：5min Flink 4min FlinkResource：1min FlinkServer：3min Kafka 2min+x Broker：1min+x x为数据恢复时长，单实例20000 partition启动所需时长大约2mins。 Storm 6min Nimbus：3mins UI：1min Supervisor：1min Logviewer：1min Flume 3min Flume：2 min MonitorServer：1min

本章节主要介绍 鉴权策略。 安全模式 大数据平台用户完成身份认证后，系统还需要根据实际权限管理配置，选择是否对用户进行鉴权，确保系统用户拥有资源的有限或全部权限。如果系统用户权限不足，需要由系统管理员为用户授予各个组件对应的权限后，才能访问资源。安全模式或者普通模式集群均提供鉴权能力，组件的具体权限项在两种模式中相同。 新安装的安全模式集群默认即安装了Ranger服务并启用了Ranger鉴权，用户可以通过组件的权限插件对组件资源的访问设置细粒度的安全访问策略。若不需使用Ranger进行鉴权，管理员可在服务页面手动停用Ranger鉴权，停用Ranger鉴权后，访问组件资源的时系统将继续基于FusionInsight Manager的角色模型进行权限控制。 安全模式集群中，支持使用Ranger鉴权的组件包括：HDFS、Yarn、Kafka、Hive、HBase、Storm、Spark2x、Impala。 从历史版本升级的集群，用户访问组件资源时默认不使用Ranger鉴权，管理员可在安装了Ranger服务后手动启用Ranger鉴权。 安全版本的集群所有组件默认统一对及访问进行鉴权，不支持关闭鉴权功能。 普通模式 普通模式的集群不同组件使用各自原生开源的鉴权行为，详细鉴权机制下表所示。 在安装了Ranger服务的普通模式集群中，Ranger可以支持基于OS用户进行组件资源的权限控制，支持启用Ranger鉴权的组件包括：HBase、HDFS、Hive、Spark2x、Yarn。 普通模式组件鉴权一览表 服务 是否鉴权 是否支持开关鉴权 ClickHouse 鉴权 不支持修改 Flume 无鉴权 不支持修改 HBase 无鉴权 支持修改 HDFS 鉴权 支持修改 Hive 无鉴权 不支持修改 Hue 无鉴权 不支持修改 Kafka 无鉴权 不支持修改 Loader 无鉴权 不支持修改 Mapreduce 无鉴权 不支持修改 Oozie 鉴权 不支持修改 Spark2x 无鉴权 不支持修改 Storm 无鉴权 不支持修改 Yarn 无鉴权 支持修改 ZooKeeper 鉴权 支持修改

本文主要介绍使用限制 APM支持的JAVA类型 APM支持JAVA类应用，目前已支持多种主流Java框架、web服务器、通讯协议、数据库等，可实现应用轻松接入。当前支持的类型详见下表。 表AVA组件和框架 组件 JDK 1.7 JDK 1.8 Dubbo 2.6.X 2.6.X Redis 2.X 3.X Jedis 3.X.X 3.X.X Lettuce 5.X.X 5.X.X servicecomb 2.X.X 2.X.X log4j 1.X.X 1.X.X log4j2 2.X.X 2.X.X httpclient 4.X.X 4.X.X jdkhttpclient 1.6~1.8 1.6~1.8 mariadb 2.X.X 2.X.X mysql 5.X.X~8.X.X 5.X.X~8.X.X okhttpclient 3.X.X 3.X.X tomcat 6.X.X~9.X.X 6.X.X~9.X.X jetty 8.X.X~9.X.X 8.X.X~9.X.X grpc 1.X.X 1.X.X reactornetty 1.X.X 1.X.X elasticsearch 6.X.X~7.X.X 6.X.X~7.X.X hbase 2.X.X 2.X.X mongodb 3.X.X~4.X.X 3.X.X~4.X.X

本章节主要介绍配置静态服务池。 当需要控制集群服务可以使用节点的资源情况，或者在不同时间段集群服务使用节点的CPU不同，用户可以在MRS Manager调整资源基数，并自定义资源配置组。 前提条件 配置静态服务池后，HDFS和YARN服务需要重启，重启期间服务不可用。 配置静态服务池后，各服务及角色实例使用的最大资源将不能超过限制。 操作步骤 修改系统资源调整基数。 1. 在MRS Manager界面，单击“系统设置”，在“资源管理”区域单击“静态服务池”。 2. 单击“配置”，显示服务池配置组管理页面。 3. 在“系统资源调整基数”分别修改参数“CPU(%)”和“Memory(%)”。 修改“系统资源调整基数”将限制Flume、HBase、HDFS、Impala和YARN服务能够使用节点的最大物理CPU和内存资源百分比。如果多个服务部署在同一节点，则所有服务使用的最大物理资源百分比不能超过此参数值。 4. 单击“下一步”完成编辑。 需要重新修改参数，可单击页面下方的“上一步”。 修改服务池默认“default”配置组。 1. 在“服务池配置”表格中Flume、HBase、HDFS、Impala和YARN服务对应的“CPU LIMIT(%)”、“CPU SHARE(%)”、“I/O(%)”和“Memory(%)”填写各服务的资源使用百分比数量。 说明 所有服务使用的“CPU LIMIT(%)”资源配置总和可以大于100%。 所有服务使用的“CPU SHARE(%)”和“I/O(%)”资源配置总和需为100%。例如为HDFS和Yarn服务分配使用的CPU资源，2个服务分配到的CPU资源总和为100%。 所有服务使用的“Memory(%)”资源配置总和可以小于或等于100%，也可以大于100%。 “Memory(%)”不支持动态生效，仅在“default”配置组中可以修改。 2. 单击页面空白处完成编辑，MRS Manager将根据集群硬件资源与分配情况，在“详细配置”生成服务池参数的正确配置值。 3. 如果根据业务需要，可以单击“详细配置”右侧的修改服务池的参数值。 在“服务池配置”单击指定的服务名，“详细配置”将只显示此服务的参数。手工修改参数值并不会刷新服务使用资源的百分比显示。支持动态生效的参数，在新增加的配置组中显示名将包含配置组的编号，例如“HBase : RegionServer : dynamicconfig1.RESCPUSETPERCENTAGE”，参数作用与“default”配置组中的参数相同。 详见下表：静态服务池参数一览 参数名 参数描述 RESCPUSETPERCENTAGE dynamicconfigX.RESCPUSETPERCENTAGE 配置服务使用CPU PERCENTAGE。 RESCPUSHARE dynamicconfigX.RESCPUSHARE 配置服务使用CPU share。 RESBLKIOWEIGHT dynamicconfigX.RESBLKIOWEIGHT 配置服务占用I/O的权重。 HBASEHEAPSIZE 配置RegionServer的JVM最大内存。 HADOOPHEAPSIZE 配置DataNode的JVM最大内存。 yarn.nodemanager.resource.memorymb 配置当前节点上NodeManager可使用的内存大小。 dfs.datanode.max.locked.memory 配置DataNode用做HDFS缓存的最大内存。 FLUMEHEAPSIZE 配置每个flume实例能使用的最大JVM内存。 IMPALADMEMLIMIT 配置impalad实例可使用的最大内存。

本章节主要介绍翼MapReduce组件HBase数据保留期的设置和修改。 保证用户具有表的admin权限和create权限。 创建表时指定，创建ttasklog表，列族f, TTL设置86400秒过期。 create 'ttasklog',{NAME > 'f', TTL>'86400'} 在已有表的基础上指定： alter "ttasklog",NAME>'data',TTL>'86400' 设置TTL值，作用于列族data

方式一：通过界面配置。 1.登录MRS控制台，在左侧导航栏选择“集群列表 > 现有集群” ，单击集群名称。 2.选择“组件管理 > HBase > 服务配置”。 3.将“基础配置”切换为“全部配置”，搜索并配置如下参数： 数据加密参数 参数 取值 说明 fs.obs.serversideencryptiontype SSEKMS SSEKMS：表示使用KMS秘钥的加解密方式。 NONE：表示关闭加密功能。 fs.obs.serversideencryptionkey 表示用来加密的KMS密钥ID。该参数可不配置。 当参数“fs.obs.serversideencryptiontype”配置为“SSEKMS”且该参数未配置时，OBS会使用OBS服务的默认KMS密钥完成加密。 fs.obs.connection.ssl.enabled true 标识是否与OBS建立安全连接。 true：开启安全连接，当需要使用OBS加解密功能时该参数必须配置为“true”。 false：关闭安全连接。 4.单击“保存配置”，勾选“重新启动受影响的服务或实例。”并单击“确定”。 5.以root用户登录Master节点，密码为用户创建集群时设置的root密码（若集群存在多个Master节点，请分别登录每个Master节点进行步骤5~步骤7的操作）。 6.执行以下命令，切换到客户端目录，例如“/opt/Bigdata/client”。 cd /opt/Bigdata/client 7.执行以下命令更新客户端配置，并输入用户名和密码，用户名为admin，密码为用户创建集群时设置的admin密码。 ./ autoRefreshConfig.sh 方式二：通过客户端配置文件配置。 在Master节点上的客户端配置文件（例如“/opt/Bigdata/client/HBase/hbase/conf/coresite.xml”）中的增加如下参数配置（若集群存在多个Master节点，请分别登录每个Master节点进行该操作）。 数据加密参数 参数 取值 说明 fs.obs.serversideencryptiontype SSEKMS SSEKMS：表示使用KMS秘钥的加解密方式。 NONE：表示关闭加密功能。 fs.obs.serversideencryptionkey 表示用来加密的KMS密钥ID。该参数可不配置。 当参数“fs.obs.serversideencryptiontype”配置为“SSEKMS”且该参数未配置时，OBS会使用OBS服务的默认KMS密钥完成加密。 fs.obs.connection.ssl.enabled true 标识是否与OBS建立安全连接。 true：开启安全连接，当需要使用OBS加解密功能时该参数必须配置为“true”。 false：关闭安全连接。 Spark配置

配置Jedis监控项 在“编辑【Jedis监控】监控配置”页面配置以下参数： 采集间隔：默认60s，此处不支持修改。 配置HBase监控项 在“编辑【HBase监控】监控配置”页面配置以下参数： 采集间隔：默认60s，此处不支持修改。 配置ApacheHttpClient监控项 在“编辑【ApacheHttpClient】监控配置”页面配置以下参数： 采集间隔：默认60s，此处不支持修改。 配置Tomcat监控项 在“编辑【Tomcat监控】监控配置”页面配置以下参数： 采集间隔：默认60s，此处不支持修改。 配置EsRestClient监控项 在“编辑【EsRestClient监控】监控配置”页面配置以下参数： 采集间隔：默认60s，此处不支持修改。 配置Websocket监控项 在“编辑【Websocket监控】监控配置”页面配置以下参数： 采集间隔：默认60s，此处不支持修改。 配置KafkaProducer监控项 在“编辑【KafkaProducer监控】监控配置”页面配置以下参数： 采集间隔：默认60s，此处不支持修改。 配置Hikari连接池监控项 在“编辑【Hikari连接池监控】监控配置”页面配置以下参数： 采集间隔：默认60s，此处不支持修改。 获取连接调用链上报时阈值（ms）：默认配置为1，勾选“使用默认值”，会优先使用继承的标签的值。 getConnection时是否获取池内信息：默认配置为否，勾选“使用默认值”，会优先使用继承的标签的值。 图 Hikari连接池监控项

参数 说明 IAM委托 选择步骤2中创建的委托。 类型 User：在用户级别进行映射 Group：用户组级别进行映射 说明 用户级别的映射优先级大于用户组级别的映射。若选择Group，建议在“MRS用户（组）”一栏，填写用户的主组名称。 请避免同个用户名（组）出现在多个映射记录上的情况。 MRS用户（组） MRS中的用户（组）的名称，以英文逗号进行分隔。 说明 对于没有配置在OBS权限控制的用户，且没有配置AK、SK时，将以MRSECSDEFAULTAGENCY中的OBS Operator的权限访问OBS。对于组件内置用户不建议绑定在委托中。 如需对组件内置用户在以下场景提交作业时配置委托，要求如下： 如需对sparkbeeline的操作进行权限控制，安全集群时配置用户名“spark”，普通集群时配置用户名“omm”。 如需对hbase shell的操作进行权限控制，安全集群时配置用户名“hbase”，普通集群时配置用户名“omm”。 如需对Presto的操作进行权限控制，安全集群时配置用户名“omm”、“hive”和登录客户端的用户名，普通集群时配置用户名“omm”和登录客户端的用户名。 如需使用Hive在beeline模式下创建表时，配置内置用户“hive”。

站点类型 WebURL 例子 URL说明 HDFS NameNode Web UI YARN ResourceManger Web UI YARN NodeManager Web UI YARN JobHistory Web UI HBase HMaster Web UI HBase RegionServer Web UI Spark SparkHistory Web UI Doris FE Web UI Elasticsearch ESNode Web UI Ranger RangerAdmin Web UI Knox Knox Web UI KafkaUI Kafka Web UI FlinkUI Flink Web UI TezUI Tez Web UI Amoro Amoro Web UI Hue Hue Web UI DolphinScheduler DolphinScheduler Web UI

本文主要介绍数据库 数据库监控项可以对数据库的访问进行监控，可以监控的数据库包含C3P0连接池、Cassandra、ClickHouse、DBCP、Druid、EsRestClient、GaussDb、Hikari连接池、Jetcd、ObsClient、MySQL、Postgresql、Oracle、HBase 以及MongoDB多种类型。对于数据库的监控，APM系统会采集具体的执行语句详情，方便用户定位代码级的性能问题。 查看数据库监控 步骤 1 登录管理控制台。 步骤 2 单击左侧，选择“应用性能管理 APM”，进入APM服务页面。 步骤 3 在左侧导航栏选择“应用监控 > 指标”。 步骤 4 在界面左侧树单击待查看接口调用的环境后的。 步骤 5 单击“数据库”，切换至数据库页签。默认展示“全部实例”的“Mysql数据库”信息。 步骤 6 在数据库页签选择您想要查看的“实例名称”和“指标选择”，可以查看该实例在对应采集器下的不同指标集下的应用监控数据。 查看Mysql数据库监控 sql维度汇总 APM支持从sql维度对Mysql数据库进行监控，监控的指标包括sql、sql语句、调用次数、平均响应时间、错误次数、调用时间、最慢调用链和错误调用链，您可以单击列表右上角的自定义列表项，使界面上显示您需要查看的指标数据。 单击sql语句可以查看sql语句详情。 单击调用次数、平均响应时间等蓝色字体数值，会以图表的形式显示对应的数值详情。 单击某个最慢调用链或者错误调用链，系统会跳转到该调用链详情页面，查看该调用链的调用情况。

补丁修复 支持开启定期进行指定终端组的漏洞扫描、对指定终端组设置漏洞扫描后进行自动修复并对终端补丁包获取服务器地址进行自定义设置。 云数据库审计 云数据库审计系统可通过设计其相关业务策略，实现审计符合业务策略的网络行为、跟踪访问重要数据源的网络行为、阻断不符合业务策略的不法网络行为。 支持绝大部分数据库类型审计。支持Oracle、SQLServer、DB2、MySQL、MariaDB、Informix、postgresql、sysbase、cache、ES、Hive、HBASE、MongoDB、Redis等数据库。 审计 通过对网络行为进行的记录，可用来分析网络状况和确定网络使用者的相关责任的活动。 策略 根据业务需求，而制定的网络行为分析引擎。产品的核心功能，对网络行为进行采集的分析引擎进行配置，将通过引擎的数据包过滤后，提供给审计功能使用。 告警 包含告警规则设置和告警事件的查看功能告警规则，系统对审计事件之间的关系进行形式化描述。针对符合策略的事件进行关联分析。抽取出对于安全管理人员真正有用的安全信息，提供实时告警，从而协助安全管理人员快速识别安全事故。 事后调查取证 对于所有行为能够进行事后查询、取证、调查分析，出具各种审计报表报告。 安全预警 对入侵和违规行为进行预警和告警，并能够指导管理员进行应急响应处理。 数据操作实时监控 对所有外部或是内部用户访问数据库和主机的各种操作行为实时监控。

数据完整性 通过数据校验，保证数据在存储、传输过程中的数据完整性。 用户数据保存在HDFS上，HDFS默认采用CRC32C校验数据的正确性。 HDFS的DataNode节点负责存储校验数据，如果发现客户端传递过来的数据有异常（不完整）就上报异常给客户端，让客户端重新写入数据。 客户端从DataNode读数据的时候会同步检查数据是否完整，如果发现数据不完整，尝试从其它的DataNode节点上读取数据。 数据保密性 翼MR分布式文件系统在Apache Hadoop版本基础上，提供对文件内容的加密存储功能，避免敏感数据明文存储，提升数据安全性。业务应用只需对指定的敏感数据进行加密，加解密过程业务完全不感知。在文件系统数据加密基础上，Hive实现表级加密，HBase实现列族级加密，在创建表时指定采用的加密算法，即可实现对敏感数据的加密存储。 从数据的存储加密、访问控制来保障用户数据的保密性。 HBase支持将业务数据存储到HDFS前进行压缩处理，且用户可以配置AES和SMS4算法加密存储。 各组件支持本地数据目录访问权限设置，无权限用户禁止访问数据。 所有集群内部用户信息提供密文存储。 安全认证 基于用户和角色的认证统一体系，遵从帐户/角色RBAC（RoleBased Access Control）模型，实现通过角色进行权限管理，对用户进行批量授权管理。 支持安全协议Kerberos，MRS使用LDAP作为帐户管理系统，并通过Kerberos对帐户信息进行安全认证。 提供单点登录，统一了MRS系统用户和组件用户的管理及认证。 对登录Manager的用户进行审计。

云终端 天翼云手机服务协议 天翼云手机用户协议 天翼云手机隐私政策 天翼云电脑产品协议 天翼云电脑用户协议 天翼云电脑隐私政策 数据库 天翼云关系型数据库服务协议 天翼云分布式关系型数据库服务协议 天翼云分布式缓存服务协议 天翼云HBase数据库服务协议 天翼云TSDB时间序列数据库服务协议 天翼云时序数据库Influx版服务协议 天翼云文档数据库服务协议 数据库复制产品服务协议 天翼云数据管理服务协议 天翼云数据库专家服务协议 天翼云分布式融合数据库HTAP服务协议 天翼云分析型数据库PostgreSql产品服务协议 天翼云数据传输服务DTS版服务协议 天翼云数据库ClickHouse服务协议 天翼云数据库GaussDB(for MySQL)服务协议 天翼云数据库GeminiDB服务协议 天翼云数据库审计服务协议

本章节主要介绍如何使用翼MapReduce。 翼MR是一个在云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。翼MR提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。 翼MR使用简单，通过使用在集群中连接在一起的多台计算机，您可以运行各种任务，处理或者存储（PB级）巨量数据。翼MR的基本使用流程如下： 1. 上传程序和数据文件到对象存储服务（OBS）中，用户需要先将本地的程序和数据文件上传至OBS中。 2. 自定义创建集群，用户可以指定集群类型用于离线数据分析和流处理任务，指定集群中预置的弹性云服务器实例规格、实例数量、数据盘类型（普通IO、高 IO、超高 IO）、要安装的组件（Hadoop、Spark、HBase、Hive、Kafka、Storm等）。用户可以使用引导操作在集群启动前（或后）在指定的节点上执行脚本，安装其他第三方软件或修改集群运行环境等自定义操作。 3. 管理作业，翼MR为用户提供程序执行平台，程序由用户自身开发，翼MR负责程序的提交、执行和监控。 4. 管理集群，翼MR为用户提供企业级的大数据集群的统一管理平台，帮助用户快速掌握服务及主机的健康状态，通过图形化的指标监控及定制及时的获取系统的关键信息，根据实际业务的性能需求修改服务属性的配置，对集群、服务、角色实例等实现一键启停等操作。 5. 删除集群，如果作业执行结束后不需要集群，可以删除翼MR集群。

翼MapReduce（翼MR）是一种基于云计算平台的数据处理分析服务，打造了高可靠、高安全、易使用的运行维护平台，对外提供大容量数据的存储和分析能力，可解决用户实时性要求不高的海量数据存储和处理需求，可以独立申请和使用托管Hadoop、Spark、HBase和Hive组件。 支持的事件列表如下： 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 DBServer主备倒换 dbServerSwitchover 次要 DBServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致。 连续触发主备倒换可能影响Hive服务正常使用，导致Hive服务不可用。 Flume Channel溢出 flumeChannelOverflow 次要 Flume Channel溢出 确认flume的channel配置是否合理，业务量是否有突增。 Flume任务无法正常写入数据到后端。 NameNode主备倒换 namenodeSwitchover 次要 NameNode主备倒换 主备倒换需要和运维人员确认是否为正常操作导致。 连续触发主备倒换可能影响HDFS服务正常使用，读写HDFS文件可能失败。 ResourceManager主备倒换 resourceManagerSwitchover 次要 ResourceManager主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Yarn服务正常使用，导致任务出现异常甚至失败 JobHistoryServer主备倒换 jobHistoryServerSwitchover 次要 JobHistoryServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响MapReduce服务正常使用，导致任务日志读取异常 HMaster主备倒换 hmasterFailover 次要 HMaster主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响HBase服务正常使用 Hue发生主备切换 hueFailover 次要 Hue发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 主备倒换可能影响HUE服务正常使用，导致页面无法使用等问题 Impala HaProxy服务发生主备切换 impalaHaProxyFailover 次要 Impala HaProxy服务发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Impala服务正常使用 Impala StateStoreCatalog服务发生主备切换 impalaStateStoreCatalogFailover 次要 Impala StateStoreCatalog服务发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Impala服务正常使用 LdapServer主备倒换 ldapServerFailover 次要 LdapServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响LdapServer服务正常使用 Loader主备倒换 loaderSwitchover 次要 Loader主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 主备倒换可能影响Loader服务正常使用 Manager主备倒换 managerSwitchover 提示 Manager主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 Manager主备倒换可能导致Manager页面无法正常访问，部分监控可能出现异常数值 作业执行失败 jobRunningFailed 提示 作业执行失败 查看作业管理页面，确认失败任务是否有异常 作业执行过程出现失败 作业被终止 jobkilled 提示 作业被终止 确认任务是否人为下发终止命令 作业执行过程被终止 Oozie工作流执行失败 oozieWorkflowExecutionFailure 次要 Oozie工作流执行失败 查看Oozie日志，确认任务失败原因 Oozie工作流执行失败 Oozie定时任务执行失败 oozieScheduledJobExecutionFailure 次要 Oozie定时任务执行失败 查看Oozie日志，确认任务失败原因 Oozie定时任务执行失败 ClickHouse服务不可用 clickHouseServiceUnavailable 紧急 ClickHouse服务不可用 请参考《MapReduce服务用户指南》的“ALM45425 ClickHouse服务不可用”章节。 ClickHouse服务异常，无法通过FusionInsight Manager对ClickHouse进行集群操作，无法使用ClickHouse服务功能。 DBService服务不可用 dbServiceServiceUnavailable 紧急 DBService服务不可用 请参考《MapReduce服务用户指南》的“ALM27001 DBService服务不可用”章节。 数据库服务不可用，无法对上层服务提供数据入库、查询等功能，使部分服务异常。 DBService主备节点间心跳中断 dbServiceHeartbeatInterruption BetweentheActiveAndStandbyNodes 重要 DBService主备节点间心跳中断 请参考《MapReduce服务用户指南》的“ALM27003 DBService主备节点间心跳中断”章节。 DBService主备间心跳中断时只有一个节点提供服务，一旦该节点故障，再无法切换到备节点，就会服务不可用。 DBService主备数据不同步 dataInconsistencyBetween ActiveAndStandbyDBServices 紧急 DBService主备数据不同步 请参考《MapReduce服务用户指南》的“ALM27004 DBService主备数据不同步”章节。 主备DBServer数据不同步，如果此时主实例异常，则会出现数据丢失或者数据异常的情况。 数据库进入只读模式 databaseEnterstheReadOnlyMode 紧急 数据库进入只读模式 请参考《MapReduce服务用户指南》的“ALM27007 数据库进入只读模式”章节。 数据库进入只读模式，业务数据丢失。 Flume服务不可用 flumeServiceUnavailable 紧急 Flume服务不可用 请参考《MapReduce服务用户指南》的“ALM24000 Flume服务不可用”章节。 当Flume服务不可用时，Flume不能正常工作，数据传输业务中断。 Flume Agent异常 flumeAgentException 重要 Flume Agent异常 请参考《MapReduce服务用户指南》的“ALM24001 Flume Agent异常”章节。 产生告警的Flume Agent实例无法正常启动，定义在该实例下的数据传输任务暂时中断，对于实时数据传输，会丢失实时数据。 Flume Client连接中断 flumeClientDisconnected 重要 Flume Client连接中断 请参考《MapReduce服务用户指南》的“ALM24003 Flume Client连接中断”章节。 产生告警的Flume Client无法与Flume Server端进行通信，Flume Client端的数据无法传输到Flume Server端。 Flume读取数据异常 exceptionOccursWhenFlumeReadsData 重要 Flume读取数据异常 请参考《MapReduce服务用户指南》的“ALM24004 Flume读取数据异常”章节。 如果数据源有数据，Flume Source持续读取不到数据，数据采集会停止。 Flume传输数据异常 exceptionOccursWhenFlumeTransmitsData 重要 Flume传输数据异常 请参考《MapReduce服务用户指南》的“ALM24005 Flume传输数据异常”章节。 Flume Channel的磁盘空间使用量有继续增长的趋势，将会使数据导入到指定目的地的时间增长，当Flume Channel的磁盘空间使用量达到100%时会导致Flume Agent进程暂停工作。 Flume 证书文件非法或已损坏 flumeCertificateFileIsinvalid 重要 Flume 证书文件非法或已损坏 请参考《MapReduce服务用户指南》的“ALM24010 Flume证书文件非法或已损坏”章节。 Flume证书文件已经非法或损坏，功能受限，Flume客户端将无法访问Flume服务端。 Flume 证书文件即将过期 flumeCertificateFileIsAboutToExpire 重要 Flume 证书文件即将过期 请参考《MapReduce服务用户指南》的“ALM24011 Flume证书文件即将过期”章节。 Flume证书文件即将失效，对系统目前运行无影响。 Flume 证书文件已过期 flumeCertificateFileIsExpired 重要 Flume 证书文件已过期 请参考《MapReduce服务用户指南》的“ALM24012 Flume证书文件已过期”章节。 Flume证书文件已过期，功能受限，Flume客户端将无法访问Flume服务端。 Flume MonitorServer证书文件失效 flumeMonitorServerCertificateFileIsInvalid 重要 Flume MonitorServer证书文件失效 请参考《MapReduce服务用户指南》的“ALM24013 Flume MonitorServer证书文件非法或已损坏”章节。 MonitorServer证书文件已经非法或损坏，功能受限，Flume客户端将无法访问Flume服务端。 Flume MonitorServer证书文件即将过期 flumeMonitorServerCertificate FileIsAboutToExpire 重要 Flume MonitorServer证书文件即将过期 请参考《MapReduce服务用户指南》的“ALM24014 Flume MonitorServer证书文件即将过期”章节。 MonitorServer证书文件即将失效，对系统目前运行无影响。 Flume MonitorServer证书文件已过期 flumeMonitorServerCertificateFileIsExpired 重要 Flume MonitorServer证书文件已过期 请参考《MapReduce服务用户指南》的“ALM24015 Flume MonitorServer证书文件已过期”章节。 MonitorServer证书文件已过期，功能受限，Flume客户端将无法访问Flume服务端。 HDFS服务不可用 hdfsServiceUnavailable 紧急 HDFS服务不可用 请参考《MapReduce服务用户指南》的“ALM14000 HDFS服务不可用”章节。 无法为基于HDFS服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。 NameService服务异常 nameServiceServiceUnavailable 重要 NameService服务异常 请参考《MapReduce服务用户指南》的“ALM14010 NameService服务异常”章节。 无法为基于该NameService服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。 DataNode数据目录配置不合理 datanodeDataDirectoryIsNotConfiguredProperly 重要 DataNode数据目录配置不合理 请参考《MapReduce服务用户指南》的“ALM14011 DataNode数据目录配置不合理”章节。 如果将DataNode数据目录挂载在根目录等系统关键目录，长时间运行后会将根目录写满，导致系统故障。不合理的DataNode数据目录配置，会造成HDFS的性能下降。 Journalnode数据不同步 journalnodeIsOutOfSynchronization 重要 Journalnode数据不同步 请参考《MapReduce服务用户指南》的“ALM14012 Journalnode数据不同步”章节。 当一个JournalNode节点工作状态异常时，其数据就会与其他JournalNode节点的数据不同步。如 果超过一半的JournalNode节点的数据不同步时，NameNode将无法工作，导致HDFS服务不可用。 NameNode FsImage文件更新失败 failedToUpdateTheNameNodeFsImageFile 重要 NameNode FsImage文件更新失败 请参考《MapReduce服务用户指南》的“ALM14013 NameNode FsImage文件更新失败”章节。 如果主NameNode数据目录的FsImage没有更新，则说明HDFS元数据合并功能异常，需要修复。 如不修复，HDFS在运行一段时间后，Editlog会一直增长。此时如果重启HDFS，由于要加载非常多的Editlog，会导致启动非常耗时。另外，该告警的产生也说明备NameNode功能异常，导致NameNode的HA机制失效。一旦主NameNode故障，则整个HDFS服务将不可用。 DataNode磁盘故障 datanodeDiskFault 重要 DataNode磁盘故障 请参考《MapReduce服务用户指南》的“ALM14027 DataNode磁盘故障”章节。 上报DataNode磁盘故障告警时，表示该DataNode节点上存在故障的磁盘分区，可能会导致已写入的文件丢失。 Yarn服务不可用 yarnServiceUnavailable 紧急 Yarn服务不可用 请参考《MapReduce服务用户指南》的“ALM18000 Yarn服务不可用”章节。 集群无法提供Yarn服务。用户无法执行新的application。已提交的application无法执行。 NodeManager心跳丢失 nodemanagerHeartbeatLost 重要 NodeManager心跳丢失 请参考《MapReduce服务用户指南》的“ALM18002 NodeManager心跳丢失”章节。 丢失的NodeManager节点无法提供Yarn服务。容器减少，集群性能下降。 NodeManager不健康 nodemanagerUnhealthy 重要 NodeManager不健康 请参考《MapReduce服务用户指南》的“ALM18003 NodeManager不健康”章节。 故障的NodeManager节点无法提供Yarn服务。容器减少，集群性能下降。 Yarn 任务执行超时 yarnApplicationTimeout 次要 Yarn 任务执行超时 请参考《MapReduce服务用户指南》的“ALM18020 Yarn任务执行超时”章节。 任务执行超时后的运行时间内，该告警一直存在，但任务仍继续正常执行，没有任何影响。 Mapreduce服务不可用 mapreduceServiceUnavailable 紧急 Mapreduce服务不可用 请参考《MapReduce服务用户指南》的“ALM18021 Mapreduce服务不可用”章节。 集群无法提供Mapreduce服务，如无法通过Mapreduce查看任务日志，无法提供Mapreduce服务的日志归档功能等。 Yarn队列资源不足 insufficientYarnQueueResources 次要 Yarn队列资源不足 请参考《MapReduce服务用户指南》的“ALM18022 Yarn队列资源不足”章节。 应用任务结束时间变长。新应用提交后长时间无法运行。 HBase服务不可用 hbaseServiceUnavailable 紧急 HBase服务不可用 请参考《MapReduce服务用户指南》的“ALM19000 HBase服务不可用”章节。 无法进行数据读写和创建表等操作。 HBase系统表目录或文件丢失 systemTablePathOrFileOfHBaseIsMissing 紧急 HBase系统表目录或文件丢失 请参考《MapReduce服务用户指南》的“ALM19012 HBase系统表目录或文件丢失”章节。 HBase服务重启/启动失败。 Hive服务不可用 hiveServiceUnavailable 紧急 Hive服务不可用 请参考《MapReduce服务用户指南》的“ALM16004 Hive服务不可用”章节。 Hive无法提供数据加载，查询，提取服务。 Hive数据仓库被删除 hiveDataWarehouseIsDeleted 紧急 Hive数据仓库被删除 请参考《MapReduce服务用户指南》的“ALM16045 Hive数据仓库被删除”章节。 Hive默认数据仓库被删除，会导致在默认数据仓库中创建库、创建表失败，影响业务正常使用。 Hive数据仓库权限被修改 hiveDataWarehousePermissionIsModified 紧急 Hive数据仓库权限被修改 请参考《MapReduce服务用户指南》的“ALM16046 Hive数据仓库权限被修改”章节。 Hive默认数据仓库的权限被修改，会影响当前用户，用户组，其他用户在默认数据仓库中创建库、创建表等操作的操作权限范围。会扩大或缩小权限。 HiveServer已从Zookeeper注销 hiveServerHasBeenDeregisteredFromZookeeper 重要 HiveServer已从Zookeeper注销 请参考《MapReduce服务用户指南》的“ALM16047 HiveServer已从Zookeeper注销”章节。 当无法在Zookeeper上读取到Hive的配置，将会导致HiveServer不可用。 tez或者spark库路径不存在 tezlibOrSparklibIsNotExist 重要 tez或者spark库路径不存在 请参考《MapReduce服务用户指南》的“ALM16048 Tez或者Spark库路径不存在”章节。 Tez或者Spark库路径不存在，会影响Hive on Tez，Hive on Spark的功能。 Hue服务不可用 hueServiceUnavailable 紧急 Hue服务不可用 请参考《MapReduce服务用户指南》的“ALM20002 Hue服务不可用”章节。 系统无法提供数据加载，查询，提取服务。 Impala服务不可用 impalaServiceUnavailable 紧急 Impala服务不可用 请参考《MapReduce服务用户指南》的“ALM29000 Impala服务不可用”章节。 Impala服务异常，无法通过FusionInsight Manager对Impala进行集群操作，无法使用Impala服务功能。 Kafka服务不可用 kafkaServiceUnavailable 紧急 Kafka服务不可用 请参考《MapReduce服务用户指南》的“ALM38000 Kafka服务不可用”章节。 集群无法对外提供Kafka服务，用户无法执行新的Kafka任务。 Kafka默认用户状态异常 statusOfKafkaDefaultUserIsAbnormal 紧急 Kafka默认用户状态异常 请参考《MapReduce服务用户指南》的“ALM38007 Kafka默认用户状态异常”章节。 Kafka默认用户状态异常，会影响Broker之间的元数据同步，以及Kafka与ZooKeeper之间的交互，进而影响业务生产、消费和Topic的创建、删除等操作。 Kafka数据目录状态异常 abnormalKafkaDataDirectoryStatus 重要 Kafka数据目录状态异常 请参考《MapReduce服务用户指南》的“ALM38008 Kafka数据目录状态异常”章节。 Kafka数据目录状态异常，会导致该数据目录上所有Partition的当前副本下线，多个节点同时出现数据目录状态异常，可能会导致部分Partition不可用。 存在单副本的Topic topicsWithSingleReplica 警告 存在单副本的Topic 请参考《MapReduce服务用户指南》的“ALM38010 存在单副本的Topic”章节。 单副本的Topic存在单点故障风险，当副本所在节点异常时，会直接导致Partition没有leader，影响该Topic上的业务。 KrbServer服务不可用 krbServerServiceUnavailable 紧急 KrbServer服务不可用 请参考《MapReduce服务用户指南》的“ALM25500 KrbServer服务不可用”章节。 告警发生时，不能对集群中的组件KrbServer进行任何操作。其它组件的KrbServer认证将受影响。集群中依赖KrbServer的组件运行状态将为故障。 Kudu服务不可用 kuduServiceUnavailable 紧急 Kudu服务不可用 请参考《MapReduce服务用户指南》的“ALM29100 Kudu服务不可用”章节。 用户无法使用Kudu服务。 LdapServer服务不可用 ldapServerServiceUnavailable 紧急 LdapServer服务不可用 请参考《MapReduce服务用户指南》的“ALM25000 LdapServer服务不可用”章节。 告警发生时，不能对集群中的KrbServer和LdapServer用户进行任何操作。 例如，无法在FusionInsight Manager页面添加、删除或修改任何用户、用户组或角色，也无法修改用户密码。集群中原有的用户验证不受影响。 LdapServer数据同步异常 abnormalLdapServerDataSynchronization 紧急 LdapServer数据同步异常 请参考《MapReduce服务用户指南》的“ALM25004 LdapServer数据同步异常”章节。 LdapServer数据不一致时，有可能是Manager上的LdapServer数据损坏，也有可能是集群上的LdapServer数据损坏，此时数据损坏的LdapServer进程将无法对外提供服务，影响Manager和集群的认证功能。 Nscd服务异常 nscdServiceIsAbnormal 重要 Nscd服务异常 请参考《MapReduce服务用户指南》的“ALM25005 Nscd服务异常”章节。 nscd服务异常时，可能会影响该节点从LdapServer上同步数据，此时，使用id命令可能会获取不到Ldap中的数据，影响上层业务。 Sssd服务异常 sssdServiceIsAbnormal 重要 Sssd服务异常 请参考《MapReduce服务用户指南》的“ALM25006 Sssd服务异常”章节。 sssd服务异常时，可能会影响该节点从LdapServer上同步数据，此时，使用id命令可能会获取不到ldap中的数据，影响上层业务。 Loader服务不可用 loaderServiceUnavailable 紧急 Loader服务不可用 请参考《MapReduce服务用户指南》的“ALM23001 Loader服务不可用”章节。 如果Loader服务不可用，数据加载，导入，转换的功能也不可用。 Oozie服务不可用 oozieServiceUnavailable 紧急 Oozie服务不可用 请参考《MapReduce服务用户指南》的“ALM17003 Oozie服务不可用”章节。 无法使用Oozie服务提交作业。 Ranger服务不可用 rangerServiceUnavailable 紧急 Ranger服务不可用 请参考《MapReduce服务用户指南》的“ALM45275 Ranger服务不可用”章节。 当Ranger服务不可用时，Ranger无法正常工作，Ranger原生UI无法访问。 RangerAdmin状态异常 abnormalRangerAdminStatus 重要 RangerAdmin状态异常 请参考《MapReduce服务用户指南》的“ALM45276 RangerAdmin状态异常”章节。 当存在单个RangerAdmin状态异常时，不影响Ranger原生UI访问；当两个RangerAdmin状态异常时，Ranger原生UI无法访问，无法执行创建、修改、删除策略等操作。 Spark2x服务不可用 spark2xServiceUnavailable 紧急 Spark2x服务不可用 请参考《MapReduce服务用户指南》的“ALM43001 Spark2x服务不可用”章节。 用户提交的Spark任务执行失败。 Storm服务不可用 stormServiceUnavailable 紧急 Storm服务不可用 请参考《MapReduce服务用户指南》的“ALM26051 Storm服务不可用”章节。 集群无法对外提供Storm服务，用户无法执行新的Storm任务。 ZooKeeper服务不可用 zooKeeperServiceUnavailable 紧急 ZooKeeper服务不可用 请参考《MapReduce服务用户指南》的“ALM13000 ZooKeeper服务不可用”章节。 ZooKeeper无法为上层组件提供协调服务，依赖ZooKeeper的组件可能无法正常运行。 ZooKeeper中组件顶层目录的配额设置失败 failedToSetTheQuotaOfTopDirectoriesOf ZooKeeperComponent 次要 ZooKeeper中组件顶层目录的配额设置失败 请参考《MapReduce服务用户指南》的“ALM13005 ZooKeeper中组件顶层目录的配额设置失败”章节。 组件可以向对应的ZooKeeper顶层目录中写入大量数据，导致Zookeeper服务不可用。

服务 认证方式 ClickHouse simple认证 Flume 无认证 HBase WebUI：无认证 客户端：simple认证 HDFS WebUI：无认证 客户端：simple认证 Hive simple认证 Hue 用户名密码认证 Kafka 无认证 Loader WebUI：用户名密码认证 客户端：无认证 Mapreduce WebUI：无认证 客户端：无认证 Oozie WebUI：用户名密码认证 客户端：simple认证 Spark2x WebUI：无认证 客户端：simple认证 Storm 无认证 Yarn WebUI：无认证 客户端：simple认证 ZooKeeper simple认证

参数 参数说明 填写示例 数据源类型 支持选择以下类型： StructFile类型：METADATE、FTP、SFTP、LOCAL DB类型：MYSQL、ORACLE、POSTGRESQL、UXDB、MSSQL、MARIADB、INFORMIX、SYBASE、DM、DB2、GBASE、CACHEDB、KINGBASE、OSCAR、OCEANBASE、GOLDENDB、TIDB、MYCAT、DBLE、DRDS、TELEDB、TDSQLFORMYSQL、TELEPG、REDIS、XUGUDB BigData类型：HIVE、INCEPTOR、IMPALA、MONGODB、ELASTICSEARCH、CLICKHOUSE、GREENPLUM、HBASE、ODPS、POLARDB、TERADATA、VERTICA、GAUSS100、GAUSS200、HANA、HUAWEIDLI、Doris DAM类型：DAM 说明 新增DAM类型数据源需预使用系统管理员账号在“系统管理高级配置”页面，启用“接受三方数据资产信息”。 仅MySQL、PG数据源支持IPv6 DB：MySQL 数据源名称 自定义新增的数据源名称 Test 行业模板 选择需要使用的行业模板，如何新增行业模板可参考：行业模板章节。 金融 驱动 选择当前数据源的数据库驱动版本 主机 填写数据源的主机地址，一般可填写IP地址 192.168.0.1 端口 填写数据源的主机端口 8080 库名/实例名 填写数据源的库名或实例名 Test 版本号 填写数据源的版本号 v1 账号 填写可正常访问数据源的账号 admin 密码 填写正确的密码

本章节主要介绍翼MapReduce的切换Ranger鉴权操作。 操作场景 新安装的安全模式集群默认即安装了Ranger服务并启用了Ranger鉴权，用户可以通过组件的权限插件对组件资源的访问设置细粒度的安全访问策略。若不需使用Ranger进行鉴权，管理员可在服务页面手动停用Ranger鉴权，停用Ranger鉴权后，访问组件资源时系统将继续基于FusionInsight Manager的角色模型进行权限控制。 从历史版本升级的集群，用户访问组件资源时默认不使用Ranger鉴权，管理员可在安装了Ranger服务后手动启用Ranger鉴权。 说明 安全模式集群中，支持使用Ranger鉴权的组件包括：HDFS、Yarn、Kafka、Hive、HBase、Storm、Spark2x、Impala。 非安全模式集群中，Ranger可以支持基于OS用户进行组件资源的权限控制，支持启用Ranger鉴权的组件包括：HBase、HDFS、Hive、Spark2x、Yarn。 启用Ranger鉴权后，该组件所有鉴权将由Ranger统一管理，原鉴权插件设置的权限将会失效（HDFS与Yarn的组件ACL规则仍将生效），请谨慎操作，建议提前在Ranger上做好权限部署。 停用Ranger鉴权后，该组件所有鉴权将由组件自身权限插件管理，Ranger上设置的权限将会失效，请谨慎操作，建议提前在Manager上做好权限部署。 启用Ranger鉴权 1. 登录FusionInsight Manager。 2. 选择“集群 > 服务”。 3. 单击服务视图中指定的服务名称。 4. 在服务详情页面单击“更多”，选择“启用Ranger鉴权”。 5. 输入当前登录的用户密码确认身份，单击“确定”。 6. 在服务列表，重启配置过期的服务。

本章节主要介绍权限模型。 基于角色的权限控制 FusionInsight通过采用RBAC（rolebased access control，基于角色的权限控制）方式对大数据系统进行权限管理，将系统中各组件零散的权限管理功能集中呈现和管理，对普通用户屏蔽掉了内部的权限管理细节，对管理员简化了权限管理的操作方法，提升权限管理的易用性和用户体验。 FusionInsight权限模型由“用户－用户组－角色－权限”四类对象构成。 权限模型 权限 由组件侧定义，允许访问组件某个资源的能力。不同组件针对自己的资源，有不同的权限。 例如： −HDFS针对文件资源权限，有读、写、执行等权限。 −HBase针对表资源权限，有创建、读、写等权限。 角色 组件权限的一个集合，一个角色可以包含多个组件的多个权限，不同的角色也可以拥有同一个组件的同一个资源的权限。 用户组 用户的集合，当用户组关联某个或者多个角色后，该用户组内的用户就将拥有这些角色所定义的组件权限。 不同用户组可以关联同一个角色，一个用户组也可以不关联任何角色，该用户组原则上将不具有任何组件资源的权限。 说明 部分组件针对特定的默认用户组，系统默认赋予了部分权限。 用户 系统的访问者，每个用户的权限由该用户关联的用户组和角色所对应的权限构成，用户需要加入用户组或者关联角色来获得对应的权限。 基于策略的权限控制 Ranger组件通过PBAC（policybased access control，基于策略的权限控制）方式进行权限管理，可对HDFS、Hive、HBase等组件进行更加细粒度的数据访问控制。 说明 组件同时只支持一种权限控制机制，当组件启用Ranger权限控制策略后，通过FusionInsight Manager创建的角色中关于该组件的权限将失效（HDFS与Yarn的组件ACL规则仍将生效），用户需通过Ranger管理界面添加策略进行资源的赋权。 Ranger的权限模型由多条权限策略组成，权限策略主要由以下几方面组成： 资源 组件所提供的可由用户访问的对象，例如HDFS的文件或文件夹、Yarn中的队列、Hive中的数据库/表/列等。 用户 系统的访问者，每个用户的权限由该用户关联的策略来获得。LDAP中的用户、用户组、角色信息会周期性的同步至Ranger。 权限 策略中针对资源可配置各种访问条件，例如文件的读写，具体可以配置允许条件、拒绝条件以及例外条件等。

本章节主要介绍如何进行滚动重启。 在修改了大数据组件的配置项后，需要重启对应的服务来使得配置生效，使用普通重启方式会并发重启所有服务或实例，可能引起业务断服。为了确保服务重启过程中，尽量减少或者不影响业务运行，可以通过滚动重启来按批次重启服务或实例（对于有主备状态的实例，会先重启备实例，再重启主实例）。滚动重启方式的重启时间比普通重启时间久。 使用限制 请在低业务负载时间段进行滚动重启操作。例如：在滚动重启Kafka服务时候， 如果Kafka服务业务吞吐量很高（100M/s以上的情况下），会出现Kafka服务滚动重启失败的情况。例如：在滚动重启HBase服务时候，如果原生界面上每个RegionServer上每秒的请求数超过1W，需要增大handle数来预防重启过程中负载过大导致的RegionServer重启失败。 重启前需要观察当前HBase的负载请求数（原生界面上每个rs的请求数如果超过1W，需要增大handle数来预防到时候负载不过来）。 在集群Core节点个数小于6个的情况下，可能会出现业务短时间受影响的情况。 滚动重启集群服务 1. 在控制台集群详情页面，单击“前往翼MR Manager”。 2. 进入到翼MR Manager操作界面，单击“集群服务”菜单。 3. 选择指定集群服务，单击集群服务ICON进入到集群服务的详情页面。 4. 单击“运维操作”，单击“滚动重启集群服务”。 5. 弹出确认滚动重启集群服务操作弹框，单击确定。 6. 进入到滚动重启集群服务操作页面，依次点击“下一步”，滚动重启任务完成后，单击“完成”。

数据安全 针对海量用户数据，提供如下措施保障客户数据的机密性、完整性和可用性。 容灾：翼MR产品当前数据存放在天翼云云硬盘产品中，云硬盘采用三副本冗余机制，保障上层翼MR服务数据的高容灾型。 备份：翼MR产品当前数据存放在天翼云云硬盘产品中，云硬盘具备定期备份、数据恢复等特性。 数据完整性 通过数据校验，保证数据在存储、传输过程中的数据完整性。 用户数据保存在HDFS上，HDFS默认采用CRC32C校验数据的正确性。 HDFS的DataNode节点负责存储校验数据，如果发现客户端传递过来的数据有异常（不完整）就上报异常给客户端，让客户端重新写入数据。 客户端从DataNode读数据的时候会同步检查数据是否完整，如果发现数据不完整，尝试从其它的DataNode节点上读取数据。 数据保密性 天翼云大数据平台 翼MapReduce产品中的分布式文件系统采用Apache Hadoop 3.3.3版本，提供对文件内容的加密存储功能，避免敏感数据明文存储，提升数据安全性。业务应用只需对指定的敏感数据进行加密，加解密过程业务完全不感知。在文件系统数据加密基础上，Hive实现表级加密，HBase实现列族级加密，在创建表时指定采用的加密算法，即可实现对敏感数据的加密存储。 从数据的存储加密、访问控制来保障用户数据的保密性。 HBase支持将业务数据存储到HDFS前进行压缩处理，且用户可以配置AES和SMS4算法加密存储。 各组件支持本地数据目录访问权限设置，无权限用户禁止访问数据。 所有集群内部用户信息提供密文存储。

本章节主要介绍Flink作业相关问题中有关使用咨询的问题。 DLI Flink作业支持哪些数据格式和数据源 DLI Flink作业支持如下数据格式： Avro，Avromerge，BLOB，CSV，EMAIL，JSON，ORC，Parquet，XML。 DLI Flink作业支持如下数据源： CloudTable HBase，CloudTable OpenTSDB，CSS Elasticsearch，DCS，DDS，DIS，DMS，DWS，EdgeHub，MRS HBase，MRS Kafka，开源Kafka，文件系统，OBS，RDS，SMN。 如何给子用户授权查看Flink作业？ 子用户使用DLI时，可以查看队列，但是不能查看Flink作业，可以通过在DLI中对子用户授权，或在IAM中对子用户授权： DLI授权管理 1.使用租户账号，或者作业owner账号，或有DLI Service Administrator权限的账号，登录DLI控制台。 2.在“作业管理”>“Flink作业”页面找到对应的作业。 3.在对应作业的“操作”栏中选择“更多”>“权限管理”。 4.在“授权”页面输入需要授权的用户名，勾选需要的权限。确认后，被授权用户就可以查看该作业，并且执行对应操作。 IAM授权管理 1.登录统一身份认证IAM控制台，在“权限”页面，单击“创建自定义权限”。 2.为查看DLI Flink作业创建权限策略： 策略名称：可以使用默认名称，也可以自定义。 作用范围：选择“项目级服务”。 策略配置方式：选择“可视化视图”。 策略内容：依次选择“允许”，“数据湖探索”，“dli:jobs:listall”。 单击“确认”，创建策略。 3.在“用户组”页面，找到需要授权的用户所属的用户组，单击用户组名称，进入用户组“权限管理”页面，单击“配置权限”。 4.为对应的用户组授权： 在以下作用范围：选择“区域级项目”。 拥有以下权限：勾选b中创建的权限策略。 或者勾选系统角色“DLI Service Admin”（权限较大，拥有DLI所有权限）也可以实现Flink作业的查看。

参数名 描述 用户名 指定当前的用户名，长度为3~32个字符，可包含数字、字母、下划线（）、中划线（）和空格。 “用户名”不能与集群各节点所有操作系统用户名相同，否则此用户无法正常使用。 不支持创建两个名称相同但大小写不同的用户。例如已创建用户“User1”，无法创建用户“user1”。使用“User1”时请输入正确的用户名。 用户类型 可选值包括“人机”和“机机”。 “人机”用户：用于在FusionInsight Manager的操作运维场景，以及在组件客户端操作的场景。选择该值需同时填写“密码”和“确认密码”。 “机机”用户：用于应用开发的场景。选择该值用户密码随机生成，无需填写。 密码 选择“人机”用户需填写“密码”。密码必须包含8~64个字符，至少包含以下类型字符中的四种：大写字母、小写字母、数字、特殊字符和空格。不能与用户名或倒序的用户名相同。 确认密码 再次输入密码。 用户组 单击“添加”，选择对应用户组将用户添加进去。 如果用户组添加了角色，则用户可获得对应角色中的权限。 例如，为新用户分配Hive的权限，请将用户加入Hive组。 主组 选择一个组作为用户创建目录和文件时的主组。下拉列表包含“用户组”中勾选的全部组。 角色 单击“添加”为用户绑定租户的角色。 说明 若一个用户想要获取使用“tenant1”租户包含的资源，且能够为“tenant1”租户添加/删除子租户，则需要同时绑定“Managertenant”和“tenant1 集群ID ”两个角色。 如果租户关联了HBase服务且当前集群启用了Ranger鉴权，用户需要通过Ranger界面配置HBase相关执行权限。 描述 配置当前用户的描述信息。

创建角色和用户 开启Kerberos认证的集群，必须通过以下步骤创建一个用户并分配相应权限来允许用户执行程序。 1.在Manager界面选择“系统 > 权限 > 角色”。 2.单击“添加角色”，详情请参见下方 创建角色 。 填写如下信息： 填写角色的名称，例如mrrole。 在“配置资源权限”选择待操作的集群，然后选择“Yarn > 调度队列 > root”，勾选“权限”列中的“提交”和“管理”，勾选完全后，不要单击确认，要单击如下图的待操作的集群名，再进行后面权限的选择。 选择“HBase > HBase Scope > global”，勾选“权限”列的“创建”、“读”、“写”和“执行”，勾选完全后，不要单击确认，要单击如下图的待操作的集群名，再进行后面权限的选择。 选择“HDFS > 文件系统 > hdfs://hacluster/”，勾选“权限”列的“读”、“写”和“执行”，勾选完全后，不要单击确认，要单击如下图的待操作的集群名，再进行后面权限的选择。 选择“Hive > Hive读写权限 > default”，勾选“权限”列的“查询”、“删除”、“插入”和“建表”，单击“确定”，完成角色的创建。 3.选择“系统 > 权限 > 用户组 > 添加用户组”，为样例工程创建一个用户组，例如mrgroup，详情请参见下方 创建用户组 。 4.选择“系统 > 权限 > 用户 > 添加用户”，为样例工程创建一个用户，详情请参见下方 创建用户 。 填写用户名，例如 test ，当需要执行Hive程序时，请设置用户名为“hiveuser”。 用户类型为“人机”用户。 输入密码（特别注意该密码在后面运行程序时要用到）。 加入用户组mrgroup和supergroup。 设置其“主组”为supergroup，并绑定角色mrrole取得权限。 单击“确定”完成用户创建。 5.选择“系统 > 权限 > 用户”，选择新建用户 test ，选择“更多 > 下载认证凭据”，保存后解压得到用户的keytab文件与krb5.conf文件。