此小节介绍数据库安全相关术语解释。 可用区（AZ） 一个可用区是一个或多个物理数据中心的集合，有独立的风火水电，AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 非关系型数据库 按照非关系型数据结构来联系和组织的数据库。按不同的数据结构，可细分为以下几种：键值存储数据库（keyvalue）、列存储（Columnoriented）数据库、面向文档（DocumentOriented）数据库、图形数据库。常用非关系型数据库有：Memcached、Redis、MongoDB、Cassandra、HBase、MemacheDB、BerkeleyDB等。 非系统数据库 非系统数据库是指除系统数据库以外的数据库，比如用户自建数据库。 内存数据库 将数据放在内存中直接操作的数据库。相对于磁盘，内存的数据读写速度要高出几个数量级，将数据保存在内存中相比从磁盘上访问能够极大地提高应用的性能。 SQL注入 SQL注入攻击是一种常见的Web攻击方法，攻击者通过把SQL命令注入到Web后台数据库的查询字符串中，最终达到欺骗服务器执行恶意SQL命令的目的。例如可以从数据库获取敏感信息，或者利用数据库的特性执行添加用户、导出文件等一系列恶意操作，甚至有可能获取数据库乃至系统用户最高权限。 正则表达式 用于指定和识别文本字符串（如特定字符，单词或字符模式）的一种简洁而灵活的方式。正则表达式模式是包含下列字段的对象：名称和正则表达式定义字符串。

数据库安全审计支持对云上的RDS关系型数据库、ECS/BMS自建数据库进行审计。 购买数据库安全审计实例后，您需要将待审计的数据库添加至数据库安全审计实例中。 前提条件 已成功购买数据库安全审计实例，且实例的状态为“运行中”。 添加数据库 1. 登录管理控制台。 2. 单击右上角的，选择区域。 3. 选择“安全 > 数据库安全服务”，进入数据库安全防护实例列表界面。 4. 在左侧导航树中，选择“数据库安全审计 > 数据库列表”，进入数据库列表界面。 5. 在“选择实例”下拉列表框中，选择需要添加数据库的实例。 6. 在数据库列表框左上方，单击“添加数据库”。 7. 在弹出的对话框中，设置数据库的信息，如图所示，相关数据库参数说明所示，添加数据库对话框。 8. 单击“确定”，数据库列表中将新增一条“审计状态”为“已关闭”的数据库。 注意 数据库添加完成后，请您确认添加的数据库信息正确。如果数据库信息不正确，请您在数据库所在行单击“删除”，删除数据库后，再重新添加数据库。 数据库参数说明 参数名称 说明 取值样例 数据库名称 您可以自定义添加的数据库的名称。 test1 IP地址 添加的数据库的IP地址。IP必须为内网IP地址，支持IPv4和IPv6格式。 IPv4：192.168.1.1 IPv6：fe80:0000:0000:0000:0000:0000:0000:0000 数据库类型 支持的数据库类型，您可以选择以下类型： MYSQL ORACEL POSTGRESQL SQLSERVER DWS TAURUS GaussDB DAMENG KINGBASE MongoDB Hbase SHENTONG GBase 8a GBase XDM Custer Greenpum HighGo Mariadb说明当数据库类型选择ORACE时，待审计的应用程序需重启，重新登录数据库。 MySQL 端口 添加的数据库的端口。 3306 数据库版本 支持的数据库版本。 当“数据库类型”选择“MYSQL”时，您可以选择以下版本： 当“数据库类型”选择“ORACEL”时，您可以选择以下版本：− 11g − 12c − 19c 当“数据库类型”选择“POSTGRESQL”时，您可以选择以下版本：− 7.4 − 8.0 8.0、8.1、8.2、8.3、8.4 − 9.0 9.0、9.1、9.2、9.3、9.4、9.5、9.6 − 10.0 10.0、10.1、10.2、10.3、10.4、10.5 − 11.0 − 12.0 − 13.0 当“数据库类型”选择“SQLSERVER”时，您可以选择以下版本：− 2008 − 2012 − 2014 − 2016 − 2017
数据库类型”选择“DWS”时，您可以选择以下版本：− 1.5 当“数据库类型”选择“TAURUS”时，您可以选择以下版本：− MySQL 8.0 当“数据库类型”选择“GaussDB”时，您可以选择以下版本：− 1.4企业版 当“数据库类型”选择“DAMENG”时，您可以选择以下版本：− DM8 当“数据库类型”选择“KINGBASE”时，您可以选择以下版本：− V8 5.0 实例名 您可以指定需要审计的数据库的实例名称。说明 如果实例名为空，数据库安全审计将审计数据库中所有的实例。 如果填写实例名，数据库安全审计将审计填写的实例，最多可填写5个实例名，且实例名以“;”分隔。 选择字符集 支持的数据库字符集的编码格式，您可以选择以下编码格式： UTF8 GBK UTF8 操作系统 添加的数据库运行的操作系统，您可以选择以下操作系统： INUX64 WINDOWS64 INUX64 数据库类别 选择添加的数据库类别，“RDS数据库”或“自建数据库”。 RDS数据库

本章节主要介绍如何快速创建一个HBase查询集群。 本章节为您介绍如何快速创建一个HBase查询集群，HBase集群使用Hadoop和HBase组件提供一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值。 快速创建HBase查询集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息，参数详细信息请参考创建自定义集群。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20180321”。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：选择“HBase查询集群”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 集群高可用：默认即可。MRS 3.x版本暂时不支持该参数。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权，通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态 部分 集群列表参数中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

数据脱敏适配数据的类型有哪些？ 数据脱敏与水印系统适配于目前市场中常见的数据类型，可高效满足目前市场中不同行业对不同数据类型脱敏或水印溯源的要求。此外数据脱敏与水印系统不仅支持xls、xlsx、csv、dmp等结构化数据文件的脱敏及水印处理，还支持word、txt、xml、json等半/非结构化文件的脱敏处理。 数据类型 支持的数据 传统型数据库 MYSQL、GOLDENDB、TIDB、MYCAT、 DBLE、 DRDS 、 TELEDB、 TDSQLFORMYSQL、 ORACLE、 OCEANBASE、 POSTGRESQL、 TELEPG、 MsSQL(SQLServer)、 MARIADB、 INFORMIX、 SYBASE、DB2、 CHCHEDB、 HANA 非关系型数据库 ElasticSearch、MongoDB、ClickHouse 云数据库+大数据组件 HIVE、 星环(INCEPTOR)、 IMPALA、 GREENPLUM、 HBASE、 ODPS(Maxcompute)、 TERADATA、 VERTICA、 DORIS 国产数据库 南大通用(GBASE)、达梦(DM)、人大金仓(KINGBASE)、 高斯DBT(Gauss100)、 高斯DBA(Gauss200)、神通(Oscar)、 瀚高(HighGo)、优炫(UXDB) StructFile FTP (支持csv/xls/xlsx/txt/del/dbf格式)、SFTP(同FTP)、 LOCAL(同FTP)、ORACLEDMP、MYSQLDMP 数据分类分级系统支持的数据类型 数据类型 支持的数据 传统型数据库 Oracle、DB2、MySQL、MariaDB、SQLServer（MsSQL）、PostgreSQL、Informix、Sybase、CacheDB、HANA 非关系型数据库 ElasticSearch、MongoDB、ClickHouse 云数据库+大数据组件 ODPS(MaxCompute)、GaussDB、Teradata、Greenplum、Hive、Hbase、CDH、TDH、IMPALA、DRDS、RDS、Vertica、PolarDB 国产数据库 高斯DBT（GAUSS100）、高斯DBA（GAUSS200）、达梦（DM）、南大通用（GBASE）、人大金仓（KINGBASE）、OceanBase、TiDB、优炫数据库（UXDB） 文件传输协议 FTP、SFTP、Local（本地上传）

备份类型 备份内容 备份目录类型 HBase 备份表级别的用户数据。对于安装了多服务的集群，支持多个HBase服务实例的备份恢复功能且备份恢复操作与HBase服务实例一致。 l RemoteHDFS l NFS l CIFS l SFTP HDFS 备份用户业务对应的目录或文件。 说明 加密目录不支持备份恢复。 l RemoteHDFS l NFS l CIFS l SFTP Hive 备份表级别的用户数据。对于安装了多服务的集群，支持多个Hive服务实例的备份恢复功能且备份恢复操作与Hive服务实例一致。 l RemoteHDFS l NFS l CIFS l SFTP

文件格式问题解决方法 1.数据库的数据导出到CSV文件，由于数据中含有分隔符逗号，造成导出的CSV文件中数据混乱。 CDM提供了以下几种解决方法： a.指定字段分隔符 使用数据库中不存在的字符，或者是极少见的不可打印字符来作为字段分隔符。例如：可以在目的端指定“字段分隔符”为“%01”，这样导出的字段分隔符就是“u0001”，详情可见表上表 特殊字符对应的 URL 编码。 b.使用包围符 在目的端作业参数中开启“使用包围符”，这样数据库中如果字段包含了字段分隔符，在导出到CSV文件的时候，CDM会使用包围符将该字段括起来，使之作为一个字段的值写入CSV文件。 2.数据库的数据包含换行符 场景：使用CDM先将MySQL中的某张表（表的某个字段值中包含了换行符n）导出到CSV格式的文件中，然后再使用CDM将导出的CSV文件导入到MRS HBase，发现导出的CSV文件中出现了数据被截断的情况。 解决方法：指定换行符。 在使用CDM将MySQL的表数据导出到CSV文件时，指定目的端的换行符为“%01”（确保这个值不会出现在字段值中），这样导出的CSV文件中换行符就是“%01”。然后再使用CDM将CSV文件导入到MRS HBase时，指定源端的换行符为“%01”，这样就避免了数据被截断的问题。

类别 默认用户 初始密码 描述 组件运行用户 hdfs Hdfs@123 HDFS系统管理员，用户权限： 1. 文件系统操作权限： l 查看、修改、创建文件 l 查看、创建目录 l 查看、修改文件属组 l 查看、设置用户磁盘配额 2. HDFS管理操作权限： l 查看webUI页面状态 l 查看、设置HDFS主备状态 l 进入、退出HDFS安全模式 l 检查HDFS文件系统 组件运行用户 hbase Hbase@123 HBase系统管理员，用户权限： l 集群管理权限: 表的Enable、Disable操作，触发MajorCompact，ACL操作 l 授权或回收权限，集群关闭等操作相关的权限 l 表管理权限: 建表、修改表、删除表等操作权限 l 数据管理权限：表级别、列族级别以及列级别的数据读写权限 l 访问HBase WebUI的权限 组件运行用户 mapred Mapred@123 MapReduce系统管理员，用户权限： l 提交、停止和查看MapReduce任务的权限 l 修改Yarn配置参数的权限 l 访问Yarn、MapReduce WebUI的权限 组件运行用户 spark Spark@123 Spark系统管理员，用户权限： l 访问Spark WebUI的权限 l 提交Spark任务的权限

数据源类型 样例 CSS spark.driver.extraClassPath/usr/share/extension/dli/sparkjar/datasource/css/ spark.executor.extraClassPath/usr/share/extension/dli/sparkjar/datasource/css/ DWS spark.driver.extraClassPath/usr/share/extension/dli/sparkjar/datasource/dws/ spark.executor.extraClassPath/usr/share/extension/dli/sparkjar/datasource/dws/ HBase spark.driver.extraClassPath/usr/share/extension/dli/sparkjar/datasource/hbase/ spark.executor.extraClassPath/usr/share/extension/dli/sparkjar/datasource/hbase/ OpenTSDB park.driver.extraClassPath/usr/share/extension/dli/sparkjar/datasource/opentsdb/ spark.executor.extraClassPath/usr/share/extension/dli/sparkjar/datasource/opentsdb/ RDS spark.driver.extraClassPath/usr/share/extension/dli/sparkjar/datasource/rds/ spark.executor.extraClassPath/usr/share/extension/dli/sparkjar/datasource/rds/ Redis spark.driver.extraClassPath/usr/share/extension/dli/sparkjar/datasource/redis/ spark.executor.extraClassPath/usr/share/extension/dli/sparkjar/datasource/redis/

本章节主要介绍数据治理中心DataArts Studio的主要功能特性。 数据集成：多种方式异构数据源高效接入DataArts Studio数据集成支持批量数据迁移和实时数据接入两种方式。 批量数据迁移 批量数据迁移提供20+同构/异构数据源之间批量数据迁移的功能，帮助您实现数据自由流动。支持自建和云上的文件系统，关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。 批量数据迁移基于分布式计算框架，利用并行化处理技术，支持用户稳定高效地对海量数据进行移动，实现不停服数据迁移，快速构建所需的数据架构。 详见下图：批量数据迁移 批量数据迁移提供全向导式任务管理界面，帮助用户在几分钟内完成数据迁移任务的创建，轻松应对复杂迁移场景。批量数据迁移支持的功能主要有： 表/ 文件/ 整库迁移 支持批量迁移表或者文件，还支持同构/异构数据库之间整库迁移，一个作业即可迁移几百张表。 增量数据迁移 支持文件增量迁移、关系型数据库增量迁移、HBase增量迁移，以及使用Where条件配合时间变量函数实现增量数据迁移。 事务模式迁移 支持当迁移作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 字段转换 支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。

参数 是否必填 参数类型 说明 示例 下级对象 prodType 是 String 产品类型，0UNKNOWN, 1RDS, 2NoSql, 3TOOL, 4MemDB, 5AnalyticDB prodCode 是 String 产品编码，取值范围：HBASE/DDS/HBASE/MYSQL/POSTGRESQL/SQLSERVER regionId 是 String 区域id instanceType 是 String 通用型1，计算增强型2，内存优化型3，海光通用型4，海光计算增强型5,海光内存优化型6,鲲鹏通用型7，鲲鹏计算增强型8,鲲鹏内存优化型9

本章节主要介绍ALM24005 Flume传输数据异常的告警。 告警解释 告警模块对Flume Channel的容量状态进行监控，当Channel满的时长超过阈值，或Source向Channel放数据失败的次数超过阈值后，系统即时上报告警。 默认阈值为10，用户可通过conf目录下的配置文件properties.properties修改阈值：修改对应channel的“channelfullcount”参数。 当Flume Channel空间被释放，且告警处理完成时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 24005 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 主机名 产生告警的主机名。 AgentId 产生告警的Agent id。 部件类型 产生告警的元素类型。 部件名 产生告警的元素名称。 对系统的影响 Flume Channel的磁盘空间使用量有继续增长的趋势，将会使数据导入到指定目的地的时间增长，当Flume Channel的磁盘空间使用量达到100%时会导致Flume Agent进程暂停工作。 可能原因 Flume Sink故障，导致数据无法发送。 网络故障，导致数据无法发送。 处理步骤 检查Flume Sink是否故障 1.本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“type hdfs”关键字确认Flume Sink是否是HDFS类型。 是，执行步骤2。 否，执行步骤3。 2.在FusionInsight Manager的告警列表中查看是否有“HDFS服务不可用”告警产生，服务列表中HDFS是否已停止。 是，如果有告警参考“ALM14000 HDFS服务不可用”的处理步骤处理该故障；如果HDFS已停止，启动HDFS服务，执行步骤7。 否，执行步骤7。 3.本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“type hbase”关键字确认Flume Sink是否是HBase类型。 是，执行步骤4。 否，执行步骤5。 4.在FusionInsight Manager的告警列表中，查看是否有“HBase服务不可用”告警产生，服务列表中HBase是否已停止。 是，如果有告警参考“ALM19000 HBase服务不可用”的处理步骤处理该故障，如果HBase已停止，启动HBase服务。执行步骤7。 否，执行步骤7。 5.本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“org.apache.flume.sink.kafka.KafkaSink”关键字确认Flume Sink是否是Kafka类型。 是，执行步骤6。 否，执行步骤9。 6.在FusionInsight Manager的告警列表中，查看是否有“Kafka服务不可用”告警产生，服务列表中Kafka是否已停止。 是，如果有告警参考“ALM38000 Kafka服务不可用”的处理步骤处理该故障；如果Kafka已停止，启动Kafka服务，执行步骤7。 否，执行步骤7。 7.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Flume > 实例”。 8.单击进入故障节点的Flume实例页面，查看指标“Sink速度指标”，检查其速度是否为0。 是，执行步骤13。 否，执行步骤9。

授权类型 授权描述 Manager Manager访问与登录权限。 HBase HBase管理员权限设置和表、列族授权。 HDFS HDFS中的目录和文件授权。 Hive Hive Admin Privilege Hive管理员权限。 Hive Read Write Privileges Hive数据表管理权限，可设置与管理已创建的表的数据操作权限。 Hue 存储策略管理员权限。 Yarn Cluster Admin Operations Yarn管理员权限。 Scheduler Queue 队列资源管理。

配置参数 说明 缺省值 hbase.rpc.protection 设置HBase通道是否加密，包含HBase客户端访问HBase服务端的RPC（remote procedure call）通道，HMaster和RegionServer间的RPC通道。设置为“privacy”表示通道加密，认证、完整性和隐私性功能都全部开启，设置为“integrity”表示不加密，只开启认证和完整性功能，设置为“authentication”表示不加密，仅要求认证报文，不要求完整性和隐私性。 说明 privacy会对传输内容进行加密，包括用户token等敏感信息，以确保传输信息的安全，但是该方式对性能影响很大，对比另外两种方式，会带来约60%的读写性能下降。请根据企业安全要求修改配置，且客户端与服务端中该配置项需使用相同设置。 dfs.encrypt.data.transfer 设置客户端访问HDFS的通道和HDFS数据传输通道是否加密。HDFS数据传输通道包括DataNode间的数据传输通道，客户端访问DataNode的DT（Data Transfer）通道。设置为“true”表示加密，默认不加密。 “false” dfs.encrypt.data.transfer.algorithm 设置客户端访问HDFS的通道和HDFS数据传输通道是否加密。只有在dfs.encrypt.data.transfer配置项设置为true，此参数才会生效。 缺省值为“3des”，表示采用3DES算法进行加密。此处的值还可以设置为“rc4”，避免出现安全隐患，不推荐设置为该值。 “3des” hadoop.rpc.protection 设置Hadoop中各模块的RPC通道是否加密。包括： 客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道，如DataNode与NameNode间。 客户端访问Yarn的RPC通道。 NodeManager和ResourceManager间的RPC通道。 Spark访问Yarn，Spark访问HDFS的RPC通道。 MapReduce访问Yarn，Mapreduce访问HDFS的RPC通道。 HBase访问HDFS的RPC通道。 默认设置为“privacy”表示加密，“authentication”表示不加密。 说明 您可以在HDFS组件的配置界面中设置该参数的值，设置后全局生效，即Hadoop中各模块的RPC通道是否加密全部生效。 安全模式：privacy 普通模式：authentication

本页为您介绍数据库专家服务的产品优势。 数据库专家服务产品优势主要体现在下面几个方面： 团队技术实力雄厚 天翼云数据库内核研发专家及MySQL、PostGreSQL、HBase、Clickhouse、MongoDB等技术专家直接提供一站式服务，解决客户各类疑难问题。 团队经验丰富 数据库专家服务团队成员深耕数据库领域，在数据库架构规划设计、性能调优、应急响应等方面有丰富经验。 大厂级别护航 天翼云数据库专家服务团队参与中国电信核心系统大型流量业务护航，同时对政务、物联网、新能源、医疗等业务提供支持。 对各类大、中、小型业务数据库的设计、实施、运维、优化拥有丰富的解决方案。 全方位的售后服务 全网节点实时监控，724小时技术支持，保障服务高可用。

本章节主要介绍翼MapReduce服务的集群管理功能。 集群生命周期管理 翼MR支持集群的生命周期管理包括创建集群和删除集群。 创建集群：支持用户定制集群的类型，组件范围，各类型的节点数、虚拟机规格、可用区、VPC网络、认证信息，翼MR将为用户自动创建一个符合配置的集群，全程无需用户参与；同时支持用户在集群中运行自定义内容；支持快速创建多应用场景集群，比如创建Hadoop分析集群、HBase集群、Kafka集群。大数据平台同时支持部署异构集群，在集群中存在不同规格的虚机，允许在CPU类型，硬盘容量，硬盘类型，内存大小灵活组合。在集群中支持多种虚机规格混合使用。 删除集群：当按需计费的集群不再需要时（包括集群中的数据和配置），用户可以选择删除集群，翼MR会将集群相关的资源全部删除。 创建集群 通过在翼MR服务管理面，客户可以按需创建翼MR集群，通过选择集群所建的区域及使用的云资源规格，一键式创建适合企业业务的翼MR集群。翼MR服务会根据用户选择的集群类型、版本和节点规格，帮助客户自动完成企业级大数据平台的安装部署和参数调优。 翼MR服务为客户提供完全可控的大数据集群，客户在创建时可设置虚拟机的登录方式（密码或者密钥对），所创建的翼MR集群资源完全归客户所用。同时翼MR支持在最小可在两节点4U8G的ECS上部署大数据集群，为客户测试开发提供更多的灵活选择。 翼MR集群类型包括分析集群、流式集群和混合集群。 分析集群：用来做离线数据分析，提供的是Hadoop体系的组件。 流式集群：用来做流处理任务，提供的是流式处理组件。 混合集群：既可以用来做离线数据分析，又可以用来做流处理任务，提供的是Hadoop体系的组件和流式处理组件。 自定义：根据业务需求，可以灵活搭配所需组件（翼MR 3.x及后续版本）。 翼MR集群节点类型包括Master节点、Core节点和Task节点。 Master节点：集群中的管理节点，分布式系统的Master进程和Manager以及数据库均部署在该节点；该类型节点不可扩容。该类型节点的处理能力决定了整个集群的管理上限，MRS服务支持将Master节点规格提高，以支持更大集群的管理。 Core节点：支持存储和计算两种目标的节点，可扩容、缩容。因承载的数据存储，因此在缩容时，为保证数据不丢失，有较多限制，无法进行弹性伸缩。 Task节点：仅用于计算的节点，可扩容、缩容。因只承载计算任务，因此可以进行弹性伸缩。 翼MR创建集群方式支持自定义创建集群和快速创建集群两种。 自定义创建集群：自定义创建可以灵活地选择计费模式、配置项，针对不同的应用场景，可以选择不同规格的弹性云服务器，全方位贴合您的业务诉求。 快速创建集群：用户可以根据应用场景，快速创建对应配置的集群，提高了配置效率，更加方便快捷。当前支持快速创建Hadoop分析集群、HBase集群、Kafka集群。 − Hadoop分析集群：Hadoop分析集群完全使用开源Hadoop生态，采用YARN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flink流式数据计算，Presto交互式查询，Tez有向无环图的分布式计算框等Hadoop生态圈的组件，进行海量数据分析与查询。 − HBase集群：HBase集群使用Hadoop和HBase组件提供一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值。 − Kafka集群：Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量，可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景，实现高效的流式数据采集，实时数据处理存储等。

表格存储服务（CloudTable ）和HBase数据源约束 1. CloudTable或HBase作为源端时，CDM会读取表的首行数据作为字段列表样例，如果首行数据未包含该表的所有字段，用户需要自己手工添加字段。 2. 由于HBase的无Schema技术特点，CDM无法获知数据类型，如果数据内容是使用二进制格式存储的，CDM会无法解析。 Hive数据源约束 Hive作为迁移的目的时，如果存储格式为Textfile，在Hive创建表的语句中需要显式指定分隔符。例如： CREATE TABLE csvtbl(smallintvalue smallint,tinyintvalue tinyint,intvalue int,bigintvalue bigint,floatvalue float,doublevalue double,decimalvalue decimal(9, 7),timestmampvalue timestamp,datevalue date,varcharvalue varchar(100),stringvalue string,charvalue char(20),booleanvalue boolean,binaryvalue binary,varcharnull varchar(100),stringnull string,charnull char(20),intnull int)ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'WITH SERDEPROPERTIES ("separatorChar" "t","quoteChar" "'","escapeChar" "")STORED AS TEXTFILE;

本章节主要介绍翼MapReduce的静态服务资源操作。 简介 集群分配给各个服务的资源是静态服务资源，这些服务包括Flume、HBase、HDFS和Yarn。每个服务的计算资源总量固定，不与其他服务共享，是静态的。租户通过独占或共享一个服务来获取这个服务运行时需要的资源。 静态服务池 静态服务池用来指定服务资源的配置。 在服务级别上，静态服务池对各服务可使用的资源进行统一管理： 限制服务使用的资源总量，支持配置Flume、HBase、HDFS和Yarn在部署节点可使用的CPU、I/O和内存总量。 实现服务级别的资源隔离，可将集群中的服务与其他服务隔离，使一个服务上的负载对其他服务产生的影响有限。 调度机制 静态服务资源支持基于时间的动态调度机制，可以在不同时间段为服务配置不同的资源量，优化客户业务运行环境，提高集群的效率。 在一个复杂的集群环境中，多种服务共享使用集群资源，但是各服务的资源使用周期可能会有比较大的区别。 例如以下业务场景，对于一个银行客户： 在白天HBase查询服务的业务多。 在晚上查询服务的业务少而Hive分析服务业务多。 如果只给每个服务设置固定的资源可能会导致： 白天查询服务的资源不够用，分析服务的资源空闲。 晚上分析服务的资源不够用，查询服务的资源空闲。 集群资源利用率不高，而且服务能力也打了折扣。因此： 白天多配置HBase服务资源。 晚上多配置Hive服务资源。 这种基于时间的动态调度机制可以更高效的利用资源，运行任务。

组件 配置文件目录 ClickHouse 客户端安装路径 /ClickHouse/clickhouse/config Flink 客户端安装路径 /Flink/flink/conf Flume 客户端安装目录 /fusioninsightflume xxx /conf HBase 客户端安装路径 /HBase/hbase/conf HDFS 客户端安装路径 /HDFS/hadoop/etc/hadoop Hive 客户端安装路径 /Hive/config Hudi 客户端安装路径 /Hudi/hudi/conf Kafka 客户端安装路径 /Kafka/kafka/config Loader 客户端安装路径 /Loader/loadertools xxx /loadertool/conf 客户端安装路径 /Loader/loadertools xxx /scheduletool/conf 客户端安装路径 /Loader/loadertools xxx /shellclient/conf 客户端安装路径 /Loader/loadertools xxx /sqoopshell/conf Oozie 客户端安装路径 /Oozie/oozieclient xxx /conf Spark2x 客户端安装路径 /Spark2x/spark/conf Yarn 客户端安装路径 /Yarn/config ZooKeeper 客户端安装路径 /Zookeeper/zookeeper/conf

本章节主要介绍在HDFS服务进行Master扩容后，对其他相关服务的修改建议。 前置条件 1. HDFS NameNode完成扩容与配置生效操作。 2. 配置生效后重启HDFS服务。 3. 集群状态正常。 相关服务修改建议 YARN 前往翼MR Manager，重启ResourceManager，NodeManager，JobHistory，TimelineServer实例。 Spark 前往翼MR Manager，重启SparkHistoryServer实例。 Hive 前往翼MR Manager，重启HiveServer2、MetaStore实例。 Kyuubi 前往翼MR Manager，重启Kyuubi服务。 Flink 前往翼MR Manager，重启FlinkHistoryServer实例。 HBase 前往翼MR Manager，滚动重启HBase服务。 Trino 前往翼MR Manager，重启TrinoCoordinator和TrinoWorker实例。

设备子类 设备型号 web服务 apache、jboss、tomcat、IIS、其他等 web中间件 weblogic、websphere等 数据库 oracle、DB2、sql server、mysql、postgresql、sybase、redis、mongodb、memcache、hbase、informix、domino、达梦、elasticsearch、hadoop、hive、Teradata、Impala、gbase等 FTP VSFTP、servu DNS bind、牙木 防病毒 McAfee防病毒系统、趋势防病毒系统、天融信防病毒网关、天融信防病毒等 其他 bash、wget、curl、snmp、rsync、nfs等 网管系统 HP OpenView NNM、IBM NetCool、CiscoWorks、网神网管系统等

问题现象 客户对DWS执行并发insert overwrite操作，报错：org.postgresql.util.PSQLException: ERROR: tuple concurrently updated。 原因分析 客户作业存在并发操作，同时对一张表执行两个insert overwrite操作。 一个cn在执行： TRUNCATE TABLE BIMONITOR.SAAOUTBOUNDORDERCUSTSUM 另外一个cn在执行： call bimonitor.pkgsaaoutboundmonitorpsaaoutboundordercustsum 这个函数里面有delete 和 insert SAAOUTBOUNDORDERCUSTSUM的操作。 处理步骤 修改作业逻辑，避免对同一张表并发执行insert overwrite操作。 通过跨源表向CloudTable Hbase表导入数据，executor报错：RegionTooBusyException 问题现象 客户通过DLI跨源表向CloudTable Hbase导入数据，原始数据：HBASE表，一个列簇，一个rowkey运行一个亿的模拟数据，数据量为9.76GB。导入1000W条数据后作业失败。 原因分析 1. 查看driver错误日志。 2. 查看executor错误日志。 3. 查看task错误日志。 结论：rowkey过于集中，出现了热点region。 处理步骤 1. Hbase做预分区。 2. 把rowkey散列化。 建议与总结 建议DLI在写入数据时也将数据离散化，避免大量数据写入同一个regionServer，同时，在insert语句后增加distribute by rand()。 通过DLI跨源写DWS表，非空字段出现空值异常 问题现象 客户在DWS建表，然后在DLI创建跨源连接读写该表，突然出现如下异常，报错信息显示DLI向该表某非空字段写入了空值，因为非空约束存在导致作业出错。 报错信息如下： DLI.0999: PSQLException: ERROR: dn60096010: null value in column "ctr" violates notnull constraint Detail: Failing row contains (400070309, 9.00, 25, null, 20200922, 20200923 04:30:01.741).

参考 在创建数据连接的界面上MRS Hive集群不显示？ 出现该问题的可能原因有： 1. 创建MRS集群时未选择Hive/HBase组件。 2. 创建MRS数据连接时所选择的CDM集群和MRS集群网络不互通。CDM集群作为网络代理，与MRS集群需网络互通才可以成功创建基于MRS的数据连接。 为什么Hive数据连接突然无法获取数据库或表的信息？ 可能是由于CDM集群被关闭或者并发冲突导致，您可以通过切换agent代理来临时规避此问题。

如何选择DWS或者RDS？ DWS和RDS都让您能够在云中运行传统的关系数据库，同时转移数据库管理负载。您可将RDS数据库用于联机事务处理(OLTP) ，报告和分析，对于大量数据的读（一般是复杂的只读类型查询）支持不足。DWS 利用多节点的规模和资源并使用各种优化法（ 列存，向量引擎，分布式框架等 ），专注于联机分析处理（OLAP），为传统数据库对大型数据集的分析及报告工作负荷提供了数量级改善。 当您的数据及查询的复杂性增加时，或者在您要防止报告和分析处理对OLTP工作负荷造成干扰时，DWS 可提供横向扩展能力。 您可以根据下表简单判断什么场景更适合用DWS 或RDS。 OLTP和OLAP特性比较 特性 OLTP OLAP 用户 操作人员，低层管理人员 决策人员，高级管理人员 功能 日常操作处理 分析决策 设计 面向应用 面向主题 数据 最新的，细节的，二维的，分立的 历史的，集成的，多维的，统一的 存取 读/写数十条记录 读上百万条记录 工作范围 简单的读写 复杂的查询 数据库大小 百GB TBPB级别 DWS和MRS分别应在何时使用？ 如果需要使用自定义代码通过大数据处理框架 (如Apache Spark、Hadoop或HBase) 来处理和分析超大数据集，则应该使用MRS。MRS让您能够控制集群的配置和集群上安装的软件。 DWS这类数据仓库是专为不同类型的分析而设计的。数据仓库旨在将来自多个不同来源 (如库存、财务和零售销售系统)的数据汇集在一起。为了确保整个公司的报告具有一致的准确性，数据仓库采用一种高度结构化的方式来存储数据。这种结构可将数据一致性规则直接构建到数据库的表中。同时对标准SQL，事务支持传统数据库语法有很好的兼容性。 当您需要对大量结构化数据执行复杂查询并获得超快性能时，DWS 就是理想的服务选择。

本章节主要介绍使用DataArts Studio前的准备。 在使用DataArts Studio前，您应首先进行数据与业务调研，选择合适的数据治理模型。 然后参考本章节，预先做好以下准备工作： DataArts Studio准备工作 准备数据源 准备数据湖 DataArts Studio准备工作 如果您是第一次使用DataArts Studio，请参考用户指南中的“准备工作”章节，完成创建DataArts Studio实例、创建工作空间等一系列操作。然后找到对应的工作空间，即可开始数据开发与运营。 准备数据源 在实际业务中，源端数据源大多为云下的MySQL、PostgreSQL、HBase、Hive等类型，您需要作如下准备： 确保数据源所在的主机可以访问公网。 获取数据源的公网连接地址、数据库端口、数据库管理员用户及密码等信息。 确保防火墙规则出方向已开放数据库端口，允许数据传输到云上。 准备好数据源之后，后续您可以通过数据集成将数据源迁移到数据湖底座中，然后再通过DataArts Studio进行数据开发、治理和运营等活动。 准备数据湖 在使用DataArts Studio前，您需要根据业务场景选择符合需求的云服务作为DataArts Studio的数据湖底座，用于存储原始数据和数据开发过程中的数据，并进行后续的数据开发、治理和运营等活动。DataArts Studio平台当前支持的数据湖产品请参见DataArts Studio支持的数据源。 准备好数据湖之后，您可以通过创建数据连接将DataArts Studio与数据湖底座连接起来，然后进行下方1和2的操作。1和2的操作样例可参考快速入门中的“2：准备工作”章节。

翼MR2.18.0 发布时间：2025年5月 新增Amoro与Hue组件服务 升级Doris版本至2.1.8 华南2资源池新增可用区2与可用区3 组件 版本 Doris 2.1.8 Elasticsearch 7.10.2 HBase 2.4.12 HDFS 3.3.3 Hive 3.1.2 Kafka 2.8.1 Kerberos 1.18.2 Kibana 7.10.2 Kyuubi 1.8.2 OpenLDAP 2.4.50 Ranger 2.2.0 Spark 3.4.1 Trino 440 YARN 3.3.3 ZooKeeper 3.7.1 Flink 1.16.2 Knox 1.6.1 Logstash 7.10.2 Iceberg 1.4.3 Hudi 0.14.0 JeekeFS 1.1.1 Tez 0.10.1 Flume 1.11.0 KafkaUI 1.0.0 SeaTunnel 2.3.7 Pushgateway 1.6.2 TezUI 0.10.1 Amoro 0.7.1 Hue 4.11.0 翼MR2.17.0 发布时间：2025年3月 支持物理机服务 支持麒麟系统 新增海光与鲲鹏国产云主机规格 数据湖与自定义业务场景新增TezUI组件服务 Doris组件版本升级至2.1.6，Trino升级至440，Flume升级至1.11.0 新增Master扩容能力 新增重置集群主机密码能力 对接云日志服务 对接云审计服务 优化元数据库配置能力 组件 版本 Doris 2.1.6 Elasticsearch 7.10.2 HBase 2.4.12 HDFS 3.3.3 Hive 3.1.2 Kafka 2.8.1 Kerberos 1.18.2 Kibana 7.10.2 Kyuubi 1.8.2 OpenLDAP 2.4.50 Ranger 2.2.0 Spark 3.4.1 Trino 440 YARN 3.3.3 ZooKeeper 3.7.1 Flink 1.16.2 Knox 1.6.1 Logstash 7.10.2 Iceberg 1.4.3 Hudi 0.14.0 JeekeFS 1.1.1 Tez 0.10.1 Flume 1.11.0 KafkaUI 1.0.0 SeaTunnel 2.3.7 Pushgateway 1.6.2 TezUI 0.10.1

本章节主要介绍数据治理中心的管理集群配置功能。 集群配置管理支持新建、编辑或删除Hadoop集群配置。 Hadoop集群配置主要用于新建Hadoop类型连接时，能够简化复杂的连接参数配置，详见下图：使用集群配置前后对比 CDM支持的Hadoop类型连接主要包括以下几类： MRS集群：MRS HDFS，MRS HBase，MRS Hive。 FusionInsight集群：FusionInsight HDFS，FusionInsight HBase，FusionInsight Hive。 Apache集群：Apache HDFS，Apache HBase，Apache Hive。 操作场景 当需要新建Hadoop类型连接时，建议先创建集群配置，以简化复杂的连接参数配置。 前提条件 已创建集群。 已参见下表：集群配置文件和Keytab文件获取方式获取相应Hadoop集群配置文件和Keytab文件。 获取集群配置文件和Keytab文件 不同Hadoop类型的集群配置文件和Keytab文件获取方式有所不同，请参见下表获取相应Hadoop集群配置文件和Keytab文件。 集群配置文件和Keytab文件获取方式 Hadoop类型连接 集群配置文件获取方式 Keytab文件获取方式 MRS集群 MRS HDFS MRS HBase MRS Hive 针对MRS 3.x版本集群： 1. 登录FusionInsight Manager。 2. 选择“集群> >待操作的集群名称>概览> >更多> >下载客户端”，界面显示“下载集群客户端”对话框。 3. 对话框中选择“仅配置文件”，平台类型和服务端保持一致，单击确认后进行本地下载。 4. 获取下载的tar包，此即为FusionInsight集群配置文件。 针对MRS 2.x及之前版本集群： 1. 登录MRS管理控制台。 2. 选择“集群列表>现有集群”，单击集群名称进入集群详情页面，单击“组件管理”。 3. 单击“下载客户端”。“客户端类型”选择“仅配置文件”，“下载路径”选择“服务器端”或“远端主机”，自定义文件保存路径后，单击“确定”开始生成客户端配置文件。 4. 将生成的配置文件，保存到本地路径。 具体可参见MapReduce服务文档访问FusionInsight Manager（MRS 3.x及之后版本）。 针对MRS 3.x版本集群： 1. 登录FusionInsight Manager。 2. 通过“系统> >权限>用户”，选择所需用户所在行，点击“更多> >下载认证凭据”下载认证凭据文件。 3. 获取下载的tar包，此即为FusionInsight集群Keytab文件。 针对MRS 2.x及之前版本集群： 1. 登录MRS服务的Manager，单击“系统设置”。在“权限配置”区域，单击“用户管理”。 2. 在需导出keytab文件用户所在的行，选择“更多>下载认证凭据”下载认证文件，待文件自动生成后指定保存位置，并妥善保管该文件。 具体可参见MapReduce服务文档访问FusionInsight Manager（MRS 3.x及之后版本）。 FusionInsight集群 FusionInsight HDFS FusionInsight HBase FusionInsight Hive 1. 登录FusionInsight Manager。 2. 选择“集群> >待操作的集群名称>概览> >更多> >下载客户端”，界面显示“下载集群客户端”对话框。 3. 对话框中选择“仅配置文件”，平台类型和服务端保持一致，单击确认后进行本地下载。 4. 获取下载的tar包，此即为FusionInsight集群配置文件。 具体可参见FusionInsight文档FusionInsight Manager操作指导（适用于3.x）。 1. 登录FusionInsight Manager。 2. 通过“系统> >权限>用户”，选择所需用户所在行，点击“更多> >下载认证凭据”下载认证凭据文件。 3. 获取下载的tar包，此即为FusionInsight集群Keytab文件。 具体可参见FusionInsight文档FusionInsight Manager操作指导（适用于3.x）。 Apache集群 Apache HDFS Apache HBase Apache Hive Apache集群场景下，此处仅说明需要哪些配置文件与打包原则，各配置文件的具体获取方式请参见对应版本说明文档。 HDFS需要将以下文件压缩为无目录格式的zip包： − hosts − coresite.xml − hdfssite.xml − yarmsite.xml − mapredsite.xml − krb5.conf（可选，安全模式集群使用） HBase需要将以下文件压缩为无目录格式的zip包： − hosts − coresite.xml − hdfssite.xml − yarmsite.xml − mapredsite.xml − hbasesite.xml − krb5.conf（可选，安全模式集群使用） Hive需要将以下文件压缩为无目录格式的zip包： − hosts − coresite.xml − hdfssite.xml − yarmsite.xml − mapredsite.xml − hivesite.xml − hivemetastoresite.xml − krb5.conf（可选，安全模式集群使用） Apache集群场景下，此处仅说明认证凭据文件打包原则，认证凭据文件具体获取方式请参见对应版本说明文档。 1. 将用户的认证凭据文件重命名为user.keytab。 2. 将user.keytab文件压缩为无目录格式的zip包：user.keytab.zip。 说明 集群配置文件包含集群的配置参数。如果修改了集群的配置参数，需重新获取获取配置文件。 Keytab文件为认证凭据文件。获取Keytab文件前，需要在集群上至少修改过一次此用户的密码，否则下载获取的keytab文件可能无法使用。另外，修改用户密码后，之前导出的keytab将失效，需要重新导出。 Keytab文件在仅安全模式集群下使用，普通模式集群下无需准备Keytab文件。

原因分析 Flink jar包冲突。用户提交的flink jar 与 DLI 集群中的hdfs jar包存在冲突。 处理步骤 1.将用户pom文件中的的hadoophdfs设置为： org.apache.hadoop hadoophdfs ${hadoop.version} provided 或使用exclusions标签将其排除关联。 2.若使用到hdfs的配置文件，则需要将coresite.xml、hdfssite.xml、yarnsite.xml 修改为mrscoresite.xml、mrshdfssite.xml、mrshbasesite.xml。 conf.addResource(HBaseUtil.class.getClassLoader().getResourceAsStream("mrscoresite.xml"), false); conf.addResource(HBaseUtil.class.getClassLoader().getResourceAsStream("mrshdfssite.xml"), false); conf.addResource(HBaseUtil.class.getClassLoader().getResourceAsStream("mrshbasesite.xml"), false); Flink jar 如何连接SASLSSL？ 使用Flink Jar连接开启SASLSSL认证的Kafka。

本章节主要介绍翼MapReduce的资源监控操作。 集群中部分服务提供服务级别的资源监控项，默认显示12小时的监控数据。用户可单击自定义时间区间，缺省时间区间包括：12小时、1天、1周、1月。单击可导出相应报表信息，无数据的监控项无法导出报表。支持资源监控的服务及监控项如下表所示。 登录FusionInsight Manager以后，选择“集群 > 待操作集群的名称 > 服务”后，选择待操作的服务，单击“资源”，进入资源监控页面。 服务资源监控 服务 监控指标 说明 HDFS 资源使用（按租户） l 按租户统计HDFS的资源使用情况。 l 可选择按“容量”或“文件对象数”观察。 HDFS 资源使用（按用户） l 按用户统计HDFS的资源使用情况。 l 可选择按“已使用容量”或“文件对象数”观察。 HDFS 资源使用（按目录） l 按目录统计HDFS的资源使用情况。 l 可选择按“已使用容量”或“文件对象数”观察。 l 单击配置空间监控，可以指定HDFS文件系统目录进行监控。 HDFS 资源使用（按副本） l 按副本数统计HDFS的资源使用情况。 l 可选择按“已使用容量”或“文件数”观察。 HDFS 资源使用（按文件大小） l 按文件大小统计HDFS的资源使用情况。 l 可选择按“已使用容量”或“文件数”观察。 HDFS 回收站（按用户） l 按用户统计HDFS回收站的使用情况。 l 可选择按“回收站容量”或“文件对象数”观察。 HDFS 操作数 l 统计HDFS中操作数。 HDFS 自动balance l 统计HDFS自动balancer的执行速度以及本次balancer当前迁移的总容量大小。 HDFS NameNode RPC连接数（按用户） l 按用户统计连接到NameNode的Client RPC请求中，各个用户的连接数。 HDFS 慢DataNode节点 集群中数据传输或处理慢的DataNode节点。 HDFS 慢磁盘 集群中DataNode节点上数据处理慢的磁盘。 HBase 表级别操作请求次数 所有RegionServer上的所有表中put、delete、get、scan、increment、append操作请求次数。 HBase RegionServer级别操作请求次数 RegionServer中put、delete、get、scan、increment、append操作请求次数以及所有操作请求次数。 HBase 服务级别操作请求次数 RegionServer上所有Region中put、delete、get、scan、increment、append操作请求次数。 HBase RegionServer级别HFile数 所有RegionServer中HFile数。 Hive HiveServer2BackgroundPool线程数（按IP） 周期内统计并显示Top用户的HiveServer2BackgroundPool线程数。 Hive HiveServer2HandlerPool线程数（按IP） 周期内统计并显示Top用户的HiveServer2HandlerPool数监控。 Hive MetaStore使用数（按IP） Hive周期内统计并显示Top用户的MetaStore使用数。 Hive Hive的Job数 Hive周期内统计并显示用户相关的Job数目。 Hive Split阶段访问的文件数 统计Hive周期内Split阶段访问底层文件存储系统（默认：HDFS）的文件数。 Hive Hive基本操作时间 Hive周期内统计底层创建目录（mkdirTime）、创建文件（touchTime）、写文件（writeFileTime）、重命名文件（renameTime）、移动文件（moveTime）、删除文件（deleteFileTime）、删除目录（deleteCatalogTime）所用的时间。 Hive 表分区个数 Hive所有表分区个数监控，返回值的格式为：数据库

本章节主要介绍翼MapReduce服务的配置修改建议说明。 操作场景 当节点组内ECS实例的规格（vCPU和内存）无法满足您的业务需求时，您可以使用配置升级功能提升ECS实例规格。升级配置后需要手动修改HDFS、YARN和Spark等服务的配置信息。本文为您介绍如何在翼MR Manager的“配置管理”页面修改配置项。 前提条件 已创建集群。 操作步骤 在翼MR Manager中，单击“运维与配置”。 1. 单击“配置管理”。 2. 选择“所选集群服务”，点击查询，即可在当前页面修改配置信息。 配置修改建议说明 1. Doris：Doris所在节点配置升级后，Doris FE建议使用节点一半内存。 2. Elasticsearch：一个ES节点，内存建议不超过64G。ES所在节点配置升级后，ES会自动根据节点情况设置内存值，一般无须用户手动修改，但需要重启集群。如果想手动设置，可以修改jvm.options文件配置Xms30g、Xmx30g参数，并重启集群。 3. HBase：HBase所在节点配置升级后，修改建议如下： hbasesite.xml：hbase.regionserver.handler.count 说明 一般跟CPU核数相同。 hbaseenv.sh：export HBASEMASTEROPTS ："Xmsg Xmxg" 说明 master不消耗很多内存，一般默认不添加或者分配2~8G左右。 hbaseenv.sh：export HBASEREGIONSERVEROPTS："Xmsg Xmxg " 说明 regionserver需要较多内存，一般配置内存配额的一半或更多。 4. HDFS：HDFS所在节点配置升级后，可以根据hadoopenv.sh 参数配置进行，通过调整服务的内存大小调整服务的性能，如Xmx20g Xms20g Xmn4g，然后重启服务。NameNode 建议文件、目录、数据块之和1亿，配置50G。 5. Hive：Hive所在节点配置升级后，可以通过hiveenv.sh统一参数配置来进行，也可以在作业提交时使用额外参数指定来进行。通过调整服务的内存大小调整服务的性能，如Xmx20g Xms20g Xmn4g，然后重启服务。内存大小可以根据机器的总内存而定，建议初始值为总内存大小的10%，后续根据性能需求调整。 6. Kafka：Kafka所在节点配置升级后，建议配置如下： kafkaenv.sh设置jvm配置参数：调整jvm堆大小，通过调整参数：export KAFKAHEAPOPTS"Xmx20G Xms20G Xmn4g"设置堆大小。 server.properties文件建议修改的配置项： num.io.threads：修改写磁盘的线程数，建议配置为CPU核数的50%； num.replica.fetchers：修改副本拉取线程数，建议配置为CPU核数50%的1/3； num.network.threads：修改数据传输线程数，建议配置为CPU核数的50%的2/3； replica.fetch.max.bytes：副本拉取数据量的大小。内存增加，可以适当加大该值； socket.send.buffer.bytes：调整socket发送的数据量。内存增加，可以适当加大该值； socket.receive.buffer.bytes：调整socke接受的数据量。内存增加，可以适当加大该值； socket.request.max.bytes：socket请求的数据量。内存增加，可以适当加大该值。 7. Kerberos：建议保持默认值，无需修改配置。 8. Kibana：Kibana是一个基于NodeJS的单页web应用，一般情况下，对内存CPU占用很少，无须修改内存、CPU等配置。 9. Kyuubi：Kyuubi一般情况下，对内存CPU占用很少，无须修改内存、CPU等配置。 10. OpenLDAP：建议保持默认值，无需修改配置。 11. Ranger：Ranger所在节点配置升级后，修改建议如下： rangeradmin通过{installdir}/ews/rangeradminservices.sh中变量 rangeradminmaxheapsize的值修改JMX，JAVAOPTS修改Xmx、Xmn等JVM参数，一般设置18g，1K policy建议设置为1G，1W policy建议设置为8G。 rangerusersync通过/{installdir}/rangerusersyncservices.sh中变量rangerusersyncmaxheapsize 的值修改JMX，JAVAOPTS修改Xmx Xmn等JVM参数，一般设置18g，1K policy建议设置为1G，1W policy建议设置为8G。 12. Spark：Spark所在节点配置升级后，修改建议如下： spark.history.kerberos.principal和spark.history.kerberos.keytab为spark读写eventLog的租户，用户如有特殊需求自行更改。 spark.yarn.historyServer.address: 说明了history server的地址，用户如有特殊需求自行更改。 spark.dynamicAllocation.enabled 和 spark.dynamicAllocation.maxExecutors 分别控制动态和动态开启下能使用的最大资源，用户如有特殊需求自行更改。 spark.executor.cores 和 spark.executor.memory 确保spark.executor的每一个core分配到2~4g内存，标准是4g，具体视情况而定，设置core的memory设置过小executor容易oom。 13. Trino：Trino的服务包括coordinator和worker。Trino所在节点配置升级后，可以根据jvm.config参数配置进行，通过调整服务的内存大小调整服务的性能，如Xmx128g Xms128g，然后重启服务。 14. YARN：YARN所在节点配置升级后，可以根据yarnenv.sh 参数配置进行，通过调整服务的内存大小来调整服务的性能，如Xmx20g Xms20g Xmn4g，然后重启服务。NM用于集群中作业的内存和CPU，需要修改NodeManager节点的yarnsite.xml中的yarn.nodemanager.resource.memorymb的值，该值用于所有作业的最多可用内存；以及yarn.nodemanager.resource.cpuvcores的值，该值用于所有作业的最多可用虚拟CPU核数。 15. ZooKeeper：ZooKeeper所在节点配置升级后，可通过配置java.env文件，在其中添加：export ZKSERVERHEAP2048（这里设置的单位默认是MB）。

本章节主要介绍配置升级后的服务配置修改建议。 操作场景 当节点组内ECS实例的规格（vCPU和内存）无法满足您的业务需求时，您可以使用配置升级功能提升ECS实例规格。升级配置后需要手动修改HDFS、YARN和Spark等服务的配置信息。本文为您介绍如何在翼MR Manager的“配置管理”页面修改配置项。 前提条件 已创建集群。 操作步骤 1. 在翼MR Manager中，单击“运维与配置”。 2. 单击“配置管理”。 3. 选择“所选集群服务”，点击查询，即可在当前页面修改配置信息。 配置修改建议说明 1. Doris：Doris所在节点配置升级后，Doris FE建议使用节点一半内存。 2. Elasticsearch：一个Elasticsearch节点，内存建议不超过64G。Elasticsearch所在节点配置升级后，Elasticsearch会自动根据节点情况设置内存值，一般无须用户手动修改，但需要重启集群。如果想手动设置，可以修改jvm.options文件配置Xms30g、Xmx30g参数，并重启集群。 3. HBase：HBase所在节点配置升级后，修改建议如下： hbasesite.xml：hbase.regionserver.handler.count 说明 ：一般跟CPU核数相同。 hbaseenv.sh：export HBASEMASTEROPTS ："Xmsg Xmxg" 说明 ：master不消耗很多内存，一般默认不添加或者分配2~8G左右。 hbaseenv.sh：export HBASEREGIONSERVEROPTS："Xmsg Xmxg " 说明 ：regionserver需要较多内存，一般配置内存配额的一半或更多。 4. HDFS：HDFS所在节点配置升级后，可以根据hadoopenv.sh 参数配置进行，通过调整服务的内存大小调整服务的性能，如Xmx20g Xms20g Xmn4g，然后重启服务。NameNode 建议文件、目录、数据块之和1亿，配置50G。 5. Hive：Hive所在节点配置升级后，可以通过hiveenv.sh统一参数配置来进行，也可以在作业提交时使用额外参数指定来进行。通过调整服务的内存大小调整服务的性能，如Xmx20g Xms20g Xmn4g，然后重启服务。内存大小可以根据机器的总内存而定，建议初始值为总内存大小的10%，后续根据性能需求调整。 6. Kafka：Kafka所在节点配置升级后，建议配置如下： kafkaenv.sh设置jvm配置参数：调整jvm堆大小，通过调整参数：export KAFKAHEAPOPTS"Xmx20G Xms20G Xmn4g"设置堆大小。 server.properties文件建议修改的配置项： num.io.threads：修改写磁盘的线程数，建议配置为CPU核数的50%； num.replica.fetchers：修改副本拉取线程数，建议配置为CPU核数50%的1/3； num.network.threads：修改数据传输线程数，建议配置为CPU核数的50%的2/3； replica.fetch.max.bytes：副本拉取数据量的大小。内存增加，可以适当加大该值； socket.send.buffer.bytes：调整socket发送的数据量。内存增加，可以适当加大该值； socket.receive.buffer.bytes：调整socke接受的数据量。内存增加，可以适当加大该值； socket.request.max.bytes：socket请求的数据量。内存增加，可以适当加大该值。 7. Kerberos：建议保持默认值，无需修改配置。 8. Kibana：Kibana是一个基于NodeJS的单页web应用，一般情况下，对内存CPU占用很少，无须修改内存、CPU等配置。 9. Kyuubi：Kyuubi一般情况下，对内存CPU占用很少，无须修改内存、CPU等配置。 10. OpenLDAP：建议保持默认值，无需修改配置。 11. Ranger：Ranger所在节点配置升级后，修改建议如下： rangeradmin通过{installdir}/ews/rangeradminservices.sh中变量 rangeradminmaxheapsize的值修改JMX，JAVAOPTS修改Xmx、Xmn等JVM参数，一般设置18g，1K policy建议设置为1G，1W policy建议设置为8G。 rangerusersync通过/{installdir}/rangerusersyncservices.sh中变量rangerusersyncmaxheapsize 的值修改JMX，JAVAOPTS修改Xmx Xmn等JVM参数，一般设置18g，1K policy建议设置为1G，1W policy建议设置为8G。 12. Spark：Spark所在节点配置升级后，修改建议如下： spark.history.kerberos.principal和spark.history.kerberos.keytab为spark读写eventLog的租户，用户如有特殊需求自行更改。 spark.yarn.historyServer.address：说明了history server的地址，用户如有特殊需求自行更改。 spark.dynamicAllocation.enabled 和 spark.dynamicAllocation.maxExecutors 分别控制动态和动态开启下能使用的最大资源，用户如有特殊需求自行更改。 spark.executor.cores 和 spark.executor.memory 确保spark.executor的每一个core分配到2~4g内存，标准是4g，具体视情况而定，设置core的memory设置过小executor容易oom。 13. Trino：Trino的服务包括coordinator和worker。Trino所在节点配置升级后，可以根据jvm.config参数配置进行，通过调整服务的内存大小调整服务的性能，如Xmx128g Xms128g，然后重启服务。 14. YARN：YARN所在节点配置升级后，可以根据yarnenv.sh 参数配置进行，通过调整服务的内存大小来调整服务的性能，如Xmx20g Xms20g Xmn4g，然后重启服务。NM用于集群中作业的内存和CPU，需要修改NM节点的yarnsite.xml中的yarn.nodemanager.resource.memorymb的值，该值用于所有作业的最多可用内存；以及yarn.nodemanager.resource.cpuvcores的值，该值用于所有作业的最多可用虚拟CPU核数。 15. ZooKeeper：ZooKeeper所在节点配置升级后，可通过配置java.env文件，在其中添加：export ZKSERVERHEAP2048（这里设置的单位默认是MB）。

参数 参数说明 Hadoop版本 显示Hadoop组件的版本信息。 Spark版本 显示Spark组件的版本信息，MRS 3.x之前版本集群支持。 HBase版本 显示HBase组件的版本信息。 Hive版本 显示Hive组件的版本信息。 Hue版本 显示Hue组件的版本信息。 Loader版本 显示Loader组件的版本信息。 Kafka版本 显示Kafka组件的版本信息。 Storm版本 显示Storm组件的版本信息。 Flume版本 显示Flume组件的版本信息。 Tez版本 显示Tez组件的版本信息。 Presto版本 显示Presto组件的版本信息。 KafkaManager版本 显示KafkaManager组件的版本信息。 Flink版本 显示Flink组件的版本信息。 Ranger版本 显示Ranger组件的版本信息。 Spark2x版本 显示Spark2x组件的版本信息。仅MRS 3.x及之后版本集群支持。 Oozie版本 显示Oozie组件的版本信息。仅MRS 3.x及之后版本集群支持。 ClickHouse版本 显示ClickHouse组件的版本信息。仅MRS 3.x及之后版本集群支持。

服务名称 Spark SQL作业 Spark jar作业 Flink SQL作业 Flink jar作业 APIG x x √ x CSS √ √ √ √ DCS Redis √ √ √ √ DDS Mongo √ √ √ √ DMS Kafka x x √ √ DWS √ √ √ √ MRS HBase √ √ √ √ MRS Kafka x x √ √ MRS OpenTSDB √ √ x √ RDS MySQL √ √ √ √ RDS PostGre √ √ √ √