数据库协议 数据库类型 国产数据库协议 DM、GBase、Kingbase、OSCAR、 KDB、 OceanBase、PolarDB、PolarDBX、 TiDB、 AnalyticDB、GaussDB、HighGo DB、Percona、Vastbase、teleDBMySQL、teleDBPostgreSQL 主流数据库协议 Oracle 、MySQL 、DB2、SQL server 、PostgreSQL、Informix、MariaDB、Sybase ASE、Teradata、Sybase IQ、HANA、libra、Vertica、Clickhouse 非关系协议 MongoDB、Redis、Graphbase、ArangoDB、OrientDB、Neo4j 大数据协议 Hive 、Hbase(Thrift)、Hbase(Protobuf)、Spark SQL(RESTful)、Spark SQL(Thrift)、GreenPlum、Cassandra、Impala、SSDB、HDFS、TDSQLC、TBase 、MAX COMPUTE

参数名 说明 取值样例 表名 写入数据的HBase表名。如果是创建新HBase表，支持从源端拷贝字段名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据。 TBL2 导入前清空数据 选择目的端表中数据的处理方式： 是：任务启动前会清除目标表中数据。 否：导入前不清空目标表中的数据，如果选“否”且表中有数据，则数据会追加到已有的表中。 是 Row key拼接分隔符 可选参数，用于多列合并作为rowkey，默认为空格。 , Rowkey冗余 可选参数，是否将选做Rowkey的数据同时写入HBase的列，默认值“否”。 否 压缩算法 可选参数，创建新HBase表时采用的压缩算法，默认为值“NONE”。 NONE：不压缩。 SNAPPY：压缩为Snappy格式。 GZ：压缩为GZ格式。 NONE WAL开关 选择是否开启HBase的预写日志机制（WAL，Write Ahead Log）。 是：开启后如果出现HBase服务器宕机，则可以从WAL中回放执行之前没有完成的操作。 否：关闭时能提升写入性能，但如果HBase服务器宕机可能会造成数据丢失。 否 匹配数据类型 是：源端数据库中的Short、Int、Long、Float、Double、Decimal类型列的数据，会转换为Byte[]数组（二进制）写入HBase，其他类型的按字符串写入。 如果这几种类型中，有合并做rowkey的，则依然当字符串写入。 该功能作用是：降低存储占用空间，存储更高效；特定场景下rowkey分布更均匀。 否：源端数据库中所有类型的数据，都会按照字符串写入HBase。 否

本章主要介绍翼MapReduce的备份HBase元数据功能。 操作场景 为了确保HBase元数据（主要包括tableinfo文件和HFile）安全，防止因HBase的系统表目录或者文件损坏导致HBase服务不可用，或者系统管理员需要对HBase系统表进行重大操作（如升级或迁移等）时，需要对HBase元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份HBase任务并备份元数据。支持创建任务自动或手动备份数据。 前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“ 数据存放路径 /LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 HBase的“fs.defaultFS”配置参数需要与Yarn、HDFS的配置保持一致。 如果HBase数据存储在本地HDFS，支持将HBase元数据备份到OBS。如果HBase数据存储在OBS，则不支持数据备份。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。

Apache HBase 连接Apache Hadoop上的HBase数据源时，详见下表：Apache HBase连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 hadoophbaselink ZK链接地址 HBase的Zookeeper链接地址。 格式： : , : , : zk1.ctyun.cn:2181,zk2.ctyun.cn:2181,zk3.ctyun.cn:2181 认证类型 访问集群的认证类型： SIMPLE：非安全模式选择Simple鉴权。 KERBEROS：安全模式选择Kerberos鉴权。 KERBEROS Principal 认证类型为“KERBEROS”时，需要填写Principal。Principal即Kerberos安全模式下的用户名，可以联系Hadoop管理员获取。此处填写的Principal需要与Keytab文件保持一致。 Keytab文件 认证类型为“KERBEROS”时，需要上传Keytab文件。Keytab文件为认证凭据文件，可以联系Hadoop管理员获取。获取Keytab文件前，需要在集群上至少修改过一次此用户的密码，否则下载获取的keytab文件可能无法使用。另外，修改用户密码后，之前导出的keytab将失效，需要重新导出。 IP与主机名映射 如果配置文件使用主机名，需要配置IP与主机的映射。格式：IP与主机名之间使用空格分隔，多对映射使用分号或回车换行分隔。 10.3.6.9 hostname01 10.4.7.9 hostname02 HBase版本 HBase版本。 HBASE2X 运行模式 “HBASE2X”版本支持该参数。选择HBase连接的运行模式： EMBEDDED：连接实例与CDM运行在一起，该模式性能较好。 STANDALONE：连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源（MRS、Hadoop或CloudTable），并且既有KERBEROS认证模式又有SIMPLE认证模式，只能使用STANDALONE模式。 说明 ：STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时，存在jar包冲突的情况，这时需要将源端或目的端放在STANDALONE进程里，防止冲突导致迁移失败。 STANDALONE 是否使用集群配置 您可以通过使用集群配置，简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时，此参数有效。此参数用于选择用户已经创建好的集群配置。 hbase01 单击“显示高级属性”，然后单击“添加”，您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性，可单击属性后的“删除”按钮进行删除。

本章主要介绍翼MapReduce的备份HBase业务数据功能。 操作场景 为了确保HBase日常数据安全，或者系统管理员需要对HBase进行重大操作（如升级或迁移等），需要对HBase业务数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份HBase任务并备份数据。支持创建任务自动或手动备份数据。 HBase备份业务数据时，可能存在以下场景： 用户创建HBase表时，“KEEPDELETEDCELLS”属性默认值为“false”，备份该HBase表时会将已经删除的数据备份，可能导致恢复后出现垃圾数据。请根据业务需要，在创建HBase表时手动修改参数值为“true”。 用户在HBase表写入数据时手动指定了时间戳，且时间早于上一次该HBase表的备份时间，则在增量备份任务中可能无法备份新数据。 HBase备份功能不支持对HBase的global或者命名空间的读取、写入、执行、创建和管理权限的访问控制列表（ACL）进行备份，恢复HBase数据后需要管理员在FusionInsight Manager上重新设置角色的权限。 已创建的HBase备份任务，如果本次备份任务在备集群的备份数据丢失，当下次执行增量备份时备份任务将失败，需要重新创建HBase的备份任务。若下次执行全量则备份正常。 前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份任务的类型、周期、备份对象、备份目录和备份任务需要使用的Yarn队列等策略规格。 检查备集群HDFS是否有充足的空间，备份文件保存的目录建议使用用户自定义的目录。 使用HDFS客户端，以hdfs用户执行hdfs lsSnapshottableDir检查当前集群中已创建HDFS快照的目录清单，确保待备份的数据文件所在HDFS路径的父目录或子目录不存在HDFS快照，否则无法创建备份任务。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 HBase的“fs.defaultFS”配置参数需要与Yarn，HDFS的配置保持一致。

整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于数据库离线迁移场景，不适用于在线实时迁移。 数据集成支持整库迁移的数据源详见下表 数据源分类 数据源 读取 写入 说明 数据仓库 数据仓库服务（DWS） 支持 支持 数据仓库 FusionInsight LibrA 支持 不支持 Hadoop （仅支持本地存储，不支持存算分离场景，不支持Ranger场景，不支持ZK开启SSL场景） MRS HBase 支持 支持 整库迁移仅支持导出到MRS HBase。 建议使用的版本： 2.1.X 1.3.X Hadoop （仅支持本地存储，不支持存算分离场景，不支持Ranger场景，不支持ZK开启SSL场景） MRS Hive 支持 支持 整库迁移仅支持导出到关系型数据库。 暂不支持2.x版本，建议使用的版本： 1.2.X 3.1.X Hadoop （仅支持本地存储，不支持存算分离场景，不支持Ranger场景，不支持ZK开启SSL场景） FusionInsight HBase 支持 不支持 建议使用的版本： 2.1.X 1.3.X Hadoop （仅支持本地存储，不支持存算分离场景，不支持Ranger场景，不支持ZK开启SSL场景） FusionInsight Hive 支持 不支持 整库迁移仅支持导出到关系型数据库。 暂不支持2.x版本，建议使用的版本： 1.2.X 3.1.X Hadoop （仅支持本地存储，不支持存算分离场景，不支持Ranger场景，不支持ZK开启SSL场景） Apache HBase 支持 不支持 建议使用的版本： 2.1.X 1.3.X Hadoop （仅支持本地存储，不支持存算分离场景，不支持Ranger场景，不支持ZK开启SSL场景） Apache Hive 支持 不支持 整库迁移仅支持导出到关系型数据库。 暂不支持2.x版本，建议使用的版本： 1.2.X 3.1.X 关系数据库 云数据库MySQL 支持 支持 不支持OLTP到OLTP迁移，此场景推荐通过数据复制服务DRS进行迁移。 关系数据库 云数据库PostgreSQL 支持 支持 关系数据库 云数据库SQL Server 支持 支持 关系数据库 MySQL 支持 不支持 关系数据库 PostgreSQL 支持 不支持 关系数据库 Microsoft SQL Server 支持 不支持 关系数据库 Oracle 支持 不支持 关系数据库 SAP HANA 支持 不支持 仅支持2.00.050.00.1592305219版本。 仅支持Generic Edition。 不支持BW/4 FOR HANA。 仅支持英文字母的数据库名、表名与列名，不支持存在空格、符号等特殊字符。 仅支持日期、数字、布尔、字符（除SHORTTEXT） 类型的数据类型，不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。 关系数据库 达梦数据库DM 支持 不支持 仅支持导出到DWS、Hive NoSQL 分布式缓存服务（DCS） 不支持 支持 仅支持MRS到DCS迁移。 NoSQL 文档数据库服务（DDS） 支持 支持 仅支持DDS和MRS之间迁移。 NoSQL 表格存储服务（CloudTable） 支持 支持

源端类型 说明 参数配置 OBS 支持以CSV、JSON或二进制格式抽取数据，其中二进制方式不解析文件内容，性能快，适合文件迁移。 参见 MRS HDFs FusionInsight HDFS Apache HDFS 支持以CSV、Parquet或二进制格式抽取HDFS数据，支持多种压缩格式。 参见 MRS HBase FusionInsight HBase Apache HBase CloudTable 支持从MRS、FusionInsight HD、开源Apache Hadoop的HBase，或CloudTable服务导出数据，用户需要知道HBase表的所有列族和字段名。 参见 MRS Hive FusionInsight Hive Apache Hive 支持从Hive导出数据，使用JDBC接口抽取数据。 Hive作为数据源，CDM自动使用Hive数据分片文件进行数据分区。 参见 DLI 支持从DLI导出数据。 参见 FTP SFTP 支持以CSV、JSON或二进制格式抽取FTP/SFTP的数据。 参见 HTTP 用于读取一个公网HTTP/HTTPS URL的文件，包括第三方对象存储的公共读取场景和网盘场景。 当前只支持从HTTP URL导出数据，不支持导入。 参见 数据仓库DWS 云数据库MySQL 云数据库SQL Server 云数据库PostgreSQL 支持从云端的数据库服务导出数据。 从这些数据源导出数据时，CDM使用JDBC接口抽取数据，源端作业参数相同，详细请 参见 FusionInsight LibrA 支持从FusionInsight LibrA导出数据。 从这些数据源导出数据时，CDM使用JDBC接口抽取数据，源端作业参数相同，详细请 参见 MySQL PostgreSQL Oracle Microsoft SQL Server SAP HANA MYCAT 分库 这些非云服务的数据库，既可以是用户在本地数据中心自建的数据库，也可以是用户在ECS上部署的，还可以是第三方云上的数据库服务。 从这些数据源导出数据时，CDM使用JDBC接口抽取数据，源端作业参数相同，详细请 参见 MongoDB 文档数据库服务（DDS） 支持从MongoDB或DDS导出数据。 参见 Redis 支持从开源Redis导出数据。 参见 Apache Kafka DMS Kafka MRS Kafka 仅支持导出数据到云搜索服务。 参见 。 云搜索服务 Elasticsearch 支持从云搜索服务或Elasticsearch导出数据。 参见

连接器类型 参数说明 数据仓库服务（DWS） 云数据库MySQL 云数据库PostgreSQL 云数据库SQL Server PostgreSQL Microsoft SQL Server SAP HANA 由于连接这些关系型数据库，所采用的JDBC驱动相同，所以他们的连接参数也一样，具体参数请参见 MySQL 连接MySQL数据库时，具体参数请参见 Oracle 连接Oracle数据库时，具体参数请参见 分库 连接达梦数据库时，具体参数请参见 对象存储服务（OBS） 连接OBS时，具体参数请参见 MRS HDFS FusionInsight HDFS Apache HDFS 连接MRS、Apache Hadoop或FusionInsight HD上的HDFS时，具体参数请参见 MRS HBase FusionInsight HBase Apache HBase 连接MRS、Apache Hadoop或FusionInsight HD上的HBase时，具体参数请参见 MRS Hive FusionInsight Hive Apache Hive 连接MRS、Apache Hadoop或FusionInsight HD上的Hive时，具体参数请参见 表格存储服务（CloudTable） 连接CloudTable时，具体参数请参见 FTP SFTP 连接FTP或SFTP服务器时，具体参数请参见 HTTP 用于读取一个公网HTTP/HTTPS URL的文件，包括第三方对象存储的公共读取场景和网盘场景。 当前创建HTTP连接时，只需要配置连接名称，具体URL在创建作业时配置。 MongoDB 连接本地MongoDB数据库时，具体参数请参见 文档数据库服务（DDS） 连接DDS时，具体参数请参见 Redis 分布式缓存服务（DCS） 连接Redis或DCS时，具体参数请参见 MRS Kafka Apache Kafka 连接MRS Kafka或Apache Kafka数据源时，具体参数请参见 云搜索服务 Elasticsearch 连接云搜索服务或Elasticsearch时，具体参数请参见 数据湖探索（DLI） 连接数据湖探索服务时，具体参数请参见 DMS Kafka 连接DMS的Kafka队列时，具体参数请参见 。 Cassandra 连接Cassandra时，具体参数请参见

数据库类型 支持的版本 Oracle 21c、19c、18c、12c、11g、10g、9i、8i MySQL 8.0、5.7、5.6、5.5、5.1、5.0、4.1、4.0 SQL Server 2019、2017、2016、2014、2012、2008、2005、2000 SyBase ASE 12.5、11.9 DB2 v11.5、v11.1、v10.5、v9.7、v9.5、v8.2、v8.1、v8.0 infomix IDS9 Oscar 5.7、5.5 达梦数据库（DM） DM8、DM7 Cache 2021、2016、2010 Postgre SQL 14、13、12、11、10、9 Teradata 所有版本 人大金仓（Kingbase） V8、V7、V6 Gbase（南大通用） 8.8s、8.5a mariaDB 10.3、10.2、10.1、10.0、5.5、5.3、5.2、5.1 Hana 2.0、1.0 GaussDB 300、200、100 librA 6 KDB 11 SyBase IQ 15.4 TiDB 4.X、5.X Vertica 11、10、9、8、7 Ocean Base 4.X、3.X、2.X PolarDB 兼容oracle语法版本、PostgreSQL版本、MySQL版本 PolarDBX 2.0/MySQL5.7、1.0/MySQL5、1.0/MySQL8 AnalyticDB PostgreSQL版本、MySQL版本 TBase v2 HighGo（瀚高） 6.0 TDSQLC MySQL 8.0、5.7 TDSQLC PostgreSQL 14、10 PerconaMySQL 8.0、5.7、5.6 Vastbase 2.X ClickhouseMySQL 所有版本 teleDBMySQL 所有版本 teleDBPostgreSQL 所有版本 MongoDB 5.X、4.X、3.X、2.X Hbase（Protobuf） 所有版本 Hbase（Thrift） Thrift1、Thrift2 Hive 3.X、2.X、1.X Redis 所有版本 Elasticsearch 所有版本 Cassandra 3.X HDFS 所有版本 Impala 3.X GraphBase 6 Greenplum 5、6 Spark SQL(Thrift） 2.X、1.X Spark SQL(RESTful） 2.X、1.X SSDB 所有版本 ArangoDB 3.4.9 Neo4j 4.2.0 OrientDB 3.1.6 PerconaMongoDB 5.X、4.X Hbase（Protobuf） 所有版本 Hbase（Thrift） Thrift1、Thrift2 Hive 3.X、2.X、1.X

此章节为您介绍数据库审计的常见问题。 数据库审计是什么？ 数据库审计产品是专业的数据库应用安全防护产品，帮助用户应对网站运营中的安全风险，为数据库应用提供全方位的防护，提供覆盖数据库使用全生命周期的安全审计解决方案。 数据库审计日志能否满足等保合规需求？ 数据库审计系统提供日志留存180天，满足等保合规要求。 数据库审计支持哪些数据库？ 数据库类型 支持的版本 Oracle 21c、19c、18c、12c、11g、10g、9i、8i MySQL 8.0、5.7、5.6、5.5、5.1、5.0、4.1、4.0 SQL Server 2019、2017、2016、2014、2012、2008、2005、2000 SyBase ASE 12.5、11.9 DB2 v11.5、v11.1、v10.5、v9.7、v9.5、v8.2、v8.1、v8.0 infomix IDS9 Oscar 5.7、5.5 达梦数据库（DM） DM8、DM7 Cache 2021、2016、2010 Postgre SQL 14、13、12、11、10、9 Teradata 所有版本 人大金仓（Kingbase） V8、V7、V6 Gbase（南大通用） 8.8s、8.5a mariaDB 10.3、10.2、10.1、10.0、5.5、5.3、5.2、5.1 Hana 2.0、1.0 GaussDB 300、200、100 librA 6 KDB 11 SyBase IQ 15.4 TiDB 4.X、5.X Vertica 11、10、9、8、7 Ocean Base 4.X、3.X、2.X PolarDB 兼容oracle语法版本、PostgreSQL版本、MySQL版本 PolarDBX 2.0/MySQL5.7、1.0/MySQL5、1.0/MySQL8 AnalyticDB PostgreSQL版本、MySQL版本 TBase v2 HighGo（瀚高） 6.0 TDSQLC MySQL 8.0、5.7 TDSQLC PostgreSQL 14、10 PerconaMySQL 8.0、5.7、5.6 Vastbase 2.X ClickhouseMySQL 所有版本 teleDBMySQL 所有版本 teleDBPostgreSQL 所有版本 MongoDB 5.X、4.X、3.X、2.X Hbase（Protobuf） 所有版本 Hbase（Thrift） Thrift1、Thrift2 Hive 3.X、2.X、1.X Redis 所有版本 Elasticsearch 所有版本 Cassandra 3.X HDFS 所有版本 Impala 3.X GraphBase 6 Greenplum 5、6 Spark SQL(Thrift） 2.X、1.X Spark SQL(RESTful） 2.X、1.X SSDB 所有版本 ArangoDB 3.4.9 Neo4j 4.2.0 OrientDB 3.1.6 PerconaMongoDB 5.X、4.X Hbase（Protobuf） 所有版本 Hbase（Thrift） Thrift1、Thrift2 Hive 3.X、2.X、1.X

HBase数据库管理 进入到翼MR Manager以后，点击菜单“租户与资源 > HBase数据库管理”，进入HBase数据库管理页面。如图所示： 支持HBase命名空间的新建、删除。 支持表的新建、禁用、存储配额设置、列簇设置、分区设置、表用户设置。 支持从快照恢复数据。

源端数据库类型 源端参数 参数说明 取值样例 DWS FusionInsight LibrA MySQL PostgreSQL SQL Server 整库迁移到关系数据库时，目的端作业参数请参见 schema MRS HIVE 整库迁移到MRS HIVE时，目的端作业参数请参见 hivedb MRS HBASE CloudTable 整库迁移到MRSHBASE或CloudTable时，目的端作业参数请参见 是 MRS HDFS 整库迁移到MRS HDFS时，目的端作业参数请参见 OBS 整库迁移到OBS时，目的端作业参数请参见 DCS 整库迁移到DCS时，目的端作业参数请参见 DDS 数据库名称 待迁移的数据库名称，源连接中配置的用户需要拥有读取该数据库的权限。 mongodb 迁移行为 新增 有则替换，无则新增 CSS 索引 待抽取数据的索引，支持配置为通配符，一次迁移多个符合通配符条件的索引。 例如这里配置为cdm时，CDM将迁移所有名称为cdm开头的索引：cdm01、cdmB3、cdm45…… 如果源端配置为迁移多个索引时，目的端的作业参数“索引”将不允许配置。 cdm

本节介绍云等保专区产品的数据库审计。 数据库审计v1.0是专业的数据库应用安全防护产品，帮助用户应对网站运营中的安全风险，为数据库应用提供全方位的防护，提供覆盖数据库使用全生命周期的安全防护解决方案。 功能介绍 产品功能分为原始信息收集 、审计信息标准化 、审计信息筛选 、预警与报表四大模块。 原始信息收集 通过旁路镜像的模式部署 不改变用户现有网络结构 不占用数据库服务器资源 不影响数据库性能 支持分布式部署 实现配置与报表的集中管理 并发流量采集与处理、多点存储、多级管理 自动定期发现功能，及时发现未知数据库 审计信息标准化 支持国内外主流数据库，包括传统的数据库系统、大数据系统和Web系统等。 具体支持的系统和版本如下表所示： 数据库分类 数据库系统 版本 关系型 Oracle 8i、9i、10g、11g、12c、18c、19c、21c 关系型 MySQL 4.0、4.1、5.0、5.1、5.5、5.6、5.7、8.0 关系型 SQL Server 2000、2005、2008、2012、2014、2016、2017、2019 关系型 Sybase ASE 11.9、12.5 关系型 DB2 v80、v81、v82、v95、v97、v10.5、v11.1、v11.5 关系型 Informix IDS9 关系型 Oscar 5.5、5.7 关系型 达梦（DM） DM7、DM8 关系型 Cache 2010、2016 关系型 PostgreSQL 9、10、11、12、13、14 关系型 Teradata 所有版本 关系型 人大金仓（Kingbase） V6、V7、V8 关系型 GBase 8.5a、8.8s 关系型 MariaDB 5.1、5.2、5.3、5.5、10.0、10.1、10.2、10.3 关系型 Hana 1.0、2.0 关系型 GaussDB 100、200、300 关系型 LibrA 6 关系型 KDB 11 关系型 Sybase IQ 15.4 关系型 TiDB 4.X、5.X 关系型 Vertica 7、8、9、10、11 关系型 OceanBase 2.X 关系型 PolarDB MySQL、PostgreSQL、兼容Oracle语法 关系型 PolarDBX 1.0/MySQL5、1.0/MySQL8、2.0/MySQL5.7 关系型 AnalyticDB MySQL、PostgreSQL 关系型 TBase V2 关系型 HighGo 6.0 关系型 TDSQLC MySQL 5.7、8.0 关系型 TDSQLC PostgreSQL 10、14 非关系型 MongoDB 2.x、3.x、4.x、5.x 非关系型 HBase（protobuf） 所有版本 非关系型 HBase（thrift） Thrift1、thrift2 非关系型 Hive 1.X、2.X、3.X 非关系型 Redis 所有版本 非关系型 Elasticsearch 所有版本 非关系型 Cassandra 3.X 非关系型 HDFS 所有版本 非关系型 Impala 3.X 非关系型 Graphbase 6 非关系型 Greenplum 5、6 非关系型 Spark SQL（thrift） 1.x、2.x 非关系型 Spark SQL（RESTful） 1.x、2.x 非关系型 SSDB 所有版本 非关系型 ArangoDB 3.4.9 非关系型 Neo4j 4.2.0 非关系型 OrientDB 3.1.6 大数据 HBase（protobuf） 所有版本 大数据 HBase（thrift） thrift1、thrift2 大数据 Hive 1.X、2.X、3.X 大数据 Cassandra 3.X 大数据 HDFS 所有版本 大数据 Impala 3.X 大数据 Graphbase 5、6 大数据 Spark SQL（thrift） 1.x、2.x 大数据 Spark SQL（RESTful） 1.x、2.x 大数据 SSDB 所有版本 大数据 MAX COMPUTE 所有版本 图形 Graphbase 6 图形 ArangoDB 3.4.9 图形 Neo4j 4.2.0 图形 OrientDB 3.1.6 全文检索 Elasticsearch 所有版本 文档 MongoDB 2.x、3.x、4.x、5.x 文档 ArangoDB 3.4.9 键值 Redis 所有版本 其他 HTTP 所有版本 其他 Telnet 所有版本 其他 FTP 所有版本 RDS MySQL 5.5、5.6、5.7、8.0 RDS SQL Server 2008 R2云盘版、2012 Web、2012企业版 单机、2012企业版、2012标准版、2014企业版、2014标准版、2016 Web、2016企业版、2016标准版、2017 Web、2017企业集群版、2017标准版、2019 Web、2019企业集群版、2019标准版 RDS PostgreSQL 10、11、12、13、14 将不同数据库协议按照标准化的格式进行展示，方便管理人员阅读和分析。

审计日志 操作类型 操作 ClickHouse审计日志 维护管理 授权 收回权限 认证和登录信息 ClickHouse审计日志 业务操作 创建数据库/表 插入、删除、查询、执行数据迁移任务 DBService审计日志 维护管理 备份恢复操作 HBase审计日志 DDL（数据定义）语句 创建表 删除表 修改表 增加列族 修改列族 删除列族 启用表 禁用表 用户信息修改 修改密码 用户登录 HBase审计日志 DML（数据操作）语句 put数据（针对hbase:meta表、ctmeta表和hbase:acl表） 删除数据（针对hbase:meta表、ctmeta表和hbase:acl表） 检查并put数据（针对hbase:meta表、ctmeta表和hbase:acl表） 检查并删除数据（针对hbase:meta表、ctmeta表和hbase:acl表） HBase审计日志 权限控制 给用户授权 取消用户授权 HDFS审计日志 权限管理 文件/文件夹访问权限 文件/文件夹owner信息 HDFS审计日志 文件操作 创建文件夹 创建文件 打开文件 追加文件内容 修改文件名称 删除文件/文件夹 设置文件时间属性 设置文件副本个数 多文件合并 文件系统检查 文件链接 Hive审计日志 元数据操作 元数据定义，如创建数据库、表等 元数据删除，如删除数据库、表等 元数据修改，如增加列、重命名表等 元数据导入/导出 Hive审计日志 数据维护 向表中加载数据 向表中插入数据 Hive审计日志 权限管理 创建/删除角色 授予/回收角色 授予/回收权限 Hue审计日志 服务启动 启动Hue Hue审计日志 用户操作 用户登录 用户退出 Hue审计日志 任务操作 创建任务 修改任务 删除任务 提交任务 保存任务 任务状态更新 KrbServer审计日志 维护管理 修改kerberos帐号密码 添加kerberos帐号 删除kerberos帐号 用户认证 LdapServer审计日志 维护管理 添加操作系统用户 添加组 添加用户到组 删除用户 删除组 Loader审计日志 安全管理 用户登录 Loader审计日志 元数据管理 查询connector 查询framework 查询step Loader审计日志 数据源连接管理 查询数据源连接 增加数据源连接 更新数据源连接 删除数据源连接 激活数据源连接 禁用数据源连接 Loader审计日志 作业管理 查询作业 创建作业 更新作业 删除作业 激活作业 禁用作业 查询作业所有执行记录 查询作业最近执行记录 提交作业 停止作业 Mapreduce审计日志 程序运行 启动Container请求 停止Container请求 Container结束，状态为成功 Container结束，状态为失败 Container结束，状态为中止 提交任务 结束任务 Oozie审计日志 任务管理 提交任务 启动任务 kill任务 暂停任务 恢复任务 重新运行任务 Spark2x审计日志 元数据操作 元数据定义，如创建数据库、表等 元数据删除，如删除数据库、表等 元数据修改，如增加列、重命名表等 元数据导入/导出 Spark2x审计日志 数据维护 向表中加载数据 向表中插入数据 Storm审计日志 Nimbus 提交拓扑 中止拓扑 重分配拓扑 去激活拓扑 激活拓扑 Storm审计日志 UI 中止拓扑 重分配拓扑 去激活拓扑 激活拓扑 Yarn审计日志 任务提交 提交作业到队列相关的操作 Zookeeper审计日志 权限管理 设置ZNODE访问权限 Zookeeper审计日志 ZNODE操作 创建ZNODE 删除ZNODE 设置ZNODE数据

本章节主要介绍ALM19018 HBase合并队列超出阈值的告警。 告警解释 系统每300秒周期性检测HBase服务的compaction队列长度，当检测到HBase服务的compaction队列长度超过告警的阈值（默认100）时产生该告警。当compaction队列长度小于告警的阈值时，告警恢复。 说明 说明 若集群启用了多实例功能且安装了多个HBase服务，请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如“定位信息”中显示服务名HBase1，处理步骤中的操作对象也应由HBase调整为HBase1。 告警属性 告警ID 告警级别 是否自动清除 19018 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 产生该告警表示HBase服务的compaction队列长度已经超过规定的阈值，如果不及时处理，可能会导致集群性能下降，影响数据读写。 可能原因 HBase RegionServer数太少。 HBase 单个RegionServer上Region数过多。 HBase RegionServer堆大小较小。 资源不足。 相关参数配置不合理。 处理步骤 检查相关配置是否合理 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，查看是否存在告警ID为“19011”的告警。 是，单击对应告警右侧的“查看帮助”并按照帮助文档进行处理，执行步骤3。 否，执行步骤2。 2.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > HBase > 配置 > 全部配置，搜索“hbase.hstore.compaction.min”，“hbase.hstore.compaction.max”，“hbase.hstore.compactionThreshold”，“hbase.regionserver.thread.compaction.small”和“hbase.regionserver.thread.compaction.throttle”，适当调大其值。 3.观察界面告警是否清除。 是，处理完毕。 否，执行步骤4。

数据源类型 简介 数据仓库服务（DWS） DWS是基于Sharednothing分布式架构，具备MPP大规模并行处理引擎，兼容标准ANSI SQL 99和SQL 2003，同时兼容PostgreSQL/Oracle数据库生态，为各行业PB级海量大数据分析提供有竞争力的解决方案。 数据湖探索（DLI） DLI是完全兼容Apache Spark和Apache Flink生态，实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎，企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等，挖掘和探索数据价值。 MapReduce服务（MRS HBase） HBase是一个开源的、面向列（ColumnOriented）、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。 使用MRS HBase可实现海量数据存储，并实现毫秒级数据查询。选择MRS HBase可以实现物流数据毫秒级实时入库更新，并支持百万级时序数据查询分析。 MapReduce服务（MRS Hive） Hive是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HiveQL，它允许熟悉SQL的用户查询数据。 使用MRS Hive可实现TB/PB级的数据分析，快速将线下Hadoop大数据平台（CDH、HDP等）迁移上云，业务迁移 “0”中断，业务代码 “0”改动。 MapReduce服务（MRS Kafka） MapReduce服务可提供专属MRS Kafka集群。Kafka是一个分布式的、分区的、多副本的消息发布订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。 MapReduce服务（MRS Ranger） Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限。 MySQL MySQL是目前最受欢迎的开源数据库之一，其性能卓越，架构成熟稳定，支持流行应用程序，适用于多领域多行业，支持各种WEB应用，成本低，中小企业首选。 MapReduce服务（MRS Spark） Spark是一个开源的，并行数据处理框架，能够帮助用户简单的开发快速、统一的大数据应用，对数据进行协处理、流式处理、交互式分析等等。 Spark提供了一个快速的计算、写入以及交互式查询的框架。相比于Hadoop，Spark拥有明显的性能优势。Spark提供类似SQL的Spark SQL语言操作结构化数据。 云数据库RDS RDS是一种基于云计算平台的即开即用、稳定可靠、弹性伸缩、便捷管理的在线关系型数据库服务。 注意，DataArts Studio平台目前仅支持RDS中的MySQL和PostgreSQL数据库。 主机连接 通过主机连接，用户可以在DataArts Studio数据开发中连接到指定的主机，通过脚本开发和作业开发在主机上执行Shell或Python脚本。主机连接保存连接某个主机的连接信息，当主机的连接信息有变化时，只需在主机连接管理中编辑修改，而不需要到具体的脚本或作业中逐一修改。 MapReduce服务（MRS Presto） Presto是一个开源的用户交互式分析查询的SQL查询引擎，用于针对各种大小的数据源进行交互式分析查询。其主要应用于海量结构化数据/半结构化数据分析、海量多维数据聚合/报表、ETL、AdHoc查询等场景。 Presto允许查询的数据源包括Hadoop分布式文件系统（HDFS），Hive，HBase，Cassandra，关系数据库甚至专有数据存储。一个Presto查询可以组合不同数据源，执行跨数据源的数据分析。

修改密钥文件 须知 修改密钥文件的操作对系统影响较大，一旦操作失误会导致数据丢失。不推荐使用此功能。 在加密HFile和WAL内容操作中需要生成对应的密钥文件并设置密码，为确保系统安全，在运行一段时间后，用户可修改密钥，使用新的密钥文件对HFile和WAL内容进行加密。 1.使用omm用户执行如下命令生成新的密钥文件。 sh ${BIGDATAHOME}/FusionInsightHD8.1.0.1/install/FusionInsightHBase2.2.3/hbase/bin/hbaseencrypt.sh /hbase.jks /hbase.jks :表示生成的hbase.jks文件的存储路径。该路径和文件名称需与加密HFile和WAL内容章节生成的密钥文件相同。 ：表示密钥文件的别名，请使用与旧密钥文件不同的名字。 表示加密的类型，支持SMS4或AES。 表示密钥的长度，SMS4支持16位长度，AES支持128位长度。 例如，生成SMS4加密的密钥执行： sh ${BIGDATAHOME}/FusionInsightHD8.1.0.1/install/FusionInsightHBase2.2.3/hbase/bin/hbaseencrypt.sh /home/hbase/conf/hbase.jks SMS4 16 ommnew 生成AES加密的密钥执行： sh ${BIGDATAHOME}/FusionInsightHD8.1.0.1/install/FusionInsightHBase2.2.3/hbase/bin/hbaseencrypt.sh /home/hbase/conf/hbase.jks AES 128 ommnew 说明 集群的操作用户需要有/hbase.jks目录的“rw”权限，且要求目录已存在。 运行命令后需要再输入3遍相同的 ，该密码表示密钥文件的密码，请直接使用旧文件的密码，不会产生安全风险。 2.将生成的密钥文件分发到集群中所有节点的相同目录下，并为omm用户配置该文件的读写权限。 说明 请管理员根据企业安全要求，选择安全的操作步骤分发密钥。 3.在FusionInsight Manager的HBase服务配置界面中增加自定义配置项，设置“hbase.crypto.master.key.name”为“ommnew”，设置“hbase.crypto.master.alternate.key.name”为“omm”，然后保存配置。 4.重启HBase服务，使配置生效。 5.在HBase shell中执行major compact命令，生成基于新的加密算法的HFile文件。 majorcompact ' ' 6.从HMaster的网页中可以查看到major compact进度。 7.所有的“Compaction Progress”都为100%且“Remaining KVs”都为0时，使用omm用户执行如下命令销毁旧的密钥文件： sh ${BIGDATAHOME}/FusionInsightHD8.1.0.1/install/FusionInsightHBase2.2.3/hbase/bin/hbaseencrypt.sh /hbase.jks /hbase.jks :表示生成的“hbase.jks”文件的存储路径。该路径和文件名称需与加密HFile和WAL内容章节生成的密钥文件相同。 ：表示要删除的旧密钥文件的别名。 例如： sh ${BIGDATAHOME}/FusionInsightHD8.1.0.1/install/FusionInsightHBase2.2.3/hbase/bin/hbaseencrypt.sh /home/hbase/conf/hbase.jks omm 说明 集群的操作用户需要有/hbase.jks目录的“rw”权限，且要求目录已存在。 8.再执行2，重新分发更新后的密钥文件。 9.从FusionInsight Manager中删除3中新增HBase自定义配置项“hbase.crypto.master.alternate.key.name”。 10.再执行4使配置生效。

本章节主要介绍ALM19007 HBase GC时间超出阈值的告警。 告警解释 系统每60秒周期性检测HBase服务的老年代GC时间，当检测到HBase服务的老年代GC时间超出阈值（默认连续3次检测超过5秒）时产生该告警。 在FusionInsight Manager首页，用户可通过选择“运维 > 告警 > 阈值设置> HBase > GC > GC中回收old区所花时长”修改阈值。 当HBase服务的老年代GC时间小于或等于阈值时，告警恢复。 说明 若集群启用了多实例功能且安装了多个HBase服务，请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如HBase1服务不可用，则“定位信息”中显示服务名HBase1，处理步骤中的操作对象也应由HBase调整为HBase1。 告警属性 告警ID 告警级别 是否自动清除 19007 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 老年代GC时间超出阈值，会影响到HBase数据的读写。 可能原因 该节点HBase实例内存使用率过大，或配置的堆内存不合理，或HBase存在大量的IO操作，导致进程GC频繁。

本章节主要介绍翼MapReduce组件HBase日志如何查询。 1. 使用root用户登录集群的Master或rs节点。 2. 执行 cd /var/log/Bigdata/hbase/ 命令，进入到“/var/log/Bigdata/hbase/”目录，即可查看HBase日志信息。

本章节主要介绍ALM19012 HBase系统表目录或文件丢失的告警。 告警解释 系统按120秒周期性检测HBase在HDFS上的如下目录和文件是否存在，当检测到文件或者目录不存在时，上报该告警。当文件或目录都恢复后，告警恢复。 检查内容： 命名空间hbase在HDFS上的目录。 hbase.version文件。 hbase:meta表在HDFS上的目录、.tableinfo和.regioninfo文件。 hbase:namespace表在HDFS上的目录、.tableinfo和.regioninfo文件。 hbase:hindex表在HDFS上的目录、.tableinfo和.regioninfo文件。 hbase:acl表在HDFS上的目录、.tableinfo和.regioninfo文件(该表在普通模式集群默认不存在)。 说明 若集群启用了多实例功能且安装了多个HBase服务，请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如HBase1服务不可用，则“定位信息”中显示服务名HBase1，处理步骤中的操作对象也应由HBase调整为HBase1。 告警属性 告警ID 告警级别 是否自动清除 19012 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 HBase服务重启/启动失败。 可能原因 HDFS上的文件或者目录缺失。

本章节主要介绍使用Hbase的操作指导。 操作场景 该任务指导用户在运维场景或业务场景中使用HBase客户端。 前提条件 已安装客户端。例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 非root用户使用HBase客户端，请确保该HBase客户端目录的属主为该用户，否则请参考如下命令修改属主。 plaintext chown user:group R客户端安装目录/HBase 使用HBase客户端 1. 安装客户端，具体请参考安装客户端章节。 2. 用户登录安装客户端的节点。 3. 执行以下命令切换到客户端目录，例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 直接执行HBase组件的客户端命令。 7. plaintext hbase shell

负载均衡 3.以root用户登录HBase客户端所在节点。进入客户端安装目录，设置环境变量： cd 客户端安装目录 source bigdataenv 如果集群采用安全版本，要进行安全认证。执行kinit hbase命令，按提示输入密码（向管理员获取密码）。 4.执行以下命令进入hbase shell，查看目前负载均衡功能是否打开： hbase shell balancerenabled 是，执行步骤6。 否，执行步骤5。 5.在hbase shell，中执行命令打开负载均衡功能，并执行命令查看确认成功打开： balanceswitch true balancerenabled 6.执行balancer命令手动触发负载均衡。 说明 建议打开和手动触发负载均衡操作在业务低峰期进行。 7.FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HBase”，单击“HMaster(主)”，打开该HBase实例的WebUI，刷新页面查看Region分布是否均衡。 是，执行步骤8。 否，执行步骤21。 8.观察该告警是否清除。 是，处理完毕。 否，执行步骤9。 清理无用HBase表 说明 在清理过程中，请谨慎操作，确保删除数据的准确性。 9.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HBase”，单击“HMaster(主)”，打开该HBase实例的WebUI，查看该HBase服务实例上存储的表并记录可删除的无用表。 10.在hbase shell中，执行disable和drop命令，确认删除无用表，以减少Region数： disable '待删除表名' drop '待删除表名' 11.在hbase shell中，执行命令查看目前负载均衡功能是否打开： balancerenabled 是，执行步骤13。 否，执行步骤12。 12.在hbase shell中，执行命令打开负载均衡功能并确认成功打开： balanceswitch true balancerenabled 13.在hbase shell中，执行balancer命令手动触发负载均衡。 14.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HBase”，单击产生该告警的HBase服务实例，单击“HMaster(主)”，打开该HBase实例的WebUI，刷新页面查看Region分布是否均衡。 是，执行步骤15。 否，执行步骤21。 15.观察该告警是否清除。 是，处理完毕。 否，执行步骤16。

本章介绍翼MapReduce的恢复HBase元数据功能。 操作场景 为了确保HBase元数据（主要包括tableinfo文件和HFile）安全，防止因HBase的系统表目录或者文件损坏导致HBase服务不可用，或者系统管理员需要对HBase系统表进行重大操作（如升级或迁移等）时，需要对HBase元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建恢复HBase任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 建议一个恢复任务只恢复一个组件的元数据，避免因停止某个服务或实例影响其他组件的数据恢复。同时恢复多个组件数据，可能导致数据恢复失败。 HBase元数据不能与NameNode元数据同时恢复，会导致数据恢复失败。 对系统的影响 元数据恢复前，需要停止HBase服务，在这期间所有上层应用都会受到影响，无法正常工作。 元数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 元数据恢复后，需要重新启动HBase的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 检查HBase元数据备份文件保存路径。 恢复HBase元数据需要先停止HBase服务。 登录FusionInsight Manager，请参见登录管理系统。

本章主要介绍翼MapReduce的配置HBase允许修改操作的IP地址白名单功能。 当HBase集群开启Replication功能时，为了保护主备集群的HBase数据一致性，对备集群HBase增加了数据修改操作的保护。当备集群HBase接收到数据修改操作的RPC请求时，首先检查发出该请求的用户的权限，只有HBase管理用户才有修改权限；其次检查发出该请求的IP的有效性，备集群只接收来自IP白名单中的机器发起的修改请求。IP白名单通过配置项“hbase.replication.allowedIPs”配置。 参数修改入口：在FusionInsight Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > 服务名 > 配置”，展开“全部配置”页签。在搜索框中输入参数名称。 详见下表：参数说明 配置参数 说明 默认值 hbase.replication.allowedIPs 仅允许指定IP地址的复制请求。支持逗号分隔型regex模式。以下模式均支持： Regex模式例如: 10.18.40. , 10.18. , 10.18.40.11 Range模式（只能指定八位字节的最后一个的范围）例如: 10.18.40.[1020] 参数值默认为空，为空时IP白名单为备集群RegionServer的IP，表示只接受来自备集群RegionServer的修改请求。 N/A

本章节主要介绍使用HBase客户端 。 操作场景 该任务指导用户在运维场景或业务场景中使用HBase客户端。 前提条件 已安装客户端。例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 各组件业务用户由系统管理员根据业务需要创建。 “机机”用户需要下载keytab文件，“人机”用户第一次登录时需修改密码。 非root用户使用HBase客户端，请确保该HBase客户端目录的属主为该用户，否则请参考如下命令修改属主。 chown user:group R 客户端安装目录 /HBase 使用Hbase客户端（MRS 3.x之前版本） 1. 以客户端安装用户，登录安装客户端的节点。 2. 执行以下命令切换到客户端目录。 cd /opt/hadoopclient 3. 执行以下命令配置环境变量。 source bigdataenv 4. 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户，当前用户需要具有创建HBase表的权限，具体请参见“用户指南 > 管理现有集群 > MRS多用户权限管理 > 创建角色”配置拥有对应权限的角色，参考“用户指南 > 管理现有集群 > MRS多用户权限管理 > 创建用户”章节，为用户绑定对应角色。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit 组件业务用户 例如，kinit hbaseuser。 5. 直接执行HBase组件的客户端命令。 hbase shell

本章节主要介绍HBase/CloudTable增量迁移。 使用CDM导出HBase（包括MRS HBase、FusionInsight HBase、Apache HBase）或者表格存储服务（CloudTable）的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现HBase/CloudTable的增量迁移。 在创建CDM表/文件迁移的作业，源连接选择为HBase连接或CloudTable连接时，高级属性的可选参数中可以配置时间区间。 详见下图：HBase时间区间 起始时间（包含该值），格式为“yyyyMMdd HH:mm:ss”，表示只抽取该时间及以后的数据。 终止时间（不包含该值），格式为“yyyyMMdd HH:mm:ss”，表示只抽取该时间以前的数据。 这2个参数支持配置为 时间宏变量使用解析，例如： 起始时间配置为 ${dateformat(yyyyMMdd HH:mm:ss, 1, DAY)} 时，表示只导出昨天以后的数据。 终止时间配置为 ${dateformat(yyyyMMdd HH:mm:ss)} 时，表示只导出当前时间以前的数据。 这2个参数同时配置后，CDM就只导出前一天内的数据，再将该作业配置为每天0点执行一次，就可以增量同步每天新生成的数据。

配置参数 默认端口 当前配置端口 端口说明 hbase.master.port 16000 16000 HMaster 服务绑定端口 hbase.master.info.port 16010 16010 HMaster webUI绑定端口 com.sun.management.jmxremote.port 10101 HMaster jmx端口 hbase.regionserver.port 16020 16020 regionserver 服务绑定端口 hbase.regionserver.info.port 16030 16030 regionserver webUI绑定端口 com.sun.management.jmxremote.port 10102 regionserver jmx端口 hbase.zookeeper.peerport 2888 2888 zk 服务端口 hbase.zookeeper.leaderport 3888 3888 zk 选举leader端口 hbase.zookeeper.property.clientPort 2181 2181 连接zk client端口 hbase.rest.port 8080 8080 hbase rest server 端口 hbase.status.multicast.address.port 16100 16100 hbase 多播端口

本章主要介绍翼MapReduce的修改集群组件鉴权配置开关功能。 操作场景 集群部署为安全模式或者普通模式时，HDFS和ZooKeeper默认会对访问服务的用户进行鉴权，没有权限的用户无法访问HDFS和ZooKeeper中的资源。集群部署为普通模式时，HBase和Yarn默认不会对访问用户进行鉴权，所有用户可以访问HBase和Yarn中的资源。 管理员可以根据业务实际需要，在普通模式集群中配置开启HBase和Yarn鉴权，或关闭HDFS和ZooKeeper鉴权。 对系统的影响 修改开关后服务的配置将过期，需要重启对应的服务使配置生效。 开启HBase鉴权 1.登录FusionInsight Manager。 2.选择“集群 > 待操作集群的名称 > 服务 > HBase > 配置”。 3.单击“全部配置”。 4.搜索参数“hbase.coprocessor.region.classes”、“hbase.coprocessor.master.classes”和“hbase.coprocessor.regionserver.classes”。 将协处理器参数“org.apache.hadoop.hbase.security.access.AccessController”添加到以上参数原有参数值末尾，使用英文逗号与原有协处理器分隔。 5.单击“保存”，单击“确定”。 等待界面提示操作完成。 关闭HBase鉴权 关闭HBase鉴权后，原有的权限数据会继续保留。如果需要删除权限信息，请在关闭鉴权后，进入hbase shell删除表hbase:acl。 1.登录FusionInsight Manager。 2.选择“集群 > 待操作集群的名称 > 服务 > HBase > 配置”。 3.单击“全部配置”。 4.搜索参数“hbase.coprocessor.region.classes”、“hbase.coprocessor.master.classes”和“hbase.coprocessor.regionserver.classes”。 将协处理器参数“org.apache.hadoop.hbase.security.access.AccessController”去除。 5.单击“保存”，单击“确定”。 等待界面提示操作完成。

数据库安全网关的使用限制 数据库类型 支持的数据库名称 支持的版本 审计/会话阻断 命令阻断 可以指定特定返回行数阻断 动态脱敏 运维审批 通用数据库 Oracle 8i9i10g11g12c18c19c21c √ √ √ √ √密码代填 通用数据库 MySQL 4.04.15.05.15.55.65.78.0 √ √ √ √ √密码代填 通用数据库 MSSQL SQL Server 200020052008R220122014201620172019 √ √ √ √ √ 通用数据库 Sybase ASE 11.912.5 √ √ × × √ 通用数据库 DB2 v80v81v82v95v97v10.5v11.1v11.5 √ √ × √ √ 通用数据库 Informix IDS9 √ √ × × √ 通用数据库 Oscar 5.55.77.0 √ √ × × × 通用数据库 达梦（DM) DM7DM8 √ √ × √ √密码代填 通用数据库 Cache 20162010 √ √ × × √ 通用数据库 PostgreSQL 91011121314 √ √ √（PG14暂不支持） √ √密码代填 通用数据库 Teradata 所有版本 √ √ × × √ 通用数据库 人大金仓 （Kingbase） V6V7V8 √ √ × × √密码代填 通用数据库 GBase 8.5a8.8S √ √ × × √密码代填 通用数据库 MariaDB 5.15.25.35.510.010.110.210.3 √ √ √ √ √密码代填 通用数据库 Hana 1.02.0 √ √ × × × 通用数据库 MongoDB 2.X3.X4.X5.X √ √ × × × 通用数据库 Gaussdb 100200 √ × × × √密码代填 通用数据库 Greenplum（类pg，分布式） 56 √ × × × √密码代填 通用数据库 TIDB 4.X5.X6.X √ × × × √密码代填 通用数据库 Vertica 7891011 √ × × × √ 通用数据库 GoldenDB 所有版本 √ × × × √密码代填 通用数据库 UXDB 2.1.1.4 √ √ √ √ √密码代填 通用数据库 Doris 2.1.0 √ √ × × √密码代填 通用数据库 虚谷 11.0 √ × × × × 通用数据库 HighGo 6.0 √ √ × × √密码代填 通用数据库 OceanBase 2.x3.x4.x √ √ √ √ √密码代填 大数据 HBase （protopuf） 所有版本 √ × × × × 大数据 HBase （thrift） thrift1thrift2 √ √ × × × 大数据 Hive 1.11.2 √ √ × √ √ 大数据 Elasticsearch 所有版本 √ × × × × 大数据 Impala 3.X √ × × × × 大数据 Spark SQL （thrift） 1.x2.x √ × × × × 大数据 Spark SQL （RESTful） 1.x2.x √ × × × × 大数据 Clickhouse（jdbc） 所有版本 √ × × × × 大数据 Presto 所有版本 √ × × × × 大数据 Tdh（星环） 5.x √ √ × √ √ 大数据 ODPS/HTTP (MaxCompute) 所有版本 √ √ × × × 其他 HTTP 所有版本 √ × × × × 其他 Trino 所有版本 √ × × √（仅限密码认证的方式） × 天翼云数据库 TeledbMysql 所有版本 √ √ √ √ √密码代填 天翼云数据库 TeledbPostgreSQL 所有版本 √ √ √ √ √密码代填

本章节主要介绍ALM19009 HBase服务进程直接内存使用率超出阈值的告警。 告警解释 系统每30秒周期性检测HBase服务直接内存使用状态，当检测到HBase服务直接内存使用率超出阈值（最大内存的90%）时产生该告警。 直接内存使用率小于阈值时，告警恢复。 说明 若集群启用了多实例功能且安装了多个HBase服务，请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如HBase1服务不可用，则“定位信息”中显示服务名HBase1，处理步骤中的操作对象也应由HBase调整为HBase1。 告警属性 告警ID 告警级别 是否自动清除 19009 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 HBase可用的直接内存不足，可能会造成内存溢出导致服务崩溃。 可能原因 该节点HBase服务直接内存使用率过大，或配置的直接内存不合理，导致使用率超过阈值。 处理步骤 检查直接内存使用率 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“告警ID”为“19009”的告警，查看“定位信息”中的角色名以及确认主机名所在的IP地址。 告警上报的角色是HMaster，执行步骤2。 告警上报的角色是RegionServer，执行步骤3。 2.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HBase > 实例”，单击告警上报的HMaster，进入实例“概览”页面，单击图表区域右上角的下拉菜单，选择“定制 > CPU和内存 > HMaster堆内存使用率与直接内存使用率统计” ，单击“确定”，查看HBase服务进程使用的直接内存是否已达到HBase服务进程设定的最大直接内存的90%。 是，执行步骤4。 否，执行步骤8。 3.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HBase > 实例”，单击告警上报的RegionServer，进入实例“概览”页面，单击图表区域右上角的下拉菜单，选择“定制 > CPU和内存 > RegionServer堆内存使用率与直接内存使用率统计” ，单击“确定”，查看HBase服务进程使用的直接内存是否已达到HBase服务进程设定的最大直接内存的90%。 是，执行步骤4。 否，执行步骤8。 4.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HBase > 配置”，单击“全部配置”， 选择“HMaster/RegionServer > 系统”，查看“GCOPTS”参数中是否存在“XX:MaxDirectMemorySize”。 是，执行步骤5。 否，执行步骤6。 5.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HBase > 配置”，单击“全部配置”， 选择“HMaster/RegionServer > 系统”，在“GCOPTS”中把参数“XX:MaxDirectMemorySize”删除。 6.看告警信息，是否产生“ALM19008 HBase服务进程堆内存使用率超出阈值”告警。 是，参考“ALM19008 HBase服务进程堆内存使用率超出阈值”处理告警。 否，执行步骤8。 7.观察界面告警是否清除。 是，处理完毕。 否，执行步骤8。

支持权限管理的资源 权限设置说明 “SUPERUSERGROUP” 选中时表示授予HBase管理员权限。 “Global” HBase的一种资源类型，表示HBase整体组件。 “Namespace” HBase的一种资源类型，表示命名空间，用来保存HBase表。 具体权限： “Admin”：表示管理此命名空间的权限。 “Create”：表示在此命名空间创建HBase表的权限。 “Read”：表示访问此命名空间的权限。 “Write”：表示写入此命名空间数据的权限。 “Execute”：表示可执行协处理器（Endpoint）的权限。 “Table” HBase的一种资源类型，表示数据表，用来保存数据。 具体权限： “Admin”：表示管理此数据表的权限。 “Create”：表示在此数据表创建列族和列的权限。 “Read”：表示读取数据表的权限。 “Write”：表示写入数据到表的权限。 “Execute”：表示可执行协处理器（Endpoint）的权限。 “ColumnFamily” HBase的一种资源类型，表示列族，用来保存数据。 具体权限： “Create”：表示在此列族创建列的权限。 “Read”：表示读取列族的权限。 “Write”：表示写入数据到列族的权限。 “Qualifier” HBase的一种资源类型，表示列，用来保存数据。具体权限： “Read”：表示读取列的权限。 “Write”：表示写入数据到列的权限。

支持权限管理的资源 权限设置说明 “SUPERUSERGROUP” 选中时表示授予HBase管理员权限。 “Global” HBase的一种资源类型，表示HBase整体组件。 “Namespace” HBase的一种资源类型，表示命名空间，用来保存HBase表。 具体权限： “Admin”：表示管理此命名空间的权限。 “Create”：表示在此命名空间创建HBase表的权限。 “Read”：表示访问此命名空间的权限。 “Write”：表示写入此命名空间数据的权限。 “Execute”：表示可执行协处理器（Endpoint）的权限。 “Table” HBase的一种资源类型，表示数据表，用来保存数据。 具体权限： “Admin”：表示管理此数据表的权限。 “Create”：表示在此数据表创建列族和列的权限。 “Read”：表示读取数据表的权限。 “Write”：表示写入数据到表的权限。 “Execute”：表示可执行协处理器（Endpoint）的权限。 “ColumnFamily” HBase的一种资源类型，表示列族，用来保存数据。 具体权限： “Create”：表示在此列族创建列的权限。 “Read”：表示读取列族的权限。 “Write”：表示写入数据到列族的权限。 “Qualifier” HBase的一种资源类型，表示列，用来保存数据。具体权限： “Read”：表示读取列的权限。 “Write”：表示写入数据到列的权限。