本章节主要介绍记录数据迁移入库时间。 CDM在创建表/文件迁移的作业，支持连接器源端为关系型数据库时，在表字段映射中使用时间宏变量增加入库时间字段，用以记录关系型数据库的入库时间等用途。 前提条件 已创建连接器源端为关系型数据库，以及目的端数据连接。 创建表/文件迁移作业 1.在创建表/文件迁移作业时，选择已创建的源端连接器、目的端连接器。 图 配置作业 2.单击“下一步”，进入“字段映射”配置页面后，单击源字段图标。 图 配置字段映射 3.选择“自定义字段”页签，填写字段名称及字段值后单击“确认”按钮，例如： 名称：InputTime。 值：${timestamp()}，更多时间宏变量请参见下表。 图 添加字段 表 时间变量宏定义具体展示 宏变量 含义 实际显示效果 ${dateformat(yyyyMMdd)} 以yyyyMMdd格式返回当前时间。 20171016 ${dateformat(yyyy/MM/dd)} 以yyyy/MM/dd格式返回当前时间。 2017/10/16 ${dateformat(yyyyMMdd HH:mm:ss)} 以yyyyMMdd HH:mm:ss格式返回当前时间。 20171016 09:00:00 ${dateformat(yyyyMMdd HH:mm:ss, 1, DAY)} 以yyyyMMdd HH:mm:ss格式返回时间，时间为当前时间的前一天。 20171015 09:00:00 ${timestamp()} 返回当前时间的时间戳，即1970年1月1日（00:00:00 GMT）到当前时间的毫秒数。 1508115600000 ${timestamp(10, MINUTE)} 返回当前时间点10分钟前的时间戳。 1508115000000 ${timestamp(dateformat(yyyyMMdd))} 返回今天0点的时间戳。 1508083200000 ${timestamp(dateformat(yyyyMMdd,1,DAY))} 返回昨天0点的时间戳。 1507996800000 ${timestamp(dateformat(yyyyMMddHH))} 返回当前整小时的时间戳。 1508115600000 说明 添加完字段后，新增的字段在界面不显示样值，不会影响字段值的传输，CDM会将字段值直接写入目的端。 这里“添加字段”中“自定义字段”的功能，要求源端连接器为JDBC连接器、HBase连接器、MongoDB连接器、ElasticSearch连接器、Kafka连接器，或者目的端为HBase连接器。 4.单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入数据前需要先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 作业运行完是否删除：这里保持默认值“不删除”。 5.单击“保存并运行”，回到作业管理的表/文件迁移界面，在作业管理界面可查看作业执行进度和结果。 6.作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。

菜单导航 功能描述 首页 展示平台主机健康状态、初始化状态汇总； 故障和告警集群信息； 平台告警信息。 资源概览 展示所有主机的CPU、内存、网络等信息。 集群服务 展示所有集群，集群列表按组件类型，列表视图列出，在集群列表处一键启动所有集群、一键停止所有集群，支持健康检查； 支持单集群的启动、停止、滚动重启等操作； 支持角色实例的启动、停止、重启、滚动停止、滚动重启等操作； 支持查看集群的告警历史和监控看板等。 主机 展示当前平台的所有主机； 支持对主机进行置维护、取消维护操作； 支持查看单个主机基础信息、主机资源使用信息、主机上的文件系统信息； 支持查看单个主机上安装的角色实例、告警历史。 租户与资源 支持对LDAP租户与Kerberos安全凭证进行管理；提供YARN队列管理与HBase数据库管理功能。 监控与告警 支持查询角色实例级、主机级的监控指标；支持按需创建和导入告警规则； 支持指标结果的绘图操作，让用户更直观获取监控项变化； 支持按照集群级、角色实例级、主机级查询告警内容。 运维与配置 支持对各集群服务的配置文件进行修改、同步、回滚等操作；支持查看所有流水线的运行历史记录，以及操作人。

参数名称 描述 “只重启集群内配置过期的实例” 是否只重启集群内修改过配置的实例。 “启用机架策略” 是否启用机架并发滚动重启策略，只对满足机架策略滚动重启的角色（角色支持机架感知功能，且角色下的实例归属于2个或2个以上的机架）生效。 说明 该参数仅在滚动重启HDFS、Yarn时可设置。 “数据节点滚动重启并发数” 采用分批并发滚动重启策略的数据节点实例每一个批次重启的实例数，默认为1。 说明 该参数仅对同时满足“采用并发滚动策略”和“实例为数据节点”两个条件时才有效。 当启用机架策略时，该参数将失效，集群以机架策略默认配置的最大实例数（默认值为20）作为一个机架内分批并发重启的最大实例数。 该参数仅在滚动重启HDFS、HBase、Yarn、Kafka、Storm、Flume时可设置。 HBase的RegionServer滚动重启的并发数不支持手动配置，会根据RegionServer的节点数自行调整，调整规则为：30节点以内，每个批次1个节点；300节点以内，每个批次2个节点；300节点以上(含300节点)，每个批次1%(向下取整)个节点。 “批次时间间隔” 滚动重启实例批次之间的间隔时间，默认为0。 “退服超时时间” 角色实例在滚动重启过程中的退服等待时间，默认为1800s。部分角色（例如HiveServer、JDBCServer）在滚动重启前会暂时停止提供服务，该状态下的实例不可再接入新的客户端连接，而已经存在的连接需要等待一段时间才能完成，配置合适的超时时间参数能尽可能地保证业务不中断。 说明 该参数仅在滚动重启Hive、Spark2x时可设置。 “批次容错阈值” 滚动重启实例批次执行失败容错次数，默认为0，即表示任意一个批次的实例重启失败后，滚动重启任务终止。

用户可以根据业务需求量，通过简单的缩减Core节点或者Task节点，对集群进行缩容，以使MRS拥有更优的存储、计算能力，降低运维成本。 当集群正在进行主备同步操作时，不允许进行缩容操作。 说明 MRS包周期集群暂不支持缩容，当前仅支持MRS按需集群按指定数量进行缩容。 背景信息 目前支持缩容Core节点和Task节点，不支持缩容Master节点。对集群进行缩容时，只需要在界面调整节点个数，MRS会自动选择缩容节点，完成缩容任务。 自动选择缩容节点的策略如下： 不允许缩容安装了基础组件（Zookeeper，DBService，KrbServer，LdapServer等）的节点，MRS不会选择这些节点进行缩容。因为这些基础组件是集群运行的基础。 Core节点是存放集群业务数据的节点，在缩容时必须保证待缩容节点上的数据被完整迁移到其他节点，即完成各个组件的退服之后，才会执行缩容的后续操作（节点退出Manager和删除ECS等）。在选择Core节点时，会优先选择存储数据量较小，且可退服实例健康状态良好的节点，避免节点退服失败。例如在分析集群上，Core节点安装了DataNode，缩容时会优先选择DataNode存储数据量较小且健康状态良好的节点。 Core节点在缩容的时候，会对原节点上的数据进行迁移。业务上如果对数据位置做了缓存，客户端自动刷新位置信息可能会影响时延。缩容节点可能会影响部分HBase on HDFS数据的第一次访问响应时长，可以重启HBase或者对相关的表Disable/Enable来避免。 Task节点本身不存储集群数据，属于计算节点，不存在节点数据迁移的问题。因此在选择Task节点时，优先选择健康状态为故障、未知、亚健康的节点进行缩容。这些节点实例的健康状态信息可以在MRS上的“实例”管理界面查看。

参数名 描述 “名称” 指定当前租户的名称，长度为1到20，可包含数字、字母和下划线。 “租户类型” 可选参数值为“叶子租户”和“非叶子租户”。当选中“叶子租户”时表示当前租户为叶子租户，无法再添加子租户。当选中“非叶子租户”时表示当前租户可以再添加子租户。 “动态资源” 为当前租户选择动态计算资源。系统将自动在Yarn中以租户名称创建任务队列。动态资源不选择“Yarn”时，系统不会自动创建任务队列。 “默认资源池容量(%)” 配置当前租户在“default”资源池中使用的计算资源百分比。 “默认资源池最大容量(%)” 配置当前租户在“default”资源池中使用的最大计算资源百分比。 “储存资源” 为当前租户选择存储资源。系统将自动在“/tenant”目录中以租户名称创建文件夹。第一次创建租户时，系统自动在HDFS根目录创建“/tenant”目录。存储资源不选择“HDFS”时，系统不会在HDFS中创建存储目录。 “存储空间配额(MB)” 配置当前租户使用的HDFS存储空间配额。取值范围为“1”到“8796093022208”。单位为MB。此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。 说明 为了保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为“500”，则实际只能保存约500/2250MB大小的文件。 “存储路径” 配置租户在HDFS中的存储目录。系统默认将自动在“/tenant”目录中以租户名称创建文件夹。例如租户“ta1”，默认HDFS存储目录为“tenant/ta1”。第一次创建租户时，系统自动在HDFS根目录创建“/tenant”目录。支持自定义存储路径。 “服务” 配置当前租户关联使用的其他服务资源，支持HBase。单击“关联服务”，在“服务”选择“HBase”。在“关联类型”选择“独占”表示独占服务资源，选择“共享”表示共享服务资源。 “描述” 配置当前租户的描述信息。

参数名 描述 名称 指定当前租户的名称，长度为3到50，可包含数字、字母和下划线。 租户类型 可选参数值为“叶子租户”和“非叶子租户”。当选中“叶子租户”时表示当前租户为叶子租户，无法再添加子租户。当选中“非叶子租户”时表示当前租户可以再添加子租户。 动态资源 为当前租户选择动态计算资源。系统将自动在Yarn中以租户名称创建任务队列。动态资源不选择“Yarn”时，系统不会自动创建任务队列。 默认资源池容量(%) 配置当前租户在“default”资源池中使用的计算资源百分比。 默认资源池最大容量(%) 配置当前租户在“default”资源池中使用的最大计算资源百分比。 储存资源 为当前租户选择存储资源。系统将自动在“/tenant”目录中以租户名称创建文件夹。第一次创建租户时，系统自动在HDFS根目录创建“/tenant”目录。存储资源不选择“HDFS”时，系统不会在HDFS中创建存储目录。 存储空间配额(MB) 配置当前租户使用的HDFS存储空间配额。取值范围为“1”到“8796093022208”。单位为MB。此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。 说明 为了保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为“500”，则实际只能保存约500/2250MB大小的文件。 存储路径 配置租户在HDFS中的存储目录。系统默认将自动在“/tenant”目录中以租户名称创建文件夹。例如租户“ta1”，默认HDFS存储目录为“tenant/ta1”。第一次创建租户时，系统自动在HDFS根目录创建“/tenant”目录。支持自定义存储路径。 服务 配置当前租户关联使用的其他服务资源，支持HBase。单击“关联服务”，在“服务”选择“HBase”。在“关联类型”选择“独占”表示独占服务资源，选择“共享”表示共享服务资源。 描述 配置当前租户的描述信息。

参数 参数说明 连接名称 所创建的跨源连接名称。 名称只能包含数字、英文字母、下划线。不能为空。 输入长度不能超过64个字符。 虚拟私有云 数据源所使用的虚拟私有云。 子网 数据源所使用的子网。 主机信息 可选参数，用于配置主机的IP与域名的映射关系，在作业配置时只需使用配置的域名即可访问对应的主机。 例如：访问MRS的HBase集群时需要配置Zookeeper实例的主机名（即域名）与对应的IP地址。每行填写一条记录，填写格式为：“IP主机名/域名”。 示例： 192.168.0.22 nodemasterxxx1.1com 192.168.0.23 nodemasterxxx2.1com

集群类型 站点类型 站点地址 全部类型 MRS Manager 适用于所有版本集群 说明 1. 确保本地机器与MRS集群网络互通。 2. 远程登录Master2节点，执行“ifconfig”命令，系统回显中“eth0:wsom”表示MRS Manager浮动IP地址，请记录“inet”的实际参数值。如果在Master2节点无法查询到MRS Manager的浮动IP地址，请切换到Master1节点查询并记录。如果只有一个Master节点时，直接在该Master节点查询并记录。 MRS 3.x之前版本集群 具体请参见 访问MRS Manager（MRS 2.x及之前版本） 。 MRS 3.x及以后版本请参见 访问FusionInsight Manager（MRS 3.x及之后版本） 。 分析集群 HDFS NameNode MRS 3.x之前版本集群，在集群详情页选择“组件管理> HDFS > NameNode WebUI > NameNode (主)” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> HDFS > NameNode WebUI > NameNode ( 主机名称 ，主)” HBase HMaster MRS 3.x之前版本集群，在集群详情页选择“组件管理> HBase > HMaster WebUI > HMaster (主)” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> HBase > HMaster WebUI > HMaster ( 主机名称 ，主)” MapReduce JobHistoryServer MRS 3.x之前版本集群，在集群详情页选择“组件管理> Mapreduce > JobHistoryServer WebUI > JobHistoryServer” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> Mapreduce > JobHistoryServer WebUI > JobHistoryServer ( 主机名称 ，主)” YARN ResourceManager MRS 3.x之前版本集群，在集群详情页选择“组件管理> Yarn > ResourceManager WebUI > ResourceManager (主)” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> Yarn > ResourceManager WebUI > ResourceManager ( 主机名称 ，主)” Spark JobHistory MRS 3.x之前版本集群，在集群详情页选择“组件管理> Spark > Spark WebUI > JobHistory” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> Spark2x > Spark2x WebUI > JobHistory2x ( 主机名称 )” Hue MRS 3.x之前版本集群，在集群详情页选择“组件管理> Hue > Hue WebUI > Hue (主)” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> Hue > Hue WebUI > Hue (主机名称 ，主)” Loader页面是基于开放源代码Sqoop WebUI的图形化数据迁移管理工具，由Hue WebUI承载。 Tez MRS 3.x之前版本集群，在集群详情页选择“组件管理> Tez > Tez WebUI > TezUI” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> Tez > Tez WebUI > TezUI ( 主机名称 )” Presto MRS 3.x之前版本集群，在集群详情页选择“组件管理> Presto > Presto WebUI > Coordinator (主)” 在Manager页面选择“集群>服务> Presto > Coordinator WebUI > Coordinator(Coordinator)” Ranger MRS 3.x之前版本集群，在集群详情页选择“组件管理> Ranger > Ranger WebUI > RangerAdmin (主)” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> Ranger > Ranger WebUI > RangerAdmin” 流处理集群 Storm MRS 3.x之前版本集群，在集群详情页选择“组件管理> Storm > Storm WebUI > UI” 在Manager页面选择“集群>服务> Storm > Storm WebUI > UI (主机名称 )”

本章节主要介绍新建MySQL连接。 前提条件 在创建数据连接前，请确保您已创建所要连接的数据湖（如DataArts Studio所支持的数据库、云服务等）。 1. 在创建DWS类型的数据连接前，您需要先在DWS服务中创建集群，并且具有KMS密钥的查看权限。 2. 在创建MRS HBase、MRS Hive、MRS Kafka、MRS Ranger、MRS Spark、MRS Presto类型的数据连接前，需确保您已创建MRS集群，并且在创建数据链接时已创建选择所需要的组件。 3. 在创建RDS类型的数据连接前，请确保您已创建RDS数据库实例。DataArts Studio平台目前仅支持RDS中的MySQL和PostgreSQL数据库引擎。 在创建数据连接前，请确保待连接的数据湖与DataArts Studio实例之间网络互通。 1. 如果数据湖为云下的数据库，则需要通过公网或者专线打通网络，确保数据源所在的主机可以访问公网，并且防火墙规则已开放连接端口。 2. 如果数据湖为云上服务（如DWS、MRS等），则网络互通需满足如下条件： ①DataArts Studio实例（指DataArts Studio实例中的CDM集群）与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。 ②DataArts Studio实例（指DataArts Studio实例中的CDM集群）与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见《虚拟私有云》帮助文档有关“添加路由信息”的章节，配置安全组规则请参见《虚拟私有云》帮助文档中有关“ 添加安全组规则”的章节。 ③此外，您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同，如果不同，您需要修改工作空间的企业项目。

本章节主要介绍数据目录相关问题。 数据目录组件有什么用？ 数据目录的核心是通过元数据采集任务，采集并展示企业的数据资产地图，包括所有的元数据信息和数据血缘关系。 数据目录支持采集哪些对象的资产？ 数据目录目前支持采集的资产有：数据仓库服务（DWS）、MapReduce服务（MRS HBase）、MapReduce服务（MRS Hive）、MySQL、云数据库 RDS（DataArts Studio仅支持MySQL和PostgreSQL数据库）。 什么是数据血缘关系？ 大数据时代，数据爆发性增长，海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息，通过联姻融合、转换变换、流转流通，又生成新的数据，汇聚成数据的海洋。 数据的产生、加工融合、流转流通，到最终消亡，数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数据之间的这种关系，称之为数据的血缘关系。与人类社会中的血缘关系不同，数据的血缘关系还包含了一些特有的特征： 归属性 ：一般来说，特定的数据归属特定的组织或者个人，数据具有归属性。 多源性 ：同一个数据可以有多个来源（多个父亲）。一个数据可以是多个数据经过加工而生成的，而且这种加工过程可以是多个。 可追溯性 ：数据的血缘关系，体现了数据的生命周期，体现了数据从产生到消亡的整个过程，具备可追溯性。 层次性 ：数据的血缘关系是有层次的。对数据的分类、归纳、总结等对数据进行的描述信息又形成了新的数据，不同程度的描述信息形成了数据的层次。 如图所示数据血缘关系示例

组件名称 集群部署的依赖组件 Doris / Elasticsearch / HBase HDFS、ZooKeeper、Kerberos、OpenLDAP HDFS ZooKeeper、Kerberos、OpenLDAP Hive HDFS、YARN、ZooKeeper、Kerberos、OpenLDAP、Hudi、Iceberg、Tez Kafka ZooKeeper、Kerberos、OpenLDAP Kerberos OpenLDAP Kibana Elasticsearch Kyuubi Spark、Hive、HDFS、YARN、ZooKeeper、OpenLDAP、Kerberos、Iceberg、Hudi、Tez OpenLDAP / Ranger HDFS、OpenLDAP、Kerberos、ZooKeeper Spark HDFS、YARN、Hive、ZooKeeper、OpenLDAP、Kerberos、Iceberg、Hudi、Tez Trino Kerberos、OpenLDAP YARN ZooKeeper、Kerberos、HDFS、OpenLDAP ZooKeeper Kerberos、OpenLDAP Flink HDFS、YARN、Kerberos、OpenLDAP、ZooKeeper、Iceberg、SeaTunnel、Hudi Hudi Hive/Spark/Flink Iceberg Hive/Spark/Flink Knox Kerberos、OpenLDAP Logstash / JeekeFS Kerberos、OpenLDAP Tez HDFS、YARN、Hive、ZooKeeper、OpenLDAP、Kerberos、Iceberg、Hudi Flume / KafkaUI Kafka、OpenLDAP、Kerberos、ZooKeeper SeaTunnel HDFS、YARN、Flink、OpenLDAP、Kerberos、ZooKeeper、Iceberg、Hudi Pushgateway / TezUI OpenLDAP、Hudi、Kerberos、Hive、ZooKeeper、Iceberg、Tez、HDFS、YARN Amoro Kerberos、OpenLDAP、ZooKeeper、HDFS、YARN Hue Kerberos、OpenLDAP DolphinScheduler HDFS、OpenLDAP、Kerberos、ZooKeeper

本章节主要介绍新建DWS连接。 本章节以新建DWS连接为例，介绍如何建立DataArts Studio与数据仓库底座之间的数据连接。 前提条件 在创建数据连接前，请确保您已创建所要连接的数据湖（如DataArts Studio所支持的数据库、云服务等）。 1. 在创建DWS类型的数据连接前，您需要先在DWS服务中创建集群，并且具有KMS密钥的查看权限。 2. 在创建MRS HBase、MRS Hive、MRS Kafka、MRS Ranger、MRS Spark、MRS Presto类型的数据连接前，需确保您已创建MRS集群，并且在创建数据链接时已创建选择所需要的组件。 3. 在创建RDS类型的数据连接前，请确保您已创建RDS数据库实例。DataArts Studio平台目前仅支持RDS中的MySQL和PostgreSQL数据库引擎。 在创建数据连接前，请确保待连接的数据湖与DataArts Studio实例之间网络互通。 1. 如果数据湖为云下的数据库，则需要通过公网或者专线打通网络，确保数据源所在的主机可以访问公网，并且防火墙规则已开放连接端口。 2. 如果数据湖为云上服务（如DWS、MRS等），则网络互通需满足如下条件： ①DataArts Studio实例（指DataArts Studio实例中的CDM集群）与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。 ②DataArts Studio实例（指DataArts Studio实例中的CDM集群）与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见《虚拟私有云》帮助文档中的“添加路由信息”章节，配置安全组规则请参见《虚拟私有云》帮助文档中的“安全组 > 添加安全组规则”章节。 ③此外，您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同，如果不同，您需要修改工作空间的企业项目。

本章节主要介绍翼MapReduce服务的产品定义、架构与优势。 产品定义 翼MapReduce（简称：“翼MR”），是基于当前开源新版本大数据组件进行产品化封装，可以为客户提供快速部署、便捷维护的HDFS、YARN、Spark、Flink、Hive、Doris、Kafka、HBase等高性能的大数据组件以及运维管理平台，同时产品默认提供强安全验证能力，具备高安全、高扩展、快捷运维等特色，支持批量数据处理、流式数据处理、离线数据分析、在线查询等场景。 产品架构 翼MR集群各个版本组件情况请参见版本概述。 详见下图：翼MR架构图 翼MR架构包括了基础设施和大数据处理流程各个阶段的能力。 ● 基础设施 基于天翼云弹性云主机CTECS构建的大数据集群，整体集群的高可靠和高安全能力可以得到虚拟化底层的充分保证。 虚拟私有云（CTVPC）为每个租户提供虚拟的内部网络，默认与其他网络隔离，同时通过配套的安全组访问控制确保网络层面的安全性。 云硬盘（CTEVS）提供不同规格和性能表现的高可靠存储能力。 弹性云主机（CTECS）提供的弹性可扩展虚拟服务器，结合上述的CTVPC、安全组、CTEVS数据多副本和灾备能力为客户打造一个高效、可靠、安全的业务集群环境。 物理机服务（CTDPS）是基于天翼云软硬结合技术研发的一款拥有极致性能的裸金属服务器，兼具云主机的灵活弹性、物理机的稳定，提供算力强劲的计算类服务，提供专属的云上物理服务器，为大数据、核心数据库、高性能计算等业务提供服务稳定、数据安全、性能卓越的算力服务。 ● 数据集成 数据集成层提供了客户的数据集成进翼MR集群的能力，包括：Kafka、Logstash、SeaTunnel、Flume，支持各种数据源导入数据到翼MR大数据集群中。 ● 数据存储 翼MR支持结构化和非结构化数据在集群中的存储，并且支持多种高效的格式来满 足不同计算引擎的要求。 – HDFS是大数据上通用的分布式文件系统。 – Doris是实时数据仓库服务，具有高并发、低延迟的特点。 – HBase支持带索引的数据存储，适合高性能基于索引查询的场景。 – Elasticsearch支持结构化/非结构化数据的检索、分析场景。 ● 数据调度和计算处理 – 翼MR提供多种主流计算引擎：MapReduce（批处理）、 Spark（内存计算）、Flink（流计算），满足多种离线或实时大数据应用场景，将数据进行结构和逻辑的转换，转化成满足业务目标的数据模型。 – 基于预设的数据模型，使用易用SQL的数据分析，用户可以选择Hive（数据仓库），SparkSQL以及Trino交互式查询引擎。 ● 翼MR Manager 为确保大数据组件服务的高可用性，以Hadoop为基础的大数据生态的各种组件均需要以分布式的方式进行部署，涉及其中的部署、管理和运维复杂度要求较高。翼MR提供了统一的运维管理平台翼MR Manager，包括可视化引导式部署集群能力。同时翼MR Manager还提供了租户与资源管理能力，以及翼MR中各类大数据组件的运维，并提供监控、告警、配置等一站式运维能力。

本章节主要介绍翼MapReduce的Web UI便捷访问特性。 大数据组件都有自己的WebUI页面管理自身系统，但是由于网络隔离的原因，用户并不能很简便地访问到该页面。如访问HDFS的WebUI页面，传统的操作方法是需要用户创建ECS，使用ECS远程登录组件的UI，这使得组件的页面UI访问很是繁琐，对于很多初次接触大数据的用户很不友好。 翼MR提供了基于弹性公网IP来便捷访问组件WebUI的安全通道，并且比用户自己绑定弹性公网IP更便捷，只需界面鼠标操作，即可简化原先用户需要自己登录虚拟私有云添加安全组规则，获取公网IP等步骤，减少了用户操作步骤。分析集群Hadoop、Spark、HBase、Hue及流式集群Storm，都可以在Manager上找到组件页面入口，快速访问。

本章节主要介绍翼MapReduce的执行角色实例主备倒换操作。 操作场景 部分服务的角色以主备高可用的模式进行部署，在需要对主实例进行维护不能提供服务，或者其他维护需要时，可以手动触发实例主备倒换。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“集群 > 待操作集群的名称 > 服务”。 3. 单击服务视图中指定的服务名称。 4. 在服务详情页面单击“更多”，选择“执行角色实例倒换”。 5. 输入当前登录的用户密码确认身份，单击“确定”。 6. 在弹出界面单击“确定”，执行角色实例主备倒换。 说明 Manager部件包支持的主备倒换角色实例的服务有：DBService。 HD部件包支持的主备倒换角色实例的服务有：HDFS、Yarn、Storm、HBase、Mapreduce。 HDFS的角色NameNode在进行主备倒换时，需要指定NameService。 Porter部件包支持的主备倒换角色实例的服务有：Loader。 其他角色实例则不支持此功能。

本小节介绍数据库安全审计RDS关系型数据库（安装Agent）最佳实践。 方案架构 数据库安全审计采用旁路部署模式，通过在访问数据库的应用系统服务器上部署数据库安全审计Agent，获取访问数据库流量，Agent将获取的流量数据上传到审计系统、接收审计系统配置命令和上报数据库状态监控数据，实现对数据库的安全审计。 审计RDS关系型数据库（安装Agent）架构图 本文以POSTGRESQL 7.4版本的关系型数据库为例，详细信息如表所示，您需要对该数据库内部违规和不正当操作进行定位追责，满足等保测评数据库审计需求。本节详细介绍该场景下开启数据库安全审计功能和验证审计结果的具体操作。 数据库类型 POSTGRESQL 数据库版本 7.4 数据库IP地址 192.168.1.31 应用端IP地址 （安装节点IP地址） 192.168.1.132 端口 8000 操作系统 LINUX64 约束与限制 使用数据库安全审计需要关闭数据库的SSL。 待审计数据库与数据库安全审计需要在同一区域。 购买数据库安全审计配置“VPC”参数时，需与Agent安装节点所在VPC相同。 数据库安全审计的Agent安装节点，请参见：如何选择数据库安全审计的Agent安装节点？。 步骤一：购买数据库安全审计 您需要根据您的业务需求购买数据库安全审计规格并配置数据库安全审计参数，详细操作请参见购买数据库安全审计。 为保证审计功能的正常使用，购买数据库安全审计配置“VPC”参数时，请与Agent安装节点所在VPC相同。 数据库安全审计的Agent安装节点，请参见：如何选择数据库安全审计的Agent安装节点？。

参数名 描述 “父租户” 显示上级父租户的名称。 “名称” 指定当前租户的名称，长度为1到20，可包含数字、字母和下划线。 “租户类型” 可选参数值为“叶子租户”和“非叶子租户”，当选中“叶子租户”时表示当前租户为叶子租户，无法再添加子租户。当选中“非叶子租户”时表示当前租户可以再添加子租户。 “动态资源” 为当前租户选择动态计算资源。系统将自动在Yarn父租户队列中以子租户名称创建任务队列。动态资源不选择“Yarn”时，系统不会自动创建任务队列。如果父租户未选择动态资源，子租户也无法使用动态资源。 “默认资源池容量(%)” 配置当前租户使用的资源百分比，基数为父租户的资源总量。 “默认资源池最大容量(%)” 配置当前租户使用的最大计算资源百分比，基数为父租户的资源总量。 “储存资源” 为当前租户选择存储资源。系统将自动在HDFS父租户目录中，以子租户名称创建文件夹。存储资源不选择“HDFS”时，系统不会在HDFS中创建存储目录。如果父租户未选择存储资源，子租户也无法使用存储资源。 “存储空间配额(MB)” 配置当前租户使用的HDFS存储空间配额。最小值值为“1”，最大值为父租户的全部存储配额。单位为MB。此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。若此配额大于父租户的配额，实际存储量受父租户配额影响。 说明 为了保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即默认共2个副本。HDFS存储空间球所有副本文件在HDFS中占用磁盘空间大小总和。例如“父租户中分配资源”设置为“500”，则实际只能保存约500/2250MB大小的文件。 “存储路径” 配置租户在HDFS中的存储目录。系统默认将自动在父租户目录中以子租户名称创建文件夹。例如子租户“ta1s”，父目录为“tenant/ta1”，系统默认自动配置此参数值为“tenant/ta1/ta1s”，最终子租户的存储目录为“/tenant/ta1/ta1s”。支持在父目录中自定义存储路径。存储路径的父目录必需是父租户的存储目录。 “服务” 配置当前租户关联使用的其他服务资源，支持HBase。单击“关联服务”，在“服务”选择“HBase”。在“关联类型”选择“独占”表示独占服务资源，选择“共享”表示共享服务资源。 “描述” 配置当前租户的描述信息。

本章节主要介绍翼MR的下载客户端操作。 操作场景 未部署服务端的服务器上需要安装组件客户端时，需要下载客户端安装包和配置文件。 操作步骤 1. 登录翼MR管理控制台。 2. 单击“我的集群”，单击指定的集群名称，进入集群详情页面。 3. 在“基础信息”页面的软件信息中，点击“前往下载客户端”按钮即可下载。当前共4个业务场景支持下载客户端，分别是：数据湖、数据服务、实时数据流和自定义场景。 4. 进入到组件的客户端安装包、MD5值和配置文件的下载页面，选择下载路径，点击保存即可。 注意 下载完整客户端包含：客户端安装包、MD5值和客户端配置文件。 客户端安装包包含组件：Hadoop（HDFS、YARN）、Hive、HBase、Flink、Kafka、Spark、ZooKeeper、Trino。 V2.17版本起，客户端安装包中新增Flume、SeaTunnel。 客户端配置文件：包含当前环境公共空间下所有客户端配置文件。 文件容量较大，请您耐心等待。

本章节主要介绍数据集成概述。 DataArts Studio数据集成是一种高效、易用的数据集成服务，围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。 数据集成即云数据迁移（Cloud Data Migration，后简称CDM）服务，本文中的“云数据迁移”、“CDM”均指“数据集成”。 您可以通过以下方式之一进入CDM主界面： 登录CDM控制台，单击“集群管理”，进入到CDM主界面。 登录DataArts Studio控制台。选择对应工作空间的“数据集成”模块，进入CDM主界面。 选择数据集成详见下图 云数据迁移简介 云数据迁移基于分布式计算框架，利用并行化处理技术，支持用户稳定高效地对海量数据进行移动，实现不停服数据迁移，快速构建所需的数据架构。 数据集成定位详见下图 产品功能 表/ 文件/ 整库迁移 支持批量迁移表或者文件，还支持同构/异构数据库之间整库迁移，一个作业即可迁移几百张表。 增量数据迁移 支持文件增量迁移、关系型数据库增量迁移、HBase/CloudTable增量迁移，以及使用Where条件配合时间变量函数实现增量数据迁移。 事务模式迁移 支持当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 字段转换 支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。 文件加密 在迁移文件到文件系统时，CDM支持对写入云端的文件进行加密。 MD5校验一致性 支持使用MD5校验，检查端到端文件的一致性，并输出校验结果。 脏数据归档 支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据单独归档到脏数据日志中，便于用户查看。并支持设置脏数据比例阈值，来决定任务是否成功。

本节介绍如何通过免Agent方式审计天翼云上数据库。 操作场景 天翼云关系数据库MySQL版、关系数据库PostgreSQL版、关系数据库SQL Server版、文档数据库服务支持通过免Agent安装的方式进行数据库审计。 前提条件 通过免Agent方式审计天翼云上数据库之前，首先需要开启SQL审计日志功能： 关系数据库MySQL版：具体操作请参考关系型数据库MySQL版开启SQL审计日志。（II类资源池中仅支持一类节点的资源池） 关系数据库PostgreSQL版：具体操作请参考关系数据库PostgreSQL版数据库审计设置。 关系数据库SQL Server版：具体操作请参考关系数据库SQL Server版开启审计日志。 文档数据库服务： 具体操作请参考文档数据库服务开启审计日志。 云数据库Clickhouse：无需单独配置审计日志开启，可直接在数据库审计中添加资产采集。 步骤一：购买数据库审计实例 请根据您的业务需求选购数据库审计规格，数据库安全审计参数及详细操作请参见购买数据库审计实例。 注意 数据库审计实例、数据库实例，需要在同一区域。 步骤二：启用天翼云RDS日志 说明 最新版本的数据库审计实例，购买后已自动开启天翼云RDS日志采集功能。若实例已开启该功能，可跳过该步骤。 1. 登录数据库审计实例。 2. 在左侧导航栏选择“系统管理 > 系统配置 > 日志采集方式”。 3. 确保已启用天翼云RDS日志采集。若未启用，单击“修改”按钮，在弹出的日志采集方式对话框中进行修改。

本章主要介绍翼MapReduce的备份Kafka元数据功能。 操作场景 为了确保Kafka元数据安全，或者系统管理员需要对ZooKeeper进行重大操作（如升级或迁移等）时，需要对Kafka元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份Kafka任务并备份元数据。支持创建任务自动或手动备份数据。 前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“ 数据存放路径 /LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。 操作步骤 1.在FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 2.单击“创建”。 3.在“任务名称”填写备份任务的名称。 4.在“备份对象”选择待操作的集群。 5.在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份，“手动备份”表示由手工执行备份。 周期备份参数 参数名称 描述 开始时间 任务第一次启动的时间。 周期 任务下次启动，与上一次运行的时间间隔，支持按“小时”或按“天”。 备份策略 首次全量备份，后续增量备份 每次都全量备份 每n次进行一次全量备份 说明 备份Manager数据和组件元数据时不支持增量备份，仅支持“每次都全量备份”。 如果“路径类型”要使用NFS或CIFS，不能使用增量备份功能。因为在NFS或CIFS备份时使用增量备份时，每次增量备份都会刷新最近一次全量备份的备份数据，所以不会产生新的恢复点。 6.在“备份配置”，勾选“Kafka”。 说明 若安装了多个Kafka服务，默认备份所有Kafka服务，可单击“指定服务”指定需要备份的Kafka服务。 7.在“Kafka”的“路径类型”，选择一个备份目录的类型。 备份目录支持以下类型： “LocalDir”：表示将备份文件保存在主管理节点的本地磁盘上，备管理节点将自动同步备份文件。默认保存目录为“ 数据存放路径 /LocalBackup/”。 选择此参数值，还需要配置“最大备份数”，表示备份目录中可保留的备份文件集数量。 “LocalHDFS”：表示将备份文件保存在当前集群的HDFS目录。 选择此参数值，还需要配置以下参数： “目的端路径”：填写备份文件在HDFS中保存的目录。不支持填写HDFS中的隐藏目录，例如快照或回收站目录；也不支持默认的系统目录，例如“/hbase”或“/user/hbase/backup”。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “目标NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 “RemoteHDFS”：表示将备份文件保存在备集群的HDFS目录。 选择此参数值，还需要配置以下参数： “目的端NameService名称”：填写备集群的NameService名称。可以输入集群内置的远端集群的NameService名称（haclusterX，haclusterX1，haclusterX2，haclusterX3，haclusterX4），也可输入其他已配置的远端集群NameService名称。 “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “目的端NameNode IP地址”：填写备集群NameNode业务平面IP地址，支持主节点或备节点。 “目的端路径”：填写备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录，例如快照或回收站目录；也不支持默认的系统目录，例如“/hbase”或“/user/hbase/backup”。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “NFS”：表示将备份文件通过NFS协议保存在NAS中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “CIFS”：表示将备份文件通过CIFS协议保存在NAS中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “OBS”：表示将备份文件保存在OBS中。 选择此参数值，还需要配置以下参数： “目的端路径”：填写保存备份数据的OBS目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 说明 MRS 3.1.0及之后版本才支持备份数据到OBS。 8.单击“确定”保存。 9.在备份任务列表中已创建任务的“操作”列，选择“更多 > 即时备份”，开始执行备份任务。 备份任务执行完成后，系统自动在备份目录中为每个备份任务创建子目录，目录名为 “备份任务名任务创建时间” ，用于保存数据源的备份文件。备份文件的名称为 版本号数据源任务执行时间.tar.gz 。

步骤 配置操作 说明 1 步骤一：添加数据库并开启审计 购买数据库安全审计后，您需要先将待审计的数据库添加到数据库安全审计实例并开启该数据库的审计功能。 2 步骤二：添加Agent 添加的数据库开启审计功能后，您需要为添加的数据库选择Agent的添加方式。数据库安全审计支持对云上的物理机/云主机的自建数据库和RDS云数据库进行审计，请根据您在管理控制台上实际部署的数据库选择Agent添加方式。 3 步骤三：安装Agent 添加Agent后，您需要下载Agent，并根据Agent的添加方式在数据库端或应用端安装Agent，将添加的数据库连接到数据库安全审计实例，才能使用数据库安全审计功能。 4 查看审计总览信息 数据库安全审计默认提供一条“全审计规则”的审计范围，可以对连接数据库安全审计实例的所有数据库进行审计。安装Agent后，您可以在数据库安全审计界面查看被添加的数据库的审计结果。

本章节主要介绍操作类问题中有关集群访问的问题。 MRS集群内节点的登录方式（密码或密钥对）如何切换？ 不可以切换。 创建集群时选择了节点登录方式后不能更改登录方式。 如何获取ZooKeeper的IP地址和端口？ ZooKeeper的IP地址和端口可以通过MRS控制台或登录Manager界面获取。 方法一：通过MRS控制台获取 1. 在MRS集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 2. 选择“组件管理 > ZooKeeper > 实例”，获取ZooKeeper实例的“业务IP”地址。 3. 选择“服务配置”页签，搜索“clientPort”参数，该参数的值即为ZooKeeper的端口。 方法二：通过Manager界面获取 1. 登录Manager界面。 2. 在Manager界面获取ZooKeeper的IP地址和端口。 −针对MRS 3.x之前版本集群 i.选择“服务管理 > ZooKeeper > 实例”，获取ZooKeeper实例的“业务IP”地址。 ii.选择“服务配置”页签，搜索“clientPort”参数，该参数的值即为ZooKeeper的端口。 −针对MRS 3.x及之后版本集群 i.选择“集群 > 服务 ZooKeeper > 实例”，获取ZooKeeper实例的“业务IP”地址。 ii.选择“配置”页签，搜索参数“clientPort”值，该参数的值即为ZooKeeper的端口。 如何通过集群外的节点访问MRS集群？ 创建集群外Linux操作系统ECS节点访问MRS集群 1.创建一个集群外ECS节点。 ECS节点的“可用区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 2.在VPC管理控制台，申请一个弹性IP地址，并与ECS绑定。 3.配置集群安全组规则。 a.在集群“概览”界面，选择“添加安全组规则 > 管理安全组规则”。 b.在“入方向规则”页签，选择“添加规则”，在“添加入方向规则”配置ECS节点的IP和放开所有端口。 c.安全组规则添加完成后，可以直接下载并安装客户端到集群外ECS节点。 d.使用客户端。 使用客户端安装用户，登录客户端节点，执行以下命令切换到客户端目录。 cd /opt/hadoopclient 执行以下命令加载环境变量。 source bigdataenv 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则通常情况下无需认证。 kinit MRS集群用户 例如： kinit admin 直接执行组件的客户端命令。 例如： 使用HDFS客户端命令查看HDFS根目录文件。 hdfs dfs ls / Found 15 items drwxrwxx hive hive 0 20211026 16:30 /apps drwxrxrx hdfs hadoop 0 20211018 20:54 /datasets drwxrxrx hdfs hadoop 0 20211018 20:54 /datastore drwxrwx+ flink hadoop 0 20211018 21:10 /flink drwxrx flume hadoop 0 20211018 20:54 /flume drwxrwxx hbase hadoop 0 20211030 07:31 /hbase ...

本章节主要介绍MapReduce如何创建集群。 使用翼MR的首要操作就是创建集群，本章节为您介绍如何在翼MR管理控制台创建一个新的集群。 操作步骤 1.登录翼MR管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 说明 创建集群时需要注意配额提醒。当资源配额不足时，建议按照提示申请足够的资源，再创建集群 。 3.在创建集群页面，选择“自定义创建”页签。 4 .配置集群软件信息。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20180321”。 集群版本：默认最新版本即可。 集群类型：默认选择“分析集群”即可。 组件选择：分析集群勾选Spark2x、HBase和Hive等组件。流式集群勾选Kafka和Storm等组件。混合集群可同时勾选分析集群流式集群的组件。 元数据：默认即可。 说明 针对翼MR 3.x之前版本，分析集群勾选Spark、HBase和Hive等组件 。 5.单击“下一步”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 安全组：选择“自动创建”。 弹性公网IP：选择“暂不绑定”。 实例规格：Master和Core节点都选择“通用计算型S3>8核16GB(s3.2xlarge.2 )”。 系统盘：存储类型选择“普通IO”，存储空间默认即可。 数据盘：存储类型选择“普通IO”，存储空间默认即可，数据盘数量默认即可。 实例数量：Master节点数量默认为2，Core节点数量配置为3。 注意 上述“实例规格”示例，实际可选规格请以各资源池可用规格为准。 6.单击“下一步”进入高级配置页签，配置参数，其他参数保持默认。 Kerberos认证： −Kerberos认证：关闭Kerberos认证。 −用户名：Manager管理员用户，目前默认为admin用户。 −密码：Manager管理员用户的密码。 登录方式：选择登录ECS节点的登录方式。 −密码：设置登录ECS节点的登录密码。 −密钥对：从下拉框中选择密钥对，如果已获取私钥文件，请勾选“我确认已获取该密钥对中的私钥文件 SSHkeyxxx ，否则无法登录弹性云主机”。如果没有创建密钥对，请单击“查看密钥对”创建或导入密钥，然后再获取私钥文件。 通信安全授权：勾选确认授权。 7.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 8.单击“返回集群列表”，可以查看到集群创建的状态。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。

本页介绍了关系数据库MySQL版的相关术语。 对关系数据库MySQL版相关常用名词进行解释能够帮助您更好的了解我们的产品，方便您的使用。 什么是实例？ 关系数据库MySQL版的最小管理单元是实例，一个实例代表了一个独立运行的关系数据库。用户可以在关系数据库系统中自助创建及管理各种数据库引擎的实例。实例的类型、规格、引擎、版本和状态，请参考关系数据库MySQL版产品简介实例说明。 什么是数据库引擎？ 数据库存储引擎是数据库底层软件组织，数据库数据的创建、查询、更新和删除都是通过数据库引擎来实现。关系数据库支持以下引擎：InnoDB。数据库引擎请参考关系数据库MySQL版产品简介实例说明存储引擎和版本。 什么是实例类型？ 关系数据库MySQL版的实例分为四个类型，即单机实例、主备实例、一主两备和只读实例。不同系列支持的引擎类型和实例规格不同请参考关系数据库MySQL版产品简介实例说明实例类型。 什么是实例规格？ 关系数据库MySQL版实例各种规格（vCPU个数、内存（GB））请参考关系数据库MySQL版产品简介实例说明实例规格 。在实例规格页面可看到具体规格支持的数据库版本。 什么是自动备份？ 当用户创建实例时，关系数据库MySQL版服务默认开启自动备份策略，实例创建成功后，您可对其进行修改，数据库实例将根据您的配置自动创建全量备份。

本章主要介绍翼MapReduce的备份DBService数据功能。 操作场景 为了确保DBService日常数据安全，或者系统管理员需要对DBService进行重大操作（如升级或迁移等）时，需要对DBService数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份DBService任务并备份数据。支持创建任务自动或手动备份数据。 前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“ 数据存放路径 /LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。 操作步骤 1.在FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 2.单击“创建”。 3.在“任务名称”填写备份任务的名称。 4.在“备份对象”选择待操作的集群。 5.在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份，“手动备份”表示由手工执行备份。 周期备份参数 参数名称 描述 开始时间 任务第一次启动的时间。 周期 任务下次启动，与上一次运行的时间间隔，支持按“小时”或按“天”。 备份策略 首次全量备份，后续增量备份 每次都全量备份 每n次进行一次全量备份 说明 备份Manager数据和组件元数据时不支持增量备份，仅支持“每次都全量备份”。 如果“路径类型”要使用NFS或CIFS，不能使用增量备份功能。因为在NFS或CIFS备份时使用增量备份时，每次增量备份都会刷新最近一次全量备份的备份数据，所以不会产生新的恢复点。 6.在“备份配置”，勾选“DBService”。 说明 若安装了多个DBService服务，默认备份所有DBService服务，可单击“指定服务”指定需要备份的DBService服务。 7.在“DBService”的“路径类型”，选择一个备份目录的类型。 备份目录支持以下类型： “LocalDir”：表示将备份文件保存在主管理节点的本地磁盘上，备管理节点将自动同步备份文件。 默认保存目录为“ 数据存放路径 /LocalBackup/”，例如“/srv/BigData/LocalBackup”。 选择此参数值，还需要配置“最大备份数”，表示备份目录中可保留的备份文件集数量。 “LocalHDFS”：表示将备份文件保存在当前集群的HDFS目录。 选择此参数值，还需要配置以下参数： “目的端路径”：填写备份文件在HDFS中保存的目录。不支持填写HDFS中的隐藏目录，例如快照或回收站目录；也不支持默认的系统目录，例如“/hbase”或“/user/hbase/backup”。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “目标NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 “RemoteHDFS”：表示将备份文件保存在备集群的HDFS目录。 选择此参数值，还需要配置以下参数： “目的端NameService名称”：填写备集群的NameService名称。可以输入集群内置的远端集群的NameService名称（haclusterX，haclusterX1，haclusterX2，haclusterX3，haclusterX4），也可输入其他已配置的远端集群NameService名称。 “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “目的端NameNode IP地址”：填写备集群NameNode业务平面IP地址，支持主节点或备节点。 “目的端路径”：填写备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录，例如快照或回收站目录；也不支持默认的系统目录，例如“/hbase”或“/user/hbase/backup”。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “队列名称”：填写备份任务执行时使用的Yarn队列的名称。需和源集群中已存在且状态正常的队列名称相同。 “NFS”：表示将备份文件通过NFS协议保存在NAS中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “CIFS”：表示将备份文件通过CIFS协议保存在NAS中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “SFTP”：表示将备份文件通过SFTP协议保存到服务器中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写备份数据的服务器IP地址。 “端口号”：填写SFTP协议连接备份服务器使用的端口号，默认值为“22”。 “用户名”：填写使用SFTP协议连接服务器时的用户名。 “密码”：填写使用SFTP协议连接服务器时的密码。 “服务器共享路径”：SFTP服务器上的备份路径。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “OBS”：表示将备份文件保存在OBS中。 选择此参数值，还需要配置以下参数： “目的端路径”：填写保存备份数据的OBS目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 说明 MRS 3.1.0及之后版本才支持备份数据到OBS。 8.单击“确定”保存。 9.在备份任务列表中已创建任务的“操作”列，选择“更多 > 即时备份”，开始执行备份任务。 备份任务执行完成后，系统自动在备份目录中为每个备份任务创建子目录，目录名为 “备份任务名任务创建时间” ，用于保存数据源的备份文件。 备份文件的名称为 版本号数据源任务执行时间.tar.gz 。

本文主要介绍日志收集系统Flume接入Kafka。 最佳实践概述 场景描述 使用Flume+Kafka来完成实时流式日志处理，后面再连接上Storm/Spark Streaming等流式实时处理技术，从而完成日志实时解析的目标。如果Flume直接对接实时计算框架，当数据采集速度大于数据处理速度，很容易发生数据堆积或者数据丢失，而kafka可以当做一个消息缓存队列，可以把它理解为一个数据库，可以存放一段时间的数据。 因此数据从数据源（ HTTP、Log 文件、JMS、监听端口数据等）到flume再到Kafka进行消息缓存，数据一方面可以同步到HDFS做离线计算，另一方面可以做实时计算，可实现数据多分发。 技术架构图 暂无。 方案优势 把数据存储到 HDFS 或者 HBase 等下游存储模块或者计算模块时需要考虑各种复杂的场景，例如并发写入的量以及系统承载压力、网络延迟等问题。Flume 作为灵活的分布式系统具有多种接口，同时提供可定制化的管道。在生产处理环节中，当生产与处理速度不一致时，Kafka 可以充当缓存角色。Kafka 拥有 partition 结构以及采用 append 追加数据，使 Kafka 具有优秀的吞吐能力；同时其拥有 replication 结构，使 Kafka 具有很高的容错性。所以将 Flume 和 Kafka 结合起来，可以满足生产环境中绝大多数要求。 前提条件 需已购买Kafka实例、创建Topic，并且已成功消费消息。 确认准备 Apache Flume环境（1.6.0以上版本兼容 Kafka）。 确认 Kafka 的 Source、 Sink 组件已经在 Flume 中。 资源规划 本实践方案内容仅涉及Kafka专享版实例。 分布式消息服务 Figure 1 分布式消息服务 资源类型 配置项 配置明细 说明 :::: 企业中间件 DMS Kafka专享实例 需已购买kafka专享实例，创建好Topic，并成功消费消息。 方案正文

本章节主要介绍翼MapReduce服务在不同场景下的应用。 大数据在人们的生活中无处不在，在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用云MRS服务进行大数据处理。 海量数据分析场景 海量数据分析是现代大数据系统中的主要场景。通常企业会包含多种数据源，接入后需要对数据进行ETL（ExtractTransformLoad）处理形成模型化数据，以便提供给各个业务模块进行分析梳理，这类业务通常有以下特点： 对执行实时性要求不高，作业执行时间在数十分钟到小时级别。 数据量巨大。 数据来源和格式多种多样。 数据处理通常由多个任务构成，对资源需要进行详细规划。 例如在环保行业中，可以将天气数据存储在OBS，定期转储到HDFS中进行批量分析，在1小时内MRS可以完成10TB的天气数据分析。 详见下图：环保行业海量数据分析场景 该场景下MRS的优势如下所示。 低成本：利用OBS实现低成本存储。 海量数据分析：利用Hive实现TB/PB级的数据分析。 可视化的导入导出工具：通过可视化导入导出工具Loader，将数据导出到DWS，完成BI分析。 海量数据存储场景 用户拥有大量结构化数据后，通常需要提供基于索引的准实时查询能力，如车联网场景下，根据汽车编号查询汽车维护信息，存储时，汽车信息会基于汽车编号进行索引，以实现该场景下的秒级响应。通常这类数据量比较庞大，用户可能保存1至3年的数据。 例如在车联网行业，某车企将数据储存在HBase中，以支持PB级别的数据存储和毫秒级的数据详单查询。 详见下图：车联网行业海量数据存储场景 该场景下MRS的优势如下所示。 实时：利用Kafka实现海量汽车的消息实时接入。 海量数据存储：利用HBase实现海量数据存储，并实现毫秒级数据查询。 分布式数据查询：利用Spark实现海量数据的分析查询。 实时数据处理 实时数据处理通常用于异常检测、欺诈识别、基于规则告警、业务流程监控等场景，在数据输入系统的过程中，对数据进行处理。 例如在梯联网行业，智能电梯的数据，实时传入到MRS的流式集群中进行实时告警。 详见下图：梯联网行业低时延流式处理场景 该场景下MRS的优势如下所示。 实时数据采集：利用Flume实现实时数据采集，并提供丰富的采集和存储连接方式。 海量的数据源接入：利用Kafka实现万级别的电梯数据的实时接入。

本章节主要介绍翼MapReduce的资源概述操作。 MRS集群的资源分为计算资源和存储资源。多租户可实现资源的隔离： 计算资源 计算资源包括CPU和内存。租户之间不可以相互占用计算资源，私有计算资源独立。 存储资源 存储资源包括磁盘或第三方存储系统。租户之间不可以相互访问数据，私有存储资源独立。 计算资源 计算资源可分为静态服务资源和动态资源： 静态服务资源 静态服务资源是集群分配给各个服务的计算资源，每个服务的计算资源总量固定，不与其他服务共享，是静态的。这些服务包括Flume、HBase、HDFS和Yarn。 动态资源 动态资源是分布式资源管理服务Yarn动态调度给任务队列的计算资源。Mapreduce、Spark2x、Flink和Hive的任务队列由Yarn来动态调度资源。 说明 大数据集群为Yarn分配的资源是静态服务资源，可以由Yarn动态分配给任务队列计算使用。 存储资源 存储资源是分布式文件存储服务HDFS中可分配的数据存储空间资源。目录是HDFS存储资源分配的基本单位，租户通过指定HDFS文件系统的目录来获取存储资源。

本页介绍了关系数据库MySQL版的与其他服务的关系。 在天翼云上您可以根据需要将关系数据库MySQL版与其他服务搭配使用。 关系数据库MySQL版与其他服务之间的关系，具体如下图所示。 详细说明如下表所示： 相关服务 交互功能 :: 弹性云主机(ECS) 关系数据库MySQL版服务配合弹性云主机 (Elastic Cloud Server，简称ECS)一起使用，通过内网连接关系数据库MySQL版可以有效地降低应用响应时间、节省公网流量费用。 虚拟私有云(VPC) 对您的关系数据库MySQL版实例进行网络隔离和访问控制。 对象存储服务(ZOS) 存储关系数据库MySQL版实例的自动和手动备份数据。 分布式数据库中间件服务(DRDS) 对于关系数据库MySQL版，使用分布式数据库中间件服务(Distributed Relational Database Service 简称 DRDS)，后端对接多个数据库实例，实现分布式数据库的透明访问。 数据迁移工具(DTS) 使用数据复制服务，实现数据库平滑迁移上云。 数据库管理工具(DMS) 使用数据管理服务，通过专业优质的可视化操作界面，提高数据管理工作的效率和安全。 数据库专家服务 专家团队为您提供数据库安装部署、健康巡检、应急响应、性能调优、架构规划设计、数据迁移咨询、备份恢复咨询等各类数据库专业服务，解决数据库各类问题，为您的数据库系统保驾护航。

本章节主要介绍如何配置角色实例参数。 操作场景 用户可以根据实际业务场景，在MRS中快速查看及修改角色实例默认的配置。支持导出或导入配置。 对系统的影响 配置HBase、HDFS、Hive、Spark、Yarn、Mapreduce服务属性后，需要重新下载并更新客户端配置文件。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 修改角色实例参数 1.在集群详情页，单击“组件管理”。 2.单击服务列表中指定的服务名称。 3.单击“实例”页签。 4.单击角色实例列表中指定的角色实例名称。 5.单击“实例配置”页签。 6.将页面右侧“基础配置”切换为“全部配置”，界面上将显示该角色实例的全部配置参数导航树。 7.在导航树选择指定的参数，修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 修改某个参数的值后需要取消修改，可以单击恢复。 8.单击“保存配置”，勾选“重新启动受影响的服务或实例。”并单击“确定”，重启角色实例。

字段名 类型 参数说明 例子 db.name string 数据库实例名 testDb db.statement string 执行语句 select from user db.system string 数据库类型 mysql db.connectionstring string 数据库地址 127.0.0.1:3306 db.user string 数据库用户名 root db.operation string 数据库操作 SELECT