本章主要介绍翼MapReduce的备份恢复简介。 概述 FusionInsight Manager提供对集群内的用户数据及系统数据的备份恢复能力,备份功能按组件提供。系统支持备份Manager的数据、组件元数据及业务数据。 备份功能支持将数据备份至本地磁盘(LocalDir)、本端HDFS(LocalHDFS)、远端HDFS(RemoteHDFS)、NAS(NFS/CIFS)、SFTP服务器(SFTP)、OBS,具体操作请参考备份数据。 对于支持多服务的组件,支持同服务多个实例的备份恢复功能且备份恢复操作与自身服务实例一致。 说明 MRS 3.1.0及之后版本才支持备份数据到OBS。 备份恢复任务的使用场景如下: 用于日常备份,确保系统及组件的数据安全。 当系统故障导致无法工作时,使用已备份的数据完成恢复操作。 当主集群完全故障,需要创建一个与主集群完全相同的镜像集群,可以使用已备份的数据完成恢复操作。 根据业务需要备份Manager配置数据 备份类型 备份内容 备份目录类型 OMS 默认备份集群管理系统中的数据库数据(不包含告警数据)以及配置数据。 l LocalDir l LocalHDFS l RemoteHDFS l NFS l CIFS l SFTP l OBS 根据业务需要备份组件元数据或其他数据 备份类型 备份内容 备份目录类型 DBService 备份DBService管理的组件(Loader、Hive、Spark、Oozie、Hue)的元数据。对于安装了多服务的集群,包含多个Hive和Spark服务实例的元数据。 l LocalDir l LocalHDFS l RemoteHDFS l NFS l CIFS l SFTP l OBS Kafka Kafka的元数据。 l LocalDir l LocalHDFS l RemoteHDFS l NFS l CIFS l OBS NameNode 备份HDFS元数据。添加多个NameService后,支持不同NameService的备份恢复功能且备份恢复操作与默认实例“hacluster”一致。 l LocalDir l RemoteHDFS l NFS l CIFS l SFTP l OBS Yarn 备份Yarn服务资源池相关信息。 l LocalDir l RemoteHDFS l NFS l CIFS l SFTP l OBS HBase HBase系统表的tableinfo文件和数据文件。 l LocalDir l RemoteHDFS l NFS l CIFS l SFTP l OBS 根据业务需要备份特定组件业务数据 备份类型 备份内容 备份目录类型 HBase 备份表级别的用户数据。对于安装了多服务的集群,支持多个HBase服务实例的备份恢复功能且备份恢复操作与HBase服务实例一致。 l RemoteHDFS l NFS l CIFS l SFTP HDFS 备份用户业务对应的目录或文件。 说明 加密目录不支持备份恢复。 l RemoteHDFS l NFS l CIFS l SFTP Hive 备份表级别的用户数据。对于安装了多服务的集群,支持多个Hive服务实例的备份恢复功能且备份恢复操作与Hive服务实例一致。 l RemoteHDFS l NFS l CIFS l SFTP 需要特别说明的是,部分组件不提供单独的数据备份与恢复功能: Kafka支持副本特性,在创建主题时可指定多个副本来备份数据。 Mapreduce和Yarn的数据存放在HDFS上,故其依赖HDFS提供备份与恢复即可。 ZooKeeper中存储的业务数据,其备份恢复能力由各上层组件按需独立实现。
对于同一VPC内的弹性云主机,可以通过主机名进行通信。实现此功能,需要配置主机名与IP地址之间的映射关系。 约束限制 仅适用于同一VPC内Linux弹性云主机 。 可以通过如下方式查看弹性云主机的vpc: a. 登录云主机控制台。 b. 点击实例。 c. 查看vpc。 操作步骤 假设同一VPC内共有2台弹性云主机:ecm53a1和ecm9d59。通过如下操作,2台弹性云主机可以通过主机名互相通信。 1. 获取2台弹性云主机的IP地址。 a. 登录云主机控制台。 b. 在云主机列表中查看云主机的IPv4地址。 【示例】假设查询的IP地址如下: ecm53a1:10.0.0.4 ecm9d59:10.0.0.5 2. 分别获取2台弹性云主机的主机名。 a. 登录弹性云主机。 b. 执行以下命令,查询弹性云主机的主机名。 sudo hostname 【示例】假设查询的主机名如下: ecm53a1:ecm53a1 ecm9d59:ecm9d59 3. 建立主机名与IP地址之间的映射关系,并添加同一VPC内其他弹性云主机的信息。 a. 登录弹性云主机ecm53a1。 b. 执行以下命令,切换至root权限。 sudo su c. 执行以下命令,编辑hosts文件。 vi /etc/hosts d. 按“ i ”,进入编辑模式。 e. 按照如下格式添加语句,建立映射关系。 IP地址 主机名 【示例】需添加的语句为: 10.0.0.4 ecm53a1 10.0.0.5 ecm9d59 f. 按“Esc”退出编辑模式,并执行以下命令,保存并退出。 :wq g. 登录ecm9d59 , 重复执行3.b~3.f。 4. 测试验证能否通过主机名正常通信。 分别登录配置好的的弹性云主机,执行以下命令,看ping包是否能正常送达。如有下图所示的结果,则表示已经可以通过主机名正常通信。 ping hostname