概要
对象存储数据灾备主要解决对象存储相关的数据同步场景。帮助用户将海量非结构化数据同步至对象存储中,进而提高非结构化数据的检索与访问性能。既降低了运营的成本,又提高了数据的安全性。文件归档功能使得数据归档管理更加灵活方便,能够及时将本地存储符合归档条件的数据同步至对象存储中,从而释放本地存储资源;所有归档记录可以通过管理界面快速查询和恢复,十分适合有海量数据存储的场景。
对象存储数据灾备的使用场景主要有:
本地/NAS存储上的数据同步至对象存储,详情见本地到对象存储规则、文件比较与同步规则两章节;
对象存储上的数据同步至本地/NAS存储,详情见对象存储到本地规则章节;
对象存储到对象存储之间的数据同步,详情见文件比较与同步规则章节。
针对以上场景:对象存储数据灾备可以实现间隔为秒级的数据定期同步。
网络配置
1)云内:租户需手动配置其需同步资源所在的虚拟私有云(VPC),并通过部署VPC终端节点(VPCEP)实现MDR网络代理与目标VPC的安全互联。
登录天翼云,进入控制中心。
单击管理控制台左上角的
,选择资源所在区域。
在服务列表选择“网络”-“VPC终端节点”,进入网络控制台。
点击右上角“创建终端节点”按钮,进入创建VPC终端节点页面。
在进行节点添加之前,需要把云主机所在的VPC,进行终端节点连接配置,截图如下:
服务类型选择“按服务实例ID查找服务”。其中,可用服务处填写MDR在不同资源池内的代理VPC终端节点服务ID(为MDR侧提供固定ID,不同资源池ID不同)。不同资源池对应的代理VPC终端节点服务ID如下:
资源池名称 终端节点服务ID 华东1 endpser-bjs8nmhm5m 西南1 endpser-fnc13o1uao 华南2 endpser-x6xhocvz79 西南2 endpser-ikzxim4cpv 华北2 endpser-lmmnp90xgx 虚拟私有云选择需要添加的ECS节点所在的VPC。
注意:此链接对于租户侧不收费,费用都在终端节点服务端侧(MDR)结算。
租户配置终端节点成功后,点击详情页可查看节点IP。此节点IP就是后续安装drnode客户端时,需要进行配置填写的IP。
2)云下、其他
云下或者其他场景,需要联系技术专家针对客户实际场景进行方案解决。
主要网络打通方案参考:
云下通过公网与MDR打通
安装部署
一、安装DTO同步主机
1)软硬件环境要求
同步主机需要安装DTO程序,用于读取本地存储及对象存储数据并进行传输。DTO同步主机至少具备以下配置:
硬件环境要求:
下表列出了安装DTO软件程序应具备的最低硬件配置。在实际业务中,硬件配置的规划需考虑数据规模及所期望的响应速度。
项目 | 配置说明 |
---|---|
服务器架构 | 支持X86、arm架构。 |
硬盘 | 至少预留50GB。 |
CPU | 至少4核8线程及其以上。 |
内存 | 至少8G内存及其以上。 |
网络要求 | 百兆以上以太网。 |
说明:
DTO主机不同的硬件配置可以同时运行的DTO规则数量不同,可以使用如下方式进行估算:
CPU核数:与DTO主机同时运行规则/传输线程数有关,计算公式:CPU核数*100≥DTO主机所有规则传输线程数。
内存大小:与规则传输的大文件数量有关系,判断标准:
默认全部小文件时,一条规则占用内存100MB;
当规则传输文件包含大文件时,会额外占用内存,计算方式:传输线程数*对象大文件分片大小*2(默认文件大小≥1GiB,可通过对象存储·分片大小进行调整);按照默认配置计算,则最多额外占用4GB内存(分片大小200MiB,传输线程数10个,假设所有传输线程都传输大文件分片)。
文件是否为大文件判断方式:按照对象存储配置页面·分片大小配置项数值的5倍划分,默认分片大小为200MiB,则默认的大文件大小为200MiB*5=1GiB。
如果客户在同步大文件场景时,发现DTO主机现有内存不足以满足日常大文件同步所需内存要求,可以通过调大对象存储的“分片文件大小”数值,来减少需要分片传输的大文件数量,可以一定程度上缓解同一时刻规则负责传输的大文件的传输线程数量,从而减少同一时刻DTO主机的内存占用。(此方式对于大、小文件混合场景时会有缓解作用,如果全部是大文件场景,则无法缓解)
软件环境要求:
部署DTO软件程序对操作系统的要求如下:
支持的操作系统(x86架构):Windows Server 2008及其以上、CentOS/Red Hat Enterprise Linux 7.2及其以上等。
注意:DTO有关软件程序的安装必须在Linux的root用户或其他具有超级权限的用户下进行。
2)RHEL/CentOS(Linux)系统安装DTO
a)安装DTO
当安装DTO的同步主机操作系统为el7.2及以上版本时,可以采用软件包方式安装DTO。
DTO软件程序可以部署在物理主机或虚拟机上,在Linux操作系统下安装DTO,用户需要准备适配的操作系统,支持的Linux操作系统版本详见上方4.1.1“软硬件环境要求”章节,安装步骤如下:
将DTO安装包上传到服务器,执行DTO安装包的安装命令进行安装:
# rpm -ivh info2soft-dto-<version>.<os-version>.rpm
安装完成后,确认当前DTO版本信息与安装包名的版本是否一致:
# rpm -qa | grep dto
编辑system.conf文件(安装包安装的默认位置为:/usr/drbksoft/dto/conf/)来指定与控制机通信的DTO主机IP地址,具体添加内容如下:
rpcip = 0.0.0.0
说明:如果要求必须指定具体IP地址,则需要填写DTO主机网卡的实际IP地址;如果DTO主机有多个IP地址时,则需要配置控制机(Webconsole主机)能够访问的DTO主机IP地址。
进入到DTO的安装路径下,本例为默认安装路径:
# cd /usr/drbksoft/dto/
DTO安装后需要使用命令如下设置密码(exampleuser用户的密码),在控制台上注册DTO主机认证时使用:
# /usr/drbksoft/dto/jdk/bin/java -jar /usr/drbksoft/dto/lib/dto.jar --resetPasswd
若在内网隔离的情况下使用,需要生成对应的认证码用于在控制台上注册。
# /usr/drbksoft/dto/jdk/bin/java -jar /usr/drbksoft/dto/lib/dto.jar --ccproxyConfig
填写代理主机地址(nodeproxy-mdr),提示success说明连接成功。
使用# /usr/drbksoft/dto/jdk/bin/java -jar /usr/drbksoft/dto/lib/dto.jar --ccproxyConfig命令后,需要重启drdto:
# systemctl restart drdto
b)DTO启动与停止
DTO有两种启停方式:服务方式和脚本方式,选择其中一种方式进行启/停操作即可,推荐使用脚本方式。不同方式的适用场景如下:
服务方式:备份服务器和DTO在同一台机器上,如本地/NAS存储与对象存储间数据同步场景。
脚本方式:备份服务器和DTO在不同机器上,如对象存储与对象存储间数据同步场景。
服务方式:DTO和备份服务器在一起时,配置内存建议是16~24G。服务方式使用系统命令进行DTO的启动和停止,相关命令如下:
进入到dto的安装路径下,本例为默认安装路径:
# cd /usr/drbksoft/dto/。
修改start-synchost.sh文件,将脚本中的Xmx值修改为DTO主机实际内存大小或略小于内存大小(如:64G内存则可以修改为-Xmx64g),修改后保存退出。
启动DTO:
# systemctl start drdto
。开即自动启动DTO:
# systemctl enable drdto
。停止DTO:
# systemctl stop drdto
。查看DTO服务状态:
# systemctl status drdto
。重启DTO:
# systemctl restart drdto
。
脚本方式:DTO单独主机时,配置建议是8G以上。脚本方式进行DTO的启动和停止,相关命令如下:
进入到dto的安装路径下,本例为默认安装路径:
#cd /usr/drbksoft/dto/
。修改start-synchost.sh文件,将脚本中的Xmx值修改为DTO主机实际内存大小或略小于内存大小(如:64G内存则可以修改为-Xmx64g),修改后保存并退出。
执行启动脚本文件:
# ./start-synchost.sh
。查询DTO进程:
#ps -ef | grep dto
。关闭DTO进程:
#kill (上一步查询出来DTO的pid)
。重新运行DTO程序(先进入DTO启动脚本所在路径):
# ./start-synchost.sh
。
二、租户许可申请
登录天翼云,进入控制中心。
单击管理控制台左上角的
,选择区域。
在服务列表选择“计算”-“多活容灾服务”,进入多活容灾服务控制台。
点击左侧菜单栏-“资源同步”-“资源同步管理”,进入资源管理模块页面。
点击左侧菜单栏-“对象存储数据灾备”,点击“许可”,进入许可页面。
点击右上角“购买对象存储数据灾备”按钮,弹出购买许可弹窗。按需购买许可。
填写购买数量和时长,勾选已阅读并同意相关协议后,点击“购买”按钮,完成许可支付。