概要
本地到对象存储:将生产数据中的目录、文件同步到对象存储中,在创建规则时,根据需要同步的生产数据的目录结构和数量,管理员可以配置一条或多条规则来分组同步,必要情况下可以使用多台同步主机进行并发传输。
应用场景:将本地文件系统/NAS存储上的数据,同步至对象存储上桶或桶下目录中。
前置条件
DTO管理基本功能需要一些环境要求,分别如下:
添加“DTO主机”前,需要安装DTO软件程序。
在MDR控制台中添加对象存储。详见存储管理·对象存储。
在MDR控制台中添加“DTO主机”并处于在线状态。详见数据源·DTO主机。
MDR控制台需具备有dto的许可,并且该dto许可剩余允许传输量不为0。
新建本地到对象存储
点击左侧菜单栏-“资源同步管理”-“对象存储数据灾备”-“本地到对象存储”,进入本地到对象存储列表页,点击“新建”按钮,进入新建页面。
基本设置页面各配置项说明如下:
名称:用户自定义的规则名称,支持中文和英文字符。
同步主机:下拉框中会列出已注册至MDR控制台的DTO同步主机供选用。
规则类型:目前仅有静态文件同步:每次启动规则时会扫描源路径下的所有文件。首次同步时,会同步源路径下的所有文件。
同步策略类型:“手动同步”、“定期同步”和“间隔同步”。
手动同步:需手动启动规则。
定期同步:可指定每个月的某几天或者每个星期的某几天中的某几个时间点开始同步,规则会在设置的时间自动开始运行。
间隔同步:可指定从某个时间点开始每间隔多久自动启动一次规则,最小间隔时间为1秒钟,规则会在设置的时间自动开始运行。
定期同步策略:用户自行添加定期同步策略。可以设定多个不重叠的定时同步策略,彼此独立。
间隔同步策略:指的是从上一次规则完成到下一次规则启动之间的间隔,最小间隔时间单位为秒。
同步路径映射:用户自行配置需要同步的数据路径。同步路径支持手动输入路径。
排除路径:用户自行选择将同步数据路径中的某些子路径设置为排除路径,排除路径中的数据不进行传输。
快照时间点:此配置在选择同步路径后显示,仅在规则源路径为ZFS文件系统时需要配置;当源路径为ZFS文件系统时,点击“选择快照”按钮,可对该文件系统下的快照点进行查看、搜索和选择,然后将选择的快照点数据同步至目标路径中。
文件后缀名过滤:以后缀名为过滤条件,格式为“文件扩展名”,若多个过滤条件则用逗号隔开,如:“.txt”,“.doc”,“.rtf”。
排除:不同步源路径中该过滤项中定义的文件类型。
包含:只同步源路径中该过滤项中定义的文件类型。
文件日期过滤:通过正则表达式对同步路径下文件的日期进行筛选,文件日期符合正则表达式要求的文件被过滤出来。
排除:不同步源路径中符合筛选条件的文件。
包含:只同步源路径中符合筛选条件的文件。
同步设置页面各配置说明如下:
比较类型:数据比对时的校验方式。
文件属性检验(大小+修改时间):通过文件大小和修改时间进行比较。
MD5校验:通过文件的MD5值进行比较。
传输线程数量:可以指定传输线程个数。
ACL同步:此配置默认关闭,开启后可将本地文件系统中记录有ACL信息的文件同步到目标对象存储中(需要先由对象存储到本地规则将带有ACL信息的对象同步到本地,并记录ACL信息)。
备端文件压缩:指的是在本地将文件进行压缩,压缩完后传输到对象存储。
备端文件加密:将同步到目标端数据加密存储。
标准加密:通过设置的加密密钥对源端文件加密后存放到目标端。
加密密钥:填写加密密钥,密钥要求:32字节的字符串作为密钥,支持数字、字母、字符的组合,不支持中文。
COS服务端加密:通过对接COS对象存储API接口,上传到该对象存储桶的文件都自动加密,需额外选择加密密钥类型:
加密密钥类型:支持两种加密密钥类型:
SSE-COS:使用SSE-COS加密密钥类型进行加密,无需额外配置;
SSE-C:使用SSE-C加密密钥类型进行加密,需要额外填写加密密钥;
加密密钥:填写加密密钥,密钥要求:32字节的字符串作为密钥,支持数字、字母、字符的组合,不支持中文。
记录流水:默认关闭,开启后会将规则同步的所有文件相关信息(大小、MD5/etag、传输耗时、修改/更新时间)记录在同步主机/usr/drbksoft/dto/data/db/<规则UUID>.db文件中(默认路径),可供审计查看。
带宽配置页面各配置说明如下:
全选:开启后,将会选择一周内的所有时间。此选项默认关闭。
时间范围:用户自行勾选具体的生效日。
选择带宽:根据用户需求选择需要执行限速的时间段,可以设定多个不重叠的限速规则,彼此独立,如果带宽设定为0,表示禁止传输。