概述
文件复制,即数据从工作机到灾备机的复制“通道”。数据灾备的主要目的是通过将数据以及相关的增量变化实时地从工作机复制到灾备机。MDR程序以字节为最小单位,将数据的变化部分通过IP网络复制到灾备机,从而保证数据传输的高效、数据的完整性。文件复制中包含了实时数据复制及持续数据保护的功能。实时数据复制:字节级实时复制软件,广泛适用于文件系统、数据库系统、邮件系统等实时的容灾备份保护。通过部署在生产服务器上的轻量级客户端实时捕获字节级增量并实时传输到灾备服务器。
持续数据保护可以捕获或跟踪数据的变化,并将其独立存放在生产数据之外,以确保数据可以恢复到过去的任意时间点。持续数据保护可以为恢复对象提供足够细的恢复粒度,实现任意的恢复时间点。由于持续数据保护记录所有的修改操作以及数据的变化,所以占用的磁盘空间是比较大的。MDR程序独特的多Baseline支持可以提高配置的灵活性,以及持续数据保护恢复的速度。
持续数据保护功能主要包含两个步骤:添加节点和新增规则(见下方)。
添加节点包含工作机和灾备机。添加工作机,主要是指定需要保护的文件或目录;添加灾备机,主要是确定数据备份的存放目录;添加规则,或任务,即关联工作机和灾备机,通过设置各种参数实现不同的数据复制和保存效果,比如数据复制的映射关系、连续数据保护的保护策略和全副本的保留策略等。
恢复数据时,用户通过恢复管理菜单完成。控制台提供三种方式:
1)即时恢复,从灾备数据中将生产数据的实时副本恢复出来;
2)持续数据保护恢复,从数据备份历史中选择任意一个时间点实现细粒度的数据恢复,前提是创建复制规则的时候开启CDP选项;
3)快照恢复,即从数据生成的快照集合中,选择某一个快照所对应的数据切片进行恢复,前提是用户开启了快照选项(此快照功能针对Windows灾备机;Linux灾备机不支持此快照配置,建议使用CDP功能)。
前提条件
已部署控制机。
工作机系统已安装drnode并且注册节点,需要有持续数据保护许可。
灾备机系统已安装drnode并且注册节点,需要有持续数据保护许可。
新建规则
登录天翼云,进入控制中心。
单击管理控制台左上角的
,选择区域。
在服务列表选择“计算”-“多活容灾服务”,进入多活容灾服务控制台。
点击左侧菜单栏-“资源同步”-“资源同步管理”,进入资源同步管理页面。
点击左侧菜单栏-“持续数据保护”,点击“复制规则”,进入复制规则页面。
点击“新建”按钮,进入创建复制规则页面。
参数 | 配置说明 |
---|---|
名称 | 用户自定义的普通复制规则名称,便于管理,支持中文和英文字符,区分和识别当前任务的名称。 |
业务组 | 选择预定义的业务组。 |
节点组 | 选择节点组,方便工作机,灾备机选择容灾节点。 |
工作机 | 选择发送复制数据的容灾节点。在线节点优先显示在列表的前面,并且采用名称排序。如果已经创建节点组,可选择节点组再进行节点选择。若没有创建节点组,可直接选择节点,系统将自动列出拥有功能许可的所有主机节点,供用户自行选择。 |
代理 | 选择跨网络传输的代理地址。 |
灾备机 | 选择接收复制数据的容灾节点。如果已经创建节点组,可选择节点组再进行节点选择。若没有创建节点组,可直接选择节点,系统将自动列出拥有功能许可的所有主机节点,供用户自行选择。 |
数据地址 | 用户可以根据需要选择灾备机指定数据地址,用于接收复制数据。 |
类型过滤 | 用户可以指定只保护某些后缀名的文件,或者排除某些后缀名的文件。 |
规则自动启动 | 默认选中,规则提交后自动开始镜像和复制。如果不选中,规则提交后为停止状态。 |
预约启动 | 可以设置预定时间点,提交复制规则后到预约时间后再启动。 |
路径配置设置页面各项配置如下,该页面需要在基本设置栏认证后进行操作。
参数 | 配置说明 |
---|---|
映射类型 | 支持“多对一”和“一对一”。 多对一:所有的工作机的源目录和文件都复制到灾备机的单一目录下。 一对一:工作机的源目录和文件一一对应到灾备目录。 |
要复制的目录和文件 | 当工作机是Linux平台时,系统会将用户创建工作机时选择的灾备目录在此列出,用户可以做进一步的细化和配置,如排除个别不需要的文件或者目录。如工作机是Windows平台,则用户可在此自由选择需要灾备的目录。 |
不要复制的目录和文件 | 不要复制的文件和目录表格的文件和目录,通常是映射表中工作机源目录下的文件或者子目录。由该表指定的文件和目录不会被MDR程序监控。 |
镜像设置页面各项配置如下:
参数 | 配置说明 |
---|---|
跳过镜像 | 正常镜像:正常规则运行流程,即启动规则后遍历→镜像→复制; |
校验方式 | 在重镜像过程中有四种校验方式可以选择,默认选择总是严格校验。校验方式支持以下四种: 总是严格校验:每个文件都做严格校验并差异镜像,若文件不一致则覆盖该文件。 |
校验算法 | 支持MD5和SHA256两种数据校验算法,默认为MD5。 |
错误处理方式 | 如果源路径包含系统目录和文件,MDR程序可能无法访问某些特定的系统文件。对于这种情况,提供两种方式: |
文件打开方式 | 在镜像阶段,源端打开文件的方式,该选项只适用于Windows平台的工作机。在增量复制阶段,MDR程序不会读取文件内容。 |
文件安全属性 | 设置工作机文件的用户权限等安全属性是否需要同步到备端,默认为“同步”。 |
遍历时镜像 | 启动遍历时镜像,复制规则在遍历过程中进行数据校验;不启用遍历时镜像,复制规则会在遍历结束后进行数据校验。 |
并行任务数 | 设置并行任务数,设置软件并发连接数,对于海量小文件、单连接达到最大带宽时,可以大大提升备份速度。 |
孤儿文件处理方式 | 针对复制规则镜像阶段的孤儿文件进行处理,可选择的处理方式包括: |
压缩加密页面各项配置如下:
参数 | 配置说明 |
---|---|
传输压缩 | 选择是否启用传输压缩。启用传输压缩后,源端对准备传输的数据进行压缩处理,目标端接收数据进行解压写入本地存储。提供四个压缩类型选择:极速压缩,普通压缩,快速压缩,均衡压缩。 |
压缩类型 | 极速压缩:极速压缩采用lz4。压缩速度最快,压缩率比较低。 |
传输加密 | 选择是否启用传输加密。启用传输加密后,工作机在准备发送数据过程时使用加密算法和密钥加密数据,当灾备机收到数据后将执行解密操作再写入灾备机的本地存储。此选项默认不加密。 |
加密类型 | 提供AES、SM4加密算法。 |
备端数据加密 | 默认不开启,开启后进行备端存储数据时进行加密,加密密钥为规则建立时控制台密文下发给备端,内部自有加密算法。 |
快照设置页面:针对复制规则,用户可自动或者手工生成快照。快照即当前数据集的一个“切片”。配置自动快照的时候,必须定义快照的生成间隔时间、开始时间,以及快照数目。一个快照占用的磁盘空间和当前的数据占用的磁盘空间一样,所以当定义自动快照的时候,要注意有足够的磁盘空间放置相应的快照,不需要的快照通过快照管理及时删除。
快照设置页面各项配置如下:
参数 | 配置说明 |
---|---|
自动快照开关 | 默认为关闭状态;开启快照后的规则,可以在规则管理页面通过“快照列表”查看当前任务所累积生成的快照列表。 |
间隔时间 | 每次执行快照操作的时间间隔,最小为1小时。 |
开始时间 | 可以选择精确的时间,精确到秒。 |
快照数目 | 限定最大保留的快照数量,最大值64。 |
快照个数达到上限时策略 | 自动循环:删除最旧的快照,并生成最新的快照。 |
CDP设置页面:各项配置详见下部分“CDP配置”。
带宽控制页面:当在某些情况下,用户想限定带宽的使用,可以通过带宽控制来实现。比如,通过Internet实现数据异地灾备,但同时用户又不想在上班时间影响员工的Internet访问速度,就可以限定工作机时间的带宽。
参数 | 配置说明 |
---|---|
时间范围 | 用户自行勾选具体的生效日。 |
带宽 | 根据用户需求选择需要执行限速的时间段;可以设定多个不重叠的限速规则,彼此独立;带宽设定为0时,规则停止,带宽显示为0。 |
比较计划页面各项配置如下:
参数 | 配置说明 |
---|---|
比较计划 | 选择是否开启比较同步,默认不开启。 |
任务类型 | 可选择仅比较、比较与同步(此选项仅当规则为直接进入复制状态或仅同步目录配置项时可使用)。 |
策略类型 | 支持选择每天、每周、每月。 |
校验方式 | 数据一致性校验的方式; |
校验算法 | 分为MD5和SHA256两种数据校验算法,默认为MD5。 说明:比较完成后可以在工作机日志文件work_sysrun_<DATE>.log中查询比较结果。 |
任务运行时间 | 可点击添加计划新增策略。 |
结果保留数 | 结果保留的个数,结果保留数只能是1-1440的正整数。 |
高级设置页面各项配置如下:
参数 | 配置说明 |
---|---|
备机增量数据缓存 | 开启后,复制规则会将增量数据通过网络传输到灾备机,并将数据缓存至灾备机的内存和存储中,以减少对工作机资源的消耗。 |
复制删除文件处理 | 开启后,当复制规则处于复制状态时,针对源端删除的文件可选择多种方式进行处理: |
复制延迟阈值 | 用户所能接受的复制最长延迟时间,填入非负整数。 |
文件名转换 | 在源文件复制到目标端时,可将该文件的名称按照选择的处理方式转换后存放在目标端同步路径下。此选项默认关闭,开启后,可选的转换方式有:默认常规、用户自定义。 |
增加前缀/增加后缀 | 在复制的文件名前/后缀添加字符串。 |
大小写 | 将文件名转换成设置的对应的格式。转大写、转小写或者保持不变。 |
用户自定义 | 通过正则表达式匹配符合的文件,并根据转换策略进行转换。 |
镜像前备端检测脚本 | 复制规则开始镜像之前,允许用户在灾备机配置脚本。复制规则在执行镜像之前,灾备机会执行脚本,根据脚本返回的结果决定是否执行镜像。 |
填写配置后,点击“确定”,完成规则创建。
CDP配置
登录天翼云,进入控制中心。
单击管理控制台左上角的
,选择区域。
在服务列表选择“计算”-“多活容灾服务”,进入多活容灾服务控制台。
点击左侧菜单栏-“资源同步”-“资源同步管理”,进入资源同步管理页面。
点击左侧菜单栏-“持续数据保护”,点击“复制规则”,进入复制规则页面。
点击“新建”按钮,进入创建复制规则页面。
CDP页面各配置项如下:
参数 | 配置说明 |
---|---|
CDP | 默认为关闭状态,可选择开启。 |
使用快照做Baseline | 启用此选项后,规则采用快照技术生成快照。旨在提高CDP数据恢复的效率和减少CDP过程所消耗的灾备机存储空间。 |
处理时间 | 指定CDP策略在执行按天合并时的时间,一般使用默认配置 00:00:00。 |
CDP数据目录 | 用于保存快照数据和CDP数据的位置。 |
保留天数 | 连续CDP保留天数,设置此项在此时间段内可以恢复到任意有数据变化的时间点。 |
保留个数 | 把连续的CDP数据按天合并以减少磁盘占用,在此时间段内,数据可以恢复到当天的按天合并的时间点,即“处理时间”参数配置的时间点。 |
存储格式 | 快照的保存形式分为保持源目录结构和打包两种,默认为保持源目录结构。 |
创建副本 | 在生成快照的同时再创建一个副本,CDP恢复合并过程中直接用该副本进行增量数据合并,但会额外消耗磁盘空间即双份快照。 |
生成策略 | 用户按照每周、每月或每年自动创建Baseline并定义保留数量。 |
处理时间 | 按天快照执行时间,一般使用默认配置 00:00:00。 |
CDP数据目录 | 保存CDP数据的路径。若灾备机为Linux系统,建议指定存放在ZFS文件系统上。 |
使用数据增量做快照、数据增量大小 | 启用使用数据增量做快照后,需设定数据增量大小,每产生该大小的CDP数据,规则对目标数据做快照生成快照。不启用此选项需设定按时间生成细粒度快照。 |
细粒度快照的时间间隔 | 设定间隔多久生成一个细粒度快照。 |
细粒度快照的保存个数 | 设定细粒度快照的最大保存个数,超过上限时最早的细粒度快照和相关的CDP连续数据会被删除。 |
按天生成的快照的保存个数 | 设定按天生成的快照最大保存个数,该快照在处理时间点生成,超过上限时最早的按天生成的快照和相关的CDP连续数据会被删除。 |
生成策略 | 若使用快照生成Baseline,无需启用此选项。 |
其他配置可参考上方新建规则。
上述内容详情可参见多活容灾服务用户帮助手册-持续数据保护。
最佳实践
灾备机建议配置:CPU 16 core,32GB内存,200GB系统盘。数据盘容量是生产机总数据量的4倍。(与具体的保留策略有关,至少4倍容量)
网络要求:与增量数据相关。
1台灾备机保护10台生产机。