操作场景
对象存储迁移服务ZMS在执行任务时,会先进行源端数据扫描,若您的源端持续增加新数据,则每次执行迁移任务时,无法确保迁移源端实时新增的数据。本方案将介绍通过规划任务的多次迁移,逐步实现将您的源端增量数据迁移至天翼云ZOS。
源端增量数据包含以下情况:
- 源端存量数据的修改:后续业务对源端已有的存量数据进行修改。
- 对源端新写入的数据:源端数据不存在,后续业务在源端新写入的数据。
迁移方案的原理
要实现对源端增量数据的迁移,需要每次执行迁移时,对不需要重复迁移的数据进行跳过,仅迁移增量数据。
对象存储迁移服务ZMS提供“ 按最后修改时间 ”选项,支持对进行同名文件是否覆盖的判断。该配置实现以下效果:
- 对源端和目的端的同名文件:若源端该文件的最后修改时间(Lastmodified)比目的端新,则用源端更新的文件覆盖目的端较旧的文件,实现将源端存储数据的最新修改同步至目的端。
- 对源端新写入的文件:源端新写入的文件在目的端无同名文件,会直接将该新写入文件迁移至目的端,实现对源端新写入文件的迁移。
因此,配置“ 按最后修改时间 ”进行迁移,既可以将对源端新写入的数据全部进行迁移,又可以对源端和目的端都存在的同名文件按最后修改时间判断,将源端最新修改(不包含删除)过的存量数据也进行迁移。
注意
迁移方案的关键操作
- 配置“ 同名文件是否覆盖 ”选项:创建任务时,配置按 最后修改时间(Lastmodified) 的处理方式,来进行迁移。
- 根据源端业务的增量情况,多次使用“开始”操作启动迁移任务进行增量的迁移。
操作流程
该方案通过多次迁移实现对源端增量数据的迁移,具体流程如下:
准备工作
注册天翼云账号
使用对象存储迁移服务ZMS,您需要先注册天翼云门户的账号。本部分将介绍如何进行账号注册,如果您拥有天翼云的账号,可登录后直接使用对象存储迁移服务。
- 打开天翼云门户网站,点击“ 注册 ”。
- 在注册页面,请填写“ 邮箱地址 ”、“ 登录密码 ”、“ 手机号码 ”,并点击“ 同意协议并提交 ” 按钮,如1分钟内手机未收到验证码,请再次点击“ 免费获取短信验证码 ”按钮。
- 注册成功后,可到邮箱激活您的账号,即可体验天翼云。
- 进行实名认证,请参考会员服务-实名认证。
开通天翼云对象存储
登录您的天翼云账号即可使用对象存储迁移服务ZMS,但天翼云对象存储ZOS需要您单独开通,具体操作可参看开通对象存储服务。
获取源端和目的端的访问密钥(AK/SK)
- 源端:源端为天翼云OOS,请检查您的天翼云OOS对应账号是否已创建有访问密钥(AK/SK),并且为您的账号授权天翼云OOS的访问权限。
- 目的端:目的端仅为天翼云对象存储ZOS,您可参看获取访问密钥(AK/SK),获取您的访问密钥(AK/SK)。
创建目的端存储桶(bucket)
请您在迁移前创建用于存储迁移数据的对象存储桶,具体操作可参看创建桶。
解冻源端的待迁移数据
若您源端的数据采用归档存储类型,迁移服务将无法直接进行迁移,请您提前对源端数据进行解冻,并待解冻全部完成后再创建迁移任务。
注意
步骤一:创建任务并首次迁移
前提条件
- 您具备源端对应账户的访问密钥(AK/SK)及访问权限。
- 请确保您的业务处于空闲阶段或非高峰期,避免迁移执行时影响您的业务。
操作步骤
1.填写源端目的端的相关参数
a.登录控制中心,点击控制中心左上角的图标,选择地域(服务入口目前仅开放“华东1”地域,推荐选择“华东1”即可),单击“存储>对象存储>对象存储迁移服务>迁移任务”进入迁移任务的控制界面,点击“创建迁移任务”。
说明迁移服务的控制台入口仅部分地域开放(目前仅有“华东1”开放),但服务支持迁移到全国不同资源池的ZOS桶。
例如:您在“华东1”的迁移服务控制台使用服务,依旧能为您迁移源端为“其他云服务商”或“华北2”的数据到“成都4”的对象存储桶。
b.按照您的迁移需要,在创建迁移任务页面填写源端和目的端的相关参数。
2.配置同名文件是否覆盖
通过配置“同名文件是否覆盖”参数,可以首次迁移源端的存量数据,后续多次开始该任务,完成对增量的迁移。该配置项的说明如下:
参数
说明
高级选项 同名文件是否覆盖 选择迁移的同名文件处理策略,支持:同名文件不覆盖、同名文件全覆盖、按最后修改时间判断。
说明
不覆盖
全覆盖
按最后修改时间
注意全覆盖
a.针对增量迁移的场景,配置“按最后修改时间”即可,然后创建该迁移任务。任务创建成功后会在“迁移任务列表”中展示。
b.任务创建成功后会变为“排队中”等待自动开始首次迁移。若创建成功后,任务状态为“已创建”,则您可以点击“开始”按钮,手动启动首次迁移。
c.迁移完成后,请勿删除该任务,以便后期再次迁移使用。
步骤二:多次增量迁移,直至全部迁移完成
前提条件
- 首次迁移结束,保留该任务未删除。
- 您的源端业务经过一段时间存在增量数据需要再次进行迁移。
- 请确保您的业务处于空闲阶段或非高峰期,避免迁移执行时影响您的业务。
操作步骤
1.操作“开始”再次启动迁移任务
a.登录控制中心,点击控制中心左上角的图标,选择地域(目前仅支持华东1),单击“存储>对象存储>对象存储迁移服务>迁移任务”进入迁移任务的控制界面。
b.在“迁移任务列表”中找到步骤一创建的迁移任务,点击“开始”按钮,再次启动任务进行迁移。
注意
2.源端数据增量结束,启动最后一次迁移
a.请确定一个增量迁移的窗口期,停止源端业务,源端确保不会再有增量数据。
b.登录控制中心,点击控制中心左上角的图标,选择地域(目前仅支持华东1),单击“存储>对象存储>对象存储迁移服务>迁移任务”进入迁移任务的控制界面。
c.在“迁移任务列表”中找到步骤一创建的迁移任务,点击“开始”按钮,启动最后一次增量迁移。
d.全部源端数据均迁移至目的端,增量迁移完成,迁移完成后启动目的端的写业务。
相关操作
增量迁移中失败对象的处理
增量迁移方案会进行多次迁移,迁移中因网络波动等原因,可能出现迁移失败的对象。您可参考以下方式对迁移失败的对象进行处理:
- 优先进行失败重试:您可以在某次迁移存在失败对象后,点击“重试”操作,优先对上一次迁移的失败对象进行重试迁移。该处理方式适用于在进行下一次增量迁移前,您需要目的端尽快与源端数据保持一致。
- 通过后续的增量迁移处理:若您上一次迁移存在失败对象未迁移,则您下一次启动增量迁移时,迁移服务会将这部分数据一并进行迁移。采用该处理方式,则在下一次增量迁移前,您的源端始终存在部分数据未及时迁移至目的端。
以上处理方式的流程可见下图示意:
查看任务迁移记录
当一个迁移任务被再次执行或重试后,前一次迁移的任务信息会保存在“任务迁移记录”中,方便您查看该任务多次执行迁移的历史信息。
增量迁移方案会进行多次迁移,通过任务迁移记录,能帮助你回溯每次迁移的记录。具体操作可参考查看任务迁移记录。