searchusermenu
  • 发布文章
  • 消息中心
点赞
收藏
评论
分享
原创

如何使用开放式API进行对象存储迁移

2023-09-14 01:45:01
52
0

一、背景

      用户需要将其他厂商的对象存储数据迁移到天翼云,或者在天翼云不同类型之前迁移,如XOS(天翼云融合版)、OOS(天翼云经典版I型)、ZOS(对象存储(原生版)Ⅰ型)。只需准备好源端和目的端的信息即可创建迁移服务。

二、特点

1)支持主流厂商。可将当前主流厂商对象迁移至天翼云对象存储。

2)支持断点续传。支持暂停、恢复、重试。任务暂停后,可手动恢复,从中断的位置继续迁移。失败任务也可手动重试

3)查看实时速率和迁移量

4)自定义域名迁移。支持使用源端自定义域名进行迁移

5)迁移目标灵活选择。可指定迁移文件夹、文件、前缀

6)迁移记录。记录失败对象,用户可直观查看

7)批量迁移。支持多个源桶和目的桶之间的迁移

三、主要流程

1)API参数下发,请求发送至服务端;

2)服务端解析请求,将请求发送至scheduler;

3)scheduler将任务分配至每个agent;

4)agent执行对象存储迁移任务。

四、高级特性

1)syncObjectVersioning:对象多版本迁移开关,默认False。 若值为True,且源端存储桶开启了多版本功能,则在目的端存储桶开启多版本功能,迁移源桶所有对象版本至目的端,若源端未开启多版本,则只迁移最新版本。若值为False,无论源端存储桶是否开启了多版本功能,则只迁移最新版本。

2)customDomainName。源资源池自定义域名。

3)migrationLastModified。设置起始时间,仅迁移LastModified大于设置时间的对象,可以设置两种格式"year-month-day hour:minute:second",默认时间为"1970-01-01 08:00:00" 或"year-month-day",默认时间为"1970-01-01"。

4)conflictMode。同名文件处理选项,默认为OVERWRITE。当SyncObjectVersioning配置项为True且源存储桶开启了多版本功能时,忽略该配置,直接进行同名覆盖 ①OVERWRITE:同名文件进行覆盖 ②IGNORE:同名文件进行忽略 ③COMPARE:同名文件按最后修改时间比较,如果源LastModified小于目的LastModified,则此文件被执行跳过;源LastModified大于目的LastModified,则执行覆盖;源LastModified等于目的LastModified,则继续进行判断,若二者文件size或etag有其一不相等,则执行覆盖,否则,文件(size和etag都相等),文件将被执行跳过。

5)migrationRunningTimeRange。可指定迁移运行时间范围

 

 

0条评论
0 / 1000
张****俊
2文章数
0粉丝数
张****俊
2 文章 | 0 粉丝
张****俊
2文章数
0粉丝数
张****俊
2 文章 | 0 粉丝
原创

如何使用开放式API进行对象存储迁移

2023-09-14 01:45:01
52
0

一、背景

      用户需要将其他厂商的对象存储数据迁移到天翼云,或者在天翼云不同类型之前迁移,如XOS(天翼云融合版)、OOS(天翼云经典版I型)、ZOS(对象存储(原生版)Ⅰ型)。只需准备好源端和目的端的信息即可创建迁移服务。

二、特点

1)支持主流厂商。可将当前主流厂商对象迁移至天翼云对象存储。

2)支持断点续传。支持暂停、恢复、重试。任务暂停后,可手动恢复,从中断的位置继续迁移。失败任务也可手动重试

3)查看实时速率和迁移量

4)自定义域名迁移。支持使用源端自定义域名进行迁移

5)迁移目标灵活选择。可指定迁移文件夹、文件、前缀

6)迁移记录。记录失败对象,用户可直观查看

7)批量迁移。支持多个源桶和目的桶之间的迁移

三、主要流程

1)API参数下发,请求发送至服务端;

2)服务端解析请求,将请求发送至scheduler;

3)scheduler将任务分配至每个agent;

4)agent执行对象存储迁移任务。

四、高级特性

1)syncObjectVersioning:对象多版本迁移开关,默认False。 若值为True,且源端存储桶开启了多版本功能,则在目的端存储桶开启多版本功能,迁移源桶所有对象版本至目的端,若源端未开启多版本,则只迁移最新版本。若值为False,无论源端存储桶是否开启了多版本功能,则只迁移最新版本。

2)customDomainName。源资源池自定义域名。

3)migrationLastModified。设置起始时间,仅迁移LastModified大于设置时间的对象,可以设置两种格式"year-month-day hour:minute:second",默认时间为"1970-01-01 08:00:00" 或"year-month-day",默认时间为"1970-01-01"。

4)conflictMode。同名文件处理选项,默认为OVERWRITE。当SyncObjectVersioning配置项为True且源存储桶开启了多版本功能时,忽略该配置,直接进行同名覆盖 ①OVERWRITE:同名文件进行覆盖 ②IGNORE:同名文件进行忽略 ③COMPARE:同名文件按最后修改时间比较,如果源LastModified小于目的LastModified,则此文件被执行跳过;源LastModified大于目的LastModified,则执行覆盖;源LastModified等于目的LastModified,则继续进行判断,若二者文件size或etag有其一不相等,则执行覆盖,否则,文件(size和etag都相等),文件将被执行跳过。

5)migrationRunningTimeRange。可指定迁移运行时间范围

 

 

文章来自个人专栏
文章 | 订阅
0条评论
0 / 1000
请输入你的评论
0
0