专栏
天翼云开发者社区

本地文件数据迁移到公有云ZOS对象存储的迁移方案

2023-12-15 11:04:06 15阅读

本文提供了将用户的本地文件或本地数据,通过迁移软件迁移至公有云存储,重点介绍了迁移工具的使用。

  • 测试网络连通性

在浏览器访问ZOS对象存储公网域名:

例如:访问北京5的zos域名:beijing-5.zos.ctyun.cn

 

浏览器有如下s3返回即为正常

  • 把rclone包部署在客户服务器上,解压缩,复制到C盘根目录

打开windows的批处理功能:

运行菜单à输入“cmd”到rclone的目录

 

例如:

 

  • Rclone初始化配置

在cmd中输入:

#rclone config

 

Name:自定义一个名称,便于后续访问和调用

 

storage:5

 

Provider:25(不选3,切记)

 

Env_auth:1

 

Ak:输入zos的ak

Sk:输入zos的sk

Region:2

 

Endpoint:xxxx.zos.ctyun.cn(需要附带https)

Location_constraint:空

Acl:空

 

选择:n

不做高级配置

 

确认配置是否正确,可参照下面样例,如果有不一致的,需要修改。

确认正确,输入“y”;

可以看到有个remote存储“yucheng”完成配置;

 

按“q”退出。

 

配置完成。

 

确认是否能扫描出当前的bucket:

#rclone lsd xxxxx:  (xxxxx是配置最开始设置的name,name最后一定要加“:”)

 

  • 和用户沟通一个测试数据数据目录,测试rclone的可用性

例如测试数据目录:c:\dir

 

rclone copy C:\dir name:test/dir --transfers=20 --buffer-size=200M --progress --create-empty-src-dirs

 

注:

name:给rclone配置的remote存储的名称;

test:是zos对象存储里的bucket名称

test/dir:表示数据复制到test这个bucket里的dir目录(dir一定要加,否则数据会复制到test这个bucket的根目录,数据结构就乱了)

 

transfers:并发传输文件数,建议选择24个

buffer-size:200M的传输缓存,如果用户服务器剩余内存大,可以调整到更大值

progress:开启实时查看复制进度

create-empty-src-dirs:自动创建空目录

 

 

执行复制命令,验证迁移速度:

示例:

 

如果测试没有问题,则可以开始迁移用户数据。

注:迁移数据时,一定要注意迁移到对象存储的目录名称,当前目录是什么名称,对象存储上的目录也叫什么名称,否则数据结果会和当前不一致

 

启动测试后,可以到云管平台的zos对象存储页面查看上传的数据,确认目录结构是正确的!!!

 

  • 0
  • 0
  • 0
0 评论
0/1000
评论(0) 发表评论
章****凯

章****凯

6 篇文章 0 粉丝
关注

本地文件数据迁移到公有云ZOS对象存储的迁移方案

2023-12-15 11:04:06 15阅读

本文提供了将用户的本地文件或本地数据,通过迁移软件迁移至公有云存储,重点介绍了迁移工具的使用。

  • 测试网络连通性

在浏览器访问ZOS对象存储公网域名:

例如:访问北京5的zos域名:beijing-5.zos.ctyun.cn

 

浏览器有如下s3返回即为正常

  • 把rclone包部署在客户服务器上,解压缩,复制到C盘根目录

打开windows的批处理功能:

运行菜单à输入“cmd”到rclone的目录

 

例如:

 

  • Rclone初始化配置

在cmd中输入:

#rclone config

 

Name:自定义一个名称,便于后续访问和调用

 

storage:5

 

Provider:25(不选3,切记)

 

Env_auth:1

 

Ak:输入zos的ak

Sk:输入zos的sk

Region:2

 

Endpoint:xxxx.zos.ctyun.cn(需要附带https)

Location_constraint:空

Acl:空

 

选择:n

不做高级配置

 

确认配置是否正确,可参照下面样例,如果有不一致的,需要修改。

确认正确,输入“y”;

可以看到有个remote存储“yucheng”完成配置;

 

按“q”退出。

 

配置完成。

 

确认是否能扫描出当前的bucket:

#rclone lsd xxxxx:  (xxxxx是配置最开始设置的name,name最后一定要加“:”)

 

  • 和用户沟通一个测试数据数据目录,测试rclone的可用性

例如测试数据目录:c:\dir

 

rclone copy C:\dir name:test/dir --transfers=20 --buffer-size=200M --progress --create-empty-src-dirs

 

注:

name:给rclone配置的remote存储的名称;

test:是zos对象存储里的bucket名称

test/dir:表示数据复制到test这个bucket里的dir目录(dir一定要加,否则数据会复制到test这个bucket的根目录,数据结构就乱了)

 

transfers:并发传输文件数,建议选择24个

buffer-size:200M的传输缓存,如果用户服务器剩余内存大,可以调整到更大值

progress:开启实时查看复制进度

create-empty-src-dirs:自动创建空目录

 

 

执行复制命令,验证迁移速度:

示例:

 

如果测试没有问题,则可以开始迁移用户数据。

注:迁移数据时,一定要注意迁移到对象存储的目录名称,当前目录是什么名称,对象存储上的目录也叫什么名称,否则数据结果会和当前不一致

 

启动测试后,可以到云管平台的zos对象存储页面查看上传的数据,确认目录结构是正确的!!!

 

文章来自专栏

弹性存储

5 篇文章 1 订阅
0 评论
0/1000
评论(0) 发表评论
  • 0
    点赞
  • 0
    收藏
  • 0
    评论