命令拷贝 应用场景 适用于用户的迁移服务器(物理机、弹性云主机)可以访问待迁移数据,且和HPFS网络互通,同时保证可挂载并行文件系统的场景下的迁移操作。 准备工作 1. 创建迁移服务器,如果目标HPFS文件系统是NFS协议,迁移服务器可选择弹性云主机。如果目标HPFS文件系统是HPFSPOSIX协议,迁移服务器需要选择物理机(GPU裸金属)。具体限制请参考操作系统限制。 2. 将HPFS文件系统挂载至物理机或弹性云主机,具体操作请参考挂载文件系统。 操作步骤 迁移命令说明 HPFS数据拷贝是文件系统间数据的迁移,推荐使用数据同步工具rsync(remote synchronize)。 centos环境下rsync安装命令: plaintext yum install y rsync rsync支持本地(类似cp,我们一般选择本地方式)或者远端(类似scp)数据拷贝,可以镜像保存整个目录树和文件系统,支持断点续传,快速安全。 rsync使用说明: plaintext 本地拷贝 rsync [OPTION...] SRC... [DEST] 常用选项: partial 保留那些因故没有完全传输的文件,以是加快随后的再次传输 inplace 将更新的数据直接写入目标文件,避免文件复制 delete 删除那些DST中SRC没有的文件 a, archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于rlptgoD v, verbose 详细模式输出 c, checksum 打开校验开关,强制对文件传输进行校验 数据拷贝时间可能很长(用户数据量除以数据拷贝带宽),为防止下线执行命令退出,可以采用后台执行的方式执行rsync命令: plaintext nohup rsync a partial inplace v $srcdir $destdir &;