数据集成 Hadoop类型的数据源进行数据迁移时,建议使用的组件版本有哪些? 建议使用的组件版本既可以作为目的端使用,也可以作为源端使用详见下表。 Hadoop类型 组件 说明 MRS/Apache/FusionInsight HD Hive 暂不支持2.x版本,建议使用的版本: l 1.2.X l 3.1.X MRS/Apache/FusionInsight HD HDFS 建议使用的版本: l 2.8.X l 3.1.X MRS/Apache/FusionInsight HD Hbase 建议使用的版本: l 2.1.X l 1.3.X 数据源为Hive时支持哪些数据格式? 云数据迁移服务支持从Hive数据源读写的数据格式包括SequenceFile、TextFile、ORC、Parquet。 如有疑问,请联系您的客户经理,或致电天翼云官方客服:4008109889。 是否支持同步作业到其他集群? CDM虽然不支持直接在不同集群间迁移作业,但是通过批量导出、批量导入作业的功能,可以间接实现集群间的作业迁移,方法如下: 1. 将CDM集群1中的所有作业批量导出,将作业的JSON文件保存到本地。 由于安全原因,CDM导出作业时没有导出连接密码,连接密码全部使用“Add password here”替换。 2. 在本地编辑JSON文件,将“Add password here”替换为对应连接的正确密码。 3. 将编辑好的JSON文件批量导入到CDM集群2,实现集群1和集群2之间的作业同步。 是否支持批量创建作业? CDM可以通过批量导入的功能,实现批量创建作业,方法如下: 1. 手动创建一个作业。 2. 导出作业,将作业的JSON文件保存到本地。 3. 编辑JSON文件,参考该作业的配置,在JSON文件中批量复制出更多作业。 4. 将JSON文件导入CDM集群,实现批量创建作业。
来自: