MySQL数据迁移到MRS Hive分区表 前提条件 已经创建MRS。 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。 已参考 管理驱动,上传了MySQL数据库驱动。 在MRS Hive上创建Hive分区表 在MRS的Hive上使用下面SQL语句创建一张Hive分区表,表名与MySQL上的表tripdata一致,且Hive表比MySQL表多建三个字段y、ym、ymd,作为Hive的分区字段。SQL语句如下: create table tripdata(TripID int,Duration int,StartDate,timestamp,StartStation varchar(64),StartTerminal int,EndDate timestamp,EndStation varchar(64),EndTerminal int,Bike int,SubscriberType varchar(32),ZipCodev varchar(10))partitioned by (y int,ym int,ymd int); 说明 Hive表tripdata有三个分区字段:骑行起始时间的年、骑行起始时间的年月、骑行起始时间的年月日,例如一条骑行记录的起始时间为2018/5/11 9:40,那么这条记录会保存在分区tripdata/2018/201805/20180511下面。对tripdata进行按时间维度统计汇总时,只需要对局部数据扫描,大大提升性能。 创建CDM集群并绑定EIP 1. 参考创建CDM集群,创建CDM集群。 关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群所在VPC、子网、安全组,选择与MRS集群所在的网络一致。 2. CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问MySQL。 详见下图: 集群列表 说明 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。