将Oracle同步到MySQL 使用建议 注意 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。 基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。 − 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 − 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。 − DRS并发读取数据库,会占用大约610个session连接数,需要考虑该连接数对业务的影响。 − 全量阶段读取表数据时,特别是大表的读取,可能会阻塞业务上对大表的独占锁操作。 数据对比 建议您结合对比同步项的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。 使用须知 DRS全量+增量同步过程一般包含四个阶段:任务启动阶段、全量阶段、增量阶段、结束任务阶段(单全量任务则包含三个阶段)。为了确保同步各个阶段的平顺,在创建同步任务前,请务必阅读以下使用须知。 表使用须知 类型名称 使用和操作限制 任务启动前须知 l 源数据库参数要求: − 目前仅支持同步如下字符集:ZHS16GBK、AL32UTF8、UTF8、US7ASCII、WE8MSWIN1252、WE8ISO8859P1、WE8ISO8859P2、WE8ISO8859P4、WE8ISO8859P5、WE8ISO8859P7、WE8ISO8859P9、WE8ISO8859P13、WE8ISO8859P15。 l 源数据库对象要求: − 源数据库中的库名或映射后的名称不允许以iblogfile开头,也不能为ibbufferpool、ibdoublewrite、ibdata1、ibtmp1。 − 源数据库支持todate和sysguid函数做默认值。将其他函数作为default值时,需要目标库也有相同功能的函数。对于目标库不存在对应函数的情况,可能会出现以下结果: 默认值函数可能会被置空。 创建表失败,导致对象对比不一致或者任务失败。 − Oracle单行记录不能超过8K(lob、long类型除外,会自动转换成MySQL的text、blob类型),原因是MySQL innodb引擎限制单行大小不能超过8K(text、blob类型除外)。 − 不建议以字符串类型作为主键或唯一键,因为Oracle的字符串作为主键、唯一键时区分空格,而MySQL不区分,可能导致数据不一致和死锁问题。 − 对于Oracle的binaryfloat或者binarydouble类型,MySQL中不支持设置Nan、Inf、Inf三种值,DRS默认会将这三种值转为0保存。 − Oracle的check约束同步到MySQL会失效,原因是MySQL不支持check约束。 − Oracle中建议列名不要取名AUTOPKROWID,原因是这个列名在MySQL5.7中是保留列名,无法创建出来。 − Oracle中number(p, s)字段的精度不要超过p: [1, 38], s:[p65, min(p, 30)]的精度表示范围。其中,s取值依赖于p的取值变化,即下限为p65, 上限为p或30中取最小值。例如:当p1, s的取值范围是[64, 1]。当p38, s取值范围是[27, 30]。int字段的值不要超过(65,0)的精度表示范围。原因是MySQL数字的表示范围比Oracle小。 − Oracle归档日志文件大小必须大于单条数据最大值,避免单条数据日志跨文件(超过2个日志文件)导致的增量数据解析异常。 − 默认值不支持default user,MySQL没有对应的语法。 l 目标库参数要求: − DRS同步时会有大量数据写入目标库,目标库maxallowedpacket 参数过小会导致无法写入,建议将目标库maxallowedpacket参数值设置为大于100MB。 l 目标库对象要求: − 源库和目标库时区设置必须一致。 − 选择同步表结构时,目标数据库不能存在待同步数据库。 − 目标数据库需要有足够的磁盘空间,约为源库空间大小的1.5倍。 − 目标数据库版本小于5.7.7时,源库单个索引的全部列的长度不得超过767,反之则不得超过3072。 − 同步的表要禁用外键,因为DRS并行回放会使得不同表之间的写入顺序和源库不一致,可能会触发外键约束限制,造成同步失败。 − 支持目标数据库中的表比源数据库多列场景,但是需要避免以下场景可能导致的任务失败。 目标端多的列要求非空且没有默认值,源端insert数据,同步到目标端后多的列为null,不符合目标端要求。 目标端多的列设置固定默认值,且有唯一约束。源端insert多条数据后,同步到目标端后多的列为固定默认值,不符合目标端要求。 l 其他使用须知 : − 数据类型不兼容时,可能引起同步失败。 − 由于无主键表缺乏行的唯一性标志,网络不稳定时涉及少量重试,表数据存在少量不一致的可能性。 − 如有特殊字符,业务连接Oracle数据库使用的编码需和Oracle数据库服务端编码一致,否则目标库会出现乱码。 − Oracle中表结构长度(所有列长字节数之和,char、varchar2等类型字节长度和编码有关)超过65535时,可能导致同步失败。 − Oracle中表结构同步到MySQL后表的字符集为UTF8MB4。 − 当Oracle字符集是WE8MSWIN1252时,CLOB列同步到目标库可能出现乱码,建议先修改源库字符集为AL32UTF8再同步数据。 − 对于Oracle RAC集群,建议使用SCAN IP+ SERVICENAMES方式创建任务,SCAN IP具有更强的容错性,更好的负载能力,更快的同步体验。 − 源库为Oracle RAC时,如果需要使用SCAN IP配置DRS任务,需要保证SCAN IP、DRS节点的IP同时能与源库的所有VIP互通(Oracle内部机制),否则无法通过连通性检查。若不使用SCAN IP,可以使用某一节点的VIP,这种情况下DRS日志解析只会在VIP指定的RAC节点上进行。 − 由于Oracle与MySQL的部分语法有明显区别,结构同步无法完全保证支持全部语法的转换,包括但不限于函数,表达式,依赖的系统表等。所以在同步过程中,会有在Oracle上存在,在MySQL中没有直接对应的语法,或者MySQL中有对应的语法,但当前还未适配转换的情况,这样会导致结构同步失败。这时,需要手工在目标数据库创建表结构。 − DRS全量同步表结构时,源库中的char、varchar2类型长度在目标库会按照字节长自动扩大(因为目标库为字节长),至少扩大1.5倍。扩大倍数和源库目标库的字符集有关,例如同为UTF8的情况下,默认扩大3倍,同为GBK的情况下,默认扩大2倍。 − 全量同步分区表的结构时会将该对象转为非分区的普通表,增量同步时,源库跟分区表相关的操作,在目标库执行可能会失败。 − 增量同步时,BLOB末尾的0x00、CLOB末尾的空格会被截断。 全量同步阶段须知 l 任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 l 同步过程中,不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限,或修改源和目标数据库的端口号。 l 同步过程中,不允许对正在同步中的目标数据库进行修改操作(包括但不限于DDL、DML操作)。 l 同步过程中,不允许对Oracle源库做resetlogs操作,否则会导致数据无法同步且任务无法恢复。 l 同步过程中,不支持LOB类型的rollback操作,否则会导致同步任务失败。 增量同步阶段须知 l 同步过程中,不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限,或修改源和目标数据库的端口号。 l 同步过程中,不允许对正在同步中的目标数据库进行修改操作(包括但不限于DDL、DML操作)。 l 同步过程中,不允许对Oracle源库做resetlogs操作,否则会导致数据无法同步且任务无法恢复。 l 同步过程中,不支持LOB类型的rollback操作,否则会导致同步任务失败。 l 同步过程中,请勿修改源库或目标库表中的char类型字段为varchar,由于Oracle和MySQL表现不同,产生的空格可能会导致数据对比不一致。 l 同步过程中,支持部分DDL操作。 − 表级同步支持alter table add column、alter table drop column、alter table rename column、alter table modify column以及truncate table的基本DDL,不支持默认值等的修改。 − 库级同步支持create table(表内定义不能包含函数)。 − DDL中的对象不能是目标库的关键字,比如index,where等。目标库MySQL关键字可参考MySQL官网文档[]( " ")。 − 目标库为8.0以下版本时,不支持alter table rename column。 − 增量DDL不支持全角等特殊字符。 l 若源库为RAC,增量同步首次启动时所有RAC节点必须正常在线,否则增量启动会出现异常。 l 若源库为RAC,增量同步时,不支持增加、减少节点数量,避免导致增量同步异常(为保证数据的强一致性)。 l 表的对象名同步到目标库后会转换成小写,如ABC和abc。因此增量同步阶段,选择的源库的表中不能存在仅大小写不同的表,否则会导致同步失败。 l 任务再编辑增加新表时,请确保新增的表的事务都已提交,否则未提交的事务可能无法同步到目标库。建议在业务低峰期做增加表的操作。