将Oracle同步到DWS 使用须知 在创建同步任务前,请务必阅读以下使用须知。 说明 建议创建单独用于DRS任务连接的数据库帐号,避免因为数据库帐号密码修改,导致的任务连接失败。 连接源或目标数据库的帐号密码修改后,请尽快修改连接信息,避免任务连接失败后自动重试,导致数据库帐号被锁定影响使用。 表使用须知 类型名称 使用和操作限制 数据库权限设置 l 源数据库端: − 全量同步:需要具有CREATE SESSION,SELECT ANY DICTIONARY,针对单表的SELECT权限(GRANT SELECTto drsUser;)权限。 − 全量+增量同步: 12c及以上版本CDB数据库同步时,需要具有CREATE SESSION,SELECT ANY DICTIONARY,针对单表的SELECT权限(GRANT SELECTto drsUser;),EXECUTECATALOGROLE,SELECT ANY TRANSACTION,LOGMINING,SELECT ON SYS.COL$,SELECT ON SYS.OBJ$,SET CONTAINER(GRANT SET CONTAINER TOCONTAINERALL;)权限。 12c及以上版本PDB数据库同步时,除了需要具有CREATE SESSION,SELECT ANY DICTIONARY,针对单表的SELECT权限(GRANT SELECTto drsUser;),EXECUTECATALOGROLE,SELECT ANY TRANSACTION,LOGMINING,SELECT ON SYS.COL$,SELECT ON SYS.OBJ$权限,还需要具有CDB的CREATE SESSION,SELECT ANY DICTIONARY,EXECUTECATALOGROLE,SELECT ANY TRANSACTION,LOGMINING,SET CONTAINER(GRANT SET CONTAINER TOCONTAINERALL;)权限。 11g及以下版本数据库同步时,需要具有CREATE SESSION,SELECT ANY DICTIONARY,针对单表的SELECT权限(GRANT SELECTto drsUser;),EXECUTECATALOGROLE,SELECT ANY TRANSACTION,SELECT ON SYS.COL$,SELECT ON SYS.OBJ$。 − 增量同步时,源库Oracle需要开启日志归档模式和最小补充日志,所需同步表必须开启PK/UI或以ALL级别的补充日志,不限制库级或表级补充日志方式,若只开启表级补充日志,重建或者RENAME表后需要重新设置;请确保以上配置在同步过程中始终保持开启状态。 − 12c及以上版本不支持使用ORACLEMAINTAINEDY的用户帐号进行增量同步(system/sys除外),因为该属性的帐号无日志解析权限。 l 目标数据库帐号: − 目标数据库不存在DATABASE时需要有建库的权限;不存在SCHEMA时需要有在database中创建schema的权限;不存在表时需要有在对应schema中创建表的权限。 − 对于每张表需要有INSERT、SELECT、UPDATE、DELETE权限。 同步对象约束 l 支持表、索引、约束(主键、空、非空)的同步,不支持视图、外键、存储过程、触发器、函数、事件、虚拟列、唯一约束、唯一索引的同步。 l 全量阶段不支持bfile,xml、sdogeometry、urowid、interval(精度大于6位)和自定义类型。 l 增量阶段不支持bfile,xml、interval、sdogeometry、urowid、timestamp(精度大于6位)和自定义类型。 l 增量阶段源库为Oracle物理备库(PHYSICAL STANDBY)时不支持解析lob类型数据(无法生成数据字典),如果增量同步的表中出现lob类型会导致增量同步异常。 l 对于TIMESTAMP WITH TIME ZONE类型,根据目标库时区做转换后不得大于“99991231 23:59:59.999999”。 l 源库支持todate和sysguid函数做默认值。将其他函数作为default值时,需要目标库也有相同功能的函数。对于目标库不存在对应函数的情况,可能会出现以下结果: − 默认值函数可能会被置空。 − 创建表失败,导致对象对比不一致或者任务失败。 l 如果表中只有LOB字段,可能出现数据不一致性情况。 l 如果Oracle中使用LOB类型各自的empty函数写入数据时,通过JDBC查询出来的值是空字符串,写入到目标库后是空字符串还是NULL取决于目标库对空字符串值的处理。 l 针对无主键且无索引的表,非大字段的列必须大于3列,否则会因为无法全列匹配导致增量异常。 l 不支持默认值含有表达式的函数的表的同步。 l 不支持同步源库中的临时表。 l 选择手动创建表结构时,目标库中的时间类型是否带有时区需要与源库中保持一致,否则可能会因为时区转换导致时间数据不一致。 源数据库要求 l 库名、表名不支持的字符有:非ASCII字符、“. ”、 “>”、 “<”、 “”、 “”、 “”、 “,”、 “? ”、 “! ”、 “"”和 “'”。 l 不支持选择源数据库的空库进行同步。 l 目前仅支持同步如下字符集:ZHS16GBK、AL32UTF8、UTF8、US7ASCII、WE8MSWIN1252、WE8ISO8859P1、WE8ISO8859P2、WE8ISO8859P4、WE8ISO8859P5、WE8ISO8859P7、WE8ISO8859P9、WE8ISO8859P13、WE8ISO8859P15。 目标数据库要求 l 目标数据库实例的运行状态必须正常。 l 目标数据库实例必须有足够的磁盘空间。 l 同步的表要禁用外键,因为DRS并行回放会使得不同表之间的写入顺序和源库不一致,可能会触发外键约束限制,造成同步失败。 操作须知 l 相互关联的数据对象要确保同时同步,避免因关联对象缺失,导致同步失败。 l 表等对象名同步到目标库后会转换成小写,如ABC会转换为abc。因此增量同步阶段,选择的源库的表中不能存在仅大小写不同的表,可能会导致同步失败。 l 当Oracle字符集是WE8MSWIN1252时,CLOB列同步到目标库可能出现乱码,建议先修改源库字符集为AL32UTF8再同步数据。 l 由于无主键表缺乏行的唯一性标志,网络不稳定时涉及少量重试,表数据存在少量不一致的可能性。 l 索引同步只同步普通索引,主键等约束在表结构中进行同步。 l 同步表结构时,如果目标库存在与源库同名约束会导致建表失败。 l 如有特殊字符,业务连接Oracle数据库使用的编码需和Oracle数据库服务端编码一致,否则目标库可能会出现乱码。 l Oracle中表结构长度(所有列长字节数之和,char、varchar2等类型字节长度和编码有关)超过65535时,可能导致同步失败。 l Oracle归档日志文件大小必须大于单条数据最大值,避免单条数据日志跨文件(超过2个日志文件)导致的增量数据解析异常。 l 对于Oracle RAC集群,建议使用SCAN IP+ SERVICENAMES方式创建任务,SCAN IP具有更强的容错性,更好的负载能力,更快的同步体验。 l 源库为Oracle RAC时,如果需要使用SCAN IP配置DRS任务,需要保证SCAN IP、DRS节点的IP同时能与源库的所有VIP互通(Oracle内部机制),否则无法通过连通性检查。若不使用SCAN IP,可以使用某一节点的VIP,这种情况下DRS日志解析只会在VIP指定的RAC节点上进行。 l 若源库为RAC,增量同步首次启动时所有RAC节点必须正常在线,否则增量启动会出现异常。 l 若源库为RAC,增量同步时,不支持增加、减少节点数量,避免导致增量同步异常(为保证数据的强一致性)。 l 使用DRS同步表结构的场景下,同一个schema中,同步的表中,表、约束、索引等不能有忽略大小写后的同名对象,比如表"A"中有索引名"inx1", 表B中有索引名"a",表A和索引"a"忽略大小写重名了,会导致结构同步失败。多个schema映射到一个schema的场景,源库的多个schema中也不能包含同名但字母大小写不同的表、约束和索引。 l 支持源端多张表对DWS一张表的映射。详细操作可参考创建Oracle到DWS同步任务 l 同步过程中,不允许删除连接源和目标数据库的用户的用户名、密码、权限,或修改目标数据库的端口号。 l 同步过程中,禁止对Oracle源库做resetlogs操作,否则会导致数据无法同步且任务无法恢复。 l 同步过程中,不支持LOB类型的rollback操作,否则会导致同步任务失败。 l DRS全量同步表结构时,源库中的char、varchar2类型长度在目标库会按照字节长自动扩大(因为目标库为字节长),至少扩大1.5倍。扩大倍数和源库目标库的字符集有关,例如同为UTF8的情况下,默认扩大3倍,同为GBK的情况下,默认扩大2倍。 l 全量同步分区表的结构时会将该对象转为非分区的普通表,增量同步时,源库跟分区表相关的操作,在目标库执行可能会失败。 l 增量同步时,BLOB末尾的0x00、CLOB末尾的空格会被截断。 l 增量同步过程中,支持部分DDL操作。 − 表级同步支持alter table add column、alter table drop column、alter table modify column以及truncate table的基本DDL。 l 库级映射和表级映射均不区分大小写,例如映射为abc与映射为ABC,同步到目标库后均为abc。 l 任务再编辑增加新表时,请确保新增的表的事务都已提交,否则未提交的事务可能无法同步到目标库。建议在业务低峰期做增加表的操作。