支持的源和目标数据库
支持的数据库
| 源数据库 | 目标数据库 |
| RDS for PostgreSQL(9.5、9.6、10、11、12、13、14、15、16、17版本)
说明 仅支持目标库大版本等于或高于源库大版本。
|
数据库帐号权限要求
在使用DRS进行同步时,连接源库和目标库的数据库帐号需要满足以下权限要求,才能启动实时同步任务。不同类型的同步任务,需要的帐号权限也不同,详细可参考下表进行赋权。DRS会在“预检查”阶段对数据库帐号权限进行自动检查,并给出处理建议。
表数据库帐号权限
| 类型名称 | 全量同步 | 全量+增量同步 |
| 源数据库连接帐号 |
|
说明
a. 在源数据库的“pg_hba.conf”配置文件的所有配置前增加一行配置“host replication <src_user_name> <drs_instance_ip>/32 <认证方式>”; 认证方式可参考PostgreSQL官方文档pg_hba.conf文件配置,常见的认证方式有scram-sha-256等。 b. 在源库使用SUPERUSER用户执行语句“select pg_reload_conf();”生效,或重启数据库实例生效。
|
| 目标数据库连接帐号 |
− 如果目标库不是postgres,需要具有CREATEDB权限。 − 如果目标库是postgres,需要具有postgres库的CONNECT和CREATE权限、对模式public的USAGE和CREATE权限。
− 如果需要同步库,需要具有CREATEDB权限。 − 如果需要同步模式,需要具有模式所在库的CONNECT权限、模式所在库上的CREATE权限。 − 如果需要同步模式下的对象,需要具有模式所在库的CONNECT权限、对象所在模式的USAGE权限、对象所在模式上的CREATE权限。
说明
| |
说明
建议创建单独用于DRS任务连接的数据库账号,避免因为数据库账号密码修改,导致的任务连接失败。
连接源和目标数据库的账号密码修改后,请参考修改连接信息章节修改DRS任务的连接信息,避免任务连接失败后自动重试,导致数据库账号被锁定影响使用。
支持的同步对象范围
在使用DRS进行同步时,不同类型的同步任务,支持的同步对象范围不同,详细情况可参考下表。 DRS会根据用户选择,在“预检查”阶段对同步对象进行自动检查 。
表 支持的同步对象
| 类型名称 | 使用须知 |
| 同步对象范围 |
− 库级同步支持:模式、表、索引、约束、视图、物化视图、序列、存储过程、规则、触发器、外键、排序规则、插件、编码转换信息、聚合函数、操作符、统计扩展、转换信息、文本搜索配置、函数、数据类型、类型转换、用户、事件触发器、文本搜索解析器、文本搜索模板的同步。 表级同步时,仅支持表、视图、物化视图、序列、用户、普通索引的同步。 − 不支持系统模式(“pg_”开头的任何模式、“information_schema”、“sys”、“utl_raw”、“dbms_lob”、“dbms_output”和“dbms_random”)、系统表、系统用户、表空间、外部数据包装器、外部服务器、用户映射、发布、订阅等其他对象。
− 每次至多同步一个库(database),同步多个库需要使用多个DRS任务 |
注意事项
为保证任务的正常运行,DRS提供了自动化的检查方法,在您启动DRS任务前,会针对源数据库和目标数据库的相关配置、条件进行检查。主要的检查项和对应的处理建议请参考本文最后的预检查项。除了预检查项目之外,您还需要注意的事情参见下表。
| 类型名称 | 使用和操作限制 |
|---|---|
| 源数据库限制 |
源数据库的“pg_hba.conf” 文件中包含如下的配置: host replication all 0.0.0.0/0 md5
|
| 使用限制 | 通用:
全量同步阶段:
增量同步阶段:
表级同步时,DDL仅支持TRUNCATE(仅PostgreSQL 11及以上版本支持)、DROP TABLE 、ALTER TABLE、COMMENT ON COLUMN、COMMENT ON TABLE,其中ALTER TABLE支持:ADD COLUMN、DROP COLUMN、ALTER COLUMN、RENAME COLUMN、ADD CONSTRAINT、DROP CONSTRAINT、RENAME。
说明
同步对比阶段:
结束任务:
− 将自动重置目标库序列值(自增序列值为源库序列值+安全余度,自减序列值为源库序列值-安全余度,安全余度默认为10000),若选择了同步用户,任务结束时将自动同步用户的成员关系。 − 全量实时同步任务结束时会对序列值进行比对,序列值采用逻辑一致性的判断原则,即自增序列当且仅当目标库对应序列值大于等于源库对应序列值,自减序列当且仅当目标库对应序列值小于等于源库对应序列值时,序列值判定为一致。 − 全量+增量或增量实时同步任务正常结束时,将自动删除任务在源库创建的流复制槽。 − 实时同步任务正常结束时,如果目标库session_replication_role值为replica,需手动将目标库session_replication_role参数值修改为原来的值。
− 需要手动刷新目标库中的序列值,可参考PostgreSQL为源强制结束任务章节的指导进行操作。 − 强制结束全量+增量或增量实时同步任务,需要手动删除源库可能残留的复制槽,可参考PostgreSQL为源强制结束任务章节的指导进行操作。 − 强制结束实时同步任务,如果目标库session_replication_role值为replica,需手动将目标库session_replication_role参数值修改为原来的值。 − 逻辑复制槽命名规则为“drs_唯一性标识”,其中唯一性标识需要将任务node id中的“-”替换为“_”获取。node id可在DRS任务查看同步日志页面查看task node id is ***日志找到。 |
| 其他限制 |
− 目标数据库多的列要求非空且没有默认值,源库insert数据,同步到目标数据库后多的列为null,不符合目标数据库要求。 − 目标数据库多的列设置固定默认值,且有唯一约束。源库insert多条数据后,同步到目标数据库后多的列为固定默认值,不符合目标数据库要求。
说明 同步DDL的实现原理是:在源库通过事件触发器捕获DDL语句,并且记录在特定的表中,然后将DDL语句同步至目标库。因此启动任务前,需要提前在源库创建事件触发器、函数等。详细操作可参考通过创建表、事件触发器和函数实现PostgreSQL增量DDL同步。
− 对象名称:库名不可以包含+"%'\<>,模式名和表名不可以包含".'<>,列名不可以包含"和'。 − 表:不同步临时表。表级同步时,表的约束、索引及规则会一起同步,表的触发器不会同步。 − 模式:仅当目标实例为RDS for PostgreSQL 15及以上版本时,才支持同步 public模式的权限,且在同步过程中将保留目标端已有的权限设置。表级同步时,会同步目标库已存在模式的权限。 − 函数:不同步C语言函数,不同步带有leakproof属性或带有support属性的函数。 − 插件:不同步插件的元数据。 − 数据类型:不同步基本数据类型。 − BLOB类型:当前DRS不同步BLOB类型。 − 类型转换:不同步二进制强制型的类型转换。 − 事件触发器:受限于目标库版本,仅目标库为RDS for PostgreSQL 11.11及以上版本时支持。 − 文本搜索解析器:受限于目标库版本,仅目标库为RDS for PostgreSQL 11.11及以上版本时支持。 − 文本搜索模板:受限于目标库版本,仅目标库为RDS for PostgreSQL 11.11及以上版本时支持。 − 用户:不同步目标库已存在的用户,不同步用户的superuser属性、replication属性、bypassrls属性,不同步superuser用户的成员关系。对象owner/grantor为superuser用户时,不同步它的owner/grantor。目标库为RDS for PostgreSQL时,要同步用户的密码不能包含用户名。表级同步时,不同步源库用户的默认访问权限。superuser用户同步至目标库后为普通用户,默认授予root权限(仅当目标库版本为RDS for PostgreSQL 11.11及以上时支持)。 |
操作步骤
本小节以PostgreSQL->PostgreSQL的入云同步为示例,介绍如何使用数据复制服务配置VPC网络场景下的实时同步任务。
步骤 1 在“实时同步管理”页面,单击“创建同步任务”。
步骤 2 在“同步实例”页面,填选任务名称、描述、同步实例信息,单击“开始创建”。
任务信息
表 任务和描述
| 参数 | 描述 |
|---|---|
| 区域 | 当前所在区域,可进行切换。 |
| 项目 | 当前区域对应的项目,可进行切换。 |
| 任务名称 | 任务名称在4到50位之间,必须以字母开头,可以包含字母、数字、中划线或下划线,不能包含其他的特殊字符。 |
| 描述 | 描述不能超过256位,且不能包含! = < > & ' " \ 特殊字符。 |
同步实例信息
表同步实例信息
| 参数 | 描述 |
|---|---|
| 数据流动方向 | 选择“入云”。 |
| 源数据库引擎 | 选择“PostgreSQL”。 |
| 目标数据库引擎 | 选择“PostgreSQL” 。 |
| 网络类型 | 此处以“VPC网络”为示例,可选“公网网络”、“VPC网络”和“VPN、专线网络”。
|
| 目标数据库实例 | 目标数据库为RDS for PostgreSQL数据库实例。 |
| 同步实例所在子网 | 请选择同步实例所在的子网。也可以单击“查看子网”,跳转至“网络控制台”查看实例所在子网帮助选择。 默认值为当前所选数据库实例所在子网,请选择有可用IP地址的子网。为确保同步实例创建成功,仅显示已经开启DHCP的子网。 |
| IP类型 | 选择迁移实例的IP类型,目前支持选择“IPv4”或“IPv4&IPv6双栈”。
|
| 同步模式 | DRS任务支持的同步模式,此处以“全量+增量”为示例。
该模式为数据持续性实时同步,通过全量过程完成目标端数据库的初始化后,增量同步阶段通过解析日志等技术,将源端和目标端数据保持数据持续一致。
该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库。
增量同步通过解析日志等技术,将源端产生的增量数据同步至目标端。 |
| 指定公网IP | 网络类型选择“公网网络”时可见,选择为DRS实例绑定的弹性公网IP。任务创建时,DRS将会自动绑定该弹性公网IP,等待任务结束后将自动解绑该弹性公网IP。 |
任务类型
| 参数 | 描述 |
|---|---|
| 规格类型 | 选择DRS实例的规格类型,不同规格类型对应不同性能的性能上限,详细可参考实时同步链路规格说明。 说明 目前,DRS同步仅支持任务类型为单AZ的同步任务升级实例规格,不支持降低规格,具体操作及约束限制可参考同步规格变更。 |
| 可用区 | DRS任务创建的可用区,选择跟源或目标库相同的可用区性能更优。 |
标签
表标签
| 参数 | 描述 |
|---|---|
| 标签 | 可选配置,对同步任务的标识。使用标签可方便管理您的任务。每个任务最多支持20个标签配额。 任务创建成功后,您可以单击任务名称,在“标签”页签下查看对应标签。关于标签的详细操作,请参见标签管理。 |
说明
对于创建失败的任务,DRS默认保留3天,超过3天将会自动结束任务。
步骤 3 在“源库及目标库”页面,同步实例创建成功后,填写源库信息和目标库信息,单击“源库和目标库”处的“测试连接”,分别测试并确定与源库和目标库连通后,勾选协议,单击“下一步”。
测试连接时需要确保DRS任务与源库、目标库的连通性。
网络连通性: 确保源库和目标库允许DRS访问,通常至少需要放通DRS的IP。公网网络的DRS任务放通DRS的公网IP,VPC网络、VPN、专线网络的DRS任务放通DRS的内网IP。
帐号连通性 :确保源库和目标库允许DRS通过连接帐号和密码访问。
说明
此处源库类型分为ECS自建库和RDS实例,需要根据源数据库的实际来源选择相应的分类。两种场景下的参数配置不一样,需要根据具体场景进行配置。
场景一:ECS自建库源库信息配置
表 ECS自建库场景源库信息
| 参数 | 描述 |
|---|---|
| 源库类型 | 选择“ECS自建库”。 |
| VPC | 源数据库实例所在的虚拟专用网络,可以对不同业务进行网络隔离。您需要创建或选择所需的虚拟私有云。 |
| 子网 | 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。子网在可用分区内才会有效,创建源数据库实例的子网需要开启DHCP功能,在创建过程中也不能关闭已选子网的DHCP功能。 |
| IP地址或域名 | 源数据库的IP地址或域名。 |
| 端口 | 源数据库服务端口,可输入范围为1~65535间的整数。 |
| 指定数据库名称 | 选择是否指定数据库,开启后需手动输入数据库名称。 |
| 数据库用户名 | 源数据库的用户名。 |
| 数据库密码 | 源数据库的用户名所对应的密码。 |
| SSL安全连接 | 通过该功能,用户可以选择是否开启对同步链路的加密。 |
说明
源数据库的IP地址或域名、数据库用户名和密码,会被系统加密暂存,直至删除该迁移任务后自动清除。
场景二:RDS实例源库信息配置
表RDS实例场景源库信息
| 参数 | 描述 |
|---|---|
| 源库类型 | 选择“RDS实例”。 |
| 数据库实例名称 | 选择待同步的关系型PostgreSQL数据库实例作为源数据库实例。 |
| 数据库用户名 | 源数据库实例的用户名。 |
| 数据库密码 | 源数据库的用户名所对应的密码。 |
表 目标库信息
| 参数 | 描述 |
|---|---|
| 数据库实例名称 | 默认为创建迁移任务时选择的关系型PostgreSQL数据库实例,不可进行修改。 |
| 数据库用户名 | 目标数据库的用户名。 |
| 数据库密码 | 目标数据库的用户名所对应的密码。 |
说明
源和目标数据库用户名和密码将在同步过程中被加密暂存到数据库和同步实例主机上,待该任务删除后会永久清除。
步骤4 在“设置同步”页面,选择同步对象和同步用户,单击“下一步”。
表 同步对象
| 参数 | 描述 |
| 流速模式 | 流速模式支持限速和不限速,默认为不限速。
自定义的最大同步速度,全量同步过程中的同步速度将不会超过该速度。 当流速模式选择了“限速”时,你需要通过流速设置来定时控制同步速度。流速设置通常包括限速时间段和流速大小的设置。默认的限速时间段为“全天限流”,您也可以根据业务需求选择“时段限流”。自定义的时段限流支持最多设置3个定时任务,每个定时任务之间不能存在交叉的时间段,未设定在限速时间段的时间默认为不限速。 流速的大小需要根据业务场景来设置,不能超过9999MB/s。
对同步速度不进行限制,通常会最大化使用源数据库的出口带宽。该流速模式同时会对源数据库造成读消耗,消耗取决于源数据库的出口带宽。比如源数据库的出口带宽为100MB/s,假设高速模式使用了80%带宽,则同步对源数据库将造成80MB/s的读操作IO消耗。
说明
|
| 增量阶段冲突策略 | 该冲突策略特指增量同步中的冲突处理策略,全量阶段的冲突默认忽略。冲突策略目前支持如下形式:
当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将跳过冲突数据,继续进行后续同步。
当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),同步任务将失败并立即中止。
当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将覆盖原来的冲突数据。 当同步数据与目标库已有数据冲突时,选择“忽略”无法保证最终一致性,如需保证数据一致性,可选择“覆盖”策略。 |
| 对象同步范围 | 对象同步范围支持选择普通索引、增量DDL同步和全量阶段填充物化视图,您可以根据业务需求选择是否进行同步。 全量阶段填充物化视图:仅对源库已经填充的物化视图生效,该填充操作会影响全量同步性能,建议在全量同步完成后,手动在目标库填充。 |
| DML同步 | 选择需要同步的DML操作,默认都勾选。 不勾选Delete则不会同步源库增量数据中的Delete语句,可能会导致数据不一致,因此存在数据冲突或任务失败的风险。 |
| 指定源库复制槽名称 | 单增量任务支持,可选择是否指定源库复制槽,打开后需手动输入复制槽的名称(只能包含小写字母、数字、下划线,长度最大为63,且不能以数字开头)。 |
| 同步对象 | 左侧框是源数据库对象,右侧框是已经选择的对象,同步对象支持表级同步、库级同步,您可以根据业务场景选择对应的数据进行同步。
模式名或表名映射时,为防止索引和约束名冲突,同步后表上的原索引名称将变为此格式:i_+哈希值+原索引名(可能被截断)+_key。其中哈希值由“原模式名_原表名_原索引名”计算得到。同理,同步后表上的原约束名将变为:c_+哈希值+原约束名(可能被截断)+_key。 说明
|
| 同步用户 | 数据库的同步过程中,同步用户需要进行单独处理。详细说明可参考下表。 |
表 同步用户及权限
| 参数 | 描述 |
|---|---|
| 账号名称 | 源库对应的账号名称。 |
| 是否支持同步 | 账号是否支持同步。 一般分为两类:可同步的账号和不支持同步的账号。对于不支持同步的账号,在备注列的查看详情中会提示具体的原因。 |
| 父用户 | 账号所属父用户。 |
| 不支持同步的父用户 | 账号不支持同步的父用户。 |
| 账号属性 | 源库账号拥有的属性。 |
| 不支持同步的账号属性 | 目标库同步用户权限不足等原因导致的账号属性无法同步。 |
| 备注 | 不支持同步的父用户、不支持同步的账号属性的原因说明,所有备注项需确认后才可以进入下一步。 |
| 同步对象权限 | 是否同步账号对象对应的权限。 |
步骤 5 在“预检查”页面,进行同步任务预校验,校验是否可进行。
查看检查结果,如有不通过的检查项,需要修复不通过项后,单击“重新校验”按钮重新进行任务预校验。
预检查完成后,且所有检查项结果均通过时,单击“下一步”。
说明
所有检查项结果均通过时,若存在请确认项,需要阅读并确认详情后才可以继续执行下一步操作。
步骤 6 在“任务确认”页面,设置同步任务的启动时间、任务异常通知设置、SMN主题、时延阈值、结束自动创建对比任务、立即启动(仅初始化)、任务异常自动结束时间,并确认同步任务信息无误后,单击“启动任务”,提交同步任务。
表 任务启动设置
| 参数 | 描述 |
|---|---|
| 启动时间 | 同步任务的启动时间可以根据业务需求,设置为“立即启动”或“稍后启动”。 说明 预计同步任务启动后,会对源数据库和目标数据库的性能产生影响,建议选择业务低峰期,合理设置同步任务的启动时间。 |
| 任务异常通知设置 | 该项为可选参数,开启之后,当同步任务状态、时延指标或数据异常时,系统将发送通知。 |
| SMN主题 | “任务异常通知设置”项开启后可见,需提前在SMN上申请主题并添加订阅。 |
步骤 7 同步任务提交后,您可在“实时同步管理”页面,查看并任务管理。
您可查看任务提交后的状态,状态请参见任务状态说明。
在任务列表的右上角,单击 刷新列表,可查看到最新的任务状态。
对于未启动、状态为配置中的任务,DRS默认保留3天,超过3天DRS会自动删除后台资源,当前任务状态不变。当用户再次配置时,DRS会重新申请资源,此时DRS任务IP会发生改变。
对于公网网络类型的任务,由于DRS需要在任务结束后删除后台资源,所以该任务绑定的弹性公网IP需要等待一段时间,才能恢复为解绑状态。
----结束
附--PostgreSQL->PostgreSQL预检查表
表 预检查一览表
| 分类 | 预检查项 | 检查项详情 |
|---|---|---|
| 权限类 | 源数据库权限 |
数据库的CONNECT权限,模式的USAGE权限,表的SELECT权限,序列的SELECT权限,系统表pg_catalog.pg_authid的select权限(用于同步用户的密码)。
数据库的CONNECT权限,模式的USAGE权限,表的SELECT权限,序列的SELECT权限,系统表pg_catalog.pg_authid的SELECT权限(用于同步用户的密码),无主键表的UPDATE、DELETE和TRUNCATE权限,REPLICATION连接权限。 |
| 目标数据库权限 |
− 如果目标库不是postgres,需要具有CREATEDB权限。 − 如果目标库是postgres,需要具有postgres库的CONNECT和CREATE权限、对模式public的USAGE和CREATE权限。
− 如果需要同步库,需要具有CREATEDB权限。 − 如果需要同步模式,需要具有模式所在库的CONNECT权限、模式所在库上的CREATE权限。 − 如果需要同步模式下的对象,需要具有模式所在库的CONNECT权限、对象所在模式的USAGE权限、对象所在模式上的CREATE权限。
| |
| 版本类 | 源数据库版本 | 支持9.4、9.5、9.6、10、11、12、13、14、15、16版本。 |
| 目标数据库版本 | 支持9.5、9.6、10、11、12、13、14、15、16版本。 | |
| 同步版本检查 | 仅支持目标数据库版本等于或高于源数据库版本。 | |
| 参数类 | 性能参数 | 目标数据库的BLOCK_SIZE参数值必须大于或等于源数据库的BLOCK_SIZE参数值。 |
| 源数据库和目标数据库的参数PASSWORD_ENCRYPTION需要一致。 | ||
| 源数据库max_replication_slots参数值必须大于当前已使用的复制槽数量。 | ||
| 源数据库的max_wal_senders参数值必须等于或大于max_replication_slots参数值。 | ||
| 源数据库中无主键表的replica identity属性必须为full。 | ||
| 源数据库中表的主键列toast属性为main、external、extended时,其replica identity属性必须为full。 | ||
| 源数据库的wal_level必须配置为logical。 | ||
| 增量同步类 | 表字段检查 |
|
| 无日志表检查 | 库级同步时,不支持同步无日志表(UNLOGGED TABLE)的DML。 | |
| 参数检查 | 如果做增量同步,且同步对象中包含外键、触发器或事件触发器,则目标数据库的session_replication_role参数必须设置为replica,同步结束后,此参数需改为origin。 | |
| 目标数据库检查 | 磁盘空间检查 | 目标数据库实例必须有足够的磁盘空间。 |
| 状态检查 | 目标数据库实例的状态必须正常。 | |
| 区域类型及排序规则检查 | 待同步数据库的lc_ctype或lc_collate在目标数据库不支持。 | |
| 货币金额格式检查 | 源数据库和目标数据库的货币金额格式需要一致。 | |
| 同步对象类 | 选择对象检查 |
|
| 所选表不能包含延迟约束的表。 | ||
| 同步对象依赖和关联的对象需要一起同步。 | ||
| 库表列名规范检查 |
| |
| 源数据库检查 | 预检查阶段进行同步对象检查时,源数据库连接正常。 | |
| ||
| 任务启动前请确保源数据库中不存在长时间未提交的事务。 | ||
| 源数据库的SSL状态正常。 | ||
| 网络情况 | 网络检查 | 目标数据库的IP,端口,用户名和密码连接成功。 |
| 源数据库的IP,端口,用户名和密码连接成功。 |