将PostgreSQL同步到PostgreSQL 前提条件 已登录数据复制服务控制台。 满足实时同步支持的数据库类型和版本,详情请参见实时同步。 已阅读以上使用建议和使用须知。 操作步骤 本小节以PostgreSQL>PostgreSQL的入云同步为示例,介绍如何使用数据复制服务配置VPC网络场景下的实时同步任务。 步骤 1 在“实时同步管理”页面,单击“创建同步任务”。 步骤 2 在“同步实例”页面,填选任务名称、描述、同步实例信息,单击“开始创建”。 任务信息 表 任务和描述 参数 描述 任务名称 任务名称在4到50位之间,必须以字母开头,可以包含字母、数字、中划线或下划线,不能包含其他的特殊字符。 描述 描述不能超过256位,且不能包含! & ' " 特殊字符。 同步实例信息 表同步实例信息 参数 描述 数据流动方向 选择“入云”。 源数据库引擎 选择“PostgreSQL”。 目标数据库引擎 选择“PostgreSQL” 。 网络类型 此处以“VPC网络”为示例,可选公网网络、VPC网络和VPN、专线网络。 目标数据库实例 目标数据库为RDS for PostgreSQL数据库实例。 同步实例所在子网 请选择同步实例所在的子网。也可以单击“查看子网”,跳转至“网络控制台”查看实例所在子网帮助选择。默认值为当前所选数据库实例所在子网,请选择有可用IP地址的子网。为确保同步实例创建成功,仅显示已经开启DHCP的子网。 IP类型 选择迁移实例的IP类型,目前支持选择“IPv4”或“IPv4&IPv6双栈”。只有所选择的VPC及子网都开启了IPv6双栈功能,才能选择IP类型为“IPv4&IPv6双栈”。 同步模式 全量+增量:该模式为数据持续性实时同步,通过全量过程完成目标端数据库的初始化后,增量同步阶段通过解析日志等技术,将源端和目标端数据保持数据持续一致。 全量该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库。 标签 表标签 参数 描述 标签 可选配置,对同步任务的标识。使用标签可方便管理您的任务。每个任务最多支持10个标签配额。 任务创建成功后,您可以单击任务名称,在“标签”页签下查看对应标签。关于标签的详细操作,请参见标签管理。 说明 对于创建失败的任务,DRS默认保留3天,超过3天将会自动结束任务。 步骤 3 在“源库及目标库”页面,同步实例创建成功后,填写源库信息和目标库信息,单击“源库和目标库”处的“测试连接”,分别测试并确定与源库和目标库连通后,勾选协议,单击“下一步”。 测试连接时需要确保DRS任务与源库、目标库的连通性。 网络连通性: 确保源库和目标库允许DRS访问,通常至少需要放通DRS的IP。公网网络的DRS任务放通DRS的公网IP,VPC网络、VPN、专线网络的DRS任务放通DRS的内网IP。 帐号连通性 :确保源库和目标库允许DRS通过连接帐号和密码访问。 说明 此处源库类型分为ECS自建库和RDS实例,需要根据源数据库的实际来源选择相应的分类。两种场景下的参数配置不一样,需要根据具体场景进行配置。 场景一:ECS自建库源库信息配置 表 ECS自建库场景源库信息 参数 描述 源库类型 选择“ECS自建库”。 VPC 源数据库实例所在的虚拟专用网络,可以对不同业务进行网络隔离。您需要创建或选择所需的虚拟私有云。 子网 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。子网在可用分区内才会有效,创建源数据库实例的子网需要开启DHCP功能,在创建过程中也不能关闭已选子网的DHCP功能。 IP地址或域名 源数据库的IP地址或域名。 端口 源数据库服务端口,可输入范围为1~65535间的整数。 指定数据库名称 选择是否指定数据库,开启后需手动输入数据库名称。 数据库用户名 源数据库的用户名。 数据库密码 源数据库的用户名所对应的密码。 SSL安全连接 通过该功能,用户可以选择是否开启对同步链路的加密。 说明 源数据库的IP地址或域名、数据库用户名和密码,会被系统加密暂存,直至删除该迁移任务后自动清除。 场景二:RDS实例源库信息配置 表RDS实例场景源库信息 参数 描述 源库类型 选择“RDS实例”。 数据库实例名称 选择待同步的关系型PostgreSQL数据库实例作为源数据库实例。 数据库用户名 源数据库实例的用户名。 数据库密码 源数据库的用户名所对应的密码。 表 目标库信息 参数 描述 数据库实例名称 默认为创建迁移任务时选择的关系型PostgreSQL数据库实例,不可进行修改。 数据库用户名 目标数据库的用户名。 数据库密码 目标数据库的用户名所对应的密码。 说明 源和目标数据库用户名和密码将在同步过程中被加密暂存到数据库和同步实例主机上,待该任务删除后会永久清除。 在“设置同步”页面,选择同步对象和同步用户,单击“下一步”。 表 同步对象 参数 描述 流速模式 流速模式支持限速和不限速,默认为不限速。 l 限速 自定义的最大同步速度,全量同步过程中的同步速度将不会超过该速度。 当流速模式选择了“限速”时,你需要通过流速设置来定时控制同步速度。流速设置通常包括限速时间段和流速大小的设置。默认的限速时间段为“全天限流”,您也可以根据业务需求选择“时段限流”。自定义的时段限流支持最多设置3个定时任务,每个定时任务之间不能存在交叉的时间段,未设定在限速时间段的时间默认为不限速。 流速的大小需要根据业务场景来设置,不能超过9999MB/s。 l 不限速 对同步速度不进行限制,通常会最大化使用源数据库的出口带宽。该流速模式同时会对源数据库造成读消耗,消耗取决于源数据库的出口带宽。比如源数据库的出口带宽为100MB/s,假设高速模式使用了80%带宽,则同步对源数据库将造成80MB/s的读操作IO消耗。 说明 l 限速模式只对全量阶段生效,增量阶段不生效。 l 您也可以在创建任务后修改流速模式。具体方法请参见修改流速模式。 增量阶段冲突策略 该冲突策略特指增量同步中的冲突处理策略,全量阶段的冲突默认忽略。冲突策略目前支持如下形式: l 忽略 当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将跳过冲突数据,继续进行后续同步。 l 报错 当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),同步任务将失败并立即中止。 l 覆盖 当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将覆盖原来的冲突数据。 对象同步范围 对象同步范围支持选择普通索引、增量DDL同步和全量阶段填充物化视图,您可以根据业务需求选择是否进行同步。 全量阶段填充物化视图:仅对源库已经填充的物化视图生效,该填充操作会影响全量同步性能,建议在全量同步完成后,手动在目标库填充。 同步对象 左侧框是源数据库对象,右侧框是已经选择的对象,同步对象支持表级同步、库级同步,您可以根据业务场景选择对应的数据进行同步。 l 选择库级同步: 全量同步时,同步对象为所选的库、库中对象的存量数据;增量同步时,同步除了无日志表、临时表外的所有表的DML及部分 DDL。 l 选择表级同步: 全量同步时,同步对象为所选的表、序列、视图或物化视图的存量数据;增量同步时,同步所选表的DML及部分 DDL。 l 在同步对象右侧已选对象框中,可以使用对象名映射功能进行源数据库和目标数据库中的同步对象映射,具体操作可参考对象名映射。 模式名或表名映射时,为防止索引和约束名冲突,同步后表上的原索引名称将变为此格式:i+哈希值+原索引名(可能被截断)+key。其中哈希值由“原模式名原表名原索引名”计算得到。同理,同步后表上的原约束名将变为:c+哈希值+原约束名(可能被截断)+key。 说明 l 选择对象的时候支持对展开的库 进行搜索,以便您快速选择需要的数据库对象。 l 如果有切换源数据库的操作或源库同步对象变化的情况,请在选择同步对象前单击右上角的,以确保待选择的对象为最新源数据库对象。 l 当对象名称包含空格时,名称前后的空格不显示,中间如有多个空格只显示一个空格。 l 选择的同步对象名称中不能包含空格。 同步用户 数据库的同步过程中,同步用户需要进行单独处理。 同步用户一般分为两类:可同步的用户和不支持同步的用户。对于不支持同步的用户,在备注列的查看详情中会提示具体的原因,您可以根据业务需求选择是否同步用户和权限。 步骤 5 在“预检查”页面,进行同步任务预校验,校验是否可进行。 查看检查结果,如有不通过的检查项,需要修复不通过项后,单击“重新校验”按钮重新进行任务预校验。 预检查完成后,且所有检查项结果均通过时,单击“下一步”。 说明 所有检查项结果均通过时,若存在请确认项,需要阅读并确认详情后才可以继续执行下一步操作。 步骤 6 在“任务确认”页面,设置同步任务的启动时间,并确认同步任务信息无误后,单击“启动任务”,提交同步任务。 表 任务启动设置 参数 描述 启动时间 同步任务的启动时间可以根据业务需求,设置为“立即启动”或“稍后启动”。 说明 预计同步任务启动后,会对源数据库和目标数据库的性能产生影响,建议选择业务低峰期,合理设置同步任务的启动时间。 步骤 7 同步任务提交后,您可在“管理”页面,查看并管理自己的任务。 您可查看任务提交后的状态,状态请参见任务状态说明。 在任务列表的右上角,单击刷新列表,可查看到最新的任务状态。 对于未启动、状态为配置中的任务,DRS默认保留3天,超过3天DRS会自动删除后台资源,当前任务状态不变。当用户再次配置时,DRS会重新申请资源。