活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 618智算钜惠季 爆款云主机2核4G限时秒杀,88元/年起!
  • 免费体验DeepSeek,上天翼云息壤 NEW 新老用户均可免费体验2500万Tokens,限时两周
  • 云上钜惠 HOT 爆款云主机全场特惠,更有万元锦鲤券等你来领!
  • 算力套餐 HOT 让算力触手可及
  • 天翼云脑AOne NEW 连接、保护、办公,All-in-One!
  • 中小企业应用上云专场 产品组合下单即享折上9折起,助力企业快速上云
  • 息壤高校钜惠活动 NEW 天翼云息壤杯高校AI大赛,数款产品享受线上订购超值特惠
  • 天翼云电脑专场 HOT 移动办公新选择,爆款4核8G畅享1年3.5折起,快来抢购!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

智算服务

打造统一的产品能力,实现算网调度、训练推理、技术架构、资源管理一体化智算服务
智算云(DeepSeek专区)
科研助手
  • 算力商城
  • 应用商城
  • 开发机
  • 并行计算
算力互联调度平台
  • 应用市场
  • 算力市场
  • 算力调度推荐
一站式智算服务平台
  • 模型广场
  • 体验中心
  • 服务接入
智算一体机
  • 智算一体机
大模型
  • DeepSeek-R1-昇腾版(671B)
  • DeepSeek-R1-英伟达版(671B)
  • DeepSeek-V3-昇腾版(671B)
  • DeepSeek-R1-Distill-Llama-70B
  • DeepSeek-R1-Distill-Qwen-32B
  • Qwen2-72B-Instruct
  • StableDiffusion-V2.1
  • TeleChat-12B

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场创新解决方案
办公协同
  • WPS云文档
  • 安全邮箱
  • EMM手机管家
  • 智能商业平台
财务管理
  • 工资条
  • 税务风控云
企业应用
  • 翼信息化运维服务
  • 翼视频云归档解决方案
工业能源
  • 智慧工厂_生产流程管理解决方案
  • 智慧工地
建站工具
  • SSL证书
  • 新域名服务
网络工具
  • 翼云加速
灾备迁移
  • 云管家2.0
  • 翼备份
资源管理
  • 全栈混合云敏捷版(软件)
  • 全栈混合云敏捷版(一体机)
行业应用
  • 翼电子教室
  • 翼智慧显示一体化解决方案

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
  • 天翼云EasyCoding平台
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼云东升计划
  • 适配中心
  • 东升计划
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
开放能力
  • EasyCoding敏捷开发平台
培训与认证
  • 天翼云学堂
  • 天翼云认证
魔乐社区
  • 魔乐社区

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 建议与反馈
  • 用户体验官
  • 服务保障
  • 客户公告
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 智算服务
  • 产品
  • 解决方案
  • 应用商城
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      文档中心

      数据库复制

      数据库复制

        • 产品动态
        • 产品简介
        • 产品定义
        • 产品优势
        • 产品功能
        • 实时迁移
        • 备份迁移
        • 实时同步
        • 实时灾备
        • 数据类型映射关系
        • 应用场景
        • 相关术语解释
        • 与其他服务关系
        • 计费说明
        • 资源节点
        • 产品规格
        • 计费方式
        • 产品价格
        • 购买
        • 实例生命周期
        • 用户指南
        • 实时迁移
        • 入云
        • 将MySQL迁移到MySQL
        • 将MySQL迁移到DRDS
        • 将MySQL分库分表迁移到DRDS
        • 将MongoDB迁移到DDS
        • 出云
        • 将MySQL迁移到MySQL
        • 将DDS迁移到MongoDB
        • 任务管理
        • 创建迁移任务
        • 查询迁移进度
        • 查看迁移日志
        • 对比迁移项
        • 对象管理
        • 迁移用户
        • 参数对比列表
        • 任务管理
        • 查看任务详情
        • 修改任务信息
        • 修改迁移信息
        • 编辑迁移任务
        • 续传迁移任务
        • 重置迁移任务
        • 暂停迁移任务
        • 结束迁移任务
        • 删除迁移任务
        • 任务状态说明
        • 备份迁移
        • 迁移方案概览
        • 创建RDS备份迁移任务
        • 创建OBS自建桶备份迁移任务
        • 任务管理
        • 查看任务详情
        • 修改任务信息
        • 查看迁移日志
        • 删除迁移任务
        • 任务状态说明
        • 实时同步
        • 数据同步拓扑介绍
        • 入云
        • 将MySQL同步到MySQL
        • 将PostgreSQL同步到PostgreSQL
        • 将Oracle同步到MySQL
        • 将Oracle同步到DRDS
        • 将Oracle同步到PostgreSQL
        • 将DRDS同步到DRDS
        • 将DRDS同步到MySQL
        • 将MySQL同步到DWS
        • 将Oracle同步到DWS
        • 将MongoDB同步到DDS
        • 出云
        • 将MySQL同步到MySQL
        • 自建到自建
        • 将MySQL同步到Kafka
        • 将Oracle同步到Kafka
        • 任务管理
        • 创建同步任务
        • 查询同步进度
        • 查看同步日志
        • 对比同步项
        • 对象管理
        • 编辑同步对象
        • 对象名映射
        • 查看同步映射
        • 数据加工
        • 任务生命周期
        • 查看任务详情
        • 修改任务信息
        • 修改同步信息
        • 编辑同步任务
        • 续传同步任务
        • 暂停同步任务
        • 重置同步任务
        • 修改流速模式
        • 结束同步任务
        • 删除同步任务
        • 任务状态说明
        • 同步场景操作参考
        • Kafka消息格式
        • Kafka认证方式
        • PostgreSQL为源强制结束任务
        • 通过创建触发器和函数实现PostgreSQL增量DDL同步
        • 实时灾备
        • 灾备场景
        • MySQL到MySQL灾备
        • 任务管理
        • 创建灾备任务
        • 查询灾备进度
        • 查看灾备日志
        • 对比灾备项
        • 任务生命周期
        • 查看灾备数据
        • 修改任务信息
        • 编辑灾备任务
        • 续传灾备任务
        • 暂停灾备任务
        • 结束灾备任务
        • 删除灾备任务
        • 查看灾备监控
        • 主备倒换任务
        • 修改流速模式
        • 任务状态说明
        • 快速入门
        • 创建数据库复制 实时迁移
        • 概述
        • 入云迁移使用须知
        • MySQL->RDS for MySQL
        • MySQL->DRDS
        • MySQL分库分表->DRDS
        • MongoDB->DDS
        • PostgreSQL->RDS for PostgreSQL
        • 出云迁移使用须知
        • RDS for MySQL-> MySQL
        • DDS实例-> MongoDB
        • 步骤一(1):创建入云迁移任务
        • 步骤一(2):创建出云迁移任务
        • 步骤二:查询迁移进度
        • 步骤三:查看迁移日志
        • 步骤四:对比迁移项
        • 参考:任务状态含义
        • 创建数据库复制 备份迁移
        • 使用须知
        • 场景一:创建RDS全量备份迁移任务
        • 场景二:创建OBS自建桶迁移任务
        • 参考:任务状态含义
        • 创建数据库复制 实时同步
        • 概述
        • 使用须知
        • 步骤一:创建同步任务
        • 步骤二:查询同步任务
        • 步骤三:查看同步日志
        • 步骤四:对比同步项
        • 参考:任务状态含义
        • 创建数据库复制 实时灾备
        • 概述
        • 使用须知
        • 步骤一:创建灾备任务
        • 步骤二:查询灾备进度
        • 步骤三:查看灾备日志
        • 步骤四:对比灾备项
        • 参考:任务状态含义
        • 最佳实践
        • 最佳实践汇总
        • 跨云数据库实时迁移
        • MySQL数据库迁移
        • MongoDB数据库迁移
        • ECS自建数据库迁移至云上DDS、RDS实例
        • ECS自建MongoDB迁移DDS
        • ECS自建MySQL迁移RDS实例
        • 本地数据库实时迁移
        • MySQL数据库迁移
        • MongoDB数据库迁移
        • 本地Microsoft SQL Server备份迁移到云上RDS for SQL Server实例
        • 场景介绍
        • 迁移准备
        • 导出数据库备份文件
        • 上传备份文件
        • 场景:全量备份迁移
        • 场景:全量+增量备份迁移
        • 手动配置信息
        • 常见问题
        • 产品咨询类
        • 计费类
        • 购买类
        • 操作类
        • 网络及安全
        • 权限管理
        • 实时迁移
        • 备份迁移
        • 实时同步
        • 实时灾备
        • 数据对比
        • 通用操作类问题
        • 时延相关
        • 文档下载
        • 文档下载
        • 相关协议
        • 数据库复制产品服务协议
          无相关产品

          本页目录

          帮助中心数据库复制用户指南实时同步入云将MySQL同步到DWS
          将MySQL同步到DWS
          更新时间 2024-10-23 15:38:42
          • 新浪微博
          • 微信
            扫码分享
          • 复制链接
          最近更新时间: 2024-10-23 15:38:42
          分享文章
          • 新浪微博
          • 微信
            扫码分享
          • 复制链接
          本章节介绍如何将MySQL同步到DWS。

          支持的源和目标数据库

          表 支持的数据库

          源数据库 目标数据库
          本地自建MySQL数据库
          ECS自建MySQL数据库
          其他云上MySQL数据库
          RDS for MySQL
          DWS集群 8.1.3版本

          前提条件

          • 已登录数据复制服务控制台。
          • 满足实时同步支持的数据库类型和版本,详情请参见实时同步。

          使用建议

          注意

          • DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。

          • 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。

          • 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。

          • 基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。

            • 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。
            • 同步无主键表时,为了确保数据一致性,会存在3s以内的单表级锁定。
            • 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。
            • 由于MySQL固有特点限制,CPU资源紧张时,存储引擎为Tokudb的表,读取速度可能下降至10%。
            • DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。
            • 全量阶段读取表数据时,特别是大表的读取,可能会阻塞业务上对大表的独占锁操作。
          • 数据对比

          建议您结合对比同步项的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。

          使用须知

          在创建同步任务前,请务必阅读以下使用须知。

          说明
          • 建议创建单独用于DRS任务连接的数据库帐号,避免因为数据库帐号密码修改,导致的任务连接失败。

          • 连接源或目标数据库的帐号密码修改后,请尽快修改连接信息,避免任务连接失败后自动重试,导致数据库帐号被锁定影响使用。

          表使用须知

          类型名称

          使用和操作限制

          数据库权限设置

          l 源数据库帐号需要具备如下权限:SELECT、SHOW VIEW、EVENT、LOCK TABLES、REPLICATION SLAVE、REPLICATION CLIENT。

          l 目标数据库帐号必须具有每张表的如下权限:INSERT、SELECT、UPDATE、DELETE、CONNECT、CREATE、REFERENCES。

          同步对象约束

          l 支持表、索引、约束(主键、空、非空)的同步,不支持视图、外键、存储过程、触发器、函数、事件、虚拟列、唯一约束、唯一索引的同步。

          l 全量同步支持comment,增量不支持。

          l 不支持的数据类型有:xml、geometry、point、lineString、polygon、geometrycollection、multipoint、multilinestring、multipolygon。

          l 不支持非MyISAM和非InnoDB表的同步。

          l 对象名同步到目标库后会转换成小写,因此选择的源库表中不能存在表名称字母相同但大小写不同的表,否则,会导致同步失败。

          源数据库要求

          l 增量同步时,MySQL源数据库的binlog日志必须打开,且binlog日志格式必须为Row格式。

          l 在磁盘空间允许的情况下,建议源数据库binlog保存时间越长越好,建议为3天。设置为0,可能会导致同步失败。

          − 源数据库为自建MySQL时,通过设置expire_logs_days参数设置binlog保留时间。建议将expire_logs_day参数设置在合理的范围,确保恢复时断点处的binlog尚未过期,以保证任务中断后的顺利恢复。

          − 源数据库为RDS for MySQL时,设置binlog保留时间可参考《RDS用户指南》。

          l 源数据库GTID状态必须为开启状态,源数据库实例没有开启GTID的情况下不支持主备倒换,DRS任务会因为位点不续接而中断导致无法恢复。

          l 必须设置MySQL源数据库的server-id,server-id的取值范围在2-4294967296之间。

          l 源数据库中的库名、表名不能包含:.<'>`/\"以及非ASCII字符。

          目标数据库要求

          l 目标数据库实例的运行状态必须正常。

          l 目标数据库实例必须有足够的磁盘空间。

          l 目标数据库的时区设置必须与源数据库一致。

          操作须知

          l 相互关联的数据对象要确保同时同步,避免因关联对象缺失,导致同步失败。常见的关联关系:索引引用表等。

          l 不支持外键级联操作。当外键是普通索引的时候,可能会导致表结构创建失败,建议改成唯一索引。

          l 不支持源数据库进行恢复操作。

          l 不支持强制清理binlog,否则会导致同步任务失败。

          l 源数据库不支持reset master或reset master to命令,可能会导致DRS任务失败或者数据不一致。

          l 不建议在数据库中使用非精确数值类型做主键,该特性影响 DRS 增量场景下对 UPDATE、DELETE语句的同步,导致任务失败。

          l 如果无主键表中包含大字段(blob、text、clob、nclob、bytea),增量同步阶段存在大字段数据不一致的可能性。

          l 源库为RDS for MySQL实例时,不支持带有TDE特性并建立具有加密功能表。

          l 源库为RDS for MySQL实例时,支持源端多张表对DWS一张表的映射。详细操作可参考创建MySQL到DWS同步任务。

          l 如果源库MySQL不支持TLS1.2协议,或者为版本较低的自建库(低于5.6.46或在5.7.0-5.7.28之间),如果不支持TLS1.2协议,需提交运维申请才能使用SSL测试连接。

          l 网络中断在30秒内恢复的,不影响实时同步,如果超过30秒,则会导致同步任务失败。

          l MySQL的唯一约束(unique key)在同步到目标DWS后会改写成普通约束,主键(primary key)的同步保持不变。

          l 目标数据库与源数据库字符集不一致可能会导致同步后数据不一致或者同步失败。

          l 数据类型不兼容时,可能引起同步失败。

          l 支持目标数据库中的表比源数据库多列场景,但是需要避免以下场景可能导致的任务失败。

          − 目标端多的列要求非空且没有默认值,源端insert数据,同步到目标端后多的列为null,不符合目标端要求。

          − 目标端多的列设置固定默认值,且有唯一约束。源端insert多条数据后,同步到目标端后多的列为固定默认值,不符合目标端要求。

          l 实时同步过程中,若源库为RDS时,支持修改端口,修改之后同步任务失败,需要通过重试后继续进行同步。

          l 实时同步过程中,若源库为非RDS时,不支持修改端口。

          l 实时同步过程中,不支持IP、帐号、密码修改。

          l DRS全量同步表结构时,源库中char、varchar、nvarchar、enum、set字符类型长度在目标库会按照字节长自动扩大(因为目标库为字节长),扩大倍数和源库中列的字符集有关。如源库字符集为UTF8的按照字节长扩大3倍,为UTF8MB4的按照字节长扩大4倍。

          l 增量同步过程中支持DDL操作。

          − 一对一的场景下,默认同步的DDL类型有CREATE_TABLE,RENAME_TABLE,ADD_COLUMN,MODIFY_COLUMN,ALTER_COLUMN,CREATE_INDEX,DROP_INDEX,RENAME_INDEX,CHANGE_COLUMN,TRUNCATE_TABLE,DROP_TABLE,客户可以根据自身需求,在对象选择页面选择需要同步的DDL类型。

          − 多对一场景下,执行colunm重命名操作,必须停业务操作,不然会有数据不一致的风险。

          − 新增和修改表名、列名、索引名时不能超出63字符,否则任务会失败。

          − 源库无主键表增加主键的时候,必须含有第一列,否则任务会失败。

          l 增量同步过程中,库级同步新建的无主键表必须包含以下列中的其中之一。

          INTEGER TYPES: TINYINT、SMALLINT、INT、BIGINT、NUMERIC/DECIMAL;

          CHARACTER TYPES: CHAR、BPCHAR、VARCHAR、VARCHAR2、NVARCHAR2;

          DATE/TIME TYPES: DATE、TIME、TIMETZ、TIMESTAMP、TIMESTAMPTZ、INTERVAL、SMALLDATETIME;

          无主键表会指定可作为分布列的其中一列作为分布列,如果所有列类型都无法作为分布列,会导致建表失败,DRS同步中断。

          l 库级同步,在增量同步过程中,不能在源库创建名称字母相同但大小写不同的表,否则会导致其中一张表无法同步。

          l 建议将expire_log_day参数设置在合理的范围,确保恢复时断点处的binlog尚未过期,以保证服务中断后的顺利恢复。

          l 源端同步的表如果有AUTO_INCREMENT属性,结束任务时,DRS会自动刷新同步表的序列整型列所对应的DWS自增列(sequence)起始值,刷新值为该列的最大值+10000。

          操作步骤

          本小节以RDS for MySQL到DWS多对一场景的实时同步为示例,介绍如何使用数据复制服务配置实时同步任务。

          步骤 1 在“实时同步管理”页面,单击“创建同步任务”。

          步骤 2 在“同步实例”页面,填选任务名称、描述、同步实例信息,单击“开始创建”。

          • 任务信息

          表任务和描述

          参数 描述
          任务名称 任务名称在4到50位之间,必须以字母开头,可以包含字母、数字、中划线或下划线,不能包含其他的特殊字符。
          描述 描述不能超过256位,且不能包含! = < > & ' " \ 特殊字符。
          • 同步实例信息

          表同步实例信息

          参数 描述
          数据流动方向 选择“入云”。
          源数据库引擎 选择“MySQL”。
          目标数据库引擎 选择“DWS”。
          网络类型 此处以“VPC网络”为示例。目前支持可选“公网网络”、“VPC网络”和“VPN、专线网络”。
          目标数据库实例 可用的DWS实例。
          同步实例所在子网 请选择同步实例所在的子网。也可以单击“查看子网”,跳转至“网络控制台”查看实例所在子网帮助选择。默认值为当前所选数据库实例所在子网,请选择有可用IP地址的子网。为确保同步实例创建成功,仅显示已经开启DHCP的子网。
          IP类型 选择迁移实例的IP类型,目前支持选择“IPv4”或“IPv4&IPv6双栈”。只有所选择的VPC及子网都开启了IPv6双栈功能,才能选择IP类型为“IPv4&IPv6双栈”。
          同步模式 可选“全量+增量”、“全量”和“增量”三种模式,此处以“全量+增量”为示例。
          全量+增量该模式为数据持续性实时同步,通过全量过程完成目标端数据库的初始化后,增量同步阶段通过解析日志等技术,将源端和目标端数据保持数据持续一致。、
          说明
          选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。
          全量
          该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将用户选择的数据库对象和数据一次性同步至目标端数据库。
          增量
          该模式通过解析日志等技术,将源端产生的增量数据持续同步至目标端数据库。

          标签

          表 标签

          参数 描述
          标签 可选配置,对同步任务的标识。使用标签可方便管理您的任务。每个任务最多支持10个标签配额。
          任务创建成功后,您可以单击任务名称,在“标签”页签下查看对应标签。关于标签的详细操作,请参见标签管理。
          说明

          对于创建失败的任务,DRS默认保留3天,超过3天将会自动结束任务。

          步骤 3 在“源库及目标库”页面,同步实例创建成功后,填选源库信息和目标库信息,单击“源库和目标库”处的“测试连接”,分别测试并确定与源库和目标库连通后,勾选协议,单击“下一步”。

          表 源库信息

          参数 描述
          源库类型 源数据库类型,可选“ECS自建库”和“RDS实例”,此处以“RDS实例”为示例。
          数据库实例名称 选择待同步的RDS实例。
          数据库用户名 源数据库的用户名。
          数据库密码 源数据库的用户名所对应的密码。
          说明

          源数据库的数据库用户名和密码,会被系统加密暂存,直至删除该任务后自动清除。

          表目标库信息

          参数 描述
          数据库实例名称 默认为创建同步任务时选择的DWS实例,不可进行修改。
          数据库用户名 目标数据库对应的数据库用户名。
          数据库密码 数据库用户名和密码将被系统加密暂存,直至该任务删除后清除。

          步骤 4 在“设置同步”页面,选择同步对象类型和同步对象。单击“下一步”。

          表 同步模式和对象

          参数

          描述

          流速模式

          流速模式支持限速和不限速,默认为不限速。

          l 限速

          自定义的最大同步速度,全量同步过程中的同步速度将不会超过该速度。

          当流速模式选择了“限速”时,你需要通过流速设置来定时控制同步速度。流速设置通常包括限速时间段和流速大小的设置。默认的限速时间段为“全天限流”,您也可以根据业务需求选择“时段限流”。自定义的时段限流支持最多设置3个定时任务,每个定时任务之间不能存在交叉的时间段,未设定在限速时间段的时间默认为不限速。

          流速的大小需要根据业务场景来设置,不能超过9999MB/s。

          l 不限速

          对同步速度不进行限制,通常会最大化使用源数据库的出口带宽。该流速模式同时会对源数据库造成读消耗,消耗取决于源数据库的出口带宽。比如源数据库的出口带宽为100MB/s,假设高速模式使用了80%带宽,则同步对源数据库将造成80MB/s的读操作IO消耗。

          说明

          l 限速模式只对全量阶段生效,增量阶段不生效。

          l 您也可以在创建任务后修改流速模式。具体方法请参见修改流速模式。

          同步对象类型

          可选同步表结构、同步数据、同步索引,根据实际需求进行选择要同步内容。

          l 同步数据为必选项。

          l 选择同步表结构的时候目标库不能有同名的表。

          l 不选同步表结构的时候目标库必须有相应的表,且要保证表结构与所选表结构相同。

          由于DWS的表结构具有业务逻辑,建议结合业务情况在DWS专家指导下自建表结构,并确保表名、列名、列类型的准确性,否则会出现数据同步失败、数据同步精度丢失等情况。

          增量阶段冲突策略

          该冲突策略特指增量同步中的冲突处理策略,全量阶段的冲突默认忽略。冲突策略目前支持如下形式:

          l 忽略

          当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将跳过冲突数据,继续进行后续同步。

          l 报错

          当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),同步任务将失败并立即中止。

          l 覆盖

          当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将覆盖原来的冲突数据。

          异常数据策略

          源和目标数据库的客观差异差异,可能导致部分数据无法写入成功,出现异常数据,请选择出现异常数据时的任务策略。

          l 任务继续:不因少量异常数据导致全部数据均停止同步,异常数据发生时将会自动记录脏数据,可在“异常数据”模块查看这部分数据。

          l 任务失败:出现异常数据后,任务失败停止。

          启动位点

          步骤2的同步模式选择“增量”时可见,增量同步的启动位点,任务的源库日志从位点后开始获取(不含当前启动位点)。

          通过show master status命令获取源库位点,根据提示分别填写File、Position、Executed_Gtid_Set。

          同步对象

          左侧框是源数据库对象,右侧框是已经选择的对象,可选表级同步、库级同步,您可以根据业务场景选择对应的数据进行同步。

          l 可以使用对象名映射功能进行源数据库和目标数据库中的同步对象映射,实现多张表对一张表的同步,具体操作可参考对象名映射。

          − 使用多对一操作时,需要使用数据加工的附加列操作来避免数据冲突。

          − 源库和目标库多对一的表的结构要一致。

          说明

          l 选择数据的时候支持对展开的库搜索,以便您快速选择需要的数据库对象。

          l 如果有切换源数据库的操作或源库同步对象变化的情况,请在选择同步对象前单击右上角的,以确保待选择的对象为最新源数据库对象。

          l 对象名同步到目标库后会转换成小写,因此选择的源库表中不能存在表名称字母相同但大小写不同的表,否则,会导致同步失败。

          l 当对象名称包含空格时,名称前后的空格不显示,中间如有多个空格只显示一个空格。

          l 选择的同步对象名称中不能包含空格。

          l 选择库级同步时,在增量同步过程中,不能在源库创建名称字母相同但大小写不同的表,否则会导致其中一张表无法同步。

           

          步骤 5 在“数据加工”页面,可对需要加工的表对象进行数据过滤或添加附加列,,单击“下一步”。

          • 如果需要设置数据过滤,选择“数据过滤”,设置相关过滤规则。
          • 如果需要设置添加附加列,选择“附加列”,单击“操作”列的“添加”,选填需要添加的列名和操作类型信息。

          相关操作可参考数据加工。

          步骤 6 在“预检查”页面,进行同步任务预校验,校验是否可进行实时同步。

          • 查看检查结果,如有不通过的检查项,需要修复不通过项后,单击“重新校验”按钮重新进行任务预校验。
          • 预检查完成后,且所有检查项结果均通过时,单击“下一步”。
          说明
          所有检查项结果均通过时,若存在请确认项,需要阅读并确认详情后才可以继续执行下一步操作。

          步骤 7 在“任务确认”页面,设置同步任务的启动时间,并确认同步任务信息无误后,单击“启动任务”,提交同步任务。

          表任务启动设置

          参数 描述
          启动时间 同步任务的启动时间可以根据业务需求,设置为“立即启动”或“稍后启动”。
          说明
          预计同步任务启动后,会对源数据库和目标数据库的性能产生影响,建议选择业务低峰期,合理设置同步任务的启动时间。

          步骤 8 同步任务提交后,您可在“管理”页面,查看并管理自己的任务。

          • 您可查看任务提交后的状态,状态请参见任务状态说明。
          • 在任务列表的右上角,单击刷新列表,可查看到最新的任务状态。
          • 对于未启动、状态为配置中的任务,DRS默认保留3天,超过3天DRS会自动删除后台资源,当前任务状态不变。当用户再次配置时,DRS会重新申请资源。
          文档反馈

          建议您登录后反馈,可在建议与反馈里查看问题处理进度

          鼠标选中文档,精准反馈问题

          选中存在疑惑的内容,即可快速反馈问题,我们会跟进处理

          知道了

          上一篇 :  将DRDS同步到MySQL
          下一篇 :  将Oracle同步到DWS
          搜索 关闭
          ©2025 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
          公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
          备案 京公网安备11010802043424号 京ICP备 2021034386号
          ©2025天翼云科技有限公司版权所有
          京ICP备 2021034386号
          备案 京公网安备11010802043424号
          增值电信业务经营许可证A2.B1.B2-20090001
          用户协议 隐私政策 法律声明