活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 618智算钜惠季 爆款云主机2核4G限时秒杀,88元/年起!
  • 免费体验DeepSeek,上天翼云息壤 NEW 新老用户均可免费体验2500万Tokens,限时两周
  • 云上钜惠 HOT 爆款云主机全场特惠,更有万元锦鲤券等你来领!
  • 算力套餐 HOT 让算力触手可及
  • 天翼云脑AOne NEW 连接、保护、办公,All-in-One!
  • 中小企业应用上云专场 产品组合下单即享折上9折起,助力企业快速上云
  • 息壤高校钜惠活动 NEW 天翼云息壤杯高校AI大赛,数款产品享受线上订购超值特惠
  • 天翼云电脑专场 HOT 移动办公新选择,爆款4核8G畅享1年3.5折起,快来抢购!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

智算服务

打造统一的产品能力,实现算网调度、训练推理、技术架构、资源管理一体化智算服务
智算云(DeepSeek专区)
科研助手
  • 算力商城
  • 应用商城
  • 开发机
  • 并行计算
算力互联调度平台
  • 应用市场
  • 算力市场
  • 算力调度推荐
一站式智算服务平台
  • 模型广场
  • 体验中心
  • 服务接入
智算一体机
  • 智算一体机
大模型
  • DeepSeek-R1-昇腾版(671B)
  • DeepSeek-R1-英伟达版(671B)
  • DeepSeek-V3-昇腾版(671B)
  • DeepSeek-R1-Distill-Llama-70B
  • DeepSeek-R1-Distill-Qwen-32B
  • Qwen2-72B-Instruct
  • StableDiffusion-V2.1
  • TeleChat-12B

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场创新解决方案
办公协同
  • WPS云文档
  • 安全邮箱
  • EMM手机管家
  • 智能商业平台
财务管理
  • 工资条
  • 税务风控云
企业应用
  • 翼信息化运维服务
  • 翼视频云归档解决方案
工业能源
  • 智慧工厂_生产流程管理解决方案
  • 智慧工地
建站工具
  • SSL证书
  • 新域名服务
网络工具
  • 翼云加速
灾备迁移
  • 云管家2.0
  • 翼备份
资源管理
  • 全栈混合云敏捷版(软件)
  • 全栈混合云敏捷版(一体机)
行业应用
  • 翼电子教室
  • 翼智慧显示一体化解决方案

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
  • 天翼云EasyCoding平台
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼云东升计划
  • 适配中心
  • 东升计划
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
开放能力
  • EasyCoding敏捷开发平台
培训与认证
  • 天翼云学堂
  • 天翼云认证
魔乐社区
  • 魔乐社区

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 建议与反馈
  • 用户体验官
  • 服务保障
  • 客户公告
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 智算服务
  • 产品
  • 解决方案
  • 应用商城
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      文档中心

      数据库复制

      数据库复制

        • 产品动态
        • 产品简介
        • 产品定义
        • 产品优势
        • 产品功能
        • 实时迁移
        • 备份迁移
        • 实时同步
        • 实时灾备
        • 数据类型映射关系
        • 应用场景
        • 相关术语解释
        • 与其他服务关系
        • 计费说明
        • 资源节点
        • 产品规格
        • 计费方式
        • 产品价格
        • 购买
        • 实例生命周期
        • 用户指南
        • 实时迁移
        • 入云
        • 将MySQL迁移到MySQL
        • 将MySQL迁移到DRDS
        • 将MySQL分库分表迁移到DRDS
        • 将MongoDB迁移到DDS
        • 出云
        • 将MySQL迁移到MySQL
        • 将DDS迁移到MongoDB
        • 任务管理
        • 创建迁移任务
        • 查询迁移进度
        • 查看迁移日志
        • 对比迁移项
        • 对象管理
        • 迁移用户
        • 参数对比列表
        • 任务管理
        • 查看任务详情
        • 修改任务信息
        • 修改迁移信息
        • 编辑迁移任务
        • 续传迁移任务
        • 重置迁移任务
        • 暂停迁移任务
        • 结束迁移任务
        • 删除迁移任务
        • 任务状态说明
        • 备份迁移
        • 迁移方案概览
        • 创建RDS备份迁移任务
        • 创建OBS自建桶备份迁移任务
        • 任务管理
        • 查看任务详情
        • 修改任务信息
        • 查看迁移日志
        • 删除迁移任务
        • 任务状态说明
        • 实时同步
        • 数据同步拓扑介绍
        • 入云
        • 将MySQL同步到MySQL
        • 将PostgreSQL同步到PostgreSQL
        • 将Oracle同步到MySQL
        • 将Oracle同步到DRDS
        • 将Oracle同步到PostgreSQL
        • 将DRDS同步到DRDS
        • 将DRDS同步到MySQL
        • 将MySQL同步到DWS
        • 将Oracle同步到DWS
        • 将MongoDB同步到DDS
        • 出云
        • 将MySQL同步到MySQL
        • 自建到自建
        • 将MySQL同步到Kafka
        • 将Oracle同步到Kafka
        • 任务管理
        • 创建同步任务
        • 查询同步进度
        • 查看同步日志
        • 对比同步项
        • 对象管理
        • 编辑同步对象
        • 对象名映射
        • 查看同步映射
        • 数据加工
        • 任务生命周期
        • 查看任务详情
        • 修改任务信息
        • 修改同步信息
        • 编辑同步任务
        • 续传同步任务
        • 暂停同步任务
        • 重置同步任务
        • 修改流速模式
        • 结束同步任务
        • 删除同步任务
        • 任务状态说明
        • 同步场景操作参考
        • Kafka消息格式
        • Kafka认证方式
        • PostgreSQL为源强制结束任务
        • 通过创建触发器和函数实现PostgreSQL增量DDL同步
        • 实时灾备
        • 灾备场景
        • MySQL到MySQL灾备
        • 任务管理
        • 创建灾备任务
        • 查询灾备进度
        • 查看灾备日志
        • 对比灾备项
        • 任务生命周期
        • 查看灾备数据
        • 修改任务信息
        • 编辑灾备任务
        • 续传灾备任务
        • 暂停灾备任务
        • 结束灾备任务
        • 删除灾备任务
        • 查看灾备监控
        • 主备倒换任务
        • 修改流速模式
        • 任务状态说明
        • 快速入门
        • 创建数据库复制 实时迁移
        • 概述
        • 入云迁移使用须知
        • MySQL->RDS for MySQL
        • MySQL->DRDS
        • MySQL分库分表->DRDS
        • MongoDB->DDS
        • PostgreSQL->RDS for PostgreSQL
        • 出云迁移使用须知
        • RDS for MySQL-> MySQL
        • DDS实例-> MongoDB
        • 步骤一(1):创建入云迁移任务
        • 步骤一(2):创建出云迁移任务
        • 步骤二:查询迁移进度
        • 步骤三:查看迁移日志
        • 步骤四:对比迁移项
        • 参考:任务状态含义
        • 创建数据库复制 备份迁移
        • 使用须知
        • 场景一:创建RDS全量备份迁移任务
        • 场景二:创建OBS自建桶迁移任务
        • 参考:任务状态含义
        • 创建数据库复制 实时同步
        • 概述
        • 使用须知
        • 步骤一:创建同步任务
        • 步骤二:查询同步任务
        • 步骤三:查看同步日志
        • 步骤四:对比同步项
        • 参考:任务状态含义
        • 创建数据库复制 实时灾备
        • 概述
        • 使用须知
        • 步骤一:创建灾备任务
        • 步骤二:查询灾备进度
        • 步骤三:查看灾备日志
        • 步骤四:对比灾备项
        • 参考:任务状态含义
        • 最佳实践
        • 最佳实践汇总
        • 跨云数据库实时迁移
        • MySQL数据库迁移
        • MongoDB数据库迁移
        • ECS自建数据库迁移至云上DDS、RDS实例
        • ECS自建MongoDB迁移DDS
        • ECS自建MySQL迁移RDS实例
        • 本地数据库实时迁移
        • MySQL数据库迁移
        • MongoDB数据库迁移
        • 本地Microsoft SQL Server备份迁移到云上RDS for SQL Server实例
        • 场景介绍
        • 迁移准备
        • 导出数据库备份文件
        • 上传备份文件
        • 场景:全量备份迁移
        • 场景:全量+增量备份迁移
        • 手动配置信息
        • 常见问题
        • 产品咨询类
        • 计费类
        • 购买类
        • 操作类
        • 网络及安全
        • 权限管理
        • 实时迁移
        • 备份迁移
        • 实时同步
        • 实时灾备
        • 数据对比
        • 通用操作类问题
        • 时延相关
        • 文档下载
        • 文档下载
        • 相关协议
        • 数据库复制产品服务协议
          无相关产品

          本页目录

          帮助中心数据库复制用户指南实时同步任务管理对象管理数据加工
          数据加工
          更新时间 2024-02-22 11:03:20
          • 新浪微博
          • 微信
            扫码分享
          • 复制链接
          最近更新时间: 2024-02-22 11:03:20
          分享文章
          • 新浪微博
          • 微信
            扫码分享
          • 复制链接
          本节主要介绍数据加工

          数据复制服务支持对同步的对象进行加工,即可以为选择的对象添加规则。各链路支持的加工规则不一样,具体操作方法可参考对应的内容。

          添加附加列

          步骤 1 在“数据加工”页面选择“附加列”,对于需要加工的表对象,单击“操作”列的添加。

          步骤 2 在弹出的“添加”对话框中,填选列名、操作类型、字段类型等信息,选择的操作类型不同,需要填写的信息也不同。完成后单击“确定”。

          说明
          • 多对一映射场景下,需要使用数据加工的附加列操作来避免数据冲突。

          • 支持的操作类型有以下几种

          • “默认值”:使用输入的默认值填充新加的列。

          • “以create_time为列”和“以update_time为列”操作会分别使用数据产生时间和修改时间填充新加的列。

          • “表达式”:需手动输入的表达式,使用表达式填充新加的列。

          • “以serverName@database@table为列”:使用@符号分别拼接serverName、源库的库名、表名填充新加的列,其中serverName为手动输入。

          • “填充值”:选择填充值为新加的列,比如同步时间戳。

          • 支持“批量设置”,将第一个可编辑表的附加列信息应用到此任务中所有可编辑的表。

          • MySQL->GaussDB(for MySQL)主备版同步,单表的列数超过500时, 对该表添加附加列可能会超过列数上限,会导致任务失败

          步骤 3 检查无误后,单击“下一步”,进入下一步操作。

          数据过滤

          数据过滤规则添加后,在源库执行更新操作的处理原则,以数据一致为首要目标。即:

          • 更新前不符合过滤条件,更新后符合。继续同步,在目标库执行相同的更新操作,如果匹配不到数据,则会忽略,会导致数据不一致。
          • 更新前符合过滤条件,更新后不符合。继续同步,在目标库执行相同的更新操作。

          步骤 1 在“数据加工”页面选择“数据过滤”。

          步骤 2 在“对象选择”区域选择需要加工的表对象。

          步骤 3 在过滤条件区域,填写过滤条件(只需填写SQL语句的WHERE之后部分,例如id=1)后,单击“校验”。

          说明
          •  每张表仅支持添加一个校验规则。

          • 数据过滤每次最多支持500张表。

          •  过滤表达式不支持使用某种数据库引擎特有的package、函数、变量、常量等写法,须使用通用SQL标准。请直接输入SQL语句中WHERE之后的部分(不包含WHERE和分号,例如:sid  3 and sname like "G %"),最多支持输入512个字符。

          • 不支持对LOB字段设置过滤条件,如CLOB、BLOB、BYTEA等大字段类型。

          •  建议不要对非精确类型字段设置过滤条件,如FLOAT、DECIMAL、DOUBLE等。

          •  建议不要对带有特殊字符的字段设置过滤条件。

          •  不建议使用非幂等表达式或函数作为数据加工条件,如SYSTIMESTAMP,SYSDATE等,因其每次调用返回的结果可能会有差异,导致达不到预期。

          步骤 4 校验通过后,单击“生成加工规则”,即可在加工规则表格中看到该规则。

          步骤 5 检查无误后,单击“下一步”,进入下一步操作。

          数据过滤高级设置

          如果需要使用关联表查询,可以使用数据加工的高级设置功能。

          步骤 1 在“数据加工”页面选择“数据过滤”。

          步骤 2 在“对象选择”区域选择需要加工的表对象。

          步骤 3 在过滤条件区域,填写联表查询过滤条件,例如:id1 in (select id from db1.tab1 where id >=3 and id <10),单击“校验”。

          说明
          • 每张表仅支持添加一个校验规则。

          • 数据过滤每次最多支持500张表。

          • 过滤表达式不支持使用某种数据库引擎特有的package、函数、变量、常量等写法,须使用通用SQL标准。请直接输入SQL语句中WHERE之后的部分(不包含WHERE和分号,例如:sid  3 and sname like "G %"),最多支持输入512个字符。

          • 不支持对LOB字段设置过滤条件,如CLOB、BLOB、BYTEA等大字段类型。

          • 建议不要对非精确类型字段设置过滤条件,如FLOAT、DECIMAL、DOUBLE等。

          •  建议不要对带有特殊字符的字段设置过滤条件。

          •  不建议使用非幂等表达式或函数作为数据加工条件,如SYSTIMESTAMP,SYSDATE等,因其每次调用返回的结果可能会有差异,导致达不到预期。

          步骤 4 校验通过后,单击“生成加工规则”,即可在加工规则表格中看到该规则。

          步骤 5 在“高级设置”中设置关联表的“配置条件”和“配置规则”,辅助您进行数据过滤。

          1. 在“配置条件”中,根据在[步骤3]( " ")输入的过滤条件,填写关联表的相关信息。

          “库名”、“表名”、“列名”、“主键”、“索引”和“过滤条件”均为必填项。如果该表没有索引,则填写主键。

          “过滤条件”即在[步骤3]( " ")输入的该关联表的过滤条件。

          1. 填写完成,单击“校验规则”。
          2. 校验成功后,单击“生成配置规则”。即可在配置规则表格中看到该规则。

          如果需要进行多张关联表的数据过滤,重复执行[步骤5]( " ")即可。

          说明
          配置规则支持删除操作。

          步骤 6 检查无误后,单击“下一步”,进入下一步操作。

          列加工

          步骤 1 在“数据加工”页面选择“列加工”。

          步骤 2 在“对象选择”区域选择需要加工的对象。

          步骤 3 单击右侧已选对象的“编辑”。

          步骤 4 在“编辑列”中,勾选需要映射的列,填写映射后的“新列名”。

          说明
          •  列加工提供列级的查询、映射和过滤能力。

          • 编辑列名后,目标数据库的列名为修改后的名称。

          • 列映射名不能和原列名或已存在的映射名相同。

          • 任务再编辑时,已经同步的表不支持修改列信息。

          • 只有勾选的列才会被同步。

          • MySQL->MySQL不支持分区表的分区字段进行列映射。

          • 步骤 5 填写完成后单击“确定”。

          • 步骤 6 检查无误后,单击“下一步”,进入下一步操作。

          查看数据过滤

          步骤 1 在“管理”页面任务列表中,选择需要查看数据加工的任务,单击任务名称。

          步骤 2 选择“数据加工”页签,查看数据过滤记录。单击右上角的,可刷新数据。

          查看列加工

          步骤 1 在“管理”页面任务列表中,选择需要查看的任务,单击任务名称。

          步骤 2 选择“同步映射”页签,单击右上角选择列映射,查看列映射记录。单击右上角的,可刷新数据。

          文档反馈

          建议您登录后反馈,可在建议与反馈里查看问题处理进度

          鼠标选中文档,精准反馈问题

          选中存在疑惑的内容,即可快速反馈问题,我们会跟进处理

          知道了

          上一篇 :   查看同步映射
          下一篇 :  任务生命周期
          搜索 关闭
          ©2025 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
          公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
          备案 京公网安备11010802043424号 京ICP备 2021034386号
          ©2025天翼云科技有限公司版权所有
          京ICP备 2021034386号
          备案 京公网安备11010802043424号
          增值电信业务经营许可证A2.B1.B2-20090001
          用户协议 隐私政策 法律声明