支持的源和目标数据库

支持的源和目标数据库，如下表：

支持的迁移对象及SQL

迁移对象

• 当前DTS支持表级（指定的表对象）。

• 支持表的结构迁移。

• 数据迁移仅针对数据源中的用户数据库，而系统库会被自动过滤。例如：MySQL 数据源中的 information_schema、mysql、performance_schema、sys 库不会出现在可迁移列表当中。

• 若源库为空库（该库下未创建任何表），不支持作为待迁移对象。

增量迁移支持的SQL操作

• DML

  INSERT、UPDATE、DELETE。

• DDL

  增量迁移的DDL操作仅支持ALTER TABLE下的ADD COLUMN、DROP COLUMN操作，以及TRUNCATE TABLE、DROP TABLE、RENAME TABLE操作。

数据库账号及权限

数据库账号及权限如下表：

操作须知

• 目前只支持将数据同步到Doris的Unique或Duplicate表模型中，若目标表为Duplicate表模型，并且同步实例发生过下面的操作，会导致目标库中出现重复数据，您可自行根据附加列（_ctyun_dts_is_deleted、_ctyun_dts_version和_ctyun_dts_record_id）进行去重操作：

  • 重试操作；

  • 重启操作；

  • 对同一条数据执行过多次DML操作，DTS会将UPDATE或DELETE语句转换为INSERT语句。

• 待同步对象中包含既无主键也无唯一约束的表，可能会导致目标数据库中出现重复数据。在配置实例时，建议同步类型勾选“库表结构同步”，并在库表列配置阶段将表模型设置为“duplicate”，否则可能导致实例运行失败或数据丢失。

• 由于Doris数据库的库、表、列名称有相关限制，如出现下面情况，需要使用映射功能进行修改，否则可能会导致任务失败：

  • 待同步的库名或表名不是以字母开头；

  • 若待同步对象（库、表、列）的名称包含中文；

• 在库表列进行参数设置时，分桶数量仅支持正整数，默认值为auto。

• 在库表结构同步阶段，如果表模型设置为“duplicate”，DTS自动添加额外的三个列，具体请查看“附加列信息”章节。

• 在MySQL中，VARCHAR(M)类型的M表示字符长度；在Doris数据库中，VARCHAR(N)类型的N表示字节长度。若使用DTS创建表，会自动将Doris数据库中VARCHAR类型字段的长度设置为MySQL中VARCHAR字段长度的四倍，若您不使用DTS提供的库表结构同步功能，建议您自行上述操作。

• 在数据同步期间，请勿在目标Doris数据库中新建集群或者增加BE（Backend）节点，否则会导致任务失败。您可以尝试通过重新启动同步实例，来恢复失败的任务。

• 如迁移对象为表级别，则单次迁移任务仅支持迁移最多10000张表。当超出数量限制，任务会在提交后会请求报错。如果遇到这种情形，建议您拆分待迁移的表，分批配置成多个任务，或者配置为整库迁移。

• 目标库若已存在行数据，DTS在增量迁移过程中源库相同主键的数据将覆盖目标库已存在的数据，因此在迁移前需要用户自行判断数据是否需要清除，建议用户在迁移前自行清空目标库。

• MySQL源数据库的binlog日志必须打开，且binlog日志格式必须为Row格式。

• 在磁盘空间允许的情况下，建议源数据库binlog保存时间越长越好，建议为7天。否则DTS在增量迁移时可能因无法获取Binlog而导致任务失败。由于您所设置的Binlog日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。

• 在任务进入增量迁移阶段之前，不建议对源数据库做DDL操作，这样可能会引起任务迁移失败。

• 迁移过程中，请勿修改、删除提供给DTS连接访问的源库和目标库及用户名、密码、权限，或修改源库和目标库的端口号；若用户源库、目标库的密码发生变化，请先暂停任务再修改DTS配置的连接源库、目标库的密码。

• 选择表级对象迁移时，增量迁移过程中不建议对表进行重命名操作。

• 增量迁移场景下，源库MySQL执行Online DDL变更时，会导致任务失败。

• 增量迁移场景下，不支持源数据库进行恢复操作。

• 增量迁移并开启增量DDL支持的场景下，当前暂不支持在结构迁移与全量迁移详情页面显示增量阶段新增的表。

操作步骤

1、购买DTS数据迁移实例。

在管理控制台点击“创建实例”进入订购页面，“实例类型”选择“数据迁移”，“目标库实例”的“数据库类型”选择Doris，选择实例，完成其他信息的填写并完成购买。

2、进入实例配置页面。

DTS实例购买成功后，进入【数据迁移】实例列表页面，上一步骤购买成功的实例在实例列表中显示状态为“待配置”，进入实例配置页面的操作分两种情况：

• 当源库或目标库的网络接入类型为“公网EIP”时，请在实例列表的“IP地址列”点击“绑定弹性IP”按钮完成公网弹性IP的绑定，然后点击该实例操作列的“实例配置”按钮。

• 当源库和目标库的网络接入类型不是“公网EIP”时，请直接点击该实例操作列的“实例配置”按钮。

3、配置源库及目标库信息。

进入实例配置第一个步骤的【配置源库及目标库信息】页面，填入源库与目标库的相关配置信息，包括数据库类型、IP地址端口、数据库账号、数据库密码等信息。

完成上述信息的填写后，点击源数据库和目标数据库的“测试连接”按钮进行数据库连接测试，检查数据库能否正常连接。

4、配置迁移对象及高级配置。

源库和目标库连通性测试成功后，点下一步按钮，进入实例配置第二个步骤的【配置迁移对象及高级配置】页面，在“源库对象”中选择要迁移的源库对象，选中后点击“>”按钮，将待迁移对象移动到“已选择对象”中。

5、配置库表列信息。

完成迁移对象和高级配置后，点击“下一步”，若迁移模式选择了“结构同步”，进入【配置库表列】页面，对表模型、主键列、分布键和分桶数量进行设置。

• 表模型：只支持UniqueKey或DuplicateKey。

• 主键列：可以选择一个或多个列组成联合主键，默认是源表的主键。

• 分布键：分布键的选择与表模型相关：当选择DuplicateKey时，分布键可以是任意主键列或者value列；选择UniqueKey时，分布键必须从主键列中选择1个或多个列。

• 分桶数量：分桶数量只支持正整数，默认值是auto。

若待同步对象的表模型和分桶数量一致时，可批量设置参数。

6、预检查和启动迁移。

完成定义Doris表的库表列信息后，点击“下一步预检查”，进入实例配置的【预检查】页面。预检查会检查如下列信息，并给出检查结果，用户可以依据检查结果进行下一步操作。

如果预检查通过，可点击【预检查】页面底部的“启动迁移”按钮，开始迁移任务。

MySQL - Doris数据类型转换附表

附加列信息

目标表如果选择是Duplicate表模型，DTS自动添加或需您手动添加的附加列如下表所示: