数据传输服务DTS支持用户对实例的部分参数进行配置,帮助降低数据传输过程中的延迟,提升数据传输的性能和效率。
前提条件
数据迁移或数据同步实例已创建并配置。
注意事项
为保证实例的稳定运行,DTS控制台参数配置页面根据实例链路类型的不同仅开放出对应链路支持修改的参数,未在控制台中呈现的参数不支持修改。
请参考参数配置页面中的配置项、描述、可选值、参数类型、默认值列,修改运行参数值。
当实例的类型为分布式实例,任务为主子任务时,在参数配置页面修改的参数将同时被子任务继承,重启任务后生效。
修改参数后,若选择”仅保存参数“,则参数修改需待下次重启后生效,可先暂停任务再启动任务,以完成重启;若选择“保存参数并立即重启任务生效”,则DTS会立即重启模块。
操作步骤
数据同步和数据迁移实例参数配置的步骤相似,本操作以修改数据迁移实例的参数为例进行介绍。
在控制台左侧菜单栏点击“数据迁移”,进入【数据迁移】实例列表页面。
选择要进行参数配置的实例,点击列表中该实例的任务名称,进入任务详情页面。
进入参数配置页面,以下2种操作二选一:
1)在左侧导航栏,单击“参数配置”,进入参数配置页面,点击“全量迁移”或“增量迁移”可分别进入不同模块的参数配置页面。
2)或在“迁移详情”页面中,点击“全量迁移”或“增量迁移”先进入不同模块的详情页面,再点击“参数配置”进入模块对应的参数配置页面。
注意
- 结构迁移模块不支持参数配置,仅支持全量迁移和增量迁移模块的参数配置。
源端数据库为UDAL/DRDS时,仅支持第1)种方式进入参数配置页面。
在参数配置页面的列表中,定位到需要修改的配置项所在的行,点击”操作列“的”编辑“按钮,进入”编辑运行参数“对话框。
在”编辑运行参数“对话框页面中,编辑运行参数值。
根据实际需要,在弹窗中分别选择”取消“、”仅保存参数“,”保存参数并立即重启任务生效“后关闭对话框,完成参数的配置。
注意
对于分布式任务,选择“保存参数并立即重启任务生效”,暂不支持自动重启子任务,因此需要人工重启子任务后参数才能生效。
参数配置项
由于DTS实例的源和目标库类型不同、DTS实例可修改的参数可能会有差异,请以控制台显示为准,常见参数如下表所示。
参数配置项 对应模块 说明 source.task.num 全量迁移 全量迁移时同时从源库读取的任务数,范围1-64,通常建议1-4。微型/小型规格默认1,标准及以上规格默认4。调大可加快读取,源库压力过大或任务内存不足时应调小。 sink.task.num 全量迁移 全量迁移时同时向目标库写入的任务数,范围1-64,通常建议4-32。微型/小型规格默认4,标准/大型默认16,超大型默认32。调大可加快写入,目标库压力过大或任务内存不足时应调小。 source.connector.fetch.record.size 全量迁移 全量迁移时每次从源库读取的最大数据条数,通常建议128-1024,默认1024。调大可加快读取,单条数据较大或任务内存不足时应调小。 source.connector.split.record.size 全量迁移 全量迁移时每个数据分片包含的记录数,请使用“整数*整数”的乘法格式。通常建议1024*128至1024*1024,默认1024*512。调小可以解决大分片问题,调大可减少分片数量;一般保持默认值即可。 source.connector.split.thread.count 全量迁移 全量迁移时同时创建数据分片的任务数,范围1-64,通常建议1-4,默认2。调大可加快迁移准备,源库压力过大或任务内存不足时应调小。 source.store.max.mb 增量迁移 读取数据时可使用的最大缓存,单位MB,默认2048。调大可提升大流量任务的处理速度,调小可减少内存占用;任务出现内存不足时建议调小。 sink.connector.batch.size.max 增量迁移 每次写入目标库的最大数据条数。普通数据库默认1024,ClickHouse默认50000,Doris默认100000。调大通常可以加快写入,出现内存不足或写入超时时可调小。 sink.connector.parallel.size 增量迁移 同时向目标库写入的任务数,范围1-64。微型到超大型规格默认依次为4、8、16、32、64。调大可加快写入,目标库压力过大或任务内存不足时应调小。 ignoreDDLAndRefreshSchema 增量迁移 是否忽略源库的表结构变更。开启后不会在目标库执行这些变更,但任务仍会识别最新的表结构。适用于不需要自动同步表结构的任务,此时需要自行维护目标表结构。