新建任务入口
在数据同步页面,单击左侧菜单栏中实时同步 ,进入任务管理页面。在该页面中,输入需同步的源端和目标端数据源,单击新增任务,选择实时同步模板进行实时同步任务配置。
配置实时同步任务
数据来源端配置
这里以Mysql为例:
1.单击数据源类型下拉框,选择需要抽取的数据源类型。
2.配置数据源,在下拉框选择数据源与数据库。
3.选择同步的表。
4.配置同步模式,全量+增量和增量模式,全量+增量模式:任务启动时,会先把源表当前全部数据同步到目标表,再同步增量数据。 增量模式:任务启动时不同步当前源表的所有数据,只同步增量数据。
5.配置同步内容,insert是新增操作内容,update是更新操作内容,delete是删除操作内容。默认三个操作内容都会同步,insert必须同步用户无法修改,update,delete用户可选是否同步。
数据去向端配置
1.设置数据去向的数据源、库。
2.设置同步的目标表。
配置字段映射
在完成数据来源和数据去向的配置后,需要指定数据来源端和去向端的映射关系。支持 同名映射 、同行映射以及取消映射。
来源表字段信息 | 说明 |
---|---|
同名映射 | 根据字段名称建立映射关系,首次显示字段时,默认采取同名映射。无法映射的部分, 目标表字段按照表中字段顺序依次填入选择框中,来源表字段处保留选择框为空,用户 可自行匹配字段。 |
同行映射 | 来源表字段和目标表字段均按照表中的字段顺序填入选择框中。显示的行数量以来源表和 目标表中字段数量少的为准。 |
取消映射 | 取消映射后,用户可自行选择源表字段来对应目标表字段。 |
运行配置
确认同步任务配置参数,用户可使用默认参数或修改对应参数。
任务配置 | 说明 |
---|---|
执行队列 | 执行同步任务的队列名称 |
TaskSlot并发数 | taskmanager.numberOfTaskSlots |
jobmanager内存配置 | jobmanager.memory.process.size |
jobmanager flink内存配置 | jobmanager.memory.flink.size |
taskmanager内存配置 | taskmanager.memory,process.size |
taskmanager flink内存配置 | taskmanager.memory.flink.size |
状态保存点 | statesavepoints.dir |
状态检查点 | state.checkpoints. dir |