配置好采集器之后,需要在采集任务管理模块配置采集任务和采集调度,完成配置后系统即可根据调度信息按照预定的任务设置和时间规则进行元数据采集。
采集任务通过采集适配器连接到指定的数据源,执行采集任务。支持用户创建内置采集任务和自定义采集任务。内置采集任务通过选择数据源和环境,自动关联到数据源对应的内置元模型采集器,无需手动选择元模型采集器;自定义采集任务为特殊采集需求提供支撑,需要手动选择元模型采集器,采集与需求对应的元数据。
配置完采集任务后,需要配置调度,以按照预定的时间规则进行元数据采集。可以进行定时配置,实现元数据定时采集;也可以选择立即执行一次采集任务。目前支持mysql、hive、doris、DM 等类型元数据采集。
创建采集任务
配置采集任务信息,连接到相应数据源。
点击【+创建任务】按钮创建新的采集任务,可以选择创建内置采集器任务和自定义采集器任务。
内置采集器任务
一般情况下,采集任务均使用内置采集器。用户仅需选择想要采集的数据源和环境(如果采集hive数据源,需要配置元数据源),数据源已与内置采集器匹配好,采集器同时采集所选数据源的表和字段。
自定义采集器任务
为应对特殊情况,如元数据中不包含的字段、查询表占用的空间、数据库版本迭代导致采集任务失败等特殊采集需求,可以通过自定义采集器任务解决。在弹窗中配置采集任务相关信息(如果采集hive数据源,需要配置元数据源),创建自定义采集任务时需要手动选择元模型采集器。
创建调度配置
配置采集任务的调度信息,系统将根据调度信息执行元数据的采集任务。
点击【更多】->【创建调度配置】按钮,在右侧抽屉中配置调度信息,包括基本信息、调度信息、任务信息及运行信息,点击【保存】按钮,完成调度配置,任务将根据新配置的信息进行采集
采集任务操作
采集器管理界面展示采集任务名称、数据源、元数据源、采集器类型、调度状态、实例状态、调度周期及操作。操作动作支持编辑、删除及更多(创建调度配置、立即执行一次、调度上线及调度下线)。
| 操作 | 描述 |
| 编辑 | 编辑所选采集任务的配置信息。点击【编辑】按钮,在弹窗中编辑采集任务信息。点击【确认】完成任务编辑 |
| 删除 | 删除所选采集任务。点击【删除】按钮,确认是否删除采集任务。 |
| 立即执行一次 | 立即执行当前的采集任务。点击【更多】->【立即执行一次】按钮,执行采集任务,根据弹窗提示确认任务执行成功。 |
| 调度上线和调度下线 | 上线或下线选中的调度任务。点击【更多】->【调度上线】按钮或【调度下线】按钮,对任务执行上线和下线操作。 |
查询采集器任务
支持以输入数据源、选择任务名称的方式进行采集器任务查询。