管理任务生成的实例,支持查看和管理实例及其上下游依赖实例的状态,包含周期任务实例、手动任务实例和补数实例。
周期实例
周期实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次,便执行一个实例。同时,可以对已生成的实例进行运维管理,例如查看运行状态、重跑和查看节点代码等操作。
周期实例生成时间及运行规则
中台调度模块每晚23点生成次日需要运行的周期实例,生成的实例默认是未运行状态。
周期实例依赖的上游实例全部运行成功后,周期实例的状态从未运行变成等待调度时间。
当到达当前实例的定时运行时间,且剩余可用调度资源充足、并通过所有命中的限流规则校验后,周期实例的状态会从等待调度时间变成运行中。
周期实例运行状态说明
新建:实例初始化状态,代表实例刚刚生成,且还没有被调度机进行调度处理。
等待中:任务等待执行,即执行时间还没到,或者任务的依赖未满足。
队列中:任务被加入到执行队列中,即将提交到worker开始执行,在系统的任务负载不高的情况下,这个状态也是一个短暂存在的状态。
启动中:当任务准备提交到 yarn/k8s等计算资源上面时候,任务启动会持续一段时间,启动中即是代表任务提交到计算资源,但任务还没启动成功这一段时间的状态。
运行中:正在运行中的实例。
成功:运行成功的实例。强制成功的实例系统会直接标记为运行成功。
失败:运行失败的实例。如果终止等待中或运行中状态的实例,则实例状态变更为失败。
处理中:中间状态,代表后台正在处理实例相关指令,如重做、强制成功等,该状态不会长时间存在
暂停:只有任务暂停后,相关的任务实例会变成暂停状态,是一个较为独立的实例状态。
周期实例血缘图
单击周期实例操作列表的实例对象名称,页面右侧将展示以当前实例为中心节点的血缘图。血缘图支持可视化动态呈现该节点的上下游依赖关系,默认展示当前实例(选中节点)及上下游第一层节点。如果实例没有上下游节点,则血缘图仅展示当前实例节点。
同时,您也可以调整实例血缘图页面范围;以下以某个周期实例为例:
| 编号区域 | 描述 |
| ①实例信息 | 展示当前选中实例的概要信息。如:所属任务名称、调度周期、优先级、业务日期等内容展示,你还可以点击查看日志,跳转到这个实例的启动、运行日志页进行详细日志信息查看。 |
| ②画布调整区 | 可以快捷调整画布的内容展示层级、大小、全屏等
|
| ③实例依赖关系图 | 展示实例的调度依赖关系图,支持向上向下展开更多节点;如果周期实例没有相互的依赖关系,则图展示只有一个此实例的节点。 |
手动实例
手动实例是手动任务运行后生成的实例数据。对手动任务每次手动执行生成的实例进行运维管理。手动任务每执行一次,便生成一个实例。同时,可以对已生成的实例进行查看运行状态、重跑、查看手动任务等操作。
手动实例运行状态说明
新建:实例初始化状态,代表实例刚刚生成,且还没有被调度机进行调度处理。
等待中:任务等待执行,即执行时间还没到,或者任务的依赖未满足。
队列中:任务被加入到执行队列中,即将提交到worker开始执行,在系统的任务负载不高的情况下,这个状态也是一个短暂存在的状态。
启动中:当任务准备提交到 yarn/k8s等计算资源上面时候,任务启动会持续一段时间,启动中即是代表任务提交到计算资源,但任务还没启动成功这一段时间的状态。
运行中:正在运行中的实例。
成功:运行成功的实例。强制成功的实例系统会直接标记为运行成功。
失败:运行失败的实例。如果终止等待中或运行中状态的实例,则实例状态变更为失败。
处理中:中间状态,代表后台正在处理实例相关指令,如重做、强制成功等,该状态不会长时间存在。
实时实例
对实时任务对应生成的实时实例进行运维管理。一个实时任务对应一个实时实例,支持实时实例列表的筛选、搜索,支持对实时实例进行启动、停止。
实时实例运行状态说明
新建:实例初始化状态,代表实例刚刚生成,且还没有被调度机进行调度处理。
启动中:当任务准备提交到 yarn/k8s等计算资源上面时候,任务启动会持续一段时间,启动中即是代表任务提交到计算资源,但任务还没启动成功这一段时间的状态。
运行中:正在运行中的实例。
停止中:已触发停止实例的操作,系统正在执行停止实例。
停止:停止正在运行的实例。
失败:启动没有成功导致实例失败。
实时实例指标查看
实时实例运行起来之后,可以查看flink相关的运行指标,在列表页,点击【更多】按钮,点击【查看指标】即可跳转至指标页面。
注意:只有处于【运行中】状态的实时实例才可查看指标。查看指标中可以查看任务运行情况、业务延迟情况、资源情况、I/O情况、checkpiont情况与返压情况等。
补数实例
对周期任务发起补数据操作后,将根据周期类型和业务日期产生不同的补数据实例。您可以根据业务需求对补数据实例进行运维管理,包括查看运行日志、重跑等操作。
注意:补数操作需要任务处于生效状态才能使用。
应用场景
新开发的周期任务,只能从第二天开始调度。如果您需要马上查看历史分区数据,可以执行补数据操作。
上游依赖的任务重跑或补数据导致历史分区数据刷新。您可以通过补数据功能,回刷下游任务的历史分区数据。
业务的历史数据存在遗漏,需补充历史数据,相当于将写入数据至历史的对应时间分区。
业务历史数据有遗漏需要补充历史数据的示例说明:
步骤一:进入周期任务列表页,点击补数操作
进入运维中心页面。
按照以下操作指引,进入周期任务列表页。
依次单击数据运维->任务运维->周期任务->操作栏更多->补数据
步骤二:填写补数日期
选中某生效任务,在其操作栏点击更多按钮再操作补数据功能,弹出弹窗。
需要选中补数的业务日期,其中开始时间到结束时间都只能是历史时间,没法选中未来的时间节点,如当天为10号,我需要补9号的数据,则在任务生效的情况下,开始时间和结束时间都选择9号,即可生成9号的数实例。
补数任务一次性只能提交50个业务日期。
步骤三:运行补数实例
补数据实例生成后将自动触发运行。
测试实例
支持对业务模块所有任务的通过测试运行后产生的测试实例来进行运维管理,可以对测试实例进行查询日志等操作。