DAG 列表页面
All DAGs 页面展示集群已执行的 DAG 作业,主要列说明如下:
1、DAG ID / DAG Name:作业标识与名称,名称一般由提交作业的上层组件生成;
2、Submitter:提交该 DAG 的用户;
3、Status:DAG 状态,常见有 SUCCEEDED、FAILED、KILLED、RUNNING;
4、Start Time / End Time / Duration:开始时间、结束时间与总耗时。
页面支持按状态过滤、按名称与提交人搜索,点击DAG 名称或 ID 可进入 DAG 详情页面。
DAG 详情页面
DAG 详情页面包含如下内容:
1、基本信息:DAG 名称、状态、提交人、起止时间、耗时、所属 application 等;
2、Graphical View(图形视图):以有向图展示顶点依赖关系,每个节点代表一个顶点,不同颜色代表不同状态,可快速定位失败或缓慢的顶点;
3、Counters(计数器):展示 DAG 级别的计数器汇总,如输入输出记录数、溢写记录数等;
4、All Vertices / All Tasks:进入该 DAG 的全部顶点列表与全部任务列表;
5、Swimlane(泳道图):按时间轴展示各顶点与任务的并行执行时序,用于分析阶段间的串行等待与并行度利用情况。
顶点与任务详情
顶点(Vertex)详情页面展示:
1、顶点并行度(任务数)、状态、起止时间与耗时;
2、该顶点关联的任务列表,点击任务可进入任务详情;
3、顶点级别计数器。
任务(Task)详情页面展示:
1、任务状态与所属 Task Attempt(任务尝试)信息;
2、任务所在节点与容器信息;
3、通过 attempt 上的日志链接跳转查看 YARN 聚合日志,定位具体报错。
注意
失败或被杀的任务在页面中以醒目状态标识,优先从失败任务入手排查问题。
典型使用场景
场景一:作业执行慢。定位步骤:DAG 列表按 Duration 排序→进入 DAG 详情查看泳道图与图形视图→定位耗时最长的顶点→进入顶点查看最慢任务→查看任务日志与计数器(如溢写记录数、GC 情况)分析原因。
场景二:作业失败。定位步骤:按Status=FAILED 过滤→进入 DAG 详情查看图形视图中的失败顶点→查看失败任务的错误信息与日志→结合错误堆栈修复作业。
场景三:资源与并行度分析。通过泳道图观察任务是否长期串行等待、并行度是否打满,结合顶点并行度与容器重用情况,评估是否需要调整作业参数。