Tez运维管理
更新时间 2026-10-12 11:42:32
最近更新时间: 2026-10-12 11:42:32
本章节介绍Tez运维管理建议。
日志说明
Tez 相关日志的存储位置与查看方式如下:
1、/var/log/hive:Tez 服务与运行日志目录,包含 Tez 相关组件的运行日志与历史信息;
2、Task 日志:任务运行在各 NodeManager 的 Container 中,通过 YARN 的日志聚合功能查看,可在 YARN 页面按 application id 进入,或使用 yarn logs -applicationId application_<id> 拉取;
3、DAG 历史数据:由历史服务记录,可通过 TezUI 查询 DAG、顶点、任务的状态与计数器。
| 日志类型 | 位置 | 说明 |
|---|---|---|
| Tez 服务日志 | /var/log/hive/ | Tez 组件运行日志 |
| Task 日志 | YARN 日志聚合目录 | 任务容器日志,按application id 聚合查看 |
| DAG 历史数据 | 历史服务(TezUI 可查) | DAG、顶点、任务状态与计数器 |
服务状态检查
1、使用示例程序验证:提交 orderedwordcount 示例作业,状态为 FINISHED 且输出目录有结果,说明 Tez 服务正常;
2、通过 yarn application -list 查看 Tez application 的运行状态;
3、作业启动失败报找不到 Tez 运行环境时,检查 tez.lib.uris 指向的 HDFS 地址是否可达、依赖包是否存在。
常见运维操作
1、终止作业:yarn application -kill application_<id>;
2、诊断慢作业:在 TezUI 中定位最慢顶点与最长任务,结合 Task 日志与计数器分析原因;
3、资源不足排查:查看队列使用率与作业排队情况,必要时调整队列或作业并行度。