Tez运维管理(1) 本章节介绍Tez运维管理建议。 日志说明 Tez 相关日志的存储位置与查看方式如下: 1、/var/log/hive:Tez 服务与运行日志目录,包含 Tez 相关组件的运行日志与历史信息; 2、Task 日志:任务运行在各 NodeManager 的 Container 中,通过 YARN 的日志聚合功能查看,可在 YARN 页面按 application id 进入,或使用 yarn logs applicationId application 拉取; 3、DAG 历史数据:由历史服务记录,可通过 TezUI 查询 DAG、顶点、任务的状态与计数器。 日志类型 位置 说明 Tez 服务日志 /var/log/hive/ Tez 组件运行日志 Task 日志 YARN 日志聚合目录 任务容器日志,按application id 聚合查看 DAG 历史数据 历史服务(TezUI 可查) DAG、顶点、任务状态与计数器 服务状态检查 1、使用示例程序验证:提交 orderedwordcount 示例作业,状态为 FINISHED 且输出目录有结果,说明 Tez 服务正常; 2、通过 yarn application list 查看 Tez application 的运行状态; 3、作业启动失败报找不到 Tez 运行环境时,检查 tez.lib.uris 指向的 HDFS 地址是否可达、依赖包是否存在。 常见运维操作 1、终止作业:yarn application kill application ; 2、诊断慢作业:在 TezUI 中定位最慢顶点与最长任务,结合 Task 日志与计数器分析原因; 3、资源不足排查:查看队列使用率与作业排队情况,必要时调整队列或作业并行度。
来自: