日志
Flink 使用 SLF4J 日志接口,默认底层日志框架为 Log4j 2。常见日志包括 JobManager 日志、TaskManager 日志、客户端日志和用户作业日志。
Standalone模式日志
如使用单机模式或本机资源提交 Flink 作业,JobManager、TaskManager 和客户端进程通常运行在当前机器节点,相关日志可在本机日志目录中查看。Flink日志默认存储路径为/var/log/flink目录。常见文件包括:
`flink-*-standalonesession-*.log`:JobManager 或 Standalone Session 相关日志。
`flink-*-taskexecutor-*.log`:TaskManager 相关日志。
`flink-*-client-*.log`:客户端提交相关日志。
YARN 模式日志
如使用 YARN 资源提交 Flink 作业,可通过以下命令查看指定 `<application_id>` 的聚合日志。
yarn logs -applicationId <application_id>如果如果 YARN 日志聚合未开启、日志尚未完成聚合,或YARN container 在异常退出时未成功上传日志,需要登录 YARN container 所在的 NodeManager 节点,在 `yarn.nodemanager.log-dirs` 配置的本地日志目录中按 `<application_id>` 或 `<container_id>` 查找对应日志。
日常运维建议
定期检查作业状态。如重启次数、反压状态、Checkpoint 成功率、日志告警及关键指标等。针对作业升级情形(如修改 Flink 配置、连接器 JAR 或系统依赖等),作业升级前先触发 Savepoint,并记录 Savepoint 路径;重启相关服务(如有)并完成作业升级后,应从Savepoint 路径重新启动作业。