Flink故障诊断
更新时间 2026-10-12 11:43:54
最近更新时间: 2026-10-12 11:43:54
本章节介绍Flink故障诊断。
作业失败
1、在 WebUI 查看作业异常信息,确认失败的算子和异常堆栈。
2、查看 JobManager 日志和对应 TaskManager 日志,确认是否为用户代码异常、依赖缺失、资源不足、外部系统不可用或认证失败。
3、如果作业从 Savepoint 或 Checkpoint 恢复失败,请确认作业拓扑、算子 UID、状态后端和依赖版本是否与保存状态兼容。
作业延迟升高或吞吐下降
1、在 WebUI 查看反压状态。如果下游算子反压高,优先检查下游写入端吞吐、网络和数据倾斜。
2、查看 TaskManager CPU、内存、GC 和网络指标,判断是否存在资源瓶颈。
3、检查 Checkpoint 是否频繁或耗时过长,避免 Checkpoint 占用过多处理资源。
Checkpoint 失败
1、确认 Checkpoint 目录可访问且空间充足。
2、检查状态大小是否快速增长,必要时优化状态 TTL、窗口大小或聚合逻辑。
3、检查外部存储延迟和网络状况。
4、如存在持续反压,先处理反压根因,再调整 Checkpoint 参数。
认证失败
1、确认客户端、JobManager 和 TaskManager 均能获取有效认证凭据。
2、检查 Keytab、principal、krb5.conf、票据有效期和系统时间是否正确。
3、检查作业访问的 HDFS、Kafka、HBase、ZooKeeper 或数据库权限是否满足要求。
Flink CDC 数据同步异常
1、确认源库变更日志能力已开启,CDC 账号权限满足要求。
2、确认源表和目标表字段类型、主键、时区和大小写规则符合连接器要求。
3、确认目标端写入能力满足同步速度,避免目标端反压导致源端读取积压。
4、如出现重复或恢复位置异常,请检查 Checkpoint 是否开启并稳定成功。