Flink组件概述
更新时间 2026-10-12 11:43:53
最近更新时间: 2026-10-12 11:43:53
本章节介绍Flink服务基础概述。
Flink 是面向有界数据流和无界数据流的分布式计算引擎,适用于实时数据处理、流式 ETL、实时指标计算、事件驱动应用和批流一体处理等场景。Flink 作业通常由客户端提交到集群,由 JobManager 负责作业调度、资源协调、Checkpoint 协调和故障恢复,由 TaskManager 在任务槽中执行具体算子。
Flink 提供多层使用接口:
SQL:适合使用 SQL 描述实时计算、批处理和数据集成逻辑的场景。
Table API:适合需要通过 Java 程序组合关系运算的场景。
DataStream API:适合需要精细控制状态、时间、窗口、异步 I/O 等逻辑的 Java 作业。
Flink 支持通过 Checkpoint 保存作业状态,并可结合 Savepoint 进行作业停止、升级和恢复。对于长期运行的流式作业,建议在生产环境中开启 Checkpoint,并将 Checkpoint 数据保存到可靠的分布式存储中。