DolphinScheduler组件概述
更新时间 2026-10-12 17:38:00
最近更新时间: 2026-10-12 17:38:00
本章节介绍DolphinScheduler服务基础概述。
功能概述
DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度系统,适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。
DolphinScheduler 旨在解决复杂的大数据任务依赖关系,并将数据开发与各类 OPS 编排任务间的依赖关系以 DAG 形式组织管理,解决数据研发ETL依赖错综复杂、无法监控任务健康状态的问题。
DolphinScheduler 以 DAG(Directed Acyclic Graph,有向无环图)流式方式组装任务,可以及时监控任务的执行状态,支持重试、指定节点恢复失败、暂停、恢复、终止任务等操作。
组件特性
1、简单易用
可视化DAG: 用户友好的工作流定义与运行时控制工具,支持通过拖拽方式可视化定义工作流。
模块化操作: 模块化有助于轻松定制和维护。
2、丰富的使用场景
支持多种任务类型: 支持Shell、Python、Java、Spark、SQL等常见任务类型,支持跨语言,易于扩展。
丰富的工作流操作: 工作流可以定时、暂停、恢复和停止,便于维护和控制全局和本地参数。
3、高可靠性
去中心化设计,确保稳定性。原生高可用任务队列支持,提供过载容错能力。
4、高可扩展性
支持多租户和在线资源管理,支持根据业务规模水平扩展MasterServer和WorkerServer角色实例,支持每天数万个数据任务的稳定运行。