用户认证体系
DolphinScheduler 对接了LDAP认证(详情请参考租户与资源概述),所有的用户和密码都统一在LDAP体系中创建和管理。
DolphinScheduler 的用户分为两种类型:管理员用户和普通用户。管理员用户拥有所有功能模块和资源的权限,普通用户只拥有有限功能模块和资源的权限。
在本系统dolphinscheduler_env.sh环境变量配置文件中,下面两项配置限定了哪些LDAP用户属于管理员用户: 一是dolphinscheduler用户,二是以dsAdmin_为前缀的用户。当然,用户也可以根据自己业务实际情况来灵活调整该配置。
export SECURITY_AUTHENTICATION_LDAP_USER_ADMIN_USERNAME=dolphinscheduler
export SECURITY_AUTHENTICATION_LDAP_USER_ADMIN_USER_FILTER
="(&(objectClass=account)(uid={0})(uid=dsAdmin_*))"操作场景
DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度系统,可以通过可视化拖拽定义工作流,串联起Shell、Python、Java、Spark、SQL等常见数据处理任务类型。
WebUI是用户操作的核心入口,主要用来创建项目、数据处理任务和工作流,同时支持上线、下线、定时、运行、暂停、停止等全生命周期的工作流操作。
操作步骤
1、在翼MR Manager系统中创建LDAP租户(本文以 dolphinscheduler 租户为例),如下图所示:
2、在翼MR Manager系统中,点击刚刚创建的 dolphinscheduler 租户的超链接,然后点击【修改密码】按钮,输入并记住密码,如下图所示:
3、访问DolphinScheduler WebUI。
说明
使用前需开通ApiServer角色对应节点的外网IP,只能通过弹性公网IP访问Web UI;
使用时需要开通相应安全组放行客户端IP才能访问;
使用后请及时关闭,避免安全泄露风险。
DolphinScheduler系统的登录页如下图所示:
4、使用管理员用户登录DolphinScheduler系统之后,可以看到完整的功能模块菜单,如下图所示:
主要操作页面功能描述参见下表:
| 入口 | 功能描述 |
|---|---|
| 首页 | 首页可让您查看用户所有项目的任务实例状态统计、工作流实例状态统计和项目统计。这是观察整个系统状态以及深入各个进程以检查任务和任务日志的每个状态的最佳方式。 |
| 项目管理 | 该模块是任务调度系统最核心的功能模块; 主要是对项目、工作流定义、工作流实例、任务实例的各种管理操作。 |
| 资源中心 | 通常用于上传文件和任务组管理,目前对接了分布式高可用的HDFS文件系统,支持创建目录、上传文件等操作。 |
| 源中心 | 统一管理外部数据库连接,供工作流任务(SQL、DataX、Procedure 等)复用,连接参数加密存储;覆盖MySQL、PostgreSQL、Hive、Spark、Doris、Trino等20余种主流数据库与大数据组件,各类型以 SPI 插件形式独立扩展; 另外,还可以创建基于HTTP访问的第三方数据系统源。 |
| 监控中心 | 对集群各服务节点与元数据库的运行状态进行实时监控,统一由API 层的 MonitorController提供 REST 接口。 |
| 安全中心 | 系统的全局配置与权限管理入口,面向管理员,涵盖用户、租户、队列、Worker 分组、环境、集群、命名空间、令牌、告警等 10 个子模块(除令牌管理外均仅管理员可见)。 |