活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 618智算钜惠季 爆款云主机2核4G限时秒杀,88元/年起!
  • 免费体验DeepSeek,上天翼云息壤 NEW 新老用户均可免费体验2500万Tokens,限时两周
  • 云上钜惠 HOT 爆款云主机全场特惠,更有万元锦鲤券等你来领!
  • 算力套餐 HOT 让算力触手可及
  • 天翼云脑AOne NEW 连接、保护、办公,All-in-One!
  • 中小企业应用上云专场 产品组合下单即享折上9折起,助力企业快速上云
  • 息壤高校钜惠活动 NEW 天翼云息壤杯高校AI大赛,数款产品享受线上订购超值特惠
  • 天翼云电脑专场 HOT 移动办公新选择,爆款4核8G畅享1年3.5折起,快来抢购!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

智算服务

打造统一的产品能力,实现算网调度、训练推理、技术架构、资源管理一体化智算服务
智算云(DeepSeek专区)
科研助手
  • 算力商城
  • 应用商城
  • 开发机
  • 并行计算
算力互联调度平台
  • 应用市场
  • 算力市场
  • 算力调度推荐
一站式智算服务平台
  • 模型广场
  • 体验中心
  • 服务接入
智算一体机
  • 智算一体机
大模型
  • DeepSeek-R1-昇腾版(671B)
  • DeepSeek-R1-英伟达版(671B)
  • DeepSeek-V3-昇腾版(671B)
  • DeepSeek-R1-Distill-Llama-70B
  • DeepSeek-R1-Distill-Qwen-32B
  • Qwen2-72B-Instruct
  • StableDiffusion-V2.1
  • TeleChat-12B

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场创新解决方案
办公协同
  • WPS云文档
  • 安全邮箱
  • EMM手机管家
  • 智能商业平台
财务管理
  • 工资条
  • 税务风控云
企业应用
  • 翼信息化运维服务
  • 翼视频云归档解决方案
工业能源
  • 智慧工厂_生产流程管理解决方案
  • 智慧工地
建站工具
  • SSL证书
  • 新域名服务
网络工具
  • 翼云加速
灾备迁移
  • 云管家2.0
  • 翼备份
资源管理
  • 全栈混合云敏捷版(软件)
  • 全栈混合云敏捷版(一体机)
行业应用
  • 翼电子教室
  • 翼智慧显示一体化解决方案

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
  • 天翼云EasyCoding平台
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼云东升计划
  • 适配中心
  • 东升计划
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
开放能力
  • EasyCoding敏捷开发平台
培训与认证
  • 天翼云学堂
  • 天翼云认证
魔乐社区
  • 魔乐社区

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 建议与反馈
  • 用户体验官
  • 服务保障
  • 客户公告
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 智算服务
  • 产品
  • 解决方案
  • 应用商城
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      文档中心

      大数据管理平台 DataWings

      大数据管理平台 DataWings

        • 产品动态
        • 产品介绍
        • 产品定义
        • 产品优势
        • 应用场景
        • 核心能力
        • 计费说明
        • 产品规格
        • 计费模式
        • 公测申请
        • 续订/退订
        • 快速入门
        • 客户控制台
        • 创建集群
        • 引擎配置
        • 创建数据源
        • 添加库表HDFS权限
        • 用户指南
        • 首页
        • 数据源
        • 数据源概述
        • 数据源管理
        • 数据建模
        • 数据建模概述
        • 建模首页
        • 数据标准
        • 命名词典
        • 字段标准
        • 标准值域
        • 度量单位
        • 规范管理
        • 标准配置
        • 数仓规划
        • 业务分类
        • 数仓分层
        • 规划配置
        • 数仓要素
        • 数据指标
        • 原子指标
        • 业务限定
        • 统计周期
        • 维度
        • 派生指标
        • 复合指标
        • 规范建模
        • 维度建模
        • 可视化建模
        • 可视化建模概述
        • 新建接入表
        • 新建维度表
        • 新建事实表
        • 新建汇总表
        • 新建应用表
        • 新建其他表
        • 导入方式建模
        • 管理表模型
        • 查看表详情
        • 逆向建模
        • 数据集成
        • 数据集成概述
        • 集成集群管理
        • 资源组
        • 集群注册
        • 同步任务
        • 任务创建
        • 任务管理
        • 数据处理
        • 数据开发
        • 项目管理
        • 工作流开发
        • 工作流模板
        • 工作流发布
        • 数据开发节点介绍
        • SparkSQL节点
        • 数据质量节点
        • 通用处理节点
        • 任务依赖节点
        • 任务调度
        • 调度大屏
        • 任务运维
        • 资源组监控
        • 基线管理
        • 即席查询
        • 用户空间
        • 数据库
        • 配置中心
        • 数据治理
        • 数据调研
        • 数据质量
        • 数据质量概述
        • 数据质量大屏
        • 规则管理
        • 数据质量规则列表
        • 创建数据质量规则
        • 试运行质量规则
        • 模板管理
        • 实例管理
        • 抑制管理
        • 质检报告
        • 数据质量分析
        • 数据治理360
        • 数据治理360概述
        • 开启使用
        • 健康诊断
        • 治理项问题
        • 治理项配置
        • 健康指南
        • 白名单
        • 数据地图
        • 数据地图概述
        • 数据发现
        • 地图配置
        • 资产首页
        • 数据总览
        • 数据检索
        • 我的数据
        • 元数据管理
        • 数据服务
        • 数据服务概述
        • 服务开发
        • 服务管理
        • 服务监控
        • 服务配置
        • 运维中心
        • 告警管理
        • 通道及对象管理
        • 告警实例
        • 值班表
        • 资源运维
        • 监控规则管理
        • 操作日志
        • 系统管理
        • 权限管理
        • 角色管理
        • 用户管理
        • 集群管理
        • 集群注册
        • 引擎管理
        • 流程中心
        • 我的申请
        • 我的审批
        • 我的导入
        • 权限申请
        • 消息中心
        • 最佳实践
        • 获取翼MapReduce数据湖集群信息
        • 电商行业数据建模实践
        • 常见问题
        • 常见产品问题
        • 购买类
        • 计费类
        • 文档下载
        • 大数据管理平台 DataWings用户手册
        • 视频专区
        • 相关协议
        • 大数据管理平台 DataWings公测服务协议
        • API参考
        • API
        • 2024-11-05 版本
        • 获取所有数据源的信息
        • 获取数据源插件和类型列表
        • 获取所有数据库的信息
          无相关产品

          本页目录

          帮助中心大数据管理平台 DataWings用户指南数据处理数据开发工作流开发
          工作流开发
          更新时间 2024-11-28 03:14:34
          • 新浪微博
          • 微信
            扫码分享
          • 复制链接
          最近更新时间: 2024-11-28 03:14:34
          分享文章
          • 新浪微博
          • 微信
            扫码分享
          • 复制链接
          DataWings支持您进行可视化的工作流DAG开发,并且支持多种类型大数据开发节点以及版本管理能力。其中数据开发类型节点包括SparkSQL节点、Python节点、PySpark节点、Scala节点、HiveSQL节点、Shell节点、Kyuubi节点、Trino节点、JDBC节点等,业务节点类型包括离线同步节点、数据质量节点、任务依赖节点、通用处理节点、HTTP触发器节点等。

          前提条件

          • 已创建项目,项目已配置引擎实例。
          • 您需要拥有项目的开发权限才可以新建和开发工作流。

          生成DAG工作流

          新建工作流项目后,点击进入工作流开发页面,您可以通过拖拽组件以搭建工作流。

          操作步骤

          1、新建工作流。

          点击“新建工作流”按钮,配置工作流的基本信息。

          image.png

          2、添加数据开发节点。

          在组件栏中选择所需的组件类型,点击鼠标并拖拽到画布中,即可在工作流中添加一个任务节点。

          image.png

          3、连接工作流。

          将鼠标悬停在工作流的节点上,可以显示节点连接处,拖动鼠标可以连接两个节点形成DAG工作流,连接后前后节点形成节点依赖关系。

          image.png

          4、配置节点属性。

          鼠标单击工作流节点,可以配置节点的基础信息,例如节点名称、别名、属性、资源等信息。

          image.png

          编辑工作流节点

          DataWings平台内置脚本编辑器,用户可按自身需求编辑工作流节点的脚本代码。

          操作步骤

          1、打开工作流节点页面。

          鼠标双击工作流画布中的节点,即可进入节点编辑器页面(部分非代码类节点打开节点编辑弹窗),如下以SparkSQL节点举例。

          image.png

          2、工作流节点操作。

          操作 说明
          保存 可保存当前节点脚本。
          运行 可运行当前脚本以便调试测试,选中部分代码点击运行也可调试部分代码。
          自定义参数 可添加脚本所需的自定义参数(仅数据开发类型的节点支持)。
          版本 可查看当前节点历史版本信息,进行版本对比。
          UDF 节点类型为HiveSQL或SparkSQL或Kyuubi时可配置节点需要的UDF函数。
          冒烟测试 开发完成后可针对当前版本进行冒烟测试,确保节点运行正常。
          测试记录 可查看冒烟测试记录。

          image.png

          执行工作流

          完成工作流编排和节点开发后,您可以手动执行当前工作流,点击工作流执行将会自动保存一次。

          操作步骤

          1、点击执行。

          image.png

          2、在画布中查看工作流各节点的运行状态。

          image.png

          保存和发布工作流

          您可以保存编辑完成的工作流,还可以将工作流发布到任务调度,可以对已发布的工作流进行调度。

          image.png

          注意

          仅发布成功的工作流可以前往调度中心配置周期调度。

          查看工作流版本

          工具栏点击“版本”,即可查看工作流已发布版本信息,在版本列表中,点击“打开”,可查看历史已发布版本信息。

          image.png

          转交工作流

          工作流的负责人默认是工作流的创建者,如果您是当前工作流的创建人/负责人,点击“转交工作流”按钮,您可以转交工作流给指定用户(仅支持转交给拥有项目管理权限或者开发权限的用户)。

          文档反馈

          建议您登录后反馈,可在建议与反馈里查看问题处理进度

          鼠标选中文档,精准反馈问题

          选中存在疑惑的内容,即可快速反馈问题,我们会跟进处理

          知道了

          上一篇 :  项目管理
          下一篇 :  工作流模板
          搜索 关闭
          ©2025 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
          公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
          备案 京公网安备11010802043424号 京ICP备 2021034386号
          ©2025天翼云科技有限公司版权所有
          京ICP备 2021034386号
          备案 京公网安备11010802043424号
          增值电信业务经营许可证A2.B1.B2-20090001
          用户协议 隐私政策 法律声明