数据中台将不同类型引擎任务封装为不同脚本任务,通过创建脚本来生成数据开发任务。同时,数据开发支持使用资源和函数开发任务。
脚本开发功能提供如下能力:
提供在线脚本编辑器,支持Python脚本、Shell脚本、MySQL脚本、DM(达梦数据库)脚本、Hive脚本、Spark脚本、PySpark脚本、Postgre SQL脚本、Gauss DB脚本、SQLserver脚本、Kingbase脚本、Clickhouse脚本、Oracle脚本等在线代码开发和调测。
支持导入和导出脚本。
支持使用变量和函数。
支持脚本的版本管理能力,支持生成保存版本和提交版本。
脚本开发支持细粒度权限管控,对数据开发脚本目录权限管控策略进行配置。
前提条件
需要完成数据源接入和数据建模,才能进行数据开发操作。
使用限制
已拥有开发角色权限。
已拥有所需数据源和数据表权限。
开发流程
新建脚本:新建相应类型的脚本。
开发脚本:基于新建的脚本,进行脚本的在线开发、调试和执行。。
(可选)管理脚本:脚本开发完成后,您可以根据需要,进行脚本管理。
编排脚本:将脚本按照依赖关系进行编排,同时配置任务调度参数。
发布脚本:将测试通过的脚本发布上线到生产环境。
页面介绍
脚本开发共包含七个个区块:任务模式切换区、任务列表区、任务简要信息区、任务测试运行区、任务按本信息区、画布区以及任务辅助功能区。
脚本开发
新建sql类的脚本程序(MySQL、PostgreSQL、Oracle、SQL Server、GaussDB、KingBase、DM)
在新建的脚本程序里写sql,可以进行保存、测试
也可以点击测试结果查看具体的测试日志
可以点击脚本信息查看脚本详情
上线脚本程序(对于新创建的脚本,都是编辑中状态,只有点击上线,会变更为待上线)
当脚本变更为待上线状态时,说明该脚本已经走入到流程审批中,需要流程审批完,才可以变更为生效状态,上线流程会流转到admin管理员用户,需要管理员通过审批
通过审批后,脚本状态会变更为生效
只有生效的脚本才可以被后面的作业开发所引用,生效后可以看到历史管理,版本对比,发布日志
如果想多该脚本进行变更,必须使其下线,生效状态不能变更,下线同上线流程一样,审批过后才可以变更。
对脚本程序sql进行变更,添加程序参数(内置),可以对其变量替换,执行测试
内置参数列表说明:
${batchNo?calDate(-1,'M','yyyy-MM-dd')}:日批次对应上月同期日(yyyy-mm-dd)
${batchNo?calDate(-6)}:批次前6天(yyyymmdd)
${batchNo?calDate(-1,'Y','yyyyMM')}:去年同月(yyyymm)
${batchNo?calDate(+2)}:批次对应后2天(yyyymmdd)
${batchNo?calDate(+3)}:批次对应后3天(yyyymmdd)
${batchNo?calDate(-1,'M','yyyyMM')}01:上月1号(yyyymm01)
${batchNo?calDate(-1,'M')}:批次对应上月同期日(yyyymmdd)
${batchNo?calDate(+1,'M','yyyyMM')}01:下月一号(yyyymm01)
${batchNo?calDate(+3,'M')}:3个月后批次(yyyymmdd)
${batchNo?calDate(-2,'D','yyyyMMdd')}:日批次前两天(yyyymmdd)
${batchNo?calDate(-3,'D','yyyyMMdd')}:日批次前三天(yyyymmdd)
${batchNo?calDate(-6,'M')}:上6月批次日期(yyyymmdd)
${batchNo?calDate(-1,'D')}:批次对应前一天(yyyymmdd)
${batchNo?calDate(-1,'M','yyyyMMdd')?calDate(0,'L')}:上月最后一天(yyyymmdd)
${batchNo?calDate(-1,'M')?substring(4,6)}:上月(mm)
${batchNo?calDate(-7,'D')}:批次对应上周同期日(yyyymmdd)
${batchNo?substring(0,6)}:月
${batchNo?calDate(0,'L')?substring(6,8)}:当月天数
${batchNo?calDate(0,'H','yyyyMMddHH')}:小时
${batchNo?calDate(0,'MI','yyyyMMddHHmm')}:分钟
可以再次上线该脚本程序,上线后当前版本会自增
后续
程序代码开发完成后,您可根据需要执行如下操作:
调试代码:根据业务需求调试运行单个程序,或调试运行整个业务流程,并在调试完成后查看运行结果。
配置调度:进行节点的调度配置,后续节点将按照该配置周期性调度执行。
提交发布任务:任务开发完成后,需提交至对应环境调度执行。
运维任务:任务发布完成后将默认展示在生产环境运维中心,您可前往生产环境运维中心查看生产环境任务的运行情况,并对生产任务执行相关运维操作。