属性 类型 描述 dataArray String For循环算子输入的数据集，是一个二维数组。 current String For循环算子当前遍历到的数据行,是一个一维数组。 offset Int For循环当前的偏移量，从0开始。Loop.dataArray[Loop.offset] Loop.current。

提交Spark作业 用户需要在数据开发模块中创建一个作业，通过作业的DLI Spark节点提交Spark作业。 1. 创建一个数据开发模块空作业，作业名称为“jobDLISpark”。 创建作业 2. 然后进入作业开发页面，拖动DLI Spark节点到画布并单击，配置节点的属性。 配置节点属性 关键属性说明： DLI集群名称：DLI中创建的Spark集群。 作业运行资源：DLI Spark节点运行时，限制最大可以使用的CPU、内存资源。 作业主类：DLI Spark节点的主类，本例的主类是“org.apache.spark.examples.SparkPi”。 Jar包资源：步骤3中创建的资源。 3. 作业编排完成后，单击，测试运行作业。 作业日志（仅参考） 4. 如果日志运行正常，保存作业并提交版本。

{Job.getNodeStatus("nodename")} 这个表达式的作用为获取指定节点的执行状态，成功状态返回success，失败状态返回fail。本例使用中，IF条件表达式分别为： 上面的A分支IF条件表达式为： {(Job.getNodeStatus("CDM")) "success" ? "true" : "false"} 下面的B分支IF条件表达式为： {(Job.getNodeStatus("CDM")) "fail" ? "true" : "false"} 输入IF条件表达式后，配置IF条件匹配失败策略，可选择仅跳过相邻的下一个节点，或者跳过该IF分支后续所有节点。配置完成后点击确定，保存作业。 配置失败策略 5. 测试运行作业，并前往实例监控中查看执行结果。 6. 待作业运行完成后，从实例监控中查看作业实例的运行结果，如下图所示。可以看到运行结果是符合预期的，当前CDM执行的结果为fail的时候，跳过A分支，执行B分支。 作业运行结果

本章节主要介绍新建一个质量作业的操作。 场景说明 开发质量作业是为了监控数据质量。本章以新建一个质量作业为例，介绍如何开发质量作业。 操作步骤 1.在DataArts Studio控制台首页，选择实例，单击“进入控制台”，选择对应工作空间的“数据质量”模块，进入数据质量页面。 2.创建规则模板。 a.单击左侧导航“规则模板”，默认展示系统自定义的规则。数据质量的规则包含6个维度，分别是：完整性、唯一性、及时性、有效性、准确性、一致性。 b.可选 : 单击“新建”，可自定义创建规则。 说明 本例使用系统自定义的规则即可。 3.创建质量作业。 a.单击左侧导航“质量作业”。 b.单击“新建”，配置质量作业的基本信息，如下图所示。 c.单击“下一步”，进入规则配置页面。您需要单击规则卡片中的，然后配置规则信息，如下图所示。 d.单击“下一步”，配置告警信息，如下图所示。 e.单击“下一步”，配置订阅信息，如下图所示。 f.单击“下一步”，配置调度信息，如下图所示。 g.单击“提交”，完成质量作业的创建。 4.在质量作业表中，单击操作列的“运行”，跳转到运维管理模块。 a.待质量作业运行成功后，单击左侧导航菜单的“质量报告”。 b.默认展示技术报告，如下图所示。 c.单击“业务报告”页签，查看业务报告，如下图所示。

本章节主要介绍查看实例的操作。 界面说明 介绍“数据质量规则运维管理”页面中的区域和按键功能。 详见如下：页面区域说明 下表是数据质量规则运维管理页面 序号 区域 描述 1 导航栏 左侧导航栏，包括数据质量规则的存储目录。 用户可以根据实际需要对规则进行分目录存放，每级目录旁边的数字代表属于该级目录的规则实例的个数。 2 规则实例列表 展示实例名称、运行状态、运行结果等信息。 3 搜索区域 可以选择性的展示规则实例，例如运行的开始时间和结束时间处于某一时间区间实例。 根据处理人、创建人、实例名称进行搜索展示规则实例的列表信息，输入内容支持模糊搜索。 下表是规则实例列表说明 菜单/按键 说明 实例名称 由“规则名称数字”组成，数字越大，表示该实例创建的时间越近。 类型 显示作业类型，当前包含质量作业和对账作业。 运行状态 展示实例运行状态，包含成功、失败和运行中、告警。右侧弹窗分选项卡可查看规则实例的详细运行日志信息。 成功：表示实例正常结束，且执行结果符合预期。 失败：表示实例未正常结束。 告警：表示实例正常结束，但执行结果不符合预期。 运行中：表示实例正在运行中，无执行结果。 通知状态 展示实例通知状态，包含成功、失败和未触发。 开始时间 展示实例开始运行的时间。 运行时间 展示实例的运行时长。 重跑 再次运行规则实例。 结果&日志 详细展示作业实例的运行结果和日志。 对账作业结果 对账作业运行结果中，左侧表示源端表行数规则运行结果，右侧表示目的端表行数规则运行结果，误差率表示两端数据行数的差异比率，误差率为0表示两端一致。 处理&记录 对当前规则实例进行进一步处理。支持填写处理意见，关闭问题和移交他人。 如果实例的处理人是当前登录用户则可以对规则实例进行处理操作，包括填写意见和转交给他人处理。

本章节主要介绍节点参考的节点概述。 节点定义对数据执行的操作。数据开发模块提供数据集成、计算&分析、数据库操作、资源管理等类型的节点，您可以根据业务模型选择所需的节点。 节点的参数支持使用EL表达式，EL表达式的使用方法详见表达式概述。 节点间的连接方式支持串行和并行。 串行连接：按顺序逐个执行节点，当A节点执行完成后，再执行B节点。 并行连接：A节点和B节点同时执行。 详见下图：连接示意图

本章节主要介绍DataArts Studio的表达式使用示例流程。 通过本示例，用户可以了解数据开发模块EL表达式的如下应用： 如何在数据开发模块的SQL脚本中使用变量？ 作业如何传递参数给SQL脚本变量？ 在参数中如何使用EL表达式？ 背景信息 使用数据开发模块的作业编排和作业调度功能，每日通过统计交易明细表，生成日交易统计报表。 本示例涉及的数据表如下所示： tradelog：记录每一笔交易数据。 tradereport：根据tradelog统计产生，记录每日交易汇总。 前提条件 已建立DLI的数据连接，以“dlidemo”数据连接为例。 如未建立，请参考创建数据连接进行操作。 已在DLI中创建数据库，以“dlidb”数据库为例。 如未创建，请参考新建数据库进行操作。 已在“dlidb”数据库中创建数据表tradelog和tradereport。 如未创建，请参考新建数据表进行操作。 操作步骤 1.新建和开发SQL脚本。 a.在数据开发模块控制台的左侧导航栏，选择“数据开发 > 脚本开发”。 b.进入右侧区域页面，选择“新建SQL脚本 > DLI”。 c.进入SQL脚本开发页面，在脚本属性栏选择“数据连接”、“数据库”、“资源队列”。 d.在脚本编辑器中输入以下SQL语句。 INSERT OVERWRITE TABLE tradereport SELECT sum(tradecount), '${yesterday}' FROM tradelog where dateformat(tradetime, 'yyyyMMdd') '${yesterday}' e.单击，将脚本的名称设置为“generatetradereport”。 2.新建和开发作业。 a.在数据开发模块控制台的左侧导航栏，选择“数据开发 > 作业开发”。 b.进入右侧区域页面，单击“新建作业”，新建一个名称为“job”的空作业。 c.进入作业开发页面，将DLI SQL节点拖至画布中，单击其图标并配置“节点属性”。 关键属性说明： SQL脚本：关联步骤1中开发完成的SQL脚本“generatetradereport”。 数据库名称：自动填写SQL脚本“generatetradereport”中选择的数据库。 队列名称：自动填写SQL脚本“generatetradereport”中选择的资源队列。 脚本参数：显示SQL脚本“generatetradereport”中的参数“yesterday”，输入以下EL表达式作为其参数值。

本章节主要介绍运维调度的运维概览。 在“运维调度 > 运维概览”页面，用户可以通过图表的形式查看作业实例的统计数据，目前支持查看以下四种统计数据。 今日作业实例调度情况概览 近七天作业实例调度情况概览 近30天作业实例执行时长排行TOP 10 单击作业名称，跳转至“实例监控”页面，查看执行时间长的作业实例的详细运行记录。 近30天作业实例运行失败TOP 10 单击“运行失败次数”列的统计次数，跳转至“实例监控”页面，查看运行异常的作业实例的详细运行记录。

本章节主要介绍节点参考的 For Each。 功能 该节点可以指定一个子作业循环执行，并支持用一个数据集对子作业中的变量进行循环替换。 参数 用户可参考下表配置For Each节点的参数。 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“ ”等各类特殊字符，长度为1～128个字符。 循环执行的子作业 是 选择需要循环执行的子作业。 数据集 是 For循环算子需要定义一个数据集，这个数据集用来循环替换子作业中的变量，数据集的一行数据会对应一个子作业实例。数据集的来源包括： 来自于上游节点的输出。例如DLI SQL、Hive SQL、Spark SQL的select语句，或者Shell节点的echo等。使用EL表达式为： {Job.getNodeOutput('preNodeName')}，即前一个节点的输出值。 来自于给定的数组。如一维数组：[['001'],['002'],['003']] 。 子作业并发数 是 循环产生的子作业可以并发执行，您可设置并发数。 子作业实例名称后缀 否 For循环生成的子任务名称：For循环节点名称 + 下划线 + 后缀。后缀可配置，如果不配置，则按照数字顺序依次递增。 作业运行参数 否 仅当子作业配置作业参数后，出现该参数。 节点属性中子作业参数配置为空时，子作业使用自身参数变量执行。 节点属性中子作业参数配置后，将使用配置参数变量执行。节点属性中子作业参数配置的方法或者EL表达式，将根据父作业的环境变量读取替换。 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 − 最大重试次数 − 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。 失败策略 是 节点执行失败后的操作： 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划：暂停当前作业运行，当前作业实例状态显示为“等待运行”。 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。

参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。

在DWS端自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如下图所示。例如使用CDM将Oracle整库迁移到DWS，CDM在DWS上自动建表，会将Oracle的 NUMBER(3,0) 字段映射到DWS的 SMALLINT 。 图 自动建表的字段映射

本章节主要介绍数据目录的数据安全简介。 应用背景 数据安全为数据湖提供数据生命周期内统一的数据使用保护能力。通过敏感数据识别、分级分类、隐私保护、资源权限控制、数据加密传输、加密存储、数据风险识别以及合规审计等措施，帮助用户建立安全预警机制，增强整体安全防护能力，让数据可用不可得和安全合规。 说明 在已上线数据安全组件的区域，数据安全功能已由数据安全组件提供，不再作为数据目录组件能力。 功能模块 数据安全包括： 数据密级 对数据进行等级划分，方便数据的管理。 数据分类 基于数据密级，可以进行数据分类，来有效识别数据库内的敏感数据。 脱敏策略 基于数据分类，可以通过创建脱敏策略，实现数据资产的脱敏和隐私保护。

本章主要介绍数据密级管理，包括密级的创建、删除和调整优先级。 只有在创建密级之后，您才可以创建数据分类，进而创建脱敏策略进行数据脱敏。 前提条件 无。 进入数据密级管理页面 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2. 选择“数据安全 > 数据密级”，用户可以在该页面新建、管理和删除分级，也可以调整分级的优先级。 创建分级：单击“数据密级”页签左上角的“新建”，输入名称和描述。 删除：在“数据密级”页签，勾选不需要的分级，单击左上角的“删除”。 调整优先级：在“数据密级”页签，单击相应分级后的上移（提高优先级）和下移（降低优先级）。

本章节主要介绍数据权限的数据表权限。 用户可以在“我的权限”页面，查看工作空间内自己拥有的表和列权限，并对表和列的权限进行申请或交还。 管理员角色的用户具备管理“用户权限”的功能，即管理员可查看已在该工作空间内申请过权限的所有用户的资源权限。 申请表/列权限 说明 当前版本仅支持DLI数据表权限控制。 因申请表/列权限，需要审批人审批后方生效。所以申请表/列权限前，请先参见 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2. 选择“数据权限 > 数据表权限”，在“我的权限”页签中单击“申请”。 3. 输入使用场景说明，选择对应数据连接、数据库和数据表。 4. 选择需要申请的表/列权限。 申请单张表/列权限。 勾选自己当前无权限但需要使用的表权限/列权限。 申请多张表/列权限。 批量选择多张表后，在权限信息页面依次勾选需要使用的表/列权限。 详见下图：申请表/列权限信息 5. 单击“确定”，系统弹出提交对话框。配置审批人后，单击“确定”。 6. 等待审批人审批。待审批人审批后，权限即生效。

本章节主要介绍数据目录的数据目录。 通过数据目录可以对资产进行搜索、过滤、查看详情、查看血缘、查看关系、添加分类与标签等操作。 资产搜索 通过资产名称和描述的关键字或按所有属性搜索资产，支持模糊搜索。 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图： 选择数据目录 2.选择“数据地图 > 数据目录”。 3.在资产搜索输入框输入需要查找的数据关键字进行搜索，搜索结果以列表方式显示。 按名称和描述搜索：表示按照资产的名称和描述进行搜索。 按所有属性搜索：表示按照资产的全部属性（即详情页中展示的属性）进行搜索。 说明 支持保存当前设置的搜索条件。 支持导入搜索条件。 资产筛选 对资产搜索结果，可以基于条件进行筛选，支持的筛选条件类别如下： 数据连接：数据资产所属数据连接名称。 类型：数据资产所属类型。 分类：数据资产所属分类。 标签：数据资产所包含的标签。 密级：数据资产所属密级。 如下通过资产类型过滤搜索结果，其他类同。 1. 在类型过滤区域，选择“Table”，搜索结果显示属于Table类型的资产。 2. 类型过滤条件按照名称排序，默认只显示前五种类型，单击“全部”，显示系统目前支持的所有资产类型。 资产详情 以查看数据表详情为例。 1.在资产搜索结果列表，单击任意数据表，进入数据表详情页面。 2.在“详情”页签，可查看技术元数据基本属性、编辑描述；可给数据表添加标签和密级；可给数据表的列和OBS对象添加或删除分类、标签和密级。 详见下图：查看详情 3.在“列属性”页签，可查看数据表的列属性，给数据列添加或删除分类、标签和密级，并编辑描述。 详见下图：管理列属性 4.在“血缘”页签，可查看数据表的血缘关系，包括血缘和影响。如何配置数据血缘请参见节点数据血缘。节点配置血缘关系后，作业执行时可以自动解析，然后数据目录采集元数据时会采集上来，在数据目录中展示。 5.在“概要”页签，查看数据表的概要信息（当前仅支持DWS、DLI类型数据表查看概要）。单击“更新”，可更新概要信息。 6.在“数据预览”页签，查看数据表脱敏后的效果。 7.在“变更记录”页签，查看数据表变更详情。

本章节主要介绍节点数据血缘的配置数据血缘。 在DataArts Studio平台，自动分析血缘是通过在数据开发模块中配置数据处理迁移类型的节点产生的，当前支持采集节点静态配置产生的血缘和部分节点实例上的血缘。详情请参见下方 自动分析血缘。 另外，DataArts Studio平台还支持手动配置血缘方式，当用户手动配置血缘时，自动分析血缘将不生效。详情请参见下方 手动配置血缘。 自动分析血缘 自动分析血缘是通过在数据开发模块中配置数据处理迁移类型的节点产生的，当作业中包含如下节点时，系统支持自动解析血缘。 SQL类型节点 DataArts Studio目前支持对DLI SQL、DWS SQL和MRS Hive SQL节点的血缘解析，可以支持多SQL解析及列级血缘解析，当语句中有临时表时，会自动在数据目录中创建相关的临时表实体。 − DLI SQL 支持解析DLI中表与表之间数据插入产生的血缘。 支持通过建表语句产生的OBS文件到DLI表之间的血缘。 − DWS SQL 支持Create table like/as等DDL操作产生的DWS表之间的血缘。 支持Insert into等DML操作产生的DWS表之间的血缘。 − MRS Hive SQL 支持Create table like/as等DDL操作产生的MRS表之间的血缘。 支持Insert into/overwrite等DML操作产生的MRS表之间的血缘。 数据集成类型节点 目前支持对CDM Job节点、ETL Job节点和OBS Manager节点的血缘解析。 − CDM Job 支持MRS Hive、DLI、DWS、RDS、OBS以及CSS之间表文件迁移所产生的血缘。 − ETL Job 支持DLI、OBS、MySQL以及DWS之间的ETL任务产生的血缘。 − OBS Manager 支持OBS之间目录和文件复制迁移产生的血缘。 说明 当前血缘解析能力，单条sql语句不支持sql中含有分号的场景。

导出规则模板 系统支持将自定义的规则模板批量导出，一次最多可导出200个规则模板。 1.选择“数据质量监控 > 规则模板”，选择要导出的自定义规则模板。 2.单击“导出”，弹出“导出规则模板”对话框。 3.单击“导出”，切换到“导出记录”页签。 4.在导出文件列表中，单击最新导出文件对应的“下载”，可将规则模板的Excel表格下载到本地。 导入规则模板 系统支持将自定义的规则模板批量导入，一次最大可导入1M数据的文件，并且最多200个规则模板。 1.选择“数据质量监控 > 规则模板”，单击“导入”，弹出“导入规则模板”对话框。 2.在“导入配置”页签，选择模板名称重名策略。 终止：如果模板名称有重复，则全部导入失败。 跳过：如果模板名称有重复，会忽略后继续导入。 3.单击“上传文件”，选择准备好的数据文件。 说明 可通过如下两种方式填写数据文件： (推荐使用)通过“导出”功能，可将数据直接/或修改后批量导入系统。 通过“下载Excel模板”，将数据填写好再导入至系统中。 4.配置目录的映射资源信息，选择导入后的规则模板存储目录。 5.单击“导入”，将填好的Excel表格模板导入到系统。 6.单击“导入记录”页签，可查看对应的导入记录。

本章节主要介绍批量管理作业。 操作场景 这里以表/文件迁移的作业为例进行介绍，指导用户批量管理CDM作业，提供以下操作： 作业分组管理 批量运行作业 批量删除作业 批量导出作业 批量导入作业 批量导出、导入作业的功能，适用以下场景： CDM集群间作业迁移：例如需要将作业从老版本集群迁移到新版本的集群。 备份作业：例如需要将CDM集群停掉或删除来降低成本时，可以先通过批量导出把作业脚本保存下来，仅在需要的时候再重新创建集群和重新导入作业。 批量创建作业任务：可以先手工创建一个作业，导出作业配置（导出的文件为JSON格式），然后参考该作业配置，在JSON文件中批量复制出更多作业，最后导入CDM以实现批量创建作业。 操作步骤 1.进入CDM主界面，单击左侧导航上的“集群管理”，选择集群后的“作业管理”。 2.单击“表/文件迁移”显示作业列表，提供以下批量操作： 作业分组 CDM支持对分组进行新增、修改、查找、删除。删除分组时，会将组内的所有作业都删除。 创建作业的第三步任务配置中，如果已经将作业分配到了不同的分组中，则这里可以按分组显示作业、按组批量启动作业、按分组导出作业等操作。 批量运行作业 勾选一个或多个作业后，单击“运行”可批量启动作业。 批量删除作业 勾选一个或多个作业后，单击“删除”可批量删除作业。 批量导出作业 单击“导出”，弹出批量导出页面，如下图。 图 批量导出页面 −全部作业和连接：勾选此项表示一次性导出所有作业和连接。 −全部作业：勾选此项表示一次性导出所有作业。 −全部连接：勾选此项表示一次性导出所有连接。 −按作业名导出：勾选此项并选择需要导出的作业，单击确认即可导出所选作业。 −按分组导出：勾选此项并下拉选择需要导出的分组，单击确认即可导出所选分组。 批量导出可将需要导出的作业导出保存为JSON文件，用于备份或导入到别的集群中。 说明 由于安全原因，CDM导出作业时没有导出连接密码，连接密码全部使用“Add password here”替换。 批量导入作业 单击“导入”，选择JSON格式的文件导入或文本导入。 −文件导入：待导入的作业文件必须为JSON格式（大小不超过1M）。如果待导入的作业文件是之前从CDM中导出的，则导入前必须先编辑JSON文件，将“Add password here”替换为对应连接的正确密码，再执行导入操作。 −文本导入：无法正确上传本地JSON文件时可选择该方式。将作业的JSON文本直接粘贴到输入框即可。

功能 说明 总览 默认首页是总览页面，显示了数据表的报警和阻塞情况。 主要包括以下几部分内容： 所选周期内的作业数、实例数、异常表数，以及各种实例运行状态的分布和变化趋势情况。 当天告警分类统计、当天数据表告警统计、最近7天规则告警分类趋势的统计和最近7天规则数量的趋势。 规则模板 质量规则模板是数据质量的核心功能，是配置规则的主要入口。它主要管理规则配置（内置模板和自定义模板）的相关功能。 质量作业 质量作业可将规则模板或自定义规则应用到表中，进行数据质量监控。 对账作业 对账作业可将创建的规则应用到两张表中进行质量监控，并输出对账结果。 运维管理 运维管理用于查看规则运行状态，处理运维问题。 质量报告 系统根据作业的结果，会自动生成质量报告。

本章节主要介绍新建业务场景的操作。 管理所有业务场景，场景定义了规则间的逻辑关系，使用目录维护业务场景。 前提条件 在DataArts Studio控制台的“实例 > 进入控制台 > 空间管理 > 数据质量 > 业务指标监控 > 业务场景管理”页面创建归属目录。基于规则创建业务场景，需要选择业务场景归属目录，请参见下图创建归属目录。 导航栏按键说明 序号 说明 1 新建目录。 2 刷新目录。 3 选择全部，单击右键，可新建目录、重命名目录和删除目录。 新建业务场景 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据质量”模块，进入数据质量页面。 详见下图：选择数据质量 2.选择“业务指标监控 > 业务场景管理”。 3.单击“新建”，在弹出的对话框中，参见下表配置相关参数，新建场景。 配置周期调度参数 参数名 说明 基本配置 业务场景名称 业务场景的名称，只能包含中文、英文字母、数字、“”，且长度为1~64个字符。 描述 为更好的识别业务场景 ，此处加以描述信息。描述信息长度不能超过256个字符。 所属目录 业务场景的存储目录，可选择已创建的目录。目录创建请参见上图“新建业务场景的归属目录”。 业务级别 支持提示、一般、严重和致命四种业务级别，业务级别决定发出通知消息的模板样式。 规则组配置 定义规则组 规则组包含一个或者多个规则，规则间是逻辑表达式。 定义规则A 支持从下拉框中选择已定义的规则。 单击，可插入多条规则。 订阅配置 通知状态 通过单击或来关闭或开启通知开关。 通知类型 包含如下类型： 触发告警 运行成功 选择主题 选择消息通知的主题。 4.单击“下一步”，选择调度方式，支持单次调度和周期调度两种方式，周期调度的相关参数配置请参见下表。 配置周期调度参数 参数名 说明 生效日期 调度任务的生效时间段。 调度周期 选择调度任务的执行周期，并配置相关参数。 分钟 小时 天 周 间隔时间 调度任务的间隔时间。 调度时间 设置调度任务的起始时间和结束时间。

本章节主要介绍DataArts Studio的开发一个MRS Flink作业流程。 本章节介绍如何在数据开发模块上进行MRS Spark Flink作业开发。通过MRS Flink作业实现统计单词的个数。 前提条件 具有OBS相关路径的访问权限。 已开通MapReduce服务MRS，并创建MRS集群。 数据准备 下载Flink作业资源包"wordcount.jar"。 准备数据文件“in.txt”，内容为一段英文单词。 操作步骤 1. 将作业资源包和数据文件传入OBS桶中。 说明 本例中，WordCount.jar文件上传路径为：lkjtest/WordCount.jar；word.txt 文件上传路径为：lkjtest/input/word.txt。 2. 创建一个数据开发模块空作业，作业名称为“jobMRSFlink”。 新建作业 3. 进入到作业开发页面，拖动“MRS Flink”节点到画布中并单击，配置节点的属性。 配置MRS Flink节点属性 参数设置说明： Flink作业名称 wordcount MRS集群名称 选择一个MRS集群 运行程序参数 c org.apache.flink.streaming.examples.wordcount.WordCount Flink作业资源包 wordcount 输入数据路径 obs://dlfregion1/lkjtest/input/word.txt 输出数据路径 obs://dlfregion1/lkjtest/output.txt 其中： obs://dlfregion1/lkjtest/input/word.txt为wordcount.jar的传入参数路径，可以把需要统计的单词写到里面； obs://dlfregion1/lkjtest/output.txt为输出参数文件的路径（如已存在output.txt文件，会报错）。 4. 单击“测试运行”，执行该MRS Flink作业。 5. 待测试完成，执行“提交”。 6. 在“作业监控”界面，查看作业执行结果。 7. 查看OBS桶中返回的记录。（没设置返回可跳过）

本章节主要介绍DataArts Studio的获取Rest Client算子返回值操作。 Rest Client算子可以执行RESTful请求。 本教程主要介绍如何获取Rest Client的返回值，包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值。 通过EL表达式获取返回值。 通过“响应消息体解析为传递参数定义”获取返回值 如下图所示，第一个Rest Client调用了MRS服务查询集群列表的API，下图为API返回值的JSON消息体。 使用场景：需要获取集群列表中第一个集群的cluster Id，然后作为参数传递给后面的节点使用。 关键配置：在第一个Rest Client的“响应消息体解析为传递参数定义”配置中，配置clusterIdclusters[0].clusterId，后续的Rest Client节点就可以用${clusterId}的方式引用到集群列表中的第一个集群的cluster Id。 Rest Clien作业样例1 JSON消息体 通过EL表达式获取返回值 Rest Client算子可与EL表达式相配合，根据具体的场景选择不同的EL表达式来实现更丰富的用法。您可以参考本教程，根据您的实际业务需要，开发您自己的作业。EL表达式用法可参考表达式概述。 如下图所示，Rest Client调用了MRS服务查询集群列表的API，然后执行Kafka Client发送消息。 使用场景：Kafka Client发送字符串消息，消息内容为集群列表中第一个集群的cluster Id。 关键配置：在Kafka Client中使用如下EL表达式获取Rest API返回消息体中的特定字段：

本章节主要介绍（可选）管理脚本的查看脚本引用。 当用户需要查看某个脚本或者某个文件夹下的所有脚本被引用的情况时，可以参考如下操作查看引用。 前提条件 已完成脚本开发。如何开发脚本，请参见开发脚本。 操作步骤 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 3. 如要查看某个脚本引用情况，右键单击待查看的脚本，选择“查看引用”，弹出“引用列表”窗口。 如要查看文件夹下的所有脚本引用情况，右键单击待查看的文件夹，选择“查看引用”，弹出“查看引用”窗口。 4. 在弹出的窗口，可以查看该脚本或该文件夹下所有脚本被引用的情况。

本章节主要介绍事务模式迁移。 CDM的事务模式迁移，是指当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理：如果启用，在作业执行时CDM会自动创建临时表，先将数据导入到该临时表，导入成功后再通过数据库的事务模式将数据迁移到目标表中；导入失败则将目的表回滚到作业开始之前的状态。 详见下图：事务模式迁移 说明 如果“导入开始前”选择“清除部分数据”或“清除全部数据”，CDM的事务模式不会回滚已经删除的数据。

本章节主要介绍DataArts Studio的Env内嵌对象功能。 Env内嵌对象提供了获取环境变量值的方法。 方法 方法说明 方法 描述 String get(String name) 获取指定名称环境变量值。 举例 获取环境变量名称为test的参数值，EL表达式如下： {Env.get("test")}

本章节主要介绍DataArts Studio的日期和时间模式操作。 EL表达式中的日期和时间可以按用户指定的格式进行显示，日期和时间格式由日期和时间模式字符串指定。日期和时间模式字符串由A到Z、a到z的非引号字母组成，字母的含义如下表所示。 字母含义 字母 描述 示例 G 纪元标记 AD y 年 2001 M 年中的月份 July 或 07 d 月份中的日期 10 h 12小时制（1~12）的小时 12 H 24小时制（0~23）的小时 22 m 分钟数 30 s 秒数 55 S 毫秒数 234 E 星期几 Mon、Tue、Wed、Thu、Fri、Sat或Sun D 年中的日期 360 F 月份中第几周周几 2(second Wed. in July) w 年中的第几周 40 W 月份中的第几周 1 a A.M./P.M.标记 PM k 24小时制（1~24）的小时 24 K 12小时制（0~11）的小时 10 z 时区 Eastern Standard Time ' 文字定界符 无示例 " 单引号 无示例 举例 获取作业计划调度时间的前一天日期，EL表达式如下： {DateUtil.format(DateUtil.addDays(Job.planTime,1),"yyyyMMdd")}

参数 是否必选 说明 Shell或脚本 是 可以选择Shell语句或Shell脚本。 Shell语句 单击“Shell语句”参数下的文本框，在“Shell语句”页面输入需要执行的Shell语句。 Shell脚本 在“脚本路径”参数后选择需要执行的脚本。如果脚本未创建，请参考新建脚本和开发Shell脚本先创建和开发脚本。 说明 若选择Shell语句方式，数据开发模块将无法解析您输入Shell语句中携带的参数。 主机连接 是 选择执行Shell脚本的主机。 参数 否 填写执行Shell脚本时，向脚本传递的参数，参数之间使用空格分隔，例如：a b c。此处的“参数”需要在Shell脚本中引用，否则配置无效。 交互式输入 否 填写交互式参数，即执行Shell脚本的过程中，需要用户输入的交互式信息（例如密码）。交互式参数之间以回车符分隔，Shell脚本根据交互情况按顺序读取参数值。 节点名称 是 节点名称，只能包含英文字母、数字、中文字符、中划线、下划线、/、<>和点号，且长度小于等于128个字符。

参数 是否必选 说明 SQL脚本 是 选择需要执行的脚本。如果脚本未创建，请参考 数据连接 是 默认选择SQL脚本中设置的数据连接，支持修改。 数据库 是 默认选择SQL脚本中设置的数据库，支持修改。 脚本参数 否 关联的SQL脚本如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。参数值支持使用表达式概述。若关联的SQL脚本，脚本参数发生变化，可单击刷新按钮同步。 运行程序参数 否 为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能 说明 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本，需要配置此参数。MRS SparkSQL作业的运行程序参数，请参见《 节点名称 是 默认显示为SQL脚本的名称，支持修改。节点名称只能由字母、数字、中划线和下划线组成，并且长度为1～64个字符。 说明 节点名称不得包含中文字符、超出长度限制等。如果节点名称不符合规则，将导致提交MRS作业失败。

本章节主要介绍记录数据迁移入库时间。 CDM在创建表/文件迁移的作业，支持连接器源端为关系型数据库时，在表字段映射中使用时间宏变量增加入库时间字段，用以记录关系型数据库的入库时间等用途。 前提条件 已创建连接器源端为关系型数据库，以及目的端数据连接。 创建表/文件迁移作业 1.在创建表/文件迁移作业时，选择已创建的源端连接器、目的端连接器。 图 配置作业 2.单击“下一步”，进入“字段映射”配置页面后，单击源字段图标。 图 配置字段映射 3.选择“自定义字段”页签，填写字段名称及字段值后单击“确认”按钮，例如： 名称：InputTime。 值：${timestamp()}，更多时间宏变量请参见下表。 图 添加字段 表 时间变量宏定义具体展示 宏变量 含义 实际显示效果 ${dateformat(yyyyMMdd)} 以yyyyMMdd格式返回当前时间。 20171016 ${dateformat(yyyy/MM/dd)} 以yyyy/MM/dd格式返回当前时间。 2017/10/16 ${dateformat(yyyyMMdd HH:mm:ss)} 以yyyyMMdd HH:mm:ss格式返回当前时间。 20171016 09:00:00 ${dateformat(yyyyMMdd HH:mm:ss, 1, DAY)} 以yyyyMMdd HH:mm:ss格式返回时间，时间为当前时间的前一天。 20171015 09:00:00 ${timestamp()} 返回当前时间的时间戳，即1970年1月1日（00:00:00 GMT）到当前时间的毫秒数。 1508115600000 ${timestamp(10, MINUTE)} 返回当前时间点10分钟前的时间戳。 1508115000000 ${timestamp(dateformat(yyyyMMdd))} 返回今天0点的时间戳。 1508083200000 ${timestamp(dateformat(yyyyMMdd,1,DAY))} 返回昨天0点的时间戳。 1507996800000 ${timestamp(dateformat(yyyyMMddHH))} 返回当前整小时的时间戳。 1508115600000 说明 添加完字段后，新增的字段在界面不显示样值，不会影响字段值的传输，CDM会将字段值直接写入目的端。 这里“添加字段”中“自定义字段”的功能，要求源端连接器为JDBC连接器、HBase连接器、MongoDB连接器、ElasticSearch连接器、Kafka连接器，或者目的端为HBase连接器。 4.单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入数据前需要先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 作业运行完是否删除：这里保持默认值“不删除”。 5.单击“保存并运行”，回到作业管理的表/文件迁移界面，在作业管理界面可查看作业执行进度和结果。 6.作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。

本章节主要介绍节点数据血缘的方案概述。 什么是数据血缘 大数据时代，数据爆发性增长，海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息，通过联姻融合、转换变换、流转流通，又生成新的数据，汇聚成数据的海洋。 数据的产生、加工融合、流转流通，到最终消亡，数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数据之间的这种关系，称之为数据的血缘关系。与人类社会中的血缘关系不同，数据的血缘关系还包含了一些特有的特征： 归属性 ：一般来说，特定的数据归属特定的组织或者个人，数据具有归属性。 多源性 ：同一个数据可以有多个来源（多个父亲）。一个数据可以是多个数据经过加工而生成的，而且这种加工过程可以是多个。 可追溯性 ：数据的血缘关系，体现了数据的生命周期，体现了数据从产生到消亡的整个过程，具备可追溯性。 层次性：数据的血缘关系是有层次的。对数据的分类、归纳、总结等对数据进行的描述信息又形成了新的数据，不同程度的描述信息形成了数据的层次。 详见下图：数据血缘关系示例 DataArts Studio数据血缘实现方案 数据血缘的产生： 在DataArts Studio平台，自动分析血缘是通过在数据开发模块中配置数据处理迁移类型的节点产生的，当前支持采集节点静态配置产生的血缘和部分节点实例上的血缘。详情请参见 配置数据血缘章节中的 自动分析血缘。 另外，DataArts Studio平台还支持手动配置血缘方式，当用户手动配置血缘时，自动分析血缘将不生效。详情请参见 配置数据血缘章节中的 手动配置血缘。 数据血缘的展示： 当数据开发模块中的作业已完成血缘关系配置后，启动作业调度，并在数据目录模块进行元数据采集任务，则可以在数据目录模块可视化查看数据血缘关系。

本章节主要介绍配置DLI源端参数。 作业中源连接为配置DLI连接时，源端作业参数如下表所示。 表 DLI作为源端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用，您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 cardetail 分区 导入前清空数据，如果设置为true时，呈现此参数。 表示分区信息。 year2020,locationsun

参数名 说明 取值样例 数据库名称 选择待迁移的数据库。 mongodb 集合名称 相当于关系数据库的表名。单击输入框后面的按钮可进入选择集合名的界面，用户也可以直接输入集合名称。 如果选择界面没有待选择的表，请确认表是否已经创建，或者对应连接里的帐号是否有元数据查询的权限。 COLLECTION 查询筛选 创建用于匹配文档的筛选条件，CDM只迁移符合条件的数据。例如： 1. 按表达式对象筛选：例如{'lastname': 'Smith'}，表示查找所有“lastname”属性值为“Smith”的文档。 2. 按参数选项筛选：例如{ x : "john" }, { z : 1 }，表示查找xjohn的所有z字段。 3. 按条件筛选：例如{ "field" : {gt: 5 } }，表示查找field字段中大于5的值。 4. 按时间宏筛选：例如 {"ts":{gte:ISODate("${dateformat(yyyyMMdd'T'HH:mm:ss.SSS'Z',1,HOUR)}")}}，表示查找ts字段中大于 时间宏转换后的值。 {'lastname': 'Smith'}