本章节主要介绍下线/删除API。 操作场景 已发布的API因为其他原因需要停止对外提供服务，可以将API从相关环境中下线，相关操作请参见下线API。 下线后的API如果要继续使用，需要重新进行发布操作，但需注意下线API不会保留原有的授权信息。 下线后的API如果确认不再提供服务，可以将API删除，相关操作请参见删除API。 说明 下线API不会保留原有的授权信息。 下线将导致此API在指定的时间无法被访问，请确保已经告知使用此API的用户。 删除API导致此API无法恢复，请确认后谨慎操作。 前提条件 已创建API。 API已发布到该环境。 下线API 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据服务”模块，进入数据服务页面。 详见下图： 选择数据服务 2.在左侧导航栏选择服务版本（例如：专享版），进入总览页。 3.单击“开发API > API管理”，进入到API管理信息页面。 4.在待下线的API所在行，单击“更多 >下线”，弹出“下线API”对话框。 5.选择API需要下线的时间，单击“确定”，完成API定时下线。 删除API 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据服务”模块，进入数据服务页面。 详见下图： 选择数据服务 2.在左侧导航栏选择服务版本（例如：专享版），进入总览页。 3.在左侧选择“API目录”，进入API列表页，勾选需要删除的API，单击“删除”。 4.单击“确定”，完成API删除。 说明 如果需要批量删除API，则勾选待删除的API，单击“删除”。最多同时删除1000个API。

用户在执行质量作业时提示无MRS权限怎么办？ 用户在执行质量作业时报错，查看质量作业的日志，提示“ The current user does not exist on MRS Manager. Grant the user sufficient permissions on IAM and then perform IAM user synchronization on the Dashboard tab page. !” 此类问题一般是由于用户不具备MRS集群操作权限导致的。 对于租户下新增的用户，需要在MRS集群列表的界面找到对应的MRS集群实例，手动单击同步。 操作如下： 1. 进入MRS控制台，查看现有集群，单击对应的集群名称进入概览页。 2.在“IAM用户同步”处，单击同步。 3.在操作日志处查看操作结果。 4.如果经过上述步骤，账号已同步。但还是提示Mrs权限不足的话，则需要登录到Manger管理页面中创建一个与当前主账号同名的账号。 注意 在步骤4中，需要创建一个与当前主账号同名的账号。

参数名称 说明 参数配置 Query的参数与参数值。 集群配置 仅专享版支持，选择调试API所依托的实例。

本章节主要介绍复制API。 操作场景 您可以通过复制API功能，得到与原API配置相同的API。 前提条件 已创建API。 操作步骤 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据服务”模块，进入数据服务页面。 详见下图：选择数据服务 2.在左侧导航栏选择服务版本（例如：专享版），进入总览页。 3.单击“开发API > API管理”页面，进入API管理页面。 4.勾选待复制的API所在行，在API列表上方，选择“更多 > 复制”，弹出复制窗口。 5.在弹出的窗口中输入新API的名称和请求path，点击确认即可完成API复制。 详见下图：复制API

时间点 作业B（天调度，开始时间为8月1日10:00） 作业A（天调度，开始时间8月1日09:00） 8月1日09:00 检查 (7月31日09:00, 8月1日09:00] 区间，无作业B实例运行，不执行作业A 8月1日10:00 执行 8月2日09:00 检查 (8月1日09:00, 8月2日09:00] 区间，有作业B实例运行，待作业B执行完成后，执行作业A 8月2日10:00 执行 ... ... ...

本章节主要介绍元数据采集的任务监控。 监控元数据采集任务运行情况，查看采集日志，支持重跑采集任务。 在数据目录页面，选择“元数据采集 > 任务监控”。在任务监控页面，对采集任务进行监控。 监控采集任务 参数名 说明 任务名称 采集任务的名称。 实例状态 实例（即采集任务）的状态。 成功 部分成功 执行中 失败 运行异常 暂停：因管理面升级，监控任务暂停，升级完成后监控继续执行。 调度方式 展示采集任务的调度状态，分为单次调度和周期调度。 调度周期 展示采集任务的调度周期。 开始时间 重跑采集任务的启动时间。 结束时间 重跑采集任务的结束时间。 运行时间 采集任务的运行时间。 操作 对被纳入监控的采集任务可进行如下操作： 重跑：实例状态为失败和成功状态的实例，支持重跑。 日志：查看实例日志。 说明 单击“日志”，可实时查看元数据采集、数据概要、数据分类三类任务的运行日志。 更多>取消：创建采集任务的时候，配置“数据分类”为“手动同步分类结果”时，才可进行此操作。状态为执行中的实例，单击取消，可终止重跑此实例。 更多>扫描结果：创建采集任务的时候，配置“数据分类”为“手动同步分类结果”时，才可进行此操作。可用于查看采集任务实例执行结果，确认分类结果是否匹配。勾选分类匹配字段前的复选框，单击“同步”，即可将分类和密级属性手动同步到资产。

本章节主要介绍 通过数据地图查看数据血缘关系的配置数据血缘。 在DataArts Studio平台，自动分析血缘是通过在数据开发模块中配置数据处理迁移类型的节点产生的，当前支持采集节点静态配置产生的血缘和部分节点实例上的血缘。详情请参见下方 自动分析血缘。 另外，DataArts Studio平台还支持手动配置血缘方式，当用户手动配置血缘时，自动分析血缘将不生效。详情请参见下方 手动配置血缘。 自动分析血缘 自动分析血缘是通过在数据开发模块中配置数据处理迁移类型的节点产生的，当作业中包含如下节点时，系统支持自动解析血缘。 SQL类型节点 DataArts Studio目前支持对DLI SQL、DWS SQL和MRS Hive SQL节点的血缘解析，可以支持多SQL解析及列级血缘解析，当语句中有临时表时，会自动在数据目录中创建相关的临时表实体。 DLI SQL 支持解析DLI中表与表之间数据插入产生的血缘。 支持通过建表语句产生的OBS文件到DLI表之间的血缘。 DWS SQL 支持Create table like/as等DDL操作产生的DWS表之间的血缘。 支持Insert into等DML操作产生的DWS表之间的血缘。 MRS Hive SQL 支持Create table like/as等DDL操作产生的MRS表之间的血缘。 支持Insert into/overwrite等DML操作产生的MRS表之间的血缘。 数据集成类型节点 目前支持对CDM Job节点、ETL Job节点和OBS Manager节点的血缘解析。 CDM Job 支持MRS Hive、DLI、DWS、RDS、OBS以及CSS之间表文件迁移所产生的血缘。 ETL Job 支持DLI、OBS、MySQL以及DWS之间的ETL任务产生的血缘。 OBS Manager 支持OBS之间目录和文件复制迁移产生的血缘。 说明 当前血缘解析能力，单条sql语句不支持sql中含有分号的场景。

源数据表名 目的表名 anew a b2 b c3 c d1 d c5 e b1 f

本章节主要介绍数据目录相关问题。 数据目录组件有什么用？ 数据目录的核心是通过元数据采集任务，采集并展示企业的数据资产地图，包括所有的元数据信息和数据血缘关系。 数据目录支持采集哪些对象的资产？ 数据目录目前支持采集的资产有：数据仓库服务（DWS）、MapReduce服务（MRS HBase）、MapReduce服务（MRS Hive）、MySQL、云数据库 RDS（DataArts Studio仅支持MySQL和PostgreSQL数据库）。 什么是数据血缘关系？ 大数据时代，数据爆发性增长，海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息，通过联姻融合、转换变换、流转流通，又生成新的数据，汇聚成数据的海洋。 数据的产生、加工融合、流转流通，到最终消亡，数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数据之间的这种关系，称之为数据的血缘关系。与人类社会中的血缘关系不同，数据的血缘关系还包含了一些特有的特征： 归属性 ：一般来说，特定的数据归属特定的组织或者个人，数据具有归属性。 多源性 ：同一个数据可以有多个来源（多个父亲）。一个数据可以是多个数据经过加工而生成的，而且这种加工过程可以是多个。 可追溯性 ：数据的血缘关系，体现了数据的生命周期，体现了数据从产生到消亡的整个过程，具备可追溯性。 层次性 ：数据的血缘关系是有层次的。对数据的分类、归纳、总结等对数据进行的描述信息又形成了新的数据，不同程度的描述信息形成了数据的层次。 如图所示数据血缘关系示例

版本 每天执行节点数 并行执行节点数 初级版 5千 50 基础版 2万 100 高级版 4万 200 专业版 8万 300 企业版 20万 400

本章节主要介绍配置的配置OBS桶。 脚本、作业或节点的历史运行记录依赖于OBS桶，如果未配置测试运行历史OBS桶，则无法查看历史运行的详细信息。请参考本节操作配置OBS桶。 配置方法 1.登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2.在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 3.选择“OBS桶”。 4.配置OBS桶的信息。 详见下图：配置OBS桶 5.单击“保存”，完成配置。

参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 − 最大重试次数 − 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。 失败策略 是 节点执行失败后的操作： 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划：暂停当前作业运行，当前作业实例状态显示为“等待运行”。 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。

本章节主要介绍（可选）管理作业中的迁移作业责任人。 数据开发模块提供了迁移作业责任人的功能，您可以将责任人A的所有作业一键迁移到责任人B名下。 操作步骤 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 3. 在作业目录顶部，单击，选择“责任人配置”。 详见下图：责任人配置 4. 分别设置“当前责任人”和“目标责任人”，单击“迁移”。 5. 提示迁移成功后，单击“关闭”。 相关操作 您还可以根据作业责任人筛选作业，在作业目录上方的搜索框输入责任人，单击放大镜图标，如下图所示。 根据作业责任人筛选作业

绑定API 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据服务”模块，进入数据服务页面。 详见下图： 选择数据服务 2.在左侧导航栏选择服务版本（例如：专享版），进入总览页。 3.单击“运营管理 > 流控策略”，进入到流量控制信息页面。 4.通过以下任意一种方法，进入“绑定API”页面。 −在待绑定的流量控制策略所在行，单击“绑定API”。 −单击策略名称，进入策略详情页面。在“绑定的API列表”页签中单击“绑定API”。 5.选择“API分组”和“API名称”，筛选所需的API。 6.勾选API，单击“绑定”，完成API绑定策略。 说明 在流控策略绑定API后，如果API不需要调用此策略，单击“解除”，解除绑定。如果需要批量解绑API，则勾选待解绑的API，单击“解除”。最多同时解绑1000个API。 删除流控策略 当已创建的流控策略不再提供服务时，可以将此流控策略删除。 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据服务”模块，进入数据服务页面。 详见下图： 选择数据服务 2.在左侧导航栏选择服务版本（例如：专享版），进入总览页。 3.单击“运营管理 > 流控策略”，进入到流量控制信息页面。 4.在待删除的流控策略所在行，单击“删除”。 说明 仅在流控策略未绑定任何API时，支持删除，否则请先解绑API。 如果需要批量删除流控策略，则勾选待删除的流控策略，单击“删除”。最多同时删除1000个流控策略。 5.单击“确定”，完成流控策略的删除。

查看数据血缘关系 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2.“数据目录 > 技术资产”页面，可以对数据开发的作业、节点、表进行查询。 在“类型”筛选区域，单击“全部”按钮并勾选“Job”、“Node”和“Table”类型，然后单击“确定”。数据开发中的作业对应于Job类型，节点对应于Node类型，表对应于Table类型。 说明 数据开发中的作业信息不属于任何一个数据连接，故如果在搜索条件中勾选数据连接，则查询不到结果。 详见下图：选择类型 3.在数据资产搜索结果中，类型名称末尾带“job”的数据资产为作业，单击某一作业名称，可以查看该作业的详情。在作业的详情页面进入“作业”页签，单击“编辑”可跳转到数据开发的作业编辑页面。 详见下图：查看作业 4.在数据资产搜索结果中，类型名称末尾带“node”的数据资产为节点，单击某一节点名称，可以查看节点的详情。在节点（需是支持血缘的节点类型）详情页面，可以查看节点的血缘信息。 单击血缘图中节点左右两端“+”、“”图标，可以进一步展开查看血缘的上下链路。 单击血缘图中的某一个节点，可以查看该节点的详情。 进入“作业”页签，单击“编辑”可跳转到数据开发的作业编辑页面。 详见下图：查看节点血缘 5.在数据资产搜索结果中，图标为表格的数据资产为表，单击某一表名称，可以查看表的详情。在详情页面，可以查看表的血缘信息。 单击血缘图中表左右两端“+”、“”图标，可以进一步展开查看血缘的上下链路。 单击血缘图中的某一个表，可以查看该表的详情。 详见下图：查看表血缘

本章节主要介绍DataArts Studio的JSONUtil内嵌对象功能。 JSONUtil内嵌对象提供了JSON对象方法。 方法 方法说明 方法 描述 Object parse(String jsonStr) 将json字符串转换为对象。 String toString(Object jsonObject) 将对象转换为json字符串。 Object path(String jsonStr,String jsonPath) 返回json字符串指定路径下的字段值。类似于XPath，path方法可以通过路径检索或设置JSON，其路径中可以使用.或[]等访问成员、数值，例如：tables[0].tablename。 举例 字符串变量str的内容如下： { "cities": [{ "name": "city1", "areaCode": "1000" }, { "name": "city2", "areaCode": "2000" }, { "name": "city3", "areaCode": "3000" }] } 获取city1的电话区号，EL表达式如下： {JSONUtil.path(str,"cities[0].areaCode")}

本章节主要介绍数据服务相关问题。 创建API时提示代理调用失败，怎么办？ 需要在空余时间对CDM集群进行重启释放内存。 如需重启CDM集群，请参考重启集群。 数据服务API接口，访问“测试APP”，填写了相关参数，但是后台报错要怎么处理？ 在调用API时配置参数header parameter。 使用API时报错，请问有什么办法可以解决？ 使用API时需注意，每个子域名每天最多可以访问1000次。 API传参是否支持传递操作符？ 不支持传递操作符。 传递的只是参数，操作符是固定的，多个参数可使用in(${})方式。 数据服务专享版提供的API配额已满怎么解决？ 如果数据服务专享版提供的API配额已满，无法创建新的API时可修改API配额。

本章节主要介绍节点参考的Create OBS。 约束限制 该功能依赖于OBS服务。 功能 通过Create OBS节点在OBS服务中创建桶和目录。 参数 用户可参考下表配置Create OBS节点的参数。 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“ ”等各类特殊字符，长度为1～128个字符。 OBS路径 是 创建OBS桶或目录的路径。 创建桶：在“//”后输入OBS桶名称，OBS桶名称不允许重名。 创建OBS目录：选择需要创建目录的路径，在路径后输入“/目录名”，目录名不允许重名。 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 − 最大重试次数 − 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。 失败策略 是 节点执行失败后的操作： 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划：暂停当前作业运行，当前作业实例状态显示为“等待运行”。 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。

参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 操作类型 是 通过节点可以执行的操作： 移动文件：将源文件或目录，移动到新目录中。 复制文件：复制源文件或目录。 重命名文件：重命名文件仅支持最后一级目录或文件重命名。 如重命名目录时，源文件或目录：obs://test/a/b/c/，目的目录：obs://test/a/b/d/；重命名文件时，源文件或目录：obs://test/a/b/hello.txt，目的目录：obs://test/a/b/bye.txt 监测文件：监测文件或目录是否存在，如不存在则此节点运行失败，否则运行成功。 源文件或目录 是 OBS桶中需要被管理的OBS文件或所在目录。 目的目录 是 存放待移动或复制OBS文件的新目录 文件过滤器 否 输入文件过滤的通配符，满足该过滤条件的文件才会被移动或复制。当不指定该参数时，默认移动所有源文件。例如：匹配文件名以.csv结尾的文件，输入通配符 .csv。

设置API分配配额 专享版集群创建成功后，需要设置API分配配额，当分配配额之后，才能创建相应的API，配额设置参考如下步骤。 1. 在“空间管理”页签中，单击工作空间操作列“编辑”链接。 详见下图： 编辑空间管理 2. 在“空间信息”中，单击“设置”按钮对已分配配额进行配置。 详见下图： 设置已分配配额 说明 数据服务已创建的API属于计费项，当前操作正在增加API配额，这会使工作空间下可以创建更多的API，同时可能使收费增加，请确认。 设置专享版API已分配配额。 详见下图： 设置配额 说明 已分配配额不能小于已使用配额，不能大于总配额总分配配额+已分配配额。

本章节主要介绍使用教程的开发一个增量元数据采集任务。 配置、运行采集任务是构建数据资产的前提，下面举例说明如何通过配置采集任务达到灵活采集元数据的目的。 场景一：仅添加新元数据 用户的数据库中新增的数据表，采集任务仅采集新增的表。 例如新增table4的情况下： 采集前的数据表元数据：table1，table2，table3 采集后的数据表元数据：table1，table2，table3，table4 按照下面的配置，采集任务仅会采集table4。（前提：table1table3已经在数据目录中） 1.进入DataArts Studio控制台首页的数据目录模块。 2.单击左侧导航的“任务管理”。 3.单击“新建”。 4.配置任务信息，如下图所示。 5.单击“下一步”，配置调度属性如下图所示。 6.单击“提交”，完成采集任务的创建。 7.单击任务管理列表中的“运行”或“启动调度”，跳转到任务监控页面并查看任务状态。 场景二：更新数据目录中的元数据，添加新元数据 用户的数据库中新增了数据表，采集数据源中指定的所有表。 例如新增table4的情况下： 采集前的数据表元数据：table1，table2，table3 采集后的数据表元数据： table1 ， table2 ， table3 ，table4 按照如下配置，采集任务会采集default下所有的表（table1table4）。 1.进入DataArts Studio控制台首页的数据目录模块。 2.单击左侧导航的“任务管理”。 3.单击“新建”。 4.配置任务信息，如下图所示。 5.单击“下一步”，配置调度属性如下图所示。 6.单击“提交”，完成采集任务的创建。 7.单击任务管理列表中的“运行”或“启动调度”，跳转到任务监控页面并查看任务状态。

API分类 使用场景 数据源 默认规格 配置类API 调试API DLI/MySQL/RDS/DWS 10 配置类API 调用API DLI/MySQL/RDS/DWS 100 脚本类API 测试SQL 10 脚本类API 调试API DLI 默认分页：100 自定义分页：1000 脚本类API 调试API MySQL/RDS/DWS 默认分页：10 自定义分页：2000 脚本类API 调用API DLI 默认分页：100 自定义分页：1000 脚本类API 调用API MySQL/RDS/DWS 默认分页：10 自定义分页：2000

参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 CloudSearch集群 是 选择CloudSearch集群，该集群已在CloudSearch服务中创建好。目前仅支持使用5.5.1版本的集群。 CDM集群名称 是 选择CDM集群。CDM集群提供代理，转发相关请求。如果下拉框中未提供CDM集群，请访问CDM管理控制台创建集群。 请求类型 是 支持以下请求类型： GET POST PUT HEAD DELETE 请求参数 否 请求参数。假设用户需要查询dlfsearch索引中dlfdata映射类型的信息，请求参数可填写为： /dlfsearch/dlfdata/search 请求体 否 Json格式的请求消息体。 CloudSearch输出路径 否 选择输出数据的存储路径。

本章节主要介绍新建一个业务场景的操作。 场景说明 业务场景用于监控业务指标。本例以新建一个业务场景为例，介绍如何使用业务指标监控功能。 操作步骤 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据质量”模块，进入数据质量页面。 详见下图：选择数据质量 2.新建业务指标。 a.单击左侧导航“指标管理”。 b.单击页面上方的“新建”，如下图所示。 c.单击“试跑”，查看试跑运行成功的结果。 d.单击“确定”，完成指标的创建。 3.新建规则。 a.单击左侧导航“规则管理”。 b.单击页面上方的“新建”，创建第一条规则。 c.输入参数值，如下图所示。 d.单击“确定”。 e.单击页面上方的“新建”，创建第二条规则。 f.输入参数值，如下图所示。 g.单击“保存”。 4.新建业务场景。 a.单击左侧导航“业务场景管理”。 b.单击页面上方的“新建”，输入场景的基本配置参数，如下图所示。 c.单击“下一步”，输入规则组的配置参数，如下图所示 d.单击“下一步”，配置订阅信息，如下图所示。 e.单击“下一步”，配置调度信息，如下图所示。 f.单击“提交”，完成作业场景的创建。 5.在业务场景管理列表中，单击操作列的“运行”，跳转到运维管理模块。 a.单击右上角的刷新按钮，可以查看业务场景的运行状态为成功。 b.单击运行结果，可查看具体的坪效结果。

参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 − 最大重试次数 − 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。 失败策略 是 节点执行失败后的操作： 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划：暂停当前作业运行，当前作业实例状态显示为“等待运行”。 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。

参数 说明 输入 新建 单击“新建”，在“类型”的下拉选项中选择要新建的类型。可以选择DWS，OBS，CSS，HIVE，CUSTOM和DLI类型。 DWS − 连接名称（必选）：单击 ，在弹出的“连接名称”窗口选择DWS的数据连接。 − 数据库（必选）：单击 ，在弹出的“数据库”窗口选择DWS的数据库。 − schema（必选）：单击 ，在弹出的“schema”窗口选择DWS的数据库模式。 − 表名（必选）：单击 ，在弹出的“表名”窗口选择DWS的数据表。 OBS − 路径（必选）：单击 ，在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS − 集群名称（必选）：单击 ，在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 − 索引名称（必选）：输入CSS类型的索引名称。 HIVE − 连接名称（必选）：单击 ，在弹出的“连接名称”窗口选择HIVE的数据连接。 − 数据库（必选）：单击 ，在弹出的“数据库”窗口选择HIVE的数据库。 − 表名（必选）：单击 ，在弹出的“表名”窗口选择HIVE的数据表。 CUSTOM − 名称（必选）：输入CUSTOM类型的名称。 − 属性（必选）：输入CUSTOM类型的属性，可新增不止一条。 DLI − 连接名称（必选）：单击 ，在弹出的“连接名称”窗口选择DLI的数据连接。 − 数据库（必选）：单击 ，在弹出的“数据库”窗口选择DLI的数据库。 − 表名（必选）：单击，在弹出的“表名”窗口选择DLI的数据表。 确定 单击“确认”，保存节点输入功能的参数配置。 取消 单击“取消”，取消节点输入功能的参数配置。 编辑 单击 ，修改节点输入功能的参数配置，修改完成后，请保存。 删除 单击 ，删除节点输入功能的参数配置。 查看表详情 单击 ，查看节点输入血缘关系创建数据表的详细信息。 输出 新建 单击“新建”，在“类型”的下拉选项中选择要新建的类型。可以选择DWS，OBS，CSS，HIVE，CUSTOM和DLI类型。 DWS − 连接名称（必选）：单击 ，在弹出的“连接名称”窗口选择DWS的数据连接。 − 数据库（必选）：单击 ，在弹出的“数据库”窗口选择DWS的数据库。 − schema（必选）：单击 ，在弹出的“schema”窗口选择DWS的数据库模式。 − 表名（必选）：单击 ，在弹出的“表名”窗口选择DWS的数据表。 OBS − 路径（必选）：单击 ，在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS − 集群名称（必选）：单击 ，在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 − 索引名称（必选）：输入CSS类型的索引名称。 HIVE − 连接名称（必选）：单击 ，在弹出的“连接名称”窗口选择HIVE的数据连接。 − 数据库（必选）：单击 ，在弹出的“数据库”窗口选择HIVE的数据库。 − 表名（必选）：单击 ，在弹出的“表名”窗口选择HIVE的数据表。 CUSTOM − 名称（必选）：输入CUSTOM类型的名称。 − 属性（必选）：输入CUSTOM类型的属性，可新增不止一条。 DLI − 连接名称（必选）：单击 ，在弹出的“连接名称”窗口选择DLI的数据连接。 − 数据库（必选）：单击 ，在弹出的“数据库”窗口选择DLI的数据库。 − 表名（必选）：单击 ，在弹出的“表名”窗口选择DLI的数据表。 确定 单击“确认”，保存节点输出功能的参数配置。 取消 单击“取消”，取消节点输出功能的参数配置。 编辑 单击 ，修改节点输出功能的参数配置，修改完成后，请保存。 删除 单击 ，删除节点输出功能的参数配置。 查看表详情 单击 ，查看节点输出血缘关系创建数据表的详细信息。

本章节主要介绍DataArts Studio的EL表达式操作。 数据开发模块作业中的节点参数可以使用表达式语言（Expression Language，简称EL），根据运行环境动态生成参数值。可以根据Pipeline输入参数、上游节点输出等决定是否执行此节点。数据开发模块 EL表达式使用简单的算术和逻辑计算，引用内嵌对象，包括作业对象和一些工具类对象。 作业对象：提供了获取作业中上一个节点的输出消息、作业调度计划时间、作业执行时间等属性和方法。 工具类对象：提供了一系列字符串、时间、JSON操作方法，例如从一个字符串中截取一个子字符串、时间格式化等。 语法 表达式的语法： {expr} 其中，“expr”指的是表达式。“ ”和“{}”是数据开发模块 EL中通用的操作符，这两个操作符允许您通过数据开发模块内嵌对象访问作业属性。 举例 在Rest Client节点的参数“URL参数”中使用EL表达式 “tableName {JSONUtil.path(Job.getNodeOutput("getcluster"),"tables[0].tablename")}”。 表达式说明如下： 1. 获取作业中“getcluster”节点的执行结果（“Job.getNodeOutput("getcluster")”），执行结果是一个JSON字符串。 2. 通过JSON路径（“tables[0].tablename”），获取JSON字符串中字段的值。 调试方法介绍 下面为您介绍几种EL表达式的调试方法，能够在调试过程中方便地看到替换结果。 后文以 {DateUtil.now()}表达式为例进行介绍。 1. 使用DIS Client节点。 前提：您需要具备DIS通道。 方法：选择DIS Client节点，将EL表达式直接写在要发送的数据中，点击“测试运行”，然后在节点上右键查看日志，日志中会把EL表达式的值打印出来。 2. 使用Kafka Client节点。 前提：您需要具备MRS集群，且集群有Kafka组件。 方法：选择Kafka Client节点，将EL表达式直接写在要发送的数据中，点击“测试运行”，然后在节点上右键查看日志，日志中会把EL表达式的值打印出来。 3. 使用Shell节点。 前提：您需要具备ECS弹性云主机。 方法：创建一个主机连接，将EL表达式直接通过echo打印出来，点击“测试运行”之后查看日志，日志中会打印出EL表达式的值。 4. 使用Create OBS节点。 如果上述方法均不可用，则可以通过Create OBS去创建一个OBS目录，目录名称就是EL表达式的值，点击“测试运行”后，再去OBS界面查看创建出来的目录名称。

当需要... 则... 新建 执行新建原子指标并发布。 编辑 执行3。 发布 执行4。 查看发布历史 执行5。 下线 执行6。 删除 执行7。 导入 执行8。 导出 执行9。

参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 − 最大重试次数 − 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。 失败策略 是 节点执行失败后的操作： 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划：暂停当前作业运行，当前作业实例状态显示为“等待运行”。 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。

参数 是否必选 说明 节点状态轮询时间（秒） 是 设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 − 最大重试次数 − 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。 失败策略 是 节点执行失败后的操作： 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划：暂停当前作业运行，当前作业实例状态显示为“等待运行”。 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。

本章节主要介绍查看质量报告的操作。 您可以查询业务指标、数据质量中数据对象的质量评分，来判断各个对象是否质量达标。 查询业务质量评分 质量评分的满分可设置为5分，10分，100分。默认为5分制，是以表关联的规则为基础进行评分的。而表、业务对象、主题域等不同维度的评分，本质上是基于规则评分在不同维度下的加权平均值进行计算的。 您可以查询主题域分组、主题域、业务对象、表以及表关联的规则评分，具体评分对象的计算公式，详请参见下表。 对象评分计算公式 对象 评分计算公式 规则 创建质量作业时，包含“比率”、“值率”的系统内置规则及用户自定义规则可以生成质量评分报告。 包含“比率”、“值率”的规则可以分为正向规则及反向规则，正向规则即比值越高，代表数据质量越好；反向规则即比值越高，则数据质量越差。 正向规则包含唯一值率、重复值率、合法比率规则，反向规则包含空值率规则。 正向规则评分满足规则的数据行数/数据总行数满分（5，10，100）。 反向规则评分（1满足规则的数据行数/数据总行数）满分（5，10，100）。 当表为空，即总行数为0时，正向规则评分固定为满分，反向评分固定为0分。 表 表评分计算公式：∑(表关联的所有规则评分规则权重)/∑规则权重 业务对象 业务对象下所有表评分的加权求平均值，即：∑业务对象下所有表评分/表的数量。 主题域 主题域下所有业务对象评分的加权求平均值，即：∑主题域下所有业务对象评分/业务对象的数量。 主题域分组 分组下所有主题域评分的加权求平均值，即：∑分组下所有主题域评分/主题域的数量。 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据质量”模块，进入数据质量页面。 详见下图：选择数据质量 2.选择“数据质量监控 > 质量报告”。 3.单击“业务报告”页签，选择主题及截至日期，查询截至日期前7天的数据质量评分，如下图所示。 说明 以评分满分为5分为例。其中45分评价为优秀，34分为良好，23分为中等，12分为及格，01分为不及格。 当天质量评分数据在次日凌晨生成。 质量评分历史趋势中的实线为截至日期前7天质量评分组成的连线，虚线为这7天质量评分的平均分。 若一天多次运行该作业，当天的质量评分为最后一次的得分。 4.单击“表评分”列的评分值链接，展开该表关联的规则评分。 5.单击“规则评分”列的评分值链接，展开该规则关联的字段评分，如下图所示。 表关联规则评分

本章节主要介绍作业开发的作业开发流程。 作业开发功能提供如下能力： 提供图形化设计器，支持拖拉拽方式快速构建数据处理工作流。 预设数据集成、计算&分析、资源管理、数据监控、其他等多种任务类型，通过任务间依赖完成复杂数据分析处理。 支持多种作业调度方式。 支持导入和导出作业。 支持作业状态运维监控和作业结果通知。 提供编辑锁定能力，支持多人协同开发场景。 支持作业的版本管理能力。 开发作业前，您可以通过下图了解数据开发模块作业开发的基本流程。 作业开发流程 1. 新建作业：当前提供两种作业类型：批处理和实时处理，分别应用于批量数据处理和实时连接性数据处理，具体请参见新建作业。 2. 开发作业：基于新建的作业，进行作业开发，您可以进行编排、配置节点。具体请参见开发作业。 3. 调度作业：配置作业调度任务。具体请参见调度作业。 − 如果您的作业是批处理作业，您可以配置作业级别的调度任务，即以作业为一个整体进行调度，支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见调度作业章节中的“配置作业调度任务（批处理作业）”。 − 如果您的作业是实时处理作业，您可以配置节点级别的调度任务，即每一个节点可以独立调度，支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见调度作业章节中的“配置节点调度任务（实时作业）”。 4. 提交版本并解锁：作业调度配置完成后，您需要提交版本并解锁，提交版本并解锁后才能用于调度运行，便于其他开发者修改。具体请参见提交版本并解锁。 5. （可选）管理作业：作业开发完成后，您可以根据需要，进行作业管理。具体请参见（可选）管理作业。