参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 dmslink 服务类型 选择DMS Kafka版本，目前只有专享版。 专享版 Kafka Broker Kafka专享版实例的地址，格式为host:port。 Kafka SASLSSL 选择是否打开客户端连接Kafka专享版实例时SSL认证的开关。 开启Kafka SASLSSL，则数据加密传输，安全性更高，但性能会下降。 是 用户名 开启Kafka SASLSSL时显示该参数，表示连接DMS Kafka的用户名。 密码 开启Kafka SASLSSL时显示该参数，表示连接DMS Kafka的密码。

参数 说明 上次暂停时间 节点暂停运行的起始时间。 未运行任务数 节点暂停期间没有运行的任务数量。 运行位置 “运行暂停期间任务”的参数。 表示选择节点暂停运行后，恢复运行时的启动位置。 从暂停节点开始运行 从子作业第一个节点开始运行 处理并发数 “运行暂停期间任务”的参数。 表示选择任务处理的数量。 任务名称 “运行暂停期间任务”的参数。 表示恢复的任务名称。

本章节主要介绍DataArts Studio的基础操作符操作。 EL表达式支持大部分Java提供的算术和逻辑操作符。 操作符列表 基础操作符 操作符 描述 . 访问一个Bean属性或者一个映射条目 [] 访问一个数组或者链表的元素 () 组织一个子表达式以改变优先级 + 加 减或负 乘 /或div 除 %或mod 取模 或eq 测试是否相等 !或ne 测试是否不等 或gt 测试是否大于 或ge 测试是否大于等于 &&或and 测试逻辑与 ‖ 或or 测试逻辑或 ！ 或not 测试取反 empty 测试是否空值 ?: 类似if else表示式。如果?前面的语句为true，返回?和:之间的表达式的值；否则返回:后面的值。 举例 如果变量a为空，返回default，否则返回a本身。EL表达式如下： {empty a?"default":a}

数据连接类型 参数说明 DLI 请见下方DLI数据表中的“基本属性”部分 DWS 请见下方DWS数据表中的“基本属性”部分 MRS Hive 请见下方MRS Hive数据表中的“基本属性”部分

参数 说明 目录名称 脚本目录的名称，只能包含英文字母、数字、中文字符、“”、“”，且长度为1~64个字符。 选择目录 选择该脚本目录的父级目录，父级目录默认为根目录。

下载或转储脚本执行结果 约束限制 ：转储脚本执行结果功能依赖于OBS服务，如无OBS服务，则不支持该功能。 脚本运行成功后，您可以在执行结果页签下载或转储执行结果，仅支持具有拥有DAYU Administrator或Tenant Administrator权限的用户下载和转储。 下载结果：下载CSV格式的结果文件到本地。 转储结果：转储CSV格式的结果文件到OBS中，请参见下表。 说明 Flink SQL脚本、RDS SQL脚本、Shell脚本的执行结果，不支持转储。 转储结果 参数 是否必选 说明 数据格式 是 目前仅支持导出CSV格式的结果文件。 资源队列 否 选择执行导出操作的DLI队列。当脚本为DLI SQL时，配置该参数。 压缩格式 否 选择压缩格式。当脚本为DLI SQL时，配置该参数。 none bzip2 deflate gzip 存储路径 是 设置结果文件的OBS存储路径。选择OBS路径后，您需要在选择的路径后方自定义一个文件夹名称，系统将在OBS路径下创建文件夹，用于存放结果文件。 覆盖类型 否 如果“存储路径”中，您自定义的文件夹在OBS路径中已存在，选择覆盖类型。当脚本为DLI SQL时，配置该参数。 覆盖：删除OBS路径中已有的重名文件夹，重新创建自定义的文件夹。 存在即报错：系统返回错误信息，退出导出操作。

参数 是否必选 说明 节点状态轮询时间（秒） 是 设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 − 最大重试次数 − 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。 失败策略 是 节点执行失败后的操作： 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划：暂停当前作业运行，当前作业实例状态显示为“等待运行”。 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。

参数 是否必选 说明 节点状态轮询时间（秒） 是 设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 − 最大重试次数 − 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。 失败策略 是 节点执行失败后的操作： 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划：暂停当前作业运行，当前作业实例状态显示为“等待运行”。 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。

导出API 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据服务”模块，进入数据服务页面。 详见下图： 选择数据服务 2.在左侧导航栏选择服务版本（例如：专享版），进入总览页。 3.单击“开发API > API管理”页面，进入API管理页面。 4.勾选待导出的API所在行，在API列表上方，选择“更多 > 导出”，弹出导出窗口。 5.在导出窗口中确认待导出的API，点击确认即可以Excel文件的形式导出API。 详见下图： 导出API 6.打开下载到本地的Excel文件，可以查看导出的API。不同类型的API会分别导出到文件页签中, 点击下方页签可以切换查看并编辑。 详见下图： Excel文件样式 导入API 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据服务”模块，进入数据服务页面。 详见下图： 选择数据服务 2.在左侧导航栏选择服务版本（例如：专享版），进入总览页。 3.单击“开发API > API管理”页面，进入API管理页面。 4.在API列表上方，选择“更多>导入”，进入导入API窗口。 5.在导入窗口中点击“选择Excel文件”，选择后点击导入，导入结果中可以展示导入状态。 说明 待导入的API文件可以是从其他项目直接导出的API文件，也可以是通过模板填写的Excel文件，需要确保符合模板规范要求。 详见下图： 导入API 6.导入成功后，即可在API列表中查看导入的API。

编辑资源 资源新建完成后，用户可以根据需求修改资源的参数。 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“配置管理 > 资源管理”。 3. 在资源的“操作”列，单击“编辑”，弹出“编辑资源”页面，参考下表修改资源的参数。 4. 单击“确定”，保存修改。 删除资源 当用户不需要使用某个资源时，可以删除该资源。 删除资源前，请确保该资源未被作业使用。删除资源的时候，会检查资源被哪些作业引用，引用列表中“版本”一列，表示此资源被哪些作业版本引用。点击删除时，会删除对应的作业和这个作业的所有版本信息。 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“配置管理 > 资源管理”。 3. 在资源的“操作”列，单击“删除”，弹出“删除资源”页面。 4. 单击“确定”，删除资源。 导入资源 当用户想要导入某个资源时，可以参考如下操作导入该资源。 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“配置管理 > 资源管理”。 3. 在资源目录中，单击，选择“导入资源”，弹出“导入资源”页面。 4. 选择已上传至OBS中的资源文件，然后单击“下一步”，导入完成后，单击“关闭”完成资源的导入。

本章节主要介绍（可选）管理作业的导出导入作业。 导出作业，均是导出开发态的最新的已保存内容。 导入作业，会覆盖开发态的内容并自动提交一个新版本。 导出作业 1. 在作业开发页面导出某一个作业 a.双击作业名称，进入某一作业的开发页面，单击画布上方的导出按钮，选择导出作业的类型。 只导出作业：导出作业中节点的连接关系，以及各节点的属性配置到本地，不包含密码等敏感信息。导出后，您可以通过浏览器下载内容获取到zip格式的压缩包文件。 导出作业及其依赖脚本：导出作业中节点的连接关系、各节点的属性配置以及作业的调度配置、参数配置、依赖的脚本、资源定义到本地，不包含密码等敏感信息。导出后，您可以通过浏览器下载内容获取到zip格式的压缩包文件。 详见下图：导出作业（方式一） b.单击“确定”，导出所需的作业文件。 2. 在作业目录中导出一个或多个作业 a.单击作业目录中的，选择“显示复选框”。 详见下图：显示作业复选框 b.勾选需要导出的作业，单击 > 导出作业，可选择“只导出作业”或“导出作业及其依赖脚本和资源定义”。导出完成后，即可通过浏览器下载地址，获取到导出的zip文件。 详见下图：选择并导出作业

本章节主要介绍（可选）管理作业的复制作业。 本章节主要介绍如何复制一份作业。 前提条件 已完成作业开发。如何开发作业，请参见开发作业。 操作步骤 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 3. 在作业目录中选择需要要复制的作业，右键单击作业名称，选择“拷贝另存为”。 4. 在弹出的“另存为”页面，配置如下表所示的参数。 作业目录参数 参数 说明 作业名称 自定义作业的名称，只能包含英文字母、数字、中文、“”、“”、“.”，且长度为1～128个字符。 选择目录 选择该作业目录的父级目录，父级目录默认为根目录。 5. 单击“确定”，复制作业。

本章节主要介绍（可选）管理作业的复制名称和重命名作业。 您可以通过复制名称功能复制当前作业名称，通过重命名功能修改当前作业名称。 前提条件 已完成作业开发。如何开发作业，请参见开发作业。 复制名称 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 3. 在作业目录中选择需要复制名称的作业，右键单击作业名称，选择“复制名称”，即可复制名称到剪贴板。 重命名作业 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 3. 在作业目录中选择需要重命名的作业，右键单击作业名称，选择“重命名”。 4. 在弹出的“重命名作业名称”页面，配置新作业名。 重命名作业参数 参数 说明 作业名称 自定义作业的名称，只能包含英文字母、数字、中文、“”、“”、“.”，且长度为1～128个字符。 5. 单击“确定”，重命名作业。

界面 说明 发布趋势 从每天、每周、每月、每年的维度统计了API开放方发布的API数量。 调用趋势 从半天、每天、每周、每月的维度统计了API开放方发布的API，被调用的次数。 调用比率TOP5 统计API开放方所开放的API，被调用的比率，包含成功率、失败率、合法率和非法率。 调用时间TOP5 统计API开放方所开放的API，被调用时长，支持统计的维度包含时长平均总值、成功时长平均总值，失败时长平均总值。 调用次数TOP5 统计API开放方所开放的API，被调用次数排名TOP5的，支持统计的维度包含调用总次数、成功次数、失败次数、合法次数和非法次数。 已发布 统计API开放方已成功发布至服务市场的API数量。 开发中 统计API开放方开发中的API数量。 申请者 统计API开放方已成功发布的API，被申请调用的应用数量。 调用成功 统计API开放方已成功发布的API，被应用成功调用的次数。 调用失败 统计API开放方已成功发布的API，被应用调用失败的次数。 总调用次数 统计API开放方已成功发布的API，被应用调用的总次数。

参数 说明 输入 新建 单击“新建”，在“类型”的下拉选项中选择要新建的类型。可以选择DWS，OBS，CSS，HIVE，CUSTOM和DLI类型。 DWS − 连接名称（必选）：单击 ，在弹出的“连接名称”窗口选择DWS的数据连接。 − 数据库（必选）：单击 ，在弹出的“数据库”窗口选择DWS的数据库。 − schema（必选）：单击 ，在弹出的“schema”窗口选择DWS的数据库模式。 − 表名（必选）：单击 ，在弹出的“表名”窗口选择DWS的数据表。 OBS − 路径（必选）：单击 ，在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS − 集群名称（必选）：单击 ，在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 − 索引名称（必选）：输入CSS类型的索引名称。 HIVE − 连接名称（必选）：单击 ，在弹出的“连接名称”窗口选择HIVE的数据连接。 − 数据库（必选）：单击 ，在弹出的“数据库”窗口选择HIVE的数据库。 − 表名（必选）：单击 ，在弹出的“表名”窗口选择HIVE的数据表。 CUSTOM − 名称（必选）：输入CUSTOM类型的名称。 − 属性（必选）：输入CUSTOM类型的属性，可新增不止一条。 DLI − 连接名称（必选）：单击 ，在弹出的“连接名称”窗口选择DLI的数据连接。 − 数据库（必选）：单击 ，在弹出的“数据库”窗口选择DLI的数据库。 − 表名（必选）：单击 ，在弹出的“表名”窗口选择DLI的数据表。 确定 单击“确认”，保存节点输入功能的参数配置。 取消 单击“取消”，取消节点输入功能的参数配置。 编辑 单击 ，修改节点输入功能的参数配置，修改完成后，请保存。 删除 单击 ，删除节点输入功能的参数配置。 查看表详情 单击 ，查看节点输入血缘关系创建数据表的详细信息。 输出 新建 单击“新建”，在“类型”的下拉选项中选择要新建的类型。可以选择DWS，OBS，CSS，HIVE，CUSTOM和DLI类型。 DWS − 连接名称（必选）：单击 ，在弹出的“连接名称”窗口选择DWS的数据连接。 − 数据库（必选）：单击 ，在弹出的“数据库”窗口选择DWS的数据库。 − schema（必选）：单击 ，在弹出的“schema”窗口选择DWS的数据库模式。 − 表名（必选）：单击 ，在弹出的“表名”窗口选择DWS的数据表。 OBS − 路径（必选）：单击 ，在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS − 集群名称（必选）：单击 ，在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 − 索引名称（必选）：输入CSS类型的索引名称。 HIVE − 连接名称（必选）：单击 ，在弹出的“连接名称”窗口选择HIVE的数据连接。 − 数据库（必选）：单击 ，在弹出的“数据库”窗口选择HIVE的数据库。 − 表名（必选）：单击 ，在弹出的“表名”窗口选择HIVE的数据表。 CUSTOM − 名称（必选）：输入CUSTOM类型的名称。 − 属性（必选）：输入CUSTOM类型的属性，可新增不止一条。 DLI − 连接名称（必选）：单击 ，在弹出的“连接名称”窗口选择DLI的数据连接。 − 数据库（必选）：单击 ，在弹出的“数据库”窗口选择DLI的数据库。 − 表名（必选）：单击，在弹出的“表名”窗口选择DLI的数据表。 确定 单击“确认”，保存节点输出功能的参数配置。 取消 单击“取消”，取消节点输出功能的参数配置。 编辑 单击 ，修改节点输出功能的参数配置，修改完成后，请保存。 删除 单击 ，删除节点输出功能的参数配置。 查看表详情 单击 ，查看节点输出血缘关系创建数据表的详细信息。

本章节主要介绍节点参考的 DLI Spark。 功能 通过DLI Spark节点执行一个预先定义的Spark作业。 参数 用户可参考下表配置DLI Spark节点的参数。 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“ ”等各类特殊字符，长度为1～128个字符。 DLI队列 是 下拉选择需要使用的队列。 作业特性 否 选择自定义镜像和对应版本。仅当DLI队列为容器化队列类型时，出现本参数。自定义镜像是DLI的特性。用户可以依赖DLI提供的Spark或者Flink基础镜像，使用Dockerfile将作业运行需要的依赖（文件、jar包或者软件）打包到镜像中，生成自己的自定义镜像，然后将镜像发布到SWR（容器镜像服务）中，最后在此选择自己生成的镜像，运行作业。自定义镜像可以改变Spark作业和Flink作业的容器运行环境。用户可以将一些私有能力内置到自定义镜像中，从而增强作业的功能、性能。。 作业名称 是 填写DLI Spark作业的名称，只能包含英文字母、数字、“”，且长度为1~64个字符。默认与节点的名称一致。 作业运行资源 否 选择作业运行的资源规格： 8核32G内存 16核64G内存 32核128G内存 作业主类 是 Spark作业的主类名称。当应用程序类型为“.jar”时，主类名称不能为空。 Spark程序资源包 是 运行spark作业依赖的jars。可以输入jar包名称，也可以输入对应jar包文件的的OBS路径，格式为：obs://桶名/文件夹路径名/包名。在选择资源包之前，您需要先将Jar包及其依赖包上传至OBS桶中，并在“资源管理”页面中新建资源，具体操作请参考管理资源章节中的“新建资源”。 资源类型 是 支持OBS路径和DLI程序包两种类型的资源。 OBS路径：作业执行时，不会上传资源包文件到DLI资源管理，文件的OBS路径会作为启动作业消息体的一部分，推荐使用该方式。 DLI程序包：作业执行前，会将资源包文件上传到 DLI资源管理。 分组设置 否 当“资源类型”选择了“DLI程序包”时，需要设置。可选择“已有分组”，“创建新分组”或“不分组”。 分组名称 否 当“资源类型”选择了“DLI程序包”时，需要设置。 选择“已有分组”：可选择已有的分组。 选择“创建新分组”：可输入自定义的组名称。 选择“不分组”：不需要选择或输入组名称。 主类入口参数 否 用户自定义参数，多个参数请以Enter键分隔。应用程序参数支持全局变量替换。例如，在“全局配置”>“全局变量”中新增全局变量key为batchnum，可以使用{{batchnum}}，在提交作业之后进行变量替换。 Spark作业运行参数 否 以“key/value”的形式设置提交Spark作业的属性，多个参数以Enter键分隔。具体参数请参见Spark Configuration。 Spark参数value支持全局变量替换。 例如，在“全局配置”>“全局变量”中新增全局变量key为customclass，可以使用"spark.sql.catalog"{{customclass}}，在提交作业之后进行变量替换。 说明 Spark作业不支持自定义设置jvm垃圾回收算法。 Module名称 否 DLI系统提供的用于执行跨源作业的依赖模块，访问各个不同的服务，选择不同的模块： CloudTable/MRS HBase: sys.datasource.hbase DDS：sys.datasource.mongo CloudTable/MRS OpenTSDB: sys.datasource.opentsdb DWS: sys.datasource.dws RDS MySQL: sys.datasource.rds RDS PostGre: sys.datasource.rds DCS: sys.datasource.redis CSS: sys.datasource.css DLI内部相关模块： sys.res.dliv2 sys.res.dli sys.datasource.dliinnertable 访问元数据 是 是否通过Spark作业访问元数据。 高级参数 参数 是否必选 说明 节点状态轮询时间（秒） 是 设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 − 最大重试次数 − 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。 失败策略 是 节点执行失败后的操作： 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划：暂停当前作业运行，当前作业实例状态显示为“等待运行”。 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。 血缘关系 参数 说明 输入 新建 单击“新建”，在“类型”的下拉选项中选择要新建的类型。可以选择DWS，OBS，CSS，HIVE，CUSTOM和DLI类型。 DWS − 连接名称（必选）：单击，在弹出的“连接名称”窗口选择DWS的数据连接。 − 数据库（必选）：单击，在弹出的“数据库”窗口选择DWS的数据库。 − schema（必选）：单击，在弹出的“schema”窗口选择DWS的数据库模式。 − 表名（必选）：单击，在弹出的“表名”窗口选择DWS的数据表。 OBS − 路径（必选）：单击，在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS − 集群名称（必选）：单击，在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 − 索引名称（必选）：输入CSS类型的索引名称。 HIVE − 连接名称（必选）：单击，在弹出的“连接名称”窗口选择HIVE的数据连接。 − 数据库（必选）：单击，在弹出的“数据库”窗口选择HIVE的数据库。 − 表名（必选）：单击，在弹出的“表名”窗口选择HIVE的数据表。 CUSTOM − 名称（必选）：输入CUSTOM类型的名称。 − 属性（必选）：输入CUSTOM类型的属性，可新增不止一条。 DLI − 连接名称（必选）：单击，在弹出的“连接名称”窗口选择DLI的数据连接。 − 数据库（必选）：单击，在弹出的“数据库”窗口选择DLI的数据库。 − 表名（必选）：单击，在弹出的“表名”窗口选择DLI的数据表。 确定 单击“确认”，保存节点输入功能的参数配置。 取消 单击“取消”，取消节点输入功能的参数配置。 编辑 单击，修改节点输入功能的参数配置，修改完成后，请保存。 删除 单击，删除节点输入功能的参数配置。 查看表详情 单击，查看节点输入血缘关系创建数据表的详细信息。 输出 新建 单击“新建”，在“类型”的下拉选项中选择要新建的类型。可以选择DWS，OBS，CSS，HIVE，CUSTOM和DLI类型。 DWS − 连接名称（必选）：单击，在弹出的“连接名称”窗口选择DWS的数据连接。 − 数据库（必选）：单击，在弹出的“数据库”窗口选择DWS的数据库。 − schema（必选）：单击，在弹出的“schema”窗口选择DWS的数据库模式。 − 表名（必选）：单击，在弹出的“表名”窗口选择DWS的数据表。 OBS − 路径（必选）：单击，在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS − 集群名称（必选）：单击，在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 − 索引名称（必选）：输入CSS类型的索引名称。 HIVE − 连接名称（必选）：单击，在弹出的“连接名称”窗口选择HIVE的数据连接。 − 数据库（必选）：单击，在弹出的“数据库”窗口选择HIVE的数据库。 − 表名（必选）：单击，在弹出的“表名”窗口选择HIVE的数据表。 CUSTOM − 名称（必选）：输入CUSTOM类型的名称。 − 属性（必选）：输入CUSTOM类型的属性，可新增不止一条。 DLI − 连接名称（必选）：单击，在弹出的“连接名称”窗口选择DLI的数据连接。 − 数据库（必选）：单击，在弹出的“数据库”窗口选择DLI的数据库。 − 表名（必选）：单击，在弹出的“表名”窗口选择DLI的数据表。 确定 单击“确认”，保存节点输出功能的参数配置。 取消 单击“取消”，取消节点输出功能的参数配置。 编辑 单击，修改节点输出功能的参数配置，修改完成后，请保存。 删除 单击，删除节点输出功能的参数配置。 查看表详情 单击，查看节点输出血缘关系创建数据表的详细信息。

参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 − 最大重试次数 − 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。 失败策略 是 节点执行失败后的操作： 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划：暂停当前作业运行，当前作业实例状态显示为“等待运行”。 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。

5.使用正则表达式分隔字段 这个功能是针对一些复杂的半结构化文本，例如日志文件的解析，详见： 正则表达式分隔半结构化文本。 6.首行为标题行 这个参数是针对CSV文件导出到其它地方的场景，如果源端指定了该参数，CDM在抽取数据时将第一行作为标题行。在传输CSV文件的时候会跳过标题行，这时源端抽取的行数，会比目的端写入的行数多一行，并在日志文件中进行说明跳过了标题行。 7.写入文件大小 这个参数是针对数据库导出到CSV文件的场景，如果一张表的数据量比较大，那么导出到CSV文件的时候，会生成一个很大的文件，有时会不方便下载或查看。这时可以在目的端指定该参数，这样会生成多个指定大小的CSV文件，避免导出的文件过大。该参数的数据类型为整型，单位为MB。 JSON格式 这里主要介绍JSON文件格式的以下内容： CDM支持解析的JSON类型 记录节点 从JSON文件复制数据 1.CDM支持解析的JSON 类型：JSON对象、JSON数组。 JSON对象：JSON文件包含单个对象，或者以行分隔/串连的多个对象。 i.单一对象JSON： { "took" : 190, "timedout" : false, "total" : 1000001, "maxscore" : 1.0 ii.行分隔的JSON对象： {"took" : 188, "timedout" :false, "total" : 1000003, "maxscore" : 1.0 } {"took" : 189, "timedout" : false, "total" :1000004, "maxscore" : 1.0 } iii. 串连的JSON对象： { "took": 190, "timedout": false, "total": 1000001, "maxscore": 1.0 } { "took": 191, "timedout": false, "total": 1000002, "maxscore": 1.0 } JSON数组：JSON文件是包含多个JSON对象的数组。 [{ "took" : 190, "timedout" : false, "total" : 1000001, "maxscore" : 1.0 },{ "took" : 191, "timedout" : false, "total" : 1000001, "maxscore" : 1.0 }]

参数名 说明 更新已有数据 如果所要导入的流程，在DataArts Studio数据架构中已经存在，是否更新已有的流程。支持以下选项： 不更新 ：当流程已存在时，将直接跳过，不处理。 更新 ：当流程已存在时，更新已有的流程信息。 在导入流程时，只有创建或更新操作，不会删除已有的流程。 上传模板 选择所需导入的流程设计文件。 所需导入的流程设计文件，可以通过以下两种方式获得。 下载流程模板并填写模板： 在“导入配置”页签内，单击“下载流程模板”下载模板，然后根据业务需求填写好模板中的相关参数并保存后，先添加再上传，完成模板上传。模板参数的详细描述请参见下表。 导出的流程 ： 您可以将某个DataArts Studio实例的数据架构中已建立的流程设计信息导出到Excel文件中。导出后的文件可用于导入。导出流程的操作请参见上方“导出流程”。

参数 是否必选 说明 通知范围 是 选择通知的范围： 单个作业：对单个作业发送通知。 所有作业：对所有作业发送通知。 作业名称 是 选择作业。 通知类型 是 选择通知类型： 单个作业： − 运行异常/失败：作业的状态为“运行异常”或“失败”时，发送通知。 − 运行成功：作业的状态为“成功”时，发送通知。 − 未完成：该功能仅支持按天调度的作业配置。如果作业执行时间超过设置的未完成时间，则发送通知。 − 资源繁忙：如果执行作业时，资源繁忙，则发送通知。 所有作业： − 运行异常/失败：作业的状态为“运行异常”或“失败”时，发送通知。 − 资源繁忙：如果执行作业时，资源繁忙，则发送通知。 说明 实时作业只支持状态为 运行异常/失败 时发送通知，批处理作业在状态为运行成功和运行异常/失败时都能发送通知。 选择主题 是 选择通知的消息主题。 说明 当前仅支持“短信”、“邮件”、“HTTP”这三种协议的订阅终端订阅主题。 开关 是 是否开启通知，默认开启。

本章节主要介绍作业监控的批作业监控。 批作业监控提供了对批处理作业的状态进行监控的能力。 批处理作业支持作业级别的调度计划，可以定期处理批量数据，主要用于实时性要求低的场景。批作业是是由一个或多个节点组成的流水线，以流水线作为一个整体被调度。被调度触发后，任务执行一段时间必须结束，即任务不能无限时间持续运行。 您可以在“作业监控 > 批作业监控”页面查看批处理作业的调度状态、调度频率、调度开始时间等信息，以及进行如下表所示的操作。 详见下图：批作业监控 批作业监控支持的操作项 序号 支持的操作项 说明 1 根据“作业名”或“责任人名”搜索作业 2 根据“作业是否配置通知”、“调度状态”、“作业标签”或“下次计划时间”范围，筛选作业 3 批量配置作业 通过勾选作业名称前的复选框，支持批量执行操作。 4 查看作业实例状态 单击作业名称前方的，显示“最近的实例”页面，查看该作业最近的实例信息。 5 查看作业的节点信息 单击作业名称，在打开的页面中点击作业节点，查看该节点的相关关联作业/脚本与监控信息。 6 调度作业相关 在作业的“操作”列，支持执行调度、暂停调度、恢复调度、停止调度、调度配置等，详情请参见批作业监控章节中的“调度作业”。 7 通知设置 在作业的“操作”列，选择“更多 > 通知设置”，弹出“新建通知”页面，参考管理通知章节中的通知参数表。 8 实例监控 在作业的“操作”列，选择“更多 > 实例监控”，跳转到实例监控页面，查看该作业所有实例的运行记录。 9 补数据 在作业的“操作”列，选择“更多 > 补数据”，弹出“补数据”对话框，详情请参见批作业监控章节中的“补数据”。 10 添加作业标签 在作业的“操作”列，选择“更多 > 添加作业标签”，弹出“添加作业标签”对话框，详情请参见批作业监控：添加作业标签。

参数 是否必选 说明 数据库名称 是 数据库的名称，命名要求如下： DLI：数据库名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 DWS：数据库名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 MRS Hive：只能包含英文字母、数字、“”，只能以数字和字母开头，不能全部为数字，且长度为1~128个字符。 描述 否 数据库的描述信息，填写要求如下： DLI：最大长度为256个字符。 DWS：最大长度为1024个字符。 MRS Hive：最大长度为1024个字符。

!/bin/bash select Actions in "begin" "end" "exit" do case $Actions in "begin") echo "start something" break ;; "end") echo "stop something" break ;; "exit") echo "exit" break ;; ) echo "Ignorant" ;; esac done 5. 在编辑器中编辑Shell语句。为了方便脚本开发，数据开发模块提供了如下能力： − 脚本编辑器支持使用如下快捷键，以提升脚本开发效率。 Ctrl + /：注释或解除注释光标所在行或代码块 Ctrl + S：保存 Ctrl + Z：撤销 Ctrl + Y：重做 Ctrl + F：查找 Ctrl + Shift + R：替换 Ctrl + X：剪切，光标未选中时剪切一行 Alt + 鼠标拖动：列模式编辑，修改一整块内容 Ctrl + 鼠标点选：多列模式编辑，多行缩进 Shift + Ctrl + K：删除当前行 Ctrl + →或Ctrl + ←：向右或向左按单词移动光标 Ctrl + Home或Ctrl + End：移至当前文件的最前或最后 Home或End：移至当前行最前或最后 Ctrl + Shift + L：鼠标双击相同的字符串后，为所有相同的字符串添加光标，实现批量修改 − 支持脚本参数功能，使用方法如下： a.在Shell语句中直接写入脚本参数名称和参数值。当Shell脚本被作业引用时，如果作业配置的参数名称与Shell脚本的参数名称相同，Shell脚本的参数值将被作业的参数值替换。 脚本示例如下： a1 echo ${a} 其中，a是参数名称，只支持英文字母、数字、“”、“”、“ ”，最大长度为16字符，且参数名称不允许重名。 b.在编辑器上方配置参数，在执行Shell脚本时，参数会向脚本传递。参数之间使用空格分隔，例如：a b c。此处的“参数”需要在Shell脚本中引用，否则配置无效。 注意 shell脚本中若引用变量请直接使用 args格式，不要使用 {args}格式，否则会导致被作业中同名参数替换。 − 支持设置脚本责任人 单击编辑器右侧的“脚本基本信息”，可设置脚本的责任人和描述信息。 6. 在编辑器上方，单击“运行”。Shell语句运行完成后，在编辑器下方可以查看脚本的执行历史和执行结果。 说明 对于执行结果支持如下操作： 重命名：可通过双击执行结果页签的名称进行重命名，也可通过右键单击执行结果页签的名称，单击重命名。重命名不能超过16个字符。 可通过右键单击执行结果页签的名称关闭当前页签、关闭左侧页签、关闭右侧页签、关闭其它页签、关闭所有页签。 7. 在编辑器上方，单击，保存脚本。 如果脚本是新建且未保存过的，请配置如下表所示的参数。 保存脚本 参数 是否必选 说明 脚本名称 是 脚本的名称，只能包含字符：英文字母、数字、中文、中划线、下划线和点号，且长度小于等于128个字符。 描述 否 脚本的描述信息。 选择目录 是 选择脚本所属的目录，默认为根目录。 说明 如果脚本未保存，重新打开脚本时，可以从本地缓存中恢复脚本内容。

本章节主要介绍数据目录权限管理。 约束与限制 仅管理员角色的用户支持创建、删除、修改数据目录权限规则和设置数据目录权限生效状态。 开发者、运维者和访客角色的用户仅支持查看数据目录权限规则和规则列表。 管理数据目录权限规则 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2. 选择“数据权限 > 数据目录权限”，单击“新建”，配置数据目录权限规则。 a.规则名称：设置数据权限规则的名称。 b.类型：当前支持从标签、密级和分类的维度进行过滤筛选。 c.范围：选择实际的标签、密级和分类。 d.用户：配置的数据目录权限规则所适配的用户。 e.生效：打开，表示该数据目录权限规则生效。反之，不生效。 说明 数据目录权限规则生效后，仅该数据目录权限规则所适配的用户，可管理限定标签或者分类的数据资产。例如设置类型为标签，范围选择test，用户设置为A，当开启权限规则后，A用户只可管理test标签的资产。 详见下图：新建规则 3. 在数据权限规则列表中，选择对应规则后的编辑和删除，可修改和删除数据权限规则。

本章节主要介绍批量修改主题/目录/流程。 批量修改主题 当前仅支持信息架构、关系建模、维度、事实表、汇总表、技术指标模块进行批量修改主题操作，操作流程相同。 此处以批量修改信息架构为例，展示如下： 1.在DataArts Studio数据架构控制台，单击左侧导航栏中的“信息架构”。 2.进入后，在页面选择所需要批量修改主题的项，单击“更多 > 修改主题”，可以将选中的项更改到其它主题。配置完成点击“确定”。 批量修改目录 当前仅支持码表管理、数据标准进行批量修改目录操作。 1.在DataArts Studio数据架构控制台，单击左侧导航栏中的码表管理或数据标准。 2.进入后，在页面选择所需要批量修改目录的项，单击“更多 > 修改目录”，可以将选中的项更改到其它目录。 批量修改流程 当前仅支持业务指标进行批量修改流程操作。 1.在DataArts Studio数据架构控制台，单击左侧导航栏中的业务指标。 2.进入业务指标页面后，在页面选择所需要批量修改流程的指标，单击“更多 > 修改流程”，可以将选中的项更改到其它流程。

参数 是否必选 说明 参数名称 是 只支持英文字母、数字、“”、“”，最大长度为64字符，且参数名称不允许重名。 参数值 是 参数值当前支持常量和EL表达式，不支持系统函数。例如支持123，abc。 关于EL表达式的使用，请参见

重跑作业实例 您可以对运行成功或失败的作业实例设置重跑，配置重跑开始位置。 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“运维调度 > 实例监控”。 3. 选择作业名称，在作业的“操作”列，单击“重跑”设置重跑作业实例；或单击作业名称左边的复选框，再选择“重跑”按钮设置作业实例重跑。 详见下图：设置作业重跑 参数说明 参数 说明 重跑类型 选择需要重跑的实例。 重跑当前实例 重跑当前作业以及上下游作业实例： 开始时间 重跑用户设置的时间段内的实例。 重跑作业实例列表 选择需要重跑的上下游作业，支持多选。 重跑开始位置 选择作业实例重跑的开始位置： 从错误节点开始重跑：作业实例执行失败时，从实例执行失败的错误节点开始重跑。 从第一个节点开始重跑：从作业实例的第一个节点开始重跑。 从指定的节点开始重跑：从作业实例中指定的节点开始重跑。仅当“重跑类型”为“重跑当前实例”时有此选项。 说明 以下两种情况，系统运行会从第一个节点开始重跑。 如果作业中节点个数或者名称发生变化，从第一个节点开始重跑。 如果重跑成功状态的作业实例，从第一个节点开始重跑。 处理并发数 选择作业实例并行处理的数量。

还原资产 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发模块控制台的左侧导航栏，选择“备份管理”。 3. 选择“还原管理”页签，单击“还原备份”。 在还原备份对话框中，从OBS桶中选择待还原的资产存储路径，设置重名处理策略。 说明 待还原的资产存储路径为备份资产中生成的文件路径。 您可在还原资产前修改备份路径下的backup.json文件，支持修改连接名（connectionName）、数据库名（database）和集群名（clusterName）。 详见下图：还原资产 4. 单击“确定”。

创建DWS连接 1.在CDM集群管理界面，单击集群后的“作业管理”，选择“连接管理 > 新建连接”，进入连接器类型的选择界面。 2.连接器类型选择“数据仓库服务（DWS）”后单击“下一步”配置DWS连接参数，必填参数如下表“DWS连接参数”所示，可选参数保持默认即可。 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 dwslink 数据库服务器 DWS数据库的IP地址或域名。 192.168.0.3 端口 DWS数据库的端口。 8000 数据库名称 DWS数据库的名称。 dbdemo 用户名 拥有DWS数据库的读、写和删除权限的用户。 dbadmin 密码 用户的密码。 使用Agent 是否选择通过Agent从源端提取数据。 是 Agent 单击“选择”，选择连接Agent中已创建的Agent。 导入模式 COPY模式：将源数据经过DWS管理节点后拷贝到数据节点。如果需要通过Internet访问DWS，只能使用COPY模式。 COPY 3.单击“保存”完成创建连接。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”，开始创建从MySQL导出数据到DWS的任务。 详见下图：创建MySQL到DWS的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 −源连接名称：选择上述 创建MySQL连接 中的“mysqllink”。 −使用SQL语句：否。 −模式或表空间：待抽取数据的模式或表空间名称。 −表名：要抽取的表名。 −其他可选参数一般情况下保持默认即可，详细说明请参见配置常见关系数据库源端参数。 目的端作业配置 −目的连接名称：选择创建DWS连接中的连接“dwslink”。 −模式或表空间：选择待写入数据的DWS数据库。 −自动创表：只有当源端和目的端都为关系数据库时，才有该参数。 −表名：待写入数据的表名，可以手动输入一个不存在表名，CDM会在DWS中自动创建该表。 −是否压缩：DWS提供的压缩数据能力，如果选择“是”，将进行高级别压缩，CDM提供了适用I/O读写量大，CPU富足（计算相对小）的压缩场景 −存储模式：可以根据具体应用场景，建表的时候选择行存储还是列存储表。一般情况下，如果表的字段比较多（大宽表），查询中涉及到的列不多的情况下，适合列存储。如果表的字段个数比较少，查询大部分字段，那么选择行存储比较好。 −扩大字符字段长度：当目的端和源端数据编码格式不一样时，自动建表的字符字段长度可能不够用，配置此选项后CDM自动建表时会将字符字段扩大3倍。 −导入前清空数据：任务启动前，是否清除目的表中数据，用户可根据实际需要选择。 2.单击“下一步”进入字段映射界面，CDM会自动匹配源和目的字段，如下图“表到表的字段映射”所示。 如果字段映射顺序不匹配，可通过拖拽字段调整。 单击，可批量映射字段。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换。 3.单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，请参见 配置定时任务。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。可适当调大参数，提升迁移效率。 是否写入脏数据：表到表的迁移容易出现脏数据，建议配置脏数据归档。 作业运行完是否删除：这里保持默认值“不删除”。 4.单击“保存并运行”，回到作业管理界面，在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。

本章节主要介绍数据开发的解决方案。 背景信息 解决方案定位于为用户提供便捷的、系统的方式管理作业，更好地实现业务需求和目标。每个解决方案可以包含一个或多个业务相关的作业，一个作业可以被多个解决方案复用。 数据开发模块目前支持处理以下几种方式的解决方案。 新建解决方案 编辑解决方案 导出解决方案 导入解决方案 升级解决方案 删除解决方案 新建解决方案 在数据开发模块的开发页面，新建一个解决方案，设置解决方案名称并选择业务相关的作业。 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”或“数据开发 > 作业开发”。 3. 在左侧目录上方，单击解决方案图标，显示解决方案目录。 4. 单击解决方案目录上方的，弹出“新建解决方案”页面，配置如下表所示的参数。 解决方案参数 参数 说明 名称 自定义解决方案的名称。 选择作业 选择解决方案包含的作业。 5. 单击“确定”，新建的解决方案将在左侧目录中显示。

序号 区域 描述 1 菜单栏 运维管理的菜单栏，包括业务场景实例和我的订阅。 业务场景实例：展示当前用户的所有业务场景实例内容。 我的订阅：展示被当前用户设置订阅的业务场景信息列表。“我的订阅”较“业务场景实例”增加了“通知状态”信息。该信息展示了业务场景实例的运行结果是否被成功订阅，例如，发送告警邮件。 2 导航栏 左侧导航栏，包括数据业务场景的存储目录。 用户可以根据实际需要对业务场景进行分目录存放，每级目录旁边的数字代表属于该级目录的业务场景的个数。 3 业务场景实例列表 展示实例名称、运行状态、运行结果等信息。 4 搜索区域 可以选择性的展示业务场景实例，例如运行的开始时间和结束时间处于某一时间区间业务场景。 根据处理人、创建人、实例名称进行筛选展示业务场景实例的列表信息，输入内容支持模糊搜索。

本章节主要介绍新建规则的操作。 管理所有业务规则，规则定义了指标间或者指标和数值间的关系，使用目录维护业务规则。 前提条件 在DataArts Studio控制台的“实例 > 进入控制台 > 空间管理 > 数据质量 > 业务指标监控 > 规则管理”页面创建归属目录。基于指标创建业务规则，需要选择规则归属目录，请参见下图创建归属目录。 下表是导航栏按键说明 序号 说明 1 新建目录。 2 刷新目录。 3 选择全部，单击右键，可新建目录、重命名目录和删除目录。 新建规则 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据质量”模块，进入数据质量页面。 详见下图：选择数据质量 2.选择“业务指标监控 > 规则管理”。 3.单击“新建”，在弹出的对话框中，参见下表配置相关参数，新建规则。 配置业务规则参数 参数名 说明 规则名称 业务规则的名称，只能包含中文、英文字母、数字、“”，且长度为1~64个字符。 描述 为更好的识别业务规则，此处加以描述信息。描述信息长度不能超过4096个字符。 所属目录 业务规则的存储目录，可选择已创建的目录。 定义关系 关系是定义指标和数值间或者指标和指标间的逻辑表达式，可以包含算术运算。指标使用小写字母az代替它的缩写，按添加指标的顺序依次为a,b,c,...。 说明 只支持一个合法逻辑表达式，支持简单的四则算术运算。