本章节主要介绍数据目录权限管理。 约束与限制 仅管理员角色的用户支持创建、删除、修改数据目录权限规则和设置数据目录权限生效状态。 开发者、运维者和访客角色的用户仅支持查看数据目录权限规则和规则列表。 管理数据目录权限规则 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2. 选择“数据权限 > 数据目录权限”，单击“新建”，配置数据目录权限规则。 a.规则名称：设置数据权限规则的名称。 b.类型：当前支持从标签、密级和分类的维度进行过滤筛选。 c.范围：选择实际的标签、密级和分类。 d.用户：配置的数据目录权限规则所适配的用户。 e.生效：打开，表示该数据目录权限规则生效。反之，不生效。 说明 数据目录权限规则生效后，仅该数据目录权限规则所适配的用户，可管理限定标签或者分类的数据资产。例如设置类型为标签，范围选择test，用户设置为A，当开启权限规则后，A用户只可管理test标签的资产。 详见下图：新建规则 3. 在数据权限规则列表中，选择对应规则后的编辑和删除，可修改和删除数据权限规则。

本章节主要介绍批量修改主题/目录/流程。 批量修改主题 当前仅支持信息架构、关系建模、维度、事实表、汇总表、技术指标模块进行批量修改主题操作，操作流程相同。 此处以批量修改信息架构为例，展示如下： 1.在DataArts Studio数据架构控制台，单击左侧导航栏中的“信息架构”。 2.进入后，在页面选择所需要批量修改主题的项，单击“更多 > 修改主题”，可以将选中的项更改到其它主题。配置完成点击“确定”。 批量修改目录 当前仅支持码表管理、数据标准进行批量修改目录操作。 1.在DataArts Studio数据架构控制台，单击左侧导航栏中的码表管理或数据标准。 2.进入后，在页面选择所需要批量修改目录的项，单击“更多 > 修改目录”，可以将选中的项更改到其它目录。 批量修改流程 当前仅支持业务指标进行批量修改流程操作。 1.在DataArts Studio数据架构控制台，单击左侧导航栏中的业务指标。 2.进入业务指标页面后，在页面选择所需要批量修改流程的指标，单击“更多 > 修改流程”，可以将选中的项更改到其它流程。

参数 是否必选 说明 参数名称 是 只支持英文字母、数字、“”、“”，最大长度为64字符，且参数名称不允许重名。 参数值 是 参数值当前支持常量和EL表达式，不支持系统函数。例如支持123，abc。 关于EL表达式的使用，请参见

重跑作业实例 您可以对运行成功或失败的作业实例设置重跑，配置重跑开始位置。 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“运维调度 > 实例监控”。 3. 选择作业名称，在作业的“操作”列，单击“重跑”设置重跑作业实例；或单击作业名称左边的复选框，再选择“重跑”按钮设置作业实例重跑。 详见下图：设置作业重跑 参数说明 参数 说明 重跑类型 选择需要重跑的实例。 重跑当前实例 重跑当前作业以及上下游作业实例： 开始时间 重跑用户设置的时间段内的实例。 重跑作业实例列表 选择需要重跑的上下游作业，支持多选。 重跑开始位置 选择作业实例重跑的开始位置： 从错误节点开始重跑：作业实例执行失败时，从实例执行失败的错误节点开始重跑。 从第一个节点开始重跑：从作业实例的第一个节点开始重跑。 从指定的节点开始重跑：从作业实例中指定的节点开始重跑。仅当“重跑类型”为“重跑当前实例”时有此选项。 说明 以下两种情况，系统运行会从第一个节点开始重跑。 如果作业中节点个数或者名称发生变化，从第一个节点开始重跑。 如果重跑成功状态的作业实例，从第一个节点开始重跑。 处理并发数 选择作业实例并行处理的数量。

还原资产 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发模块控制台的左侧导航栏，选择“备份管理”。 3. 选择“还原管理”页签，单击“还原备份”。 在还原备份对话框中，从OBS桶中选择待还原的资产存储路径，设置重名处理策略。 说明 待还原的资产存储路径为备份资产中生成的文件路径。 您可在还原资产前修改备份路径下的backup.json文件，支持修改连接名（connectionName）、数据库名（database）和集群名（clusterName）。 详见下图：还原资产 4. 单击“确定”。

创建DWS连接 1.在CDM集群管理界面，单击集群后的“作业管理”，选择“连接管理 > 新建连接”，进入连接器类型的选择界面。 2.连接器类型选择“数据仓库服务（DWS）”后单击“下一步”配置DWS连接参数，必填参数如下表“DWS连接参数”所示，可选参数保持默认即可。 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 dwslink 数据库服务器 DWS数据库的IP地址或域名。 192.168.0.3 端口 DWS数据库的端口。 8000 数据库名称 DWS数据库的名称。 dbdemo 用户名 拥有DWS数据库的读、写和删除权限的用户。 dbadmin 密码 用户的密码。 使用Agent 是否选择通过Agent从源端提取数据。 是 Agent 单击“选择”，选择连接Agent中已创建的Agent。 导入模式 COPY模式：将源数据经过DWS管理节点后拷贝到数据节点。如果需要通过Internet访问DWS，只能使用COPY模式。 COPY 3.单击“保存”完成创建连接。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”，开始创建从MySQL导出数据到DWS的任务。 详见下图：创建MySQL到DWS的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 −源连接名称：选择上述 创建MySQL连接 中的“mysqllink”。 −使用SQL语句：否。 −模式或表空间：待抽取数据的模式或表空间名称。 −表名：要抽取的表名。 −其他可选参数一般情况下保持默认即可，详细说明请参见配置常见关系数据库源端参数。 目的端作业配置 −目的连接名称：选择创建DWS连接中的连接“dwslink”。 −模式或表空间：选择待写入数据的DWS数据库。 −自动创表：只有当源端和目的端都为关系数据库时，才有该参数。 −表名：待写入数据的表名，可以手动输入一个不存在表名，CDM会在DWS中自动创建该表。 −是否压缩：DWS提供的压缩数据能力，如果选择“是”，将进行高级别压缩，CDM提供了适用I/O读写量大，CPU富足（计算相对小）的压缩场景 −存储模式：可以根据具体应用场景，建表的时候选择行存储还是列存储表。一般情况下，如果表的字段比较多（大宽表），查询中涉及到的列不多的情况下，适合列存储。如果表的字段个数比较少，查询大部分字段，那么选择行存储比较好。 −扩大字符字段长度：当目的端和源端数据编码格式不一样时，自动建表的字符字段长度可能不够用，配置此选项后CDM自动建表时会将字符字段扩大3倍。 −导入前清空数据：任务启动前，是否清除目的表中数据，用户可根据实际需要选择。 2.单击“下一步”进入字段映射界面，CDM会自动匹配源和目的字段，如下图“表到表的字段映射”所示。 如果字段映射顺序不匹配，可通过拖拽字段调整。 单击，可批量映射字段。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换。 3.单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，请参见 配置定时任务。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。可适当调大参数，提升迁移效率。 是否写入脏数据：表到表的迁移容易出现脏数据，建议配置脏数据归档。 作业运行完是否删除：这里保持默认值“不删除”。 4.单击“保存并运行”，回到作业管理界面，在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。

本章节主要介绍数据开发的解决方案。 背景信息 解决方案定位于为用户提供便捷的、系统的方式管理作业，更好地实现业务需求和目标。每个解决方案可以包含一个或多个业务相关的作业，一个作业可以被多个解决方案复用。 数据开发模块目前支持处理以下几种方式的解决方案。 新建解决方案 编辑解决方案 导出解决方案 导入解决方案 升级解决方案 删除解决方案 新建解决方案 在数据开发模块的开发页面，新建一个解决方案，设置解决方案名称并选择业务相关的作业。 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”或“数据开发 > 作业开发”。 3. 在左侧目录上方，单击解决方案图标，显示解决方案目录。 4. 单击解决方案目录上方的，弹出“新建解决方案”页面，配置如下表所示的参数。 解决方案参数 参数 说明 名称 自定义解决方案的名称。 选择作业 选择解决方案包含的作业。 5. 单击“确定”，新建的解决方案将在左侧目录中显示。

序号 区域 描述 1 菜单栏 运维管理的菜单栏，包括业务场景实例和我的订阅。 业务场景实例：展示当前用户的所有业务场景实例内容。 我的订阅：展示被当前用户设置订阅的业务场景信息列表。“我的订阅”较“业务场景实例”增加了“通知状态”信息。该信息展示了业务场景实例的运行结果是否被成功订阅，例如，发送告警邮件。 2 导航栏 左侧导航栏，包括数据业务场景的存储目录。 用户可以根据实际需要对业务场景进行分目录存放，每级目录旁边的数字代表属于该级目录的业务场景的个数。 3 业务场景实例列表 展示实例名称、运行状态、运行结果等信息。 4 搜索区域 可以选择性的展示业务场景实例，例如运行的开始时间和结束时间处于某一时间区间业务场景。 根据处理人、创建人、实例名称进行筛选展示业务场景实例的列表信息，输入内容支持模糊搜索。

本章节主要介绍新建规则的操作。 管理所有业务规则，规则定义了指标间或者指标和数值间的关系，使用目录维护业务规则。 前提条件 在DataArts Studio控制台的“实例 > 进入控制台 > 空间管理 > 数据质量 > 业务指标监控 > 规则管理”页面创建归属目录。基于指标创建业务规则，需要选择规则归属目录，请参见下图创建归属目录。 下表是导航栏按键说明 序号 说明 1 新建目录。 2 刷新目录。 3 选择全部，单击右键，可新建目录、重命名目录和删除目录。 新建规则 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据质量”模块，进入数据质量页面。 详见下图：选择数据质量 2.选择“业务指标监控 > 规则管理”。 3.单击“新建”，在弹出的对话框中，参见下表配置相关参数，新建规则。 配置业务规则参数 参数名 说明 规则名称 业务规则的名称，只能包含中文、英文字母、数字、“”，且长度为1~64个字符。 描述 为更好的识别业务规则，此处加以描述信息。描述信息长度不能超过4096个字符。 所属目录 业务规则的存储目录，可选择已创建的目录。 定义关系 关系是定义指标和数值间或者指标和指标间的逻辑表达式，可以包含算术运算。指标使用小写字母az代替它的缩写，按添加指标的顺序依次为a,b,c,...。 说明 只支持一个合法逻辑表达式，支持简单的四则算术运算。

参数名 说明 指标名称 业务指标的名称，只能包含中文、英文字母、数字、“”，且长度为1~64个字符。 数据连接 从下拉列表中选择已创建的数据连接。 说明 支持的数据连接类型：DWS、PostgreSQL、MRS Hive、DLI和MySql。 指标都是基于数据连接的，所以在建立指标之前需要先到元数据管理模块中建立数据连接。 数据库/队列 选择指标运行的数据库。 说明 当数据源为DLI时，需要选择运行的队列。 描述 为更好的识别业务指标 ，此处加以描述信息。描述信息长度不能超过4096个字符。 所属目录 业务指标的存储目录，可选择已创建的目录。 来源类型 支持“自定义”。 用户自定义SQL语句，定义指标的来源。

功能 说明 总览 默认首页是总览页面，显示了业务场景实例的运行状态和告警状态。 主要包括以下几部分内容： 快速入门，介绍业务指标监控的业务流。 最近7天内的业务场景实例运行分布情况、实例告警运行分布情况。 可选周期内的告警趋势图、业务场景看板图、指标看板图。 指标管理 指标管理是业务指标监控的核心功能模块，是配置指标的主要入口。 规则管理 规则管理是配置规则的主要入口，支持通过指标的逻辑表达式定义规则。 业务场景管理 业务场景可以认为是业务指标质量作业，将创建的规则组进行调度运行。 运维管理 运维管理用于查看业务场景运行状态，处理运维问题。其中我的订阅中显示了所有订阅的任务运行情况。

案例二：通过MRS Spark Python作业实现打印输出"hello python" 前提条件： 具有OBS相关路径的访问权限。 数据准备： 准备脚本文件"zttestsparkPython1.py"，具体内容如下： from pyspark import SparkContext, SparkConf conf SparkConf().setAppName("master"). setMaster("yarn") sc SparkContext(confconf) print("hello python") sc.stop() 操作步骤： 1. 将脚本文件传入OBS桶中。 2. 创建一个数据开发模块空作业。 3. 进入到作业开发页面，拖动“MRS Spark Python”节点到画布中并单击，配置节点的属性。 参数设置说明： master yarn deploymode cluster obs://obstongji/python/zttestsparkPython1.py 其中：zttestsparkPython1.py 为脚本所在路径 4. 单击“测试运行”，执行该脚本作业。 5. 待测试完成，执行“提交”。 6. 在“作业监控”界面，查看作业执行结果。 详见下图：查看作业执行结果 7. 日志验证。 运行成功后，登录MRS manager后在YARN上查看日志，发现有hello python的输出。 详见下图：查看YARN上日志

本章节主要介绍数据开发部分的开发作业。 对已新建的作业进行开发和配置。 前提条件 已新建作业。 当前用户已锁定该作业，否则需要通过“抢锁”锁定作业后才能继续开发作业。新建或导入作业后默认被当前用户锁定，详情参见提交版本并解锁章节中的“编辑锁定”功能。 编排作业节点 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 3. 在作业目录中，双击Pipeline模式批处理作业或实时处理作业的名称，进入作业开发页面。 4. 拖动所需的节点至画布，鼠标移动到节点图标上，选中连线图标并拖动，连接到下一个节点上。 说明 每个作业建议最多包含200个节点。 详见下图：编排作业 5. 配置节点功能。右键单击画布中的节点图标，根据实际需要选择如行表所示的功能。 右键节点功能 功能 说明 配置 进入该节点的“节点属性”页面。 删除 支持删除一个节点或同时删除多个节点。 单节点删除：右键单击画布中的节点图标，选择删除或按快捷键Delete 。 多节点删除：按下键盘中的Ctrl ，单击画布中需要删除的节点图标，在当前作业画布空白处单击右键，选择删除或按快捷键Delete。 复制 支持复制一个或多个节点至任意作业中： 单节点复制：右键单击画布中的节点图标，选择复制或按快捷键Ctrl+C ，在作业画布空白处粘贴节点或按快捷键Ctrl+V ，复制后的节点携带原节点的配置信息。 多节点复制：按下键盘中的Ctrl ，单击画布中需要复制的节点图标，在当前作业画布空白处单击右键选择复制或按快捷键Ctrl+C ，在目标作业画布空白处粘贴或按快捷键Ctrl+V。复制后的节点携带原节点的配置信息，但不包含节点间的连接关系。 测试运行 测试运行该节点。 从当前节点测试运行 仅在批作业下显示该选项。选择“从当前节点测试运行”，则测试运行当前节点以及后续节点。 添加/删除连线 可以选择为两个不同的节点添加或删除连线， 编辑CDM作业 仅CDM Job节点显示该选项。选择CDM集群和作业后，可以跳转到CDM作业编辑页面，进行作业修改。 查看CDM作业日志 仅CDM Job节点显示该选项。当CDM作业运行后，右键选中CDM Job节点，单击“查看CDM日志”，可以跳转到作业监控页面，查看作业日志打印的详细信息，帮助开发者定界定位作业运行异常原因。 编辑脚本 仅关联了脚本的节点显示该选项。跳转到脚本编辑页面，对关联的脚本进行编辑。 添加便签 为该节点添加便签，每个节点可以有多个便签。 6. （可选）配置连线功能。右键单击画布中的节点间连线，显示“删除”和“设置条件”功能，您可以根据实际需要进行选择。 − 删除：可以删除节点间的连线。 − 设置条件：在弹出的窗口中，您可以通过EL表达式语法填写三元表达式。当三元表达式结果为true的时候，才会执行连线后面的节点，否则后续节点将被跳过。 如下图所示，是一个典型的三元表达式。当“DQM”节点的运行结果为true时，才会执行连线后的节点。当运行结果为false时，如果失败策略为“跳过所有节点”，则该连线后面的节点A以及A后的所有节点均会被跳过。 关于EL表达式的语法，您可以查看 表达式概述。 7. 请参见节点概述配置具体节点的属性。 8. 配置节点属性。单击画布中的节点，在右侧显示“节点属性”页签，默认展开此配置页面，请参见节点概述配置具体节点的属性。

方法 说明 boolean isExistOBSPath(String obsPath) 判断OBS文件或目录（目录请以“/”结尾）是否存在，存在返回true，不存在返回false。

本章节主要介绍DataArts Studio的StringUtil内嵌对象功能。 StringUtil内嵌对象提供了一系列字符串操作方法，例如从一个字符串中截取一个子字符串。 StringUtil内部是由org.apache.commons.lang3.StringUtils实现的。 举例 假设变量a为字符串No.0010，返回“.”后面的子字符串，EL表达式如下： {StringUtil.substringAfter(a,".")}

本章节主要介绍（可选）管理脚本的删除脚本。 当用户不需要使用某个脚本时，可以参考如下操作删除该脚本。 删除脚本时会检查脚本被哪个作业引用，引用列表中显示“版本”，表示此脚本被哪些作业版本引用。点击删除时，会删除对应的作业和这个作业的所有版本信息。 说明 如果某一个待删除的脚本正在被作业关联，请确保强制删除脚本后，不影响业务使用。如果希望作业能继续正常使用，请前往作业开发页面，重新关联可用的脚本。 前提条件 删除脚本前，请确保该脚本未被作业使用。 普通删除 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 3. 在脚本目录中，右键单击脚本名称，选择“删除”。 4. 在弹出的“删除脚本”页面，单击“确认”，删除脚本。 批量删除 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 3. 在脚本目录顶部，单击，选择“显示复选框”，在脚本目录前出现复选框。 4. 选择需要删除的脚本，再次单击，选择“删除脚本”。 5. 在弹出的“删除脚本”页面，单击“确认”，批量删除脚本。

创建OBS连接 1.单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面。 详见下图：选择连接器类型 2.连接器类型选择“对象存储服务（OBS）”后，单击“下一步”配置OBS连接参数。 名称：用户自定义连接名称，例如“obslink”。 OBS服务器、端口：配置为OBS实际的地址信息。 访问标识（AK）、密钥（SK）：登录OBS的AK、SK。 3.单击“保存”回到连接管理界面。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”，开始创建从MRS HDFS导出数据到OBS的任务。 详见下图：创建MRS HDFS到OBS的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 −源连接名称：选择创建MRS HDFS连接中的“hdfsllink”。 −源目录或文件：待迁移数据的目录或单个文件路径。 −文件格式：传输数据时所用的文件格式，这里选择“二进制格式”。不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 −其他可选参数一般情况下保持默认即可，详细说明请参见 配置HDFS源端参数。 目的端作业配置 −目的连接名称：选择创建OBS连接中的“obslink”。 −桶名：待迁移数据的桶。 −写入目录：写入数据到OBS服务器的目录。 −文件格式：迁移文件类数据到文件时，文件格式选择“二进制格式”。 −高级属性里的可选参数一般情况下保持默认既可，详细说明请参见 配置OBS目的端参数。 2.单击“下一步”进入字段映射界面，CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配，可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换。 3.单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，请参见 配置定时任务。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。CDM支持多个文件的并发抽取，调大参数有利于提高迁移效率 是否写入脏数据：否，文件到文件属于二进制迁移，不存在脏数据。 作业运行完是否删除：这里保持默认值“不删除”。根据使用场景，也可配置为“删除”，防止迁移作业堆积。 4.单击“保存并运行”，回到作业管理界面，在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。

参数名 说明 取值样例 指标 可选参数，输入指标名称，或选择OpenTSDB中已存在的指标。 city.temp 时间 可选参数，记录数据的时间点，格式为yyyyMMddHHmmdd的字符串或时间戳。 1598870800 标记 可选参数，可在这里自定义数据的标签。 tagk:tagv, tagk2:tagv2

本章节主要介绍管理单个作业。 已存在的CDM作业支持查看、修改、删除、启动、停止等操作，这里主要介绍作业的查看和修改。 查看 查看作业状态 作业状态有New，Pending，Booting，Running，Failed，Succeeded。 其中“Pending”表示正在等待系统调度该作业，“Booting”表示正在分析待迁移的数据。 查看历史记录 查看作业的历史执行记录、读取和写入的统计数据，在历史记录界面还可查看作业执行的日志信息。 查看作业日志 在历史记录界面可查看作业所有的日志。 也可以在作业列表界面，选择“更多 > 日志”来查看该作业最近的一次日志。 查看作业JSON 直接编辑作业的JSON文件，作用等同于修改作业的参数配置 源目的统计查询 可对已经配置好的数据库类作业打开预览窗口，预览最多1000条数据内容。可对比源和目的端的数据，也可以通过对比记录数来看迁移结果是否成功、数据是否丢失。 查看历史作业 CDM可以保留最近1个月已执行的作业，包括一次性作业（运行完自动删除的作业）和周期重复执行的作业，都支持在“历史作业”页签下查看、重新执行。 对于周期重复执行的作业，每次执行时（无论成功失败）都会在“历史作业”的页签下生成一个历史作业，执行了多少次便生成多少个历史作业。由于原作业名相同，所以历史作业的作业名会随机增加一个字符串以做区分。 修改 修改作业参数 可重新配置作业参数，但是不能重新选择源连接和目的连接。 编辑作业JSON 直接编辑作业的JSON文件，作用等同于修改作业的参数配置。 操作步骤 1.进入CDM主界面，单击左侧导航上的“集群管理”，选择集群后的“作业管理”。 2.单击“历史作业”可以查看最近1个月所有执行过的历史作业。 CDM可以保留最近1个月已执行的作业，包括一次性作业（运行完自动删除的作业）和周期重复执行的作业，都支持在“历史作业”页签下查看、重新执行。 对于周期重复执行的作业，每次执行时（无论成功失败）都会在“历史作业”的页签下生成一个历史作业，执行了多少次便生成多少个历史作业。由于原作业名相同，所以历史作业的作业名会随机增加一个字符串以做区分。 3.单击“表/文件迁移”显示作业列表，可对单个作业执行如下操作： 修改作业参数：单击作业操作列的“编辑”可修改作业参数。 运行作业：单击作业操作列的“运行”可手动启动作业。 查看历史记录：单击作业操作列的“历史记录”进入历史记录界面，可查看该作业的历史执行记录、读取和写入的统计数据。在历史记录界面单击“日志”，可查看作业执行的日志信息。 删除作业：选择作业操作列的“更多 > 删除”可删除作业。 停止作业：选择作业操作列的“更多 > 停止”可停止作业。 查看作业JSON：选择作业操作列的“更多>查看作业JSON”，可查看该作业的JSON定义。 l编辑作业JSON：选择作业操作列的“更多>编辑作业JSON”，可直接编辑该作业的JSON文件，作用等同于修改作业的参数配置。 配置定时任务：选择作业操作列的“更多 > 配置定时任务”，可选择在有效期内周期性启动作业，具体请参考 配置定时任务。 4.修改完成后单击“保存”或“保存并运行”。

{JSONUtil.path(Job.getRunningData("DLIINSERTDATA"),"jobIds[2]")}。 String getInsertJobId(String nodeName) 返回指定DLI SQL或Transform Load节点第一个DLI Insert SQL语句的作业ID，不指定参数nodeName时，获取前面一个节点第一个DLI Insert SQL语句的作业ID，如果无法获取到作业ID，返回null值。 举例 获取作业中节点名称为test的输出，EL表达式如下： {Job.getNodeOutput("test")}

本章节主要介绍数据管理的数据管理流程功能。 数据管理功能可以协助用户快速建立数据模型，为后续的脚本和作业开发提供数据实体。通过数据管理，您可以： 支持管理DWS、MRS Hive等多种数据湖。 支持可视化和DDL方式管理数据库表。 说明 如果您在使用数据开发前，已参考 数据管理的使用流程如下： 1. 创建数据连接，连接相关数据湖底座服务。具体请参见 新建数据连接 。 2. 基于相应服务，新建数据库。具体请参见 新建数据库 。 3. 如果是DWS连接，则需要新建数据库模式；否则直接新建数据表。具体请参见（可选）新建数据库模式。 4. 新建数据表。具体请参见 新建数据表 。

参数 是否必选 说明 节点状态轮询时间（秒） 是 设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 − 最大重试次数 − 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。 失败策略 是 节点执行失败后的操作： 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划：暂停当前作业运行，当前作业实例状态显示为“等待运行”。 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。

本章节主要介绍如何通过Python节点执行Python语句。 功能 通过Python节点执行Python语句。 使用Python节点前，需确认对应主机连接的主机配有用于执行Python脚本的环境。 说明 Python节点暂不支持脚本参数和作业参数。 参数 用户可以参考下表配置Python节点的参数。 属性参数 参数 是否必选 说明 Python或脚本 是 可以选择Python语句或Python脚本。 Python语句 单击“Python语句”参数下的文本框，在“Python语句”页面输入需要执行的Python语句。 Python脚本 在“脚本路径”参数后选择需要执行的脚本。 如果脚本未创建，请参考新建脚本和开发Python脚本先创建和开发脚本。 说明 若选择Python语句方式，数据开发模块将无法解析您输入Python语句中携带的参数。 主机连接 是 选择执行Python语句的主机。需确认该主机配有用于执行Python脚本的环境。 节点名称 是 节点名称，只能包含英文字母、数字、中文字符、中划线、下划线、/、<>和点号，且长度小于等于128个字符。 高级参数 参数 是否必选 说明 节点状态轮询时间（秒） 是 设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 − 最大重试次数 − 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。 失败策略 是 节点执行失败后的操作： 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划：暂停当前作业运行，当前作业实例状态显示为“等待运行”。 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。

参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 MRS集群名 是 选择支持spark python的mrs集群。MRS只有特定版本支持spark python的集群，请先测试运行，保证集群支持。如需新建集群，请参考以下方法： 单击 ，进入“集群列表”页面新建MRS集群。 前往MRS管理控制台进行新建。 如何新建集群，请参见《 作业名称 是 MRS作业名称，只能包含英文字母、数字、“”，且长度为1~64个字符。 说明 作业名称不得包含中文字符、超出长度限制等。 如果作业名称不符合规则，将导致提交MRS作业失败。 参数 是 输入MRS的执行程序参数，多个参数间使用Enter键分隔。 属性 否 输入keyvalue格式的参数，多个参数间使用Enter键分割。

本章节主要介绍节点参考的MRS Flink Job。 功能 通过MRS Flink节点实现在MRS中执行预先定义的Flink作业。 参数 用户可参考下表配置MRS Flink节点的参数。 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“ ”等各类特殊字符，长度为1～128个字符。 MRS集群名 是 选择MRS集群。 如需新建集群，请参考以下方法： 单击，进入“集群列表”页面新建MRS集群。 前往MRS管理控制台进行新建。 Flink作业名称 是 MRS作业名称，只能包含英文字母、数字、“”，且长度为1~64个字符。 说明 作业名称不得包含中文字符、超出长度限制等。如果作业名称不符合规则，将导致提交MRS作业失败。 Flink作业资源包 是 选择Jar包。在选择Jar包之前，您需要先将Jar包上传至OBS桶中，并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中，具体操作请参考管理资源章节中的“新建资源”。 Flink作业执行参数 否 Flink作业执行的程序关键参数，该参数由用户程序内的函数指定。多个参数间使用空格隔开。 运行程序参数 否 为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能。 说明 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本，需要配置此参数。 MRS Flink作业的运行程序参数，请参见《MapReduce服务用户指南》的“管理集群>作业管理>运行Flink作业”章节。 输入数据路径 否 选择输入数据所在的路径。 输出数据路径 否 选择输出数据存储的路径。 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 − 最大重试次数 − 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。 失败策略 是 节点执行失败后的操作： 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划：暂停当前作业运行，当前作业实例状态显示为“等待运行”。 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。

参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 MRS集群名 是 选择MRS集群。如需新建集群，请参考以下方法： 单击，进入“集群列表”页面新建MRS集群。 前往MRS管理控制台进行新建。 Spark作业名称 是 MRS作业名称，只能包含英文字母、数字、“”，且长度为1~64个字符。 说明 作业名称不得包含中文字符、超出长度限制等。如果作业名称不符合规则，将导致提交MRS作业失败。 Jar包资源 是 选择Jar包。在选择Jar包之前，您需要先将Jar包上传至OBS桶中，并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中，具体操作请参考 Jar包参数 否 Jar包的参数。 运行程序参数 否 为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能。 说明 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本，需要配置此参数。MRS Spark作业的运行程序参数，请参见《 输入数据路径 否 选择输入数据所在的路径。 输出数据路径 否 选择输出数据存储的路径。

参数 说明 输入 新建 单击“新建”，在“类型”的下拉选项中选择要新建的类型。可以选择DWS，OBS，CSS，HIVE，CUSTOM和DLI类型。 DWS − 连接名称（必选）：单击 ，在弹出的“连接名称”窗口选择DWS的数据连接。 − 数据库（必选）：单击 ，在弹出的“数据库”窗口选择DWS的数据库。 − schema（必选）：单击 ，在弹出的“schema”窗口选择DWS的数据库模式。 − 表名（必选）：单击 ，在弹出的“表名”窗口选择DWS的数据表。 OBS − 路径（必选）：单击 ，在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS − 集群名称（必选）：单击 ，在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 − 索引名称（必选）：输入CSS类型的索引名称。 HIVE − 连接名称（必选）：单击 ，在弹出的“连接名称”窗口选择HIVE的数据连接。 − 数据库（必选）：单击 ，在弹出的“数据库”窗口选择HIVE的数据库。 − 表名（必选）：单击 ，在弹出的“表名”窗口选择HIVE的数据表。 CUSTOM − 名称（必选）：输入CUSTOM类型的名称。 − 属性（必选）：输入CUSTOM类型的属性，可新增不止一条。 DLI − 连接名称（必选）：单击 ，在弹出的“连接名称”窗口选择DLI的数据连接。 − 数据库（必选）：单击 ，在弹出的“数据库”窗口选择DLI的数据库。 − 表名（必选）：单击 ，在弹出的“表名”窗口选择DLI的数据表。 确定 单击“确认”，保存节点输入功能的参数配置。 取消 单击“取消”，取消节点输入功能的参数配置。 编辑 单击 ，修改节点输入功能的参数配置，修改完成后，请保存。 删除 单击 ，删除节点输入功能的参数配置。 查看表详情 单击 ，查看节点输入血缘关系创建数据表的详细信息。 输出 新建 单击“新建”，在“类型”的下拉选项中选择要新建的类型。可以选择DWS，OBS，CSS，HIVE，CUSTOM和DLI类型。 DWS − 连接名称（必选）：单击 ，在弹出的“连接名称”窗口选择DWS的数据连接。 − 数据库（必选）：单击 ，在弹出的“数据库”窗口选择DWS的数据库。 − schema（必选）：单击 ，在弹出的“schema”窗口选择DWS的数据库模式。 − 表名（必选）：单击 ，在弹出的“表名”窗口选择DWS的数据表。 OBS − 路径（必选）：单击 ，在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS − 集群名称（必选）：单击 ，在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 − 索引名称（必选）：输入CSS类型的索引名称。 HIVE − 连接名称（必选）：单击 ，在弹出的“连接名称”窗口选择HIVE的数据连接。 − 数据库（必选）：单击 ，在弹出的“数据库”窗口选择HIVE的数据库。 − 表名（必选）：单击 ，在弹出的“表名”窗口选择HIVE的数据表。 CUSTOM − 名称（必选）：输入CUSTOM类型的名称。 − 属性（必选）：输入CUSTOM类型的属性，可新增不止一条。 DLI − 连接名称（必选）：单击 ，在弹出的“连接名称”窗口选择DLI的数据连接。 − 数据库（必选）：单击 ，在弹出的“数据库”窗口选择DLI的数据库。 − 表名（必选）：单击，在弹出的“表名”窗口选择DLI的数据表。 确定 单击“确认”，保存节点输出功能的参数配置。 取消 单击“取消”，取消节点输出功能的参数配置。 编辑 单击 ，修改节点输出功能的参数配置，修改完成后，请保存。 删除 单击 ，删除节点输出功能的参数配置。 查看表详情 单击 ，查看节点输出血缘关系创建数据表的详细信息。

本章节主要介绍新建衍生指标。 衍生指标是原子指标通过添加限定、维度卷积而成，限定、维度均来源于原子指标中的属性。发布衍生指标时，会自动生成一张汇总表，可在“汇总表自动汇聚”下查看。 衍生指标原子指标+统计维度+时间限定+通用限定。 原子指标 ：明确统计口径，即计算逻辑。 统计维度 ：用于观察和分析业务数据的视角，支撑对数据进行汇聚、钻取、切片分析，用于SQL中的GROUP BY条件。 时间限定 ：时间限定是时间条件限制的标准化定义。 通用限定 ：统计的业务范围，筛选出符合业务规则的记录（类似于SQL中where后面的条件，不包括时间区间）。 前提条件 在新建衍生指标之前，请先确认原子指标已经新建并通过审核。 如果衍生指标将使用统计维度或时间限定，请先确认维度或时间限定已经新建并通过审核。 新建衍生指标并发布 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据架构”模块，进入数据架构页面。 2. 在数据架构控制台，单击左侧导航树中的“技术指标”，选择“衍生指标”页签进入衍生指标页面。 3. 在左侧的主题目录中选中一个主题，然后单击“新建”按钮，开始新建衍生指标。 4. 在新建衍生指标页面，根据页面提示配置参数。 下图为新建衍生指标参数说明 参数名称 说明 数据表 在下拉列表中选择即可。 所属主题 显示所属的主题信息。 原子指标 选择原子指标。 统计维度 在下拉列表中，选择一个或多个维度。此处只能选择原子指标所关联的事实表中的属性。 时间限定 在下拉框中选择所需要的时间限定，并选择关联的字段。系统预置了一些时间限定，如果不能满足需求，请参考新建时间限定进行创建。 通用限定 如需设置通用限定，可以单击“新建”按钮新建一个或多个通用限定。如图所示，在新建通用限定区域，通过以下配置新建一个通用限定。 限定名称：指定通用限定的名称。 添加条件(且)：单击该下拉框，选择“且条件”或者“或条件”可以添加相应的条件，然后在字段下拉框中选择一个字段，并根据页面提示设置条件。您可以添加多个条件。在某个条件后面单击删除按钮，可以将该条件删除。 添加公式(且)：单击该下拉框，选择“且公式”或者“或公式”可以添加相应的公式，然后再单击“编辑公式”按钮，在弹出对话框中选择所需要的“函数”和“字段”，并设置“表达式”。在某个公式后面单击删除按钮，可以将该公式删除。 告警配置 由衍生指标和表达式组成，表达式由告警参数和逻辑运算符组成。在指标运行时，系统将计算出告警条件表达式的结果，并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警，结果为假则不触发质量告警。 描述 描述信息。支持的长度为0~600个字符。 5. 参数配置完成后，单击“预览”，可以查看该衍生指标的相关信息，并定义名称、编码、数据类型、告警条件和描述等信息。 下表为预览衍生指标参数说明 参数名称 说明 名称 系统已根据原子指标、统计维度、时间限定等参数自动生成，您也可以自定义。 编码 系统已根据原子指标、统计维度、时间限定等参数编码自动生成，您也可以自定义。 数据类型 系统已根据原子指标的数据类型自动生成，您也可以自定义。 告警条件 告警条件表达式由告警参数和逻辑运算符组成。在指标运行时，系统将计算出告警条件表达式的结果，并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警，结果为假则不触发质量告警。 描述 描述信息。支持的长度为0~600个字符。 6. 在页面下方，单击“试运行”按钮，然后在弹出框中单击“试运行”按钮，测试所设置的衍生指标是否可以正常运行。 如果试运行失败，请根据错误提示定位错误原因，将配置修改正确后，再单击“试运行”按钮进行重试。 7. 如果试运行成功，单击“发布”，提交发布审核。 8. 在弹出框中单击“确认提交”，提交审核。 9. （可选）参考步骤2~步骤8，完成其他衍生指标的发布。 10. 等待审核人员审核。 审核通过后，衍生指标创建完成。

本章节主要介绍节点参考的MRS Spark SQL。 功能 通过MRS Spark SQL节点实现在MRS中执行预先定义的SparkSQL语句。 参数 用户可参考下表配置MRS Spark SQL节点的参数。 属性参数 参数 是否必选 说明 SQL脚本 是 选择需要执行的脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本先创建和开发脚本。 数据连接 是 默认选择SQL脚本中设置的数据连接，支持修改。 数据库 是 默认选择SQL脚本中设置的数据库，支持修改。 脚本参数 否 关联的SQL脚本如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。参数值支持使用表达式概述。若关联的SQL脚本，脚本参数发生变化，可单击刷新按钮同步。 运行程序参数 否 为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能 说明 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本，需要配置此参数。MRS SparkSQL作业的运行程序参数，请参见《MapReduce用户指南》中的“管理现有集群 > 作业管理 >运行SparkSql作业”。 节点名称 是 默认显示为SQL脚本的名称，支持修改。节点名称只能由字母、数字、中划线和下划线组成，并且长度为1～64个字符。 说明 节点名称不得包含中文字符、超出长度限制等。如果节点名称不符合规则，将导致提交MRS作业失败。 高级参数 参数 是否必选 说明 节点状态轮询时间（秒） 是 设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 − 最大重试次数 − 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。 失败策略 是 节点执行失败后的操作： 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划：暂停当前作业运行，当前作业实例状态显示为“等待运行”。 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。 血缘关系 参数 说明 输入 新建 单击“新建”，在“类型”的下拉选项中选择要新建的类型。可以选择DWS，OBS，CSS，HIVE，CUSTOM和DLI类型。 DWS − 连接名称（必选）：单击，在弹出的“连接名称”窗口选择DWS的数据连接。 − 数据库（必选）：单击，在弹出的“数据库”窗口选择DWS的数据库。 − schema（必选）：单击，在弹出的“schema”窗口选择DWS的数据库模式。 − 表名（必选）：单击，在弹出的“表名”窗口选择DWS的数据表。 OBS − 路径（必选）：单击，在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS − 集群名称（必选）：单击，在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 − 索引名称（必选）：输入CSS类型的索引名称。 HIVE − 连接名称（必选）：单击，在弹出的“连接名称”窗口选择HIVE的数据连接。 − 数据库（必选）：单击，在弹出的“数据库”窗口选择HIVE的数据库。 − 表名（必选）：单击，在弹出的“表名”窗口选择HIVE的数据表。 CUSTOM − 名称（必选）：输入CUSTOM类型的名称。 − 属性（必选）：输入CUSTOM类型的属性，可新增不止一条。 DLI − 连接名称（必选）：单击，在弹出的“连接名称”窗口选择DLI的数据连接。 − 数据库（必选）：单击，在弹出的“数据库”窗口选择DLI的数据库。 − 表名（必选）：单击，在弹出的“表名”窗口选择DLI的数据表。 确定 单击“确认”，保存节点输入功能的参数配置。 取消 单击“取消”，取消节点输入功能的参数配置。 编辑 单击，修改节点输入功能的参数配置，修改完成后，请保存。 删除 单击，删除节点输入功能的参数配置。 查看表详情 单击，查看节点输入血缘关系创建数据表的详细信息。 输出 新建 单击“新建”，在“类型”的下拉选项中选择要新建的类型。可以选择DWS，OBS，CSS，HIVE，CUSTOM和DLI类型。 DWS − 连接名称（必选）：单击，在弹出的“连接名称”窗口选择DWS的数据连接。 − 数据库（必选）：单击，在弹出的“数据库”窗口选择DWS的数据库。 − schema（必选）：单击，在弹出的“schema”窗口选择DWS的数据库模式。 − 表名（必选）：单击，在弹出的“表名”窗口选择DWS的数据表。 OBS − 路径（必选）：单击，在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS − 集群名称（必选）：单击，在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 − 索引名称（必选）：输入CSS类型的索引名称。 HIVE − 连接名称（必选）：单击，在弹出的“连接名称”窗口选择HIVE的数据连接。 − 数据库（必选）：单击，在弹出的“数据库”窗口选择HIVE的数据库。 − 表名（必选）：单击，在弹出的“表名”窗口选择HIVE的数据表。 CUSTOM − 名称（必选）：输入CUSTOM类型的名称。 − 属性（必选）：输入CUSTOM类型的属性，可新增不止一条。 DLI − 连接名称（必选）：单击，在弹出的“连接名称”窗口选择DLI的数据连接。 − 数据库（必选）：单击，在弹出的“数据库”窗口选择DLI的数据库。 − 表名（必选）：单击，在弹出的“表名”窗口选择DLI的数据表。 确定 单击“确认”，保存节点输出功能的参数配置。 取消 单击“取消”，取消节点输出功能的参数配置。 编辑 单击，修改节点输出功能的参数配置，修改完成后，请保存。 删除 单击，删除节点输出功能的参数配置。 查看表详情 单击，查看节点输出血缘关系创建数据表的详细信息。

参数 是否必选 说明 SQL或脚本 是 可以选择SQL语句或SQL脚本。 SQL语句 单击“SQL语句”参数下的文本框，在“SQL语句”页面输入需要执行的SQL语句。 SQL脚本 在“SQL脚本”参数后选择需要执行的脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本先创建和开发脚本。 说明 若选择SQL语句方式，数据开发模块将无法解析您输入SQL语句中携带的参数。 数据库名称 是 默认选择SQL脚本中设置的数据库，支持修改。 DLI环境变量 否 环境变量配置项需要以"dli.sql."或"spark.sql."开头。 环境变量的key为dli.sql.shuffle.partitions或dli.sql.autoBroadcastJoinThreshold时，不能包含><符号。 如果作业和脚本中同时配置了同名的参数，作业中配置的值会覆盖脚本中的值。 队列名称 是 默认选择SQL脚本中设置的DLI队列，支持修改。如需新建资源队列，请参考以下方法： 单击 ，进入DLI的“队列管理”页面新建资源队列。 前往DLI管理控制台进行新建。 脚本参数 否 关联的SQL脚本如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。参数值支持使用 刷新按钮同步。 节点名称 是 默认显示为SQL脚本的名称，支持修改。规则如下：节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 是否记录脏数据 是 单击 选择节点是否记录脏数据。 是：记录脏数据 否：不记录脏数据

参数 是否必选 说明 作业类型 是 选择“Flink SQL作业”。用户采用编写SQL语句来启动作业。 脚本路径 是 选择需要执行的Flink SQL脚本。如果脚本未创建，请参考 DLI队列 是 默认选择“共享队列”，用户也可以选择自定义的独享队列。 说明 当子用户在创建作业时，子用户只能选择已经被分配的队列。 CUs 是 一个CU是1核4G的资源配置。 并发数 是 并发数是指同时运行Flink SQL作业的任务数。 说明 并发数不能大于计算单元（CUs1）的4倍。 UDF Jar 否 当作业所属集群选择独享集群时，该参数有效。在选择UDF Jar之前，您需要将UDF Jar包上传至OBS桶中，并在“资源管理”页面中新建资源，具体操作请参考 异常自动启动 否 设置是否启动异常自动重启功能，当作业异常时将自动重启并恢复作业。 作业名称 是 填写DLI Flink作业的名称，只能包含英文字母、数字、“”，且长度为1~64个字符。默认与节点的名称一致。 作业名称添加工作空间前缀 否 设置是否为创建的作业名称添加工作空间前缀。 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。

参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 图名称 是 可以直接选择需要导入的图，也支持手动输入图名称。如需新建GES图，请前往GES管理控制台进行新建。 元数据 是 可以直接选择对应的元数据，也支持手动输入元数据的OBS路径。 边数据集 是 可以直接选择对应的边数据集，也支持手动输入边数据集的OBS路径。 点数据集 否 可以直接选择对应的点数据集，也支持手动输入点数据集的OBS路径。若不选择，则以边数据集中的点作为点数据集来源。 边处理 是 边处理支持如下几种方式： 允许重复边 不允许重复，忽略之后的重复边 不允许重复，覆盖之前的重复边 离线导入 否 是否离线导入，取值为是或者f否，默认取否。 是：表示离线导入，导入速度较快，但导入过程中图处于锁定状态，不可读不可写。 否：表示在线导入，相对离线导入，在线导入速度略慢，但导入过程中图并未锁定，可读不可写。 重复边忽略Label 否 重复边的定义，是否忽略Label。取值为是或者否，默认取是。 是：表示重复边定义不包含Label，即用<源点，终点>标记一条边，不包含Label。 否：表示重复边定义包含Label，即用<源点，终点，Label>标记一条边。 日志存储路径 否 用于存储导入图过程中不符合元数据定义的点、边数据集和详细日志。