此小节介绍云堡垒机的使用概要。 云堡垒机入手使用的基本流程： 通过Web浏览器、SSH客户端登录云堡垒机系统，依次创建用户、添加资源、配置权限策略，授予用户运维资源权限； 用户获取资源管理权限后，通过云堡垒机登录资源； 审计用户运维会话，以及审计用户登录系统和系统操作。 云堡垒机基础使用流程如下图所示。 使用流程简介： 操作步骤 说明 登录云堡垒机系统 成功购买CBH实例后，获取登录地址登录云堡垒机系统。admin是系统第一个可登录用户，用户密码为自定义设置的密码。 创建系统用户 创建CBH系统用户，一个用户对应一个系统登录帐号。 添加系统资源 添加资源信息，并纳管资源账户。 添加资源，可纳管资源包括Linux主机、Windows主机、数据库、应用系统等。 l 添加资源后，可纳管资源账户，实现自动登录资源进行运维管控。 配置运维权限 创建访问控制权限。 策略授权用户访问资源后，用户才有权限登录相应资源，才能对资源进行运维操作。 登录资源运维 授权用户通过CBH系统登录相应资源，不同资源类型可选择不同登录方式。 审计运维会话 在系统Web页面审计用户系统登录和操作，以及审计用户运维会话。

本节以下面这个ConfigMap为例，具体介绍ConfigMap的用法。 配置项创建后，可在工作负载环境变量、命令行参数和数据卷三个场景使用。 通过配置项设置工作负载环境变量 通过配置项设置命令行参数 使用配置项挂载到工作负载数据卷 本节以下面这个ConfigMap为例，具体介绍ConfigMap的用法。 apiVersion: v1 kind: ConfigMap metadata: name: cceconfigmap data: SPECIALLEVEL: Hello SPECIALTYPE: CCE 注意 在Pod里使用ConfigMap时，需要Pod和ConfigMap处于同一集群和命名空间中。 通过配置项设置工作负载环境变量 您可以在创建工作负载时将配置项设置为环境变量，使用valueFrom参数引用ConfigMap中的Key/Value。 apiVersion: v1 kind: Pod metadata: name: configmappod1 spec: containers: name: testcontainer image: busybox command: [ "/bin/sh", "c", "env" ] env: name: SPECIALLEVELKEY valueFrom: 使用valueFrom来指定env引用配置项的value值 configMapKeyRef: name: cceconfigmap 引用的配置文件名称 key: SPECIALLEVEL 引用的配置项key restartPolicy: Never 如果您需要将多个配置项的value值定义为pod的环境变量值，您只需要在pod中添加多个环境变量参数即可。 env: name: SPECIALLEVELKEY valueFrom: configMapKeyRef: name: cceconfigmap key: SPECIALLEVEL name: SPECIALTYPEKEY valueFrom: configMapKeyRef: name: cceconfigmap key: SPECIALTYPE 如果要将一个配置项中所有数据都添加到环境变量中，可以使用envFrom 参数，配置项中的 key 会成为 Pod 中的环境变量名称。 apiVersion: v1 kind: Pod metadata: name: configmappod2 spec: containers: name: testcontainer image: busybox command: [ "/bin/sh", "c", "env" ] envFrom: configMapRef: name: cceconfigmap restartPolicy: Never

参数 参数说明 名称 新建的配置项名称，同一个命名空间里命名必须唯一。 命名空间 新建配置项所在的命名空间。若不选择，默认为default。 描述 配置项的描述信息。 配置数据 配置项的数据。键值对形式，单击 添加。其中值支持String、JSON和YAML格式。 标签 配置项的标签。键值对形式，输入键值对后单击“添加”。

defaulttokenxxxxx Kubernetes为每个命名空间默认创建一个名为default的ServiceAccount，defaulttokenxxxxx为这个ServiceAccount的密钥，xxxxx是随机数。 $ kubectl get sa NAME SECRETS AGE default 1 30d $ kubectl describe sa default Name: default Namespace: default Labels: Annotations: Image pull secrets: Mountable secrets: defaulttokenvssmw Tokens: defaulttokenvssmw Events:

本节介绍资产概览信息。 资产概览显示资产总数、风险资产数、服务器离线数量、Agent安装率和安装数量，操作系统分布，安装软件TOP排行（支持倒序和正序），开放端口号TOP排行（支持倒序和正序）。

本页介绍天翼云TeleDB数据库登录操作。 未登录状态，只能看到TeleDB资源全生命周期管理模块首页，当单击操作按钮会跳转到登录页，资源全生命周期管理模块登录方式有两种，常规登录和LDAP登录。常规登录是资源全生命周期管理模块自身用户体系，可新建租户、用户、角色权限，还可基于通用LDAP协议做用户登录认证。登录需要填写用户账号、密码及验证码，登录后默认为最新创建的租户，可在头部菜单栏进行租户切换。

后续操作 发布完成后，您可以进入到“服务目录”，查看API信息。 也可以对API进行管理，请参见"管理API",或进一步在“运营管理 > 流控策略”页面设置流量控制等功能，请参见"流量控制"。

本节介绍如何创建数据脱敏策略，然后在数据目录中进行脱敏查询。 前提条件 数据分类规则已创建，数据分类规则的创建请参见数据分类。 数据连接，数据表已创建成功，敏感数据已被数据目录采集。 创建脱敏策略 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2. 选择“数据安全 > 脱敏策略”，在“脱敏策略”页面中，单击“新建”。 3. 绑定分类规则，配置脱敏算法并适配对应的算法类型。脱敏算法包含掩码，截断和哈希。每种脱敏算法对应多种算法类型，请根据产品界面进行选择，这里不再赘述。配置完成后单击“确定”。 说明 已被绑定脱敏算法的分类规则不支持被重复绑定。 详见下图：新建脱敏 4. 适配脱敏算法后，支持用户在线进行测试。输入测试数据，单击“测试”，在测试结果文本框中进行验证。 5. 开启或关闭状态，只有启用状态下的脱敏策略才可生效。 查看数据脱敏效果 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2. 选择“数据地图 > 数据目录”。 3. 在资产搜索结果列表，搜索脱敏后的数据表，进入数据表详情页面。 4. 单击“数据预览”，查看数据脱敏后的效果。

本章节主要介绍设置API可见。 操作场景 当需要修改API的在服务目录中的可见范围时，可以通过“设置可见”功能或编辑API中的“服务目录可见性”参数进行设置。 前提条件 已创建API。 通过“设置可见”功能修改API可见范围 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据服务”模块，进入数据服务页面。 详见下图： 选择数据服务 2.在左侧导航栏选择服务版本（例如：专享版），进入总览页。 3.进入“开发API > API目录”或“开发API > API管理”页面，在待修改的API所在行，选择“更多 >设置可见”。 4.在弹出的窗口中点击添加，填写项目ID并确认，即可设置此API在服务目录中额外对以该项目下的用户可见。 详见下图：设置可见 通过“服务目录可见性”参数修改API可见范围 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据服务”模块，进入数据服务页面。 详见下图： 选择数据服务 2.在左侧导航栏选择服务版本（例如：专享版），进入总览页。 3.进入“开发API > API目录”或“开发API > API管理”页面，在API列表操作列中，选择“编辑”。注意，仅当API处于已创建、已驳回、已下线、已停用的情况下才能进行API修改。 4.在基本配置处，修改“服务目录可见性”参数的取值，可以选择为“当前工作空间可见”、“当前项目可见”或“当前租户可见”。然后保存修改。 5.修改完成后，重新恢复或发布API，即可修改此API在服务目录中的可见范围。

本章节主要介绍元数据采集的元数据介绍。 按照传统的定义，元数据（Metadata）是关于数据的数据。元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中，元数据可以帮助数据仓库管理员和开发人员非常方便地找到他们所关心的数据，用于指导其进行数据管理和开发工作，提高工作效率。 将元数据按用途的不同分为两类：技术元数据（Technical Metadata)和业务元数据（Business Metadata）。 技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据。 业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够“读懂”数据仓库中的数据。 元数据管理模块是数据湖治理的基石，支持创建自定义策略的采集任务，采集数据源中的技术元数据。支持自定义业务元模型、批量导入业务元数据、关联业务和技术元数据、全链路的血缘管理和应用。

新建分组 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2. 选择“数据安全 > 数据分类”，在“分组”页签中，单击“新建”。 系统弹出“新建分组”对话框，填写相关配置，单击“确定”，完成创建分组。 参数设置参考下表，并勾选左侧列表中的分类规则。 用户所勾选的规则将显示在右侧列表中 参数配置表 配置 说明 名称 规则组名称只能包含中文、英文字母、数字和下划线。 描述 为更好的识别规则组，此处加以描述信息。描述信息长度不能超过4096个字符。

本章节主要介绍通过数据地图查看数据血缘关系的方案概述。 什么是数据血缘 大数据时代，数据爆发性增长，海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息，通过联姻融合、转换变换、流转流通，又生成新的数据，汇聚成数据的海洋。 数据的产生、加工融合、流转流通，到最终消亡，数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数据之间的这种关系，称之为数据的血缘关系。与人类社会中的血缘关系不同，数据的血缘关系还包含了一些特有的特征： 归属性 ：一般来说，特定的数据归属特定的组织或者个人，数据具有归属性。 多源性 ：同一个数据可以有多个来源（多个父亲）。一个数据可以是多个数据经过加工而生成的，而且这种加工过程可以是多个。 可追溯性 ：数据的血缘关系，体现了数据的生命周期，体现了数据从产生到消亡的整个过程，具备可追溯性。 层次性 ：数据的血缘关系是有层次的。对数据的分类、归纳、总结等对数据进行的描述信息又形成了新的数据，不同程度的描述信息形成了数据的层次。 详见下图：数据血缘关系示例 DataArts Studio数据血缘实现方案 数据血缘的产生： 在DataArtsStudio平台，自动分析血缘是通过在数据开发模块中配置数据处理迁移类型的节点产生的，当前支持采集节点静态配置产生的血缘和部分节点实例上的血缘。详情请参见 配置数据血缘章节中的 自动分析血缘。 另外，DataArtsStudio平台还支持手动配置血缘方式，当用户手动配置血缘时，自动分析血缘将不生效。详情请参见 配置数据血缘章节中的 手动配置血缘。 数据血缘的展示： 当数据开发模块中的作业已完成血缘关系配置后，启动作业调度，并在数据目录模块进行元数据采集任务，则可以在数据目录模块可视化查看数据血缘关系。

查看数据血缘关系 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2. 在“数据目录 > 技术资产”页面，可以对数据开发的作业、节点、表进行查询。 在“类型”筛选区域，单击“全部”按钮并勾选“Job”、“Node”和“Table”类型，然后单击“确定”。数据开发中的作业对应于Job类型，节点对应于Node类型，表对应于Table类型。 说明 数据开发中的作业信息不属于任何一个数据连接，故如果在搜索条件中勾选数据连接，则查询不到结果。 详见下图：选择类型 3. 在数据资产搜索结果中，类型名称末尾带“job”的数据资产为作业，单击某一作业名称，可以查看该作业的详情。在作业的详情页面进入“作业”页签，单击“编辑”可跳转到数据开发的作业编辑页面。 详见下图：查看作业 4. 在数据资产搜索结果中，类型名称末尾带“node”的数据资产为节点，单击某一节点名称，可以查看节点的详情。在节点（需是支持血缘的节点类型）详情页面，可以查看节点的血缘信息。 单击血缘图中节点左右两端“+”、“”图标，可以进一步展开查看血缘的上下链路。 单击血缘图中的某一个节点，可以查看该节点的详情。 进入“作业”页签，单击“编辑”可跳转到数据开发的作业编辑页面。 详见下图：查看节点血缘 5. 在数据资产搜索结果中，图标为表格的数据资产为表，单击某一表名称，可以查看表的详情。在详情页面，可以查看表的血缘信息。 单击血缘图中表左右两端“+”、“”图标，可以进一步展开查看血缘的上下链路。 单击血缘图中的某一个表，可以查看该表的详情。 详见下图：查看表血缘

本章节主要介绍DataArts Studio的DateUtil内嵌对象功能。 DateUtil内嵌对象提供了一系列时间格式化、时间计算方法。 方法 方法说明 方法 描述 String format(Date date, String pattern) 将Date类型时间按指定pattern格式为字符串。 Date addMonths(Date date, int amount) 给date添加指定月数后，返回新Date对象，amount可以是负数。 Date addDays(Date date, int amount) 给date添加指定天数后，返回新Date对象，amount可以是负数。 Date addHours(Date date, int amount) 给date添加指定小时数后，返回新Date对象，amount可以是负数。 Date addMinutes(Date date, int amount) 给date添加指定分钟数后，返回新Date对象，amount可以是负数。 int getDay(Date date) 从date获取天，例如：date为20180914，则返回14。 int getMonth(Date date) 从date获取月，例如：date为20180914，则返回9。 int getYear(Date date) 从date获取年，例如：date为20180914，则返回2018。 Date now() 返回当前时间。 long getTime(Date date) 将Date类型时间转换为long类型。 Date parseDate(String str, String pattern) 字符串按pattern转换为Date类型，pattern为日期、时间模式，请参考日期和时间模式。 举例 以作业调度计划时间的前一天时间作为子目录名称，生成一个OBS路径，EL表达式如下： {"obs://test/"+DateUtil.format(DateUtil.addDays(Job.planTime,1),"yyyyMMdd")}

属性 类型 描述 dataArray String For循环算子输入的数据集，是一个二维数组。 current String For循环算子当前遍历到的数据行,是一个一维数组。 offset Int For循环当前的偏移量，从0开始。Loop.dataArray[Loop.offset] Loop.current。

提交Spark作业 用户需要在数据开发模块中创建一个作业，通过作业的DLI Spark节点提交Spark作业。 1. 创建一个数据开发模块空作业，作业名称为“jobDLISpark”。 创建作业 2. 然后进入作业开发页面，拖动DLI Spark节点到画布并单击，配置节点的属性。 配置节点属性 关键属性说明： DLI集群名称：DLI中创建的Spark集群。 作业运行资源：DLI Spark节点运行时，限制最大可以使用的CPU、内存资源。 作业主类：DLI Spark节点的主类，本例的主类是“org.apache.spark.examples.SparkPi”。 Jar包资源：步骤3中创建的资源。 3. 作业编排完成后，单击，测试运行作业。 作业日志（仅参考） 4. 如果日志运行正常，保存作业并提交版本。

{Job.getNodeStatus("nodename")} 这个表达式的作用为获取指定节点的执行状态，成功状态返回success，失败状态返回fail。本例使用中，IF条件表达式分别为： 上面的A分支IF条件表达式为： {(Job.getNodeStatus("CDM")) "success" ? "true" : "false"} 下面的B分支IF条件表达式为： {(Job.getNodeStatus("CDM")) "fail" ? "true" : "false"} 输入IF条件表达式后，配置IF条件匹配失败策略，可选择仅跳过相邻的下一个节点，或者跳过该IF分支后续所有节点。配置完成后点击确定，保存作业。 配置失败策略 5. 测试运行作业，并前往实例监控中查看执行结果。 6. 待作业运行完成后，从实例监控中查看作业实例的运行结果，如下图所示。可以看到运行结果是符合预期的，当前CDM执行的结果为fail的时候，跳过A分支，执行B分支。 作业运行结果

本章节主要介绍新建一个质量作业的操作。 场景说明 开发质量作业是为了监控数据质量。本章以新建一个质量作业为例，介绍如何开发质量作业。 操作步骤 1.在DataArts Studio控制台首页，选择实例，单击“进入控制台”，选择对应工作空间的“数据质量”模块，进入数据质量页面。 2.创建规则模板。 a.单击左侧导航“规则模板”，默认展示系统自定义的规则。数据质量的规则包含6个维度，分别是：完整性、唯一性、及时性、有效性、准确性、一致性。 b.可选 : 单击“新建”，可自定义创建规则。 说明 本例使用系统自定义的规则即可。 3.创建质量作业。 a.单击左侧导航“质量作业”。 b.单击“新建”，配置质量作业的基本信息，如下图所示。 c.单击“下一步”，进入规则配置页面。您需要单击规则卡片中的，然后配置规则信息，如下图所示。 d.单击“下一步”，配置告警信息，如下图所示。 e.单击“下一步”，配置订阅信息，如下图所示。 f.单击“下一步”，配置调度信息，如下图所示。 g.单击“提交”，完成质量作业的创建。 4.在质量作业表中，单击操作列的“运行”，跳转到运维管理模块。 a.待质量作业运行成功后，单击左侧导航菜单的“质量报告”。 b.默认展示技术报告，如下图所示。 c.单击“业务报告”页签，查看业务报告，如下图所示。

本章节主要介绍查看实例的操作。 界面说明 介绍“数据质量规则运维管理”页面中的区域和按键功能。 详见如下：页面区域说明 下表是数据质量规则运维管理页面 序号 区域 描述 1 导航栏 左侧导航栏，包括数据质量规则的存储目录。 用户可以根据实际需要对规则进行分目录存放，每级目录旁边的数字代表属于该级目录的规则实例的个数。 2 规则实例列表 展示实例名称、运行状态、运行结果等信息。 3 搜索区域 可以选择性的展示规则实例，例如运行的开始时间和结束时间处于某一时间区间实例。 根据处理人、创建人、实例名称进行搜索展示规则实例的列表信息，输入内容支持模糊搜索。 下表是规则实例列表说明 菜单/按键 说明 实例名称 由“规则名称数字”组成，数字越大，表示该实例创建的时间越近。 类型 显示作业类型，当前包含质量作业和对账作业。 运行状态 展示实例运行状态，包含成功、失败和运行中、告警。右侧弹窗分选项卡可查看规则实例的详细运行日志信息。 成功：表示实例正常结束，且执行结果符合预期。 失败：表示实例未正常结束。 告警：表示实例正常结束，但执行结果不符合预期。 运行中：表示实例正在运行中，无执行结果。 通知状态 展示实例通知状态，包含成功、失败和未触发。 开始时间 展示实例开始运行的时间。 运行时间 展示实例的运行时长。 重跑 再次运行规则实例。 结果&日志 详细展示作业实例的运行结果和日志。 对账作业结果 对账作业运行结果中，左侧表示源端表行数规则运行结果，右侧表示目的端表行数规则运行结果，误差率表示两端数据行数的差异比率，误差率为0表示两端一致。 处理&记录 对当前规则实例进行进一步处理。支持填写处理意见，关闭问题和移交他人。 如果实例的处理人是当前登录用户则可以对规则实例进行处理操作，包括填写意见和转交给他人处理。

本章节主要介绍节点参考的节点概述。 节点定义对数据执行的操作。数据开发模块提供数据集成、计算&分析、数据库操作、资源管理等类型的节点，您可以根据业务模型选择所需的节点。 节点的参数支持使用EL表达式，EL表达式的使用方法详见表达式概述。 节点间的连接方式支持串行和并行。 串行连接：按顺序逐个执行节点，当A节点执行完成后，再执行B节点。 并行连接：A节点和B节点同时执行。 详见下图：连接示意图

本章节主要介绍DataArts Studio的表达式使用示例流程。 通过本示例，用户可以了解数据开发模块EL表达式的如下应用： 如何在数据开发模块的SQL脚本中使用变量？ 作业如何传递参数给SQL脚本变量？ 在参数中如何使用EL表达式？ 背景信息 使用数据开发模块的作业编排和作业调度功能，每日通过统计交易明细表，生成日交易统计报表。 本示例涉及的数据表如下所示： tradelog：记录每一笔交易数据。 tradereport：根据tradelog统计产生，记录每日交易汇总。 前提条件 已建立DLI的数据连接，以“dlidemo”数据连接为例。 如未建立，请参考创建数据连接进行操作。 已在DLI中创建数据库，以“dlidb”数据库为例。 如未创建，请参考新建数据库进行操作。 已在“dlidb”数据库中创建数据表tradelog和tradereport。 如未创建，请参考新建数据表进行操作。 操作步骤 1.新建和开发SQL脚本。 a.在数据开发模块控制台的左侧导航栏，选择“数据开发 > 脚本开发”。 b.进入右侧区域页面，选择“新建SQL脚本 > DLI”。 c.进入SQL脚本开发页面，在脚本属性栏选择“数据连接”、“数据库”、“资源队列”。 d.在脚本编辑器中输入以下SQL语句。 INSERT OVERWRITE TABLE tradereport SELECT sum(tradecount), '${yesterday}' FROM tradelog where dateformat(tradetime, 'yyyyMMdd') '${yesterday}' e.单击，将脚本的名称设置为“generatetradereport”。 2.新建和开发作业。 a.在数据开发模块控制台的左侧导航栏，选择“数据开发 > 作业开发”。 b.进入右侧区域页面，单击“新建作业”，新建一个名称为“job”的空作业。 c.进入作业开发页面，将DLI SQL节点拖至画布中，单击其图标并配置“节点属性”。 关键属性说明： SQL脚本：关联步骤1中开发完成的SQL脚本“generatetradereport”。 数据库名称：自动填写SQL脚本“generatetradereport”中选择的数据库。 队列名称：自动填写SQL脚本“generatetradereport”中选择的资源队列。 脚本参数：显示SQL脚本“generatetradereport”中的参数“yesterday”，输入以下EL表达式作为其参数值。

本章节主要介绍运维调度的运维概览。 在“运维调度 > 运维概览”页面，用户可以通过图表的形式查看作业实例的统计数据，目前支持查看以下四种统计数据。 今日作业实例调度情况概览 近七天作业实例调度情况概览 近30天作业实例执行时长排行TOP 10 单击作业名称，跳转至“实例监控”页面，查看执行时间长的作业实例的详细运行记录。 近30天作业实例运行失败TOP 10 单击“运行失败次数”列的统计次数，跳转至“实例监控”页面，查看运行异常的作业实例的详细运行记录。

本章节主要介绍节点参考的 For Each。 功能 该节点可以指定一个子作业循环执行，并支持用一个数据集对子作业中的变量进行循环替换。 参数 用户可参考下表配置For Each节点的参数。 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“ ”等各类特殊字符，长度为1～128个字符。 循环执行的子作业 是 选择需要循环执行的子作业。 数据集 是 For循环算子需要定义一个数据集，这个数据集用来循环替换子作业中的变量，数据集的一行数据会对应一个子作业实例。数据集的来源包括： 来自于上游节点的输出。例如DLI SQL、Hive SQL、Spark SQL的select语句，或者Shell节点的echo等。使用EL表达式为： {Job.getNodeOutput('preNodeName')}，即前一个节点的输出值。 来自于给定的数组。如一维数组：[['001'],['002'],['003']] 。 子作业并发数 是 循环产生的子作业可以并发执行，您可设置并发数。 子作业实例名称后缀 否 For循环生成的子任务名称：For循环节点名称 + 下划线 + 后缀。后缀可配置，如果不配置，则按照数字顺序依次递增。 作业运行参数 否 仅当子作业配置作业参数后，出现该参数。 节点属性中子作业参数配置为空时，子作业使用自身参数变量执行。 节点属性中子作业参数配置后，将使用配置参数变量执行。节点属性中子作业参数配置的方法或者EL表达式，将根据父作业的环境变量读取替换。 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 − 最大重试次数 − 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。 失败策略 是 节点执行失败后的操作： 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划：暂停当前作业运行，当前作业实例状态显示为“等待运行”。 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。

参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。

在DWS端自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如下图所示。例如使用CDM将Oracle整库迁移到DWS，CDM在DWS上自动建表，会将Oracle的 NUMBER(3,0) 字段映射到DWS的 SMALLINT 。 图 自动建表的字段映射

本章节主要介绍数据目录的数据安全简介。 应用背景 数据安全为数据湖提供数据生命周期内统一的数据使用保护能力。通过敏感数据识别、分级分类、隐私保护、资源权限控制、数据加密传输、加密存储、数据风险识别以及合规审计等措施，帮助用户建立安全预警机制，增强整体安全防护能力，让数据可用不可得和安全合规。 说明 在已上线数据安全组件的区域，数据安全功能已由数据安全组件提供，不再作为数据目录组件能力。 功能模块 数据安全包括： 数据密级 对数据进行等级划分，方便数据的管理。 数据分类 基于数据密级，可以进行数据分类，来有效识别数据库内的敏感数据。 脱敏策略 基于数据分类，可以通过创建脱敏策略，实现数据资产的脱敏和隐私保护。

本章主要介绍数据密级管理，包括密级的创建、删除和调整优先级。 只有在创建密级之后，您才可以创建数据分类，进而创建脱敏策略进行数据脱敏。 前提条件 无。 进入数据密级管理页面 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2. 选择“数据安全 > 数据密级”，用户可以在该页面新建、管理和删除分级，也可以调整分级的优先级。 创建分级：单击“数据密级”页签左上角的“新建”，输入名称和描述。 删除：在“数据密级”页签，勾选不需要的分级，单击左上角的“删除”。 调整优先级：在“数据密级”页签，单击相应分级后的上移（提高优先级）和下移（降低优先级）。

本章节主要介绍数据权限的数据表权限。 用户可以在“我的权限”页面，查看工作空间内自己拥有的表和列权限，并对表和列的权限进行申请或交还。 管理员角色的用户具备管理“用户权限”的功能，即管理员可查看已在该工作空间内申请过权限的所有用户的资源权限。 申请表/列权限 说明 当前版本仅支持DLI数据表权限控制。 因申请表/列权限，需要审批人审批后方生效。所以申请表/列权限前，请先参见 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2. 选择“数据权限 > 数据表权限”，在“我的权限”页签中单击“申请”。 3. 输入使用场景说明，选择对应数据连接、数据库和数据表。 4. 选择需要申请的表/列权限。 申请单张表/列权限。 勾选自己当前无权限但需要使用的表权限/列权限。 申请多张表/列权限。 批量选择多张表后，在权限信息页面依次勾选需要使用的表/列权限。 详见下图：申请表/列权限信息 5. 单击“确定”，系统弹出提交对话框。配置审批人后，单击“确定”。 6. 等待审批人审批。待审批人审批后，权限即生效。

本章节主要介绍数据目录的数据目录。 通过数据目录可以对资产进行搜索、过滤、查看详情、查看血缘、查看关系、添加分类与标签等操作。 资产搜索 通过资产名称和描述的关键字或按所有属性搜索资产，支持模糊搜索。 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图： 选择数据目录 2.选择“数据地图 > 数据目录”。 3.在资产搜索输入框输入需要查找的数据关键字进行搜索，搜索结果以列表方式显示。 按名称和描述搜索：表示按照资产的名称和描述进行搜索。 按所有属性搜索：表示按照资产的全部属性（即详情页中展示的属性）进行搜索。 说明 支持保存当前设置的搜索条件。 支持导入搜索条件。 资产筛选 对资产搜索结果，可以基于条件进行筛选，支持的筛选条件类别如下： 数据连接：数据资产所属数据连接名称。 类型：数据资产所属类型。 分类：数据资产所属分类。 标签：数据资产所包含的标签。 密级：数据资产所属密级。 如下通过资产类型过滤搜索结果，其他类同。 1. 在类型过滤区域，选择“Table”，搜索结果显示属于Table类型的资产。 2. 类型过滤条件按照名称排序，默认只显示前五种类型，单击“全部”，显示系统目前支持的所有资产类型。 资产详情 以查看数据表详情为例。 1.在资产搜索结果列表，单击任意数据表，进入数据表详情页面。 2.在“详情”页签，可查看技术元数据基本属性、编辑描述；可给数据表添加标签和密级；可给数据表的列和OBS对象添加或删除分类、标签和密级。 详见下图：查看详情 3.在“列属性”页签，可查看数据表的列属性，给数据列添加或删除分类、标签和密级，并编辑描述。 详见下图：管理列属性 4.在“血缘”页签，可查看数据表的血缘关系，包括血缘和影响。如何配置数据血缘请参见节点数据血缘。节点配置血缘关系后，作业执行时可以自动解析，然后数据目录采集元数据时会采集上来，在数据目录中展示。 5.在“概要”页签，查看数据表的概要信息（当前仅支持DWS、DLI类型数据表查看概要）。单击“更新”，可更新概要信息。 6.在“数据预览”页签，查看数据表脱敏后的效果。 7.在“变更记录”页签，查看数据表变更详情。

本章节主要介绍节点数据血缘的配置数据血缘。 在DataArts Studio平台，自动分析血缘是通过在数据开发模块中配置数据处理迁移类型的节点产生的，当前支持采集节点静态配置产生的血缘和部分节点实例上的血缘。详情请参见下方 自动分析血缘。 另外，DataArts Studio平台还支持手动配置血缘方式，当用户手动配置血缘时，自动分析血缘将不生效。详情请参见下方 手动配置血缘。 自动分析血缘 自动分析血缘是通过在数据开发模块中配置数据处理迁移类型的节点产生的，当作业中包含如下节点时，系统支持自动解析血缘。 SQL类型节点 DataArts Studio目前支持对DLI SQL、DWS SQL和MRS Hive SQL节点的血缘解析，可以支持多SQL解析及列级血缘解析，当语句中有临时表时，会自动在数据目录中创建相关的临时表实体。 − DLI SQL 支持解析DLI中表与表之间数据插入产生的血缘。 支持通过建表语句产生的OBS文件到DLI表之间的血缘。 − DWS SQL 支持Create table like/as等DDL操作产生的DWS表之间的血缘。 支持Insert into等DML操作产生的DWS表之间的血缘。 − MRS Hive SQL 支持Create table like/as等DDL操作产生的MRS表之间的血缘。 支持Insert into/overwrite等DML操作产生的MRS表之间的血缘。 数据集成类型节点 目前支持对CDM Job节点、ETL Job节点和OBS Manager节点的血缘解析。 − CDM Job 支持MRS Hive、DLI、DWS、RDS、OBS以及CSS之间表文件迁移所产生的血缘。 − ETL Job 支持DLI、OBS、MySQL以及DWS之间的ETL任务产生的血缘。 − OBS Manager 支持OBS之间目录和文件复制迁移产生的血缘。 说明 当前血缘解析能力，单条sql语句不支持sql中含有分号的场景。

导出规则模板 系统支持将自定义的规则模板批量导出，一次最多可导出200个规则模板。 1.选择“数据质量监控 > 规则模板”，选择要导出的自定义规则模板。 2.单击“导出”，弹出“导出规则模板”对话框。 3.单击“导出”，切换到“导出记录”页签。 4.在导出文件列表中，单击最新导出文件对应的“下载”，可将规则模板的Excel表格下载到本地。 导入规则模板 系统支持将自定义的规则模板批量导入，一次最大可导入1M数据的文件，并且最多200个规则模板。 1.选择“数据质量监控 > 规则模板”，单击“导入”，弹出“导入规则模板”对话框。 2.在“导入配置”页签，选择模板名称重名策略。 终止：如果模板名称有重复，则全部导入失败。 跳过：如果模板名称有重复，会忽略后继续导入。 3.单击“上传文件”，选择准备好的数据文件。 说明 可通过如下两种方式填写数据文件： (推荐使用)通过“导出”功能，可将数据直接/或修改后批量导入系统。 通过“下载Excel模板”，将数据填写好再导入至系统中。 4.配置目录的映射资源信息，选择导入后的规则模板存储目录。 5.单击“导入”，将填好的Excel表格模板导入到系统。 6.单击“导入记录”页签，可查看对应的导入记录。

本章节主要介绍批量管理作业。 操作场景 这里以表/文件迁移的作业为例进行介绍，指导用户批量管理CDM作业，提供以下操作： 作业分组管理 批量运行作业 批量删除作业 批量导出作业 批量导入作业 批量导出、导入作业的功能，适用以下场景： CDM集群间作业迁移：例如需要将作业从老版本集群迁移到新版本的集群。 备份作业：例如需要将CDM集群停掉或删除来降低成本时，可以先通过批量导出把作业脚本保存下来，仅在需要的时候再重新创建集群和重新导入作业。 批量创建作业任务：可以先手工创建一个作业，导出作业配置（导出的文件为JSON格式），然后参考该作业配置，在JSON文件中批量复制出更多作业，最后导入CDM以实现批量创建作业。 操作步骤 1.进入CDM主界面，单击左侧导航上的“集群管理”，选择集群后的“作业管理”。 2.单击“表/文件迁移”显示作业列表，提供以下批量操作： 作业分组 CDM支持对分组进行新增、修改、查找、删除。删除分组时，会将组内的所有作业都删除。 创建作业的第三步任务配置中，如果已经将作业分配到了不同的分组中，则这里可以按分组显示作业、按组批量启动作业、按分组导出作业等操作。 批量运行作业 勾选一个或多个作业后，单击“运行”可批量启动作业。 批量删除作业 勾选一个或多个作业后，单击“删除”可批量删除作业。 批量导出作业 单击“导出”，弹出批量导出页面，如下图。 图 批量导出页面 −全部作业和连接：勾选此项表示一次性导出所有作业和连接。 −全部作业：勾选此项表示一次性导出所有作业。 −全部连接：勾选此项表示一次性导出所有连接。 −按作业名导出：勾选此项并选择需要导出的作业，单击确认即可导出所选作业。 −按分组导出：勾选此项并下拉选择需要导出的分组，单击确认即可导出所选分组。 批量导出可将需要导出的作业导出保存为JSON文件，用于备份或导入到别的集群中。 说明 由于安全原因，CDM导出作业时没有导出连接密码，连接密码全部使用“Add password here”替换。 批量导入作业 单击“导入”，选择JSON格式的文件导入或文本导入。 −文件导入：待导入的作业文件必须为JSON格式（大小不超过1M）。如果待导入的作业文件是之前从CDM中导出的，则导入前必须先编辑JSON文件，将“Add password here”替换为对应连接的正确密码，再执行导入操作。 −文本导入：无法正确上传本地JSON文件时可选择该方式。将作业的JSON文本直接粘贴到输入框即可。