删除系统数据 当系统数据盘使用率高于95%后，可能导致系统故障无法使用。为确保系统数据盘的正常使用，您可参考本小节配置自动删除或定期手动删除系统数据。 通过自动或手动删除的系统数据，主要为数据盘暂存的文件，包括历史会话视频大文件、本地备份的日志文件、本地备份的系统配置文件等。 系统数据被删除后，默认不可找回，请谨慎操作。 约束限制 “手动删除”不能删除具体某一天的数据。手动删除选择日期，即删除该日期之前的全部数据。 前提条件 用户已获取“系统”模块管理权限。 配置自动删除 1 登录云堡垒机系统。 2 选择“系统 > 数据维护 > 存储配置”，进入系统存储配置管理页面。 3 在“自动删除”区域，单击“编辑”，弹出自动删除配置窗口，配置相关参数。 配置自动删除 配置自动删除 参数 说明 自动删除 选择开启或关闭自动删除功能，默认。 l，表示开启自动删除功能。根据数据存储时间和数据盘空间使用率，触发自动清除。 l，表示关闭自动删除功能。 自动删除（天）前数据 数据存储天数超过设定时长，将会被自动清除。 l 默认为180天。 l 取值范围为1～10000，单位为天。 空间满时覆盖之前数据 数据盘使用率超过90%时，将自动删除数据。 选择开启或关闭，默认。 l，表示关闭该功能。 l，表示开启该功能。 l 自动删除规则： − 系统每隔30min检查一次数据盘使用率。当使用率低于90%时，则停止删除。 − 优先删除存储时间更久远的数据，默认先删除180天之前的数据。 − 若删除180天之前数据后，数据盘使用率仍高于90%，则逐日依次删除数据。 − 当天数据不能被自动删除。 4 单击“确认”，返回存储配置管理页面，查看配置的自动删除信息。 自动删除配置信息

DTS计费详情 说明 数据迁移功能，规格按照从小、中、大、超大、 极大，资费逐渐升高，规格越高，传输性能越好。 数据同步功能，规格按照从小、中、大、超大、 极大、特大，资费逐渐升高，规格越高，传输性能越好。 RPS 表示 DTS 每秒增量迁移/同步至目标表的数据行数。在实际网络环境中，RPS 会受源数据库的运行负载、网络带宽、网络延时等多种因素的影响，因此如下数据仅提供参考。 功能类型 链路规格 包年包月（元/月） 按需（元/小时） RPS性能上限 数据迁移 小规格 / 1.02 1000 数据迁移 中规格 / 1.80 3000 数据迁移 大规格 / 2.88 5000 数据迁移 超大规格 / 5.18 7000 数据迁移 极大规格 / 9.20 12000 数据同步 小规格 768 1.60 1000 数据同步 中规格 1104 2.30 3000 数据同步 大规格 1656 3.45 5000 数据同步 超大规格 2486.4 5.18 7000 数据同步 极大规格 4056 8.45 12000 数据同步 特大规格 5625.6 11.72 30000 包年预付费优惠政策：一年 85 折，2 年 7 折，3 年享受 5 折优惠。 数据迁移资费从2026年5月28日起生效。

规范化的数据如何使用？ 规范化的数据可以作为BI的基本信息，也可以作为上层应用的源数据，也可以接入各类数据可视化报表等。 数据架构支持逆向数据库吗？ 数据架构支持逆向数据库。 目前数据架构支持基于数据仓库服务（DWS）、MapReduce服务（MRS Hive）的数据库逆向。 数据架构中的指标与数据质量的指标的区别？ 数据架构中指标侧重业务维度，用来衡量目标总体特征的统计数值；数据质量中指标侧重监控维度，用来管理所有业务指标，包括指标的来源、定义等。 注意，数据质量模块的指标与数据架构模块的业务指标、技术指标当前是相互独立的，不支持交互。 为什么数据架构更新表后无变化？ 用户在数据架构中更新了表，但实际上表数据并无变化，这是因为在更新前未对数据表更新方式做配置。配置数据表更新方式操作如下： 1. 单击“数据架构 > 配置中心”。 2. 单击“功能配置”页签。 3. “数据表更新方式”选择“重建数据表”。 4. 单击“确定”，完成配置。 表是否可配置生命周期管理？ 目前暂不支持表生命周期管理的配置。

本页介绍数据同步实例的订购、续订和退订操作说明。 订购数据同步实例的具体操作流程与订购数据迁移实例类似，可参照订购数据迁移实例。 续订数据同步实例的具体操作流程与续订数据迁移实例类似，可参照续订数据迁移实例。 退订数据同步实例的具体操作流程与退订数据迁移实例类似，可参照退订数据迁移实例。 注意 订购数据同步实例时，支持包周期和按需两种计费方式。 续订数据同步实例时，仅针对计费方式为包周期的实例。

如果不再需要某个数据空间，可以参照本节进行删除。 约束与限制 系统创建默认数据空间不支持删除操作。 如果待删除数据空间中，存在数据管道，则该数据空间不能直接删除。您需要先删除数据管道，再删除数据空间。 操作步骤 1. 登录管理控制台。 2. 单击页面左上方的，选择“安全 > 态势感知（专业版）”，进入态势感知（专业版）管理页面。 3. 在左侧导航栏选择“工作空间 > 空间管理”，并在工作空间列表中，单击目标工作空间名称，进入目标工作空间管理页面。 4. 在左侧导航栏选择“日志审计 > 安全数据”，进入安全分析页面。 5. 在需要删除的数据空间所在行的“操作”列，单击“删除”。 6. 在弹出的对话框中单击“确认”，完成删除数据空间的操作。 注意 如果待删除数据空间中，存在数据管道，则该数据空间不能直接删除。您需要先删除数据管道，再删除数据空间。

本文主要介绍数据智能中台的术语解释。 元数据（Metadata） 元数据是描述数据的数据，主要是描述数据的，用来支持如指示存储位置、历史数据、查找、文件记录等功能。元数据主要有三类：业务元数据、技术元数据、管理元数据。 数据标准（Datastandard） 数据标准是公司层面共同遵守的数据含义和应用规则，是对数据项的统一解释。 多模态数据（Multimodaldata） 多模态数据是指同时包含多种形式的信息，比如文字、图片、声音、视频、传感器数据等。 模型上下文协议（Model Context Protocol） MCP是一种轻量级、语言无关的通信协议，旨在解决AI模型交互中的上下文管理问题。它提供了一套标准化的方法来创建、维护和销毁交互上下文，特别适合需要状态保持的AI应用场景。 多模态算子（Multimodal operators） 多模态算子是指能够引用多模态算法进行多模态数据处理的组件。 原始数据集（Raw Dataset） 通过数据集上传入口上传的，未在平台内进行任何处理的数据集。 预处理数据集（Preprocessing datasets） 业务数据经采集并加工处理后形成的数据集，或原始数据集经过加工处理后生成的数据集。 高质量数据集（Highquality datasets） 经过采集、加工、标注等数据处理过程，可直接用于开发和训练人工智能模型，能有效提升模型性能的数据的集合。

本章节主要介绍高质量数据集平台如何管理预处理数据集。 预处理数据集是由数据加工任务生成的数据集； 【1】检索同步状态：表示该数据集的信息是否已同步给数据检索，同步完成后，该数据集即可在数据检索页面进行检索； 【2】标注同步状态：表示该数据集的信息是否已同步至标注平台，同步完成后，该数据集即可在创建标注任务时进行选择； 【3】数据集状态：表示该数据集是否生成完成； 【查看】支持查看数据集的详情； 【删除】支持删除该数据集； 【授权】支持将数据集授权给个人或团队； 【版本管理】指能够查看数据集的版本情况，可进行版本管理；同一时刻只能拥有一个有效版本。 【血缘分析】支持查看该数据集的血缘情况； 【评测报告】支持查看该数据集已有的评测报告，点击查看报告可跳转至报告页面； 【评测分析】指用户可选择该数据集的所有评测报告，按照整体及分维度两个方面进行数据集评测得分的趋势分析。 【创建评测】支持快速创建该数据集的评测任务，跳转至评测任务创建页面。

与用户的应用程序配合使用 当您的应用程序需要对明文数据进行加密时，可通过调用KMS的接口来创建数据加密密钥，再使用数据加密密钥将明文数据进行加密，得到密文数据并进行存储。同时，用户的应用程序调用KMS的接口创建对应用户主密钥，对数据加密密钥进行加密，得到密文的数据加密密钥并进行存储。 基于信封加密技术，用户主密钥存储在KMS中，用户的应用程序只存储密文的数据加密密钥，仅在需要使用时调用KMS解密数据加密密钥。 加密流程说明如下： 1.应用程序调用KMS的“createkey”接口创建一个用户主密钥。 2.应用程序调用KMS的“createdatakey”接口创建数据加密密钥。得到一个明文的数据加密密钥和一个密文的数据加密密钥。 说明 密文的数据加密密钥是由1创建的用户主密钥加密明文的数据加密密钥生成的。 3.应用程序使用明文的数据加密密钥来加密明文文件，生成密文文件。 4.应用程序将密文的数据加密密钥和密文文件一同存储到持久化存储设备或服务中。

参数名称 说明 数据连接类型 在下拉列表中将显示逆向数据库支持的数据连接类型，请选择所需要的数据连接类型。 数据连接 选择数据连接。 如需从其他数据源逆向数据库到码表目录中，需要先在DataArts Studio管理中心创建一个数据连接，以便连接数据源。创建数据连接的操作，请参见 数据库 选择数据库。 Schema 下拉选择Schema。该参数仅DWS模型的表有效。 队列 DLI队列。仅当“数据连接类型”选择“DLI”时，该参数有效。 更新已有表 如果从其他数据源逆向过来的表，在码表中已存在同名的表，选择是否更新已有的码表。 逆向表数据 不逆向 ：逆向数据库时，将表导入到码表目录中，但是不导入表数据。您可以在完成逆向数据库后，参考下方“填写数值到码表中”添加记录到码表中。 覆盖 ：逆向数据库时，将表导入到码表目录中，同时将表数据导入到该码表中。 数据表 选择一个或多个需导入的数据表。

后续操作 1. 数据盘镜像创建完成后，可以在私有镜像列表看到已经创建成功的数据盘镜像。 2. 数据盘镜像支持的操作包括：查看详情、申请数据盘、修改、删除、导出、共享、取消共享。 3. 使用数据盘镜像申请数据盘，单击操作栏的“申请数据盘”，进入申请数据盘界面。 操作界面与常规的购买云硬盘一样。 注意 使用数据盘镜像申请数据盘时，无法同时通过快照创建。

本章节主要介绍数据管理的（可选）新建数据库模式。 DWS数据连接创建完成后，用户可以在右侧区域中管理DWS数据连接的数据库模式。 前提条件 已新建DWS数据连接，请参见 新建数据连接。 已新建DWS数据库，请参见 新建数据库。 新建数据库模式 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”或“数据开发 > 作业开发”。 3. 在左侧菜单选择，单击DWS数据连接名称，选择需配置的数据库，展开目录层级至“schemas”，右键单击“schemas”，选择“新建模式”。 4. 在弹出的“新建模式”页面，配置如下表所示的参数。 新建模式 参数 是否必选 说明 模式名称 是 数据库模式的名称。 描述 否 数据库模式的描述信息。 5. 单击“确定”，新建数据库模式。 修改数据库模式 1. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”或“数据开发 > 作业开发”。 2. 在左侧菜单选择，单击数据连接名称，选择数据库，目录层级展开至需要修改的数据库模式，右键单击数据库模式名称，选择“修改”。 3. 在弹出的“修改模式”页面，修改数据库模式的描述信息。 4. 单击“确定”，保存修改。

数据审批功能是数据集的重要组成部分,旨在加强数据使用的规范性和安全性。 该功能允许租户管理员对平台数据集的申请使用操作进行审批。所有待审批的数据在未经管理员审核通过前，均无法使用。 审批通过后，该用户即可使用【平台数据集】中的该条数据。 操作步骤：点击进入数据审批页面，判断是否允许该数据集使用申请，可选择同意和驳回；审批通过后，申请使用的用户可在【平台数据集】中查看并使用该数据。

数据流传递模型 云工作流的数据传递模型可如下图所示： 整体数据传递过程描述如下： 1、工作流传递的数据是按照JSON格式数据进行传递的。 2、工作流执行的输入数据作为工作流执行的第一个状态的输入数据。 3、工作流最后一个状态的执行输出作为工作流执行的输出数据。 4、每个状态执行完成后， 状态执行的输出数据作为下一个状态的输入数据, 如下图所示： 数据访问 云工作流提供了以JSONPath的方式访问在工作流执行过程中产生的数据。其语法格式为： javascript "{ $.ParentNode.childNodePath1.childNodePath2 }" 语法说明如下： 1、引用变量表达式需要是是字符串，因此需要双引号 2、字符串内容以{ 开头， 以}结尾， 代表是表达式， 云工作流引擎会按照表达式方式去解析字符串 3、如果要按照JSONPath访问访问引用变量数据， 则需要以符号$.开头 4、 云工作流是按照相对路径去解析引用变量的， 例如在工作流执行路径是state1>state2， 在state2中进行按照JSONPath方式去进行数据引用， 访问的数据源是state1产生的数据输出 以如下数据为例： plaintext { "testInt": 123, "testString": "1234", "testMap": { "k1": "v1", "k2": "v2" } } 如果要访问到k1这个节点的数据， 则可以按照如下方法引用到该数据变量， 得到的值即"v1" javascript "{ $.testMap.k1 }" 另外，为了方便在工作流执行输入过程中访问工作流执行输入， 提供的额外的全局方式去访问工作流执行输入， 语法如下： javascript "{ $Context.Input }" 如需要访问工作流执行输入数据的子层级， 即按照JSONPath访问json节点数据接口。例如工作流执行输入数据： plaintext { "key": "hello world" } 按照"{ $Context.Input.key }"去引用工作流执行输入数据， 得到的即"hello world"

创建云数据库ClickHouse实例后，可以通过登录数据库管理服务DMS对数据库进行数据管理、用户授权、SQL审计、数据可视化等管理操作。本文为您介绍如何通过数据库管理服务DMS登录云数据库ClickHouse。 数据管理服务（Data Management Service，DMS）是异构数据库的一站式、全生命周期管理平台，为企业提供统一数据资产视图、统一数据库开发规范、统一数据安全策略、统一变更管控标准，让数据库的使用更高效、更安全、更规范。更多DMS信息，请参见DMS产品定义。 前提条件 已创建云数据库ClickHouse实例 已创建数据库用户 操作步骤 1. 在天翼云官网首页的顶部菜单栏，选择产品 > 数据库 > 分析型数据库> 云数据库ClickHouse ，进入云数据库ClickHouse产品页面。然后单击管理控制台，进入数据库实例列表。 2. 选择如下一种方式，进入数据库管理服务DMS。 方法一：在实例列表上方，单击进入数据管理服务，进入到DMS管理控制台，然后填写登录数据库的数据库账号和密码，即可登录DMS。 方法二：在实例列表中，找到目标实例，选择操作 列的更多 > 登录数据库，即可进入该实例的DMS登录页面。

本节介绍了Tesla驱动及CUDA工具包获取方式的操作场景、Tesla驱动下载地址、CUDA工具包下载地址。 操作场景 使用GPU加速型云主机时，需确保已安装Tesla驱动和CUDA工具包，否则无法实现计算加速功能。本节内容提供Tesla驱动及CUDA工具包下载地址，请根据实例的类型，选择具体的驱动版本。 Tesla驱动及CUDA工具包安装操作指导请参考GPU加速型实例安装Tesla驱动及CUDA工具包。 Tesla驱动下载地址 请单击NVIDIA驱动下载（< 表 Tesla驱动产品类型对应关系 实例类型 产品类型（Product Type） 产品系列（Product Series） 产品（Product） :::: P2v Tesla VSeries V100 P1 Tesla PSeries P100 Pi2 Tesla T Series T4 G5 Tesla VSeries V100 CUDA工具包下载地址 表 P2v实例CUDA工具包下载地址 实例类型 操作系统 CUDA版本 下载路径 CPU架构 ::::: P2v (V100) CentOS 7.7 64bit 9.2/10.1 内核版本不高于3.10.0957.5.1.e17.x8664时可以安装9.2版本的CUDA工具包。 9.2版本：< 10.1版本： < x8664 P2v (V100) EulerOS 2.5 64bit 9.2 9.2版本：< 10.1版本： < x8664 P2v (V100) Ubuntu 16.04 64bit 9.2/10.1 内核版本不高于4.4.0141generic时可以安装9.2版本的CUDA工具包。 9.2版本：< 10.1版本： < x8664 P2v (V100) Windows Server 2019 Standard 64bit 9.2/10.1 9.2版本：< 10.1版本： < x8664 P2v (V100) Windows Server 2016 Standard 64bit 9.2/10.1 9.2版本：< 10.1版本： < x8664 P2v (V100) Windows Server 2012 R2 Standard 64bit 9.2/10.1 9.2版本：< 10.1版本： < x8664 表 P1实例CUDA工具包下载地址 实例类型 操作系统 CUDA版本 下载路径 CPU架构 ::::: P1 (P100) CentOS 7.3 64bit 9 < x8664 P1 (P100) Ubuntu 16.04 64bit 9 < x8664 P1 (P100) Windows Server 2012 R2 Standard 64bit 9 < x8664 表 Pi2实例CUDA工具包下载地址 实例类型 操作系统 CUDA版本 下载路径 CPU架构 ::::: Pi2(T4) CentOS 7.5 64bit 10.1 < x8664 Pi2(T4) Ubuntu 16.04 64bit 10.1 < x8664 Pi2(T4) Windows Server 2016 Standard 64bit 10.1 < x8664 表 G5实例CUDA工具包下载地址 实例类型 操作系统 CUDA版本 下载路径 CPU架构 ::::: G5.8xlarge.4 (V100直通) CentOS 7.5 64bit 10.1 < x8664 G5.8xlarge.4 (V100直通) Windows Server 2016 Standard 64bit 10.1 < x8664 G5.8xlarge.4 (V100直通) Windows Server 2012 R2 Standard 64bit 10.1 < x8664

数据权限管理 点击列表操作栏的 数据权限管理 按钮，进入数据权限管理页面，对数据权限进行管理 当前用户需要具有访问数据权限管理的权限，详见数据权限管理 删除数据库 点击库列表操作菜单的 删除 按钮，二次确认无误后，即可完成对目标数据库的删除。 PostgreSQL数据管理 数据库类型为PostgreSQL系列的数据库。 新建数据库 1. 登录数据管理服务。 2. 在实例列表页面中，单击 库列表 按钮进入到数据库管理页面。 3. 点击 新建数据库 按钮，按需输入可选参数。 4. 点击 确定 按钮即可完成数据库的创建。 创建数据库参数说明： 参数 是否必填 说明 数据库名称 是 创建后数据库的名称。 授权账号 否 将当前数据库的权限赋予指定用户。 注释 否 数据库的备注信息。 所有者 否 数据库在该实例中的所有者。 字符集 否 默认为UTF8。 模板 否 基于指定模板创建数据库。 表空间 否 指定数据库的表空间。 连接限制 否 当前数据库的连接数限制。 删除数据库 点击库列表操作菜单的 删除 按钮，二次确认无误后，即可完成对目标数据库的删除。 SQLServer数据库管理 数据库类型为SQLServer系列的数据库。 新建数据库 SQLServer暂不支持通过页面新建数据库。 数据权限管理 点击列表操作栏的 数据权限管理 按钮，进入数据权限管理页面，对数据权限进行管理 当前用户需要具有访问数据权限管理的权限，详见数据权限管理

本章节为您介绍水印数据溯源的相关功能。 数据溯源是一种追踪数据来源、流转过程及变化历史的功能，旨在确保数据的透明性、可信度与合规性。 您可以通过此功能来定位水印处理后数据的单位信息。 数据溯源 1.使用系统管理员登录数据脱敏实例。 2.在左侧导航栏选择“水印数据溯源 > 数据溯源 ”，进入“数据溯源”页面。 3.选择数据溯源方式： 数据上传：支持上传csv、txt、xls、xlxs、del、dbf六种文件格式的数据进行溯源。 数据输入：可输入多个数据（长度没有限制），如有多条数据请用英文分号“;”分隔。 说明 内容修改水印必须指定主键和字符类型，才能溯源到相应结水印单位。 溯源包含水印的数据请尽量避免重复。 4.填写完成后，单击“溯源”系统将会对输入数据进行溯源计算，将结果展示在下方溯源结果当中。 若未溯源到任何结果，则会系统提示未命中信息。 溯源历史 您可以在“溯源历史”模块中查看历史的溯源查询记录。 1.使用系统管理员登录数据脱敏实例。 2.在左侧导航栏选择“水印数据溯源 > 溯源历史 ”，进入“溯源历史”页面，即可查看各溯源结果。

本节介绍如何创建数据空间。 操作场景 数据空间是进行数据分组、负载、流控单元。同一数据空间的数据共享同一载均衡策略。 当您需要使用态势感知（专业版）提供的 安全分析 、 数据分析 、智能建模等功能时，需要新增数据空间。 前提条件 已新增工作空间，具体操作请参见新增工作空间。 约束与限制 一个工作空间中最多可创建5个数据空间。 操作步骤 1. 登录管理控制台。 2. 单击页面左上方的，选择“安全 > 态势感知（专业版）”，进入态势感知（专业版）管理页面。 3. 在左侧导航栏选择“工作空间 > 空间管理”，并在工作空间列表中，单击目标工作空间名称，进入目标工作空间管理页面。 4. 在左侧导航栏选择“日志审计 > 安全数据”，进入安全分析页面。 5. 在数据空间列表左上角，单击“新增”，系统从右侧弹出新增数据空间界面。 6. 在新增数据空间页面中，配置新建数据空间参数，参数说明如下表所示。 参数名称 参数说明 数据空间 输入数据空间名称。命名规则如下： 名称长度取值范围为563个字符。 可包含英文字母、数字和。其中，不能出现在开头和结尾，且不能连续出现。 名称须为全局唯一，不能与其他数据空间名称相同。 描述 可选参数，设置该数据空间的备注信息。 7. 单击“确定”，完成数据空间的新增。 新增完成后，可以在数据空间列表中查看已新增的数据空间。

本章节主要介绍数据治理中心的数据目录的简介。 数据地图围绕数据搜索，服务于数据分析、数据开发、数据挖掘、数据运营等数据表的使用者和拥有者，提供方便快捷的数据搜索服务，拥有功能强大的血缘信息及影响分析。 搜索：在进行数据分析前，使用数据地图进行关键词搜索，帮助快速缩小范围，找到对应的数据。 详情：使用数据地图根据表名直接查看表详情，快速查阅明细信息，掌握使用规则。 血缘：通过数据地图的血缘分析可以查看每个数据表的来源、去向，并查看每个表及字段的加工逻辑。

本文介绍如何创建和管理数据缓存。 数据缓存可以提前拉取业务所需数据，以便在创建ECI实例时可以直接挂载使用。 创建数据缓存 1. 在弹性容器实例控制台左侧导航栏中选择“数据缓存”，进入数据缓存列表页。 2. 点击“创建数据缓存”，进入创建数据缓存创建页面。 3. 按需选择网络配置，如果是从公网拉取数据集，并且没有配置公网NAT网关，需要配置EIP(自动创建或使用已有)。 4. 设置数据缓存。 5. 设置数据源。 6. 点击确定按钮后，即可在数据缓存列表中查看创建的数据缓存。 管理数据缓存 1. 点击数据缓存名称，进入详情，可查看事件。 2. 点击制作任务，可以跳转到容器组实例详情查看制作任务过程日志。

创建OBS连接 1.单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面。 详见下图：选择连接器类型 2.连接器类型选择“对象存储服务（OBS）”后，单击“下一步”配置OBS连接参数。 名称：用户自定义连接名称，例如“obslink”。 OBS服务器、端口：配置为OBS实际的地址信息。 访问标识（AK）、密钥（SK）：登录OBS的AK、SK。 3.单击“保存”回到连接管理界面。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”，开始创建从OBS导出数据到云搜索服务的任务。 详见下图：创建OBS到云搜索服务的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 −源连接名称：选择创建OBS连接中的“obslink”。 −桶名：待迁移数据的桶。 −源目录或文件：待迁移数据的路径，也可以迁移桶下的所有目录、文件。 −文件格式：迁移文件到数据表时，文件格式选择“CSV格式”。 −高级属性里的可选参数一般情况下保持默认既可，详细说明请参见 配置OBS源端参数。 目的端作业配置 −目的连接名称：选择创建云搜索服务连接中的“csslink”。 −索引：待写入数据的Elasticsearch索引，也可以输入一个新的索引，CDM会自动在云上搜索服务中创建。 −类型：待写入数据的Elasticsearch类型，可输入新的类型，CDM支持在目的端自动创建类型。 −高级属性里的可选参数一般情况下保持默认既可，详细说明请参见 配置云搜索服务目的端参数。 2.单击“下一步”进入字段映射界面，CDM会自动匹配源和目的字段，如下图“云搜索服务的字段映射”所示。 如果字段映射顺序不匹配，可通过拖拽字段调整。 如果选择在目的端自动创建类型，这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容。 3.单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，请参见 配置定时任务。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 作业运行完是否删除：这里保持默认值“不删除”。 4.单击“保存并运行”，回到作业管理界面，在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。

本章节介绍管理投递任务，包括查看数据投递任务、挂起投递任务、启动投递任务、删除投递任务。 操作场景 查看数据投递任务：查看数据投递任务相关信息。 挂起投递任务：数据投递成功后，如需停止投递，可挂起目标投递任务。 启动投递任务：数据投递任务停止投递后，如需重启投递，可启动目标投递任务。 删除投递任务：如果不在需要某个投递任务，可删除投递任务。 前提条件 已新增数据投递。 查看数据投递任务 1. 登录管理控制台。 2. 单击页面左上方的，选择“安全 > 态势感知（专业版）”，进入态势感知（专业版）管理页面。 3. 在左侧导航栏选择“工作空间 > 空间管理”，并在工作空间列表中，单击目标工作空间名称，进入目标工作空间管理页面。 4. 在左侧导航栏选择“日志审计 > 安全数据”，进入安全分析页面后，选择“数据投递管理”页签，进入数据投递管理页面。 5. 在投递任务列表页面中，查看已有投递任务。 操作 操作说明 名称/ID 投递任务名称/ID。 数据源 投递任务的数据源所在的管道路径。 消费策略 投递任务的消费策略。 目的类型 数据投递目的地所属的类型。如OBS、LTS等。 投递目的信息 数据投递目的地相关信息。 监控 数据投递监控情况。可单击监控图标，查看数据消费情况。 状态 投递任务的状态。 投递中：已创建数据投递任务且已完成数据投递授权，数据投递中。 挂起 待授权：已创建数据投递任务，但是未执行数据投递授权。 授权失败：已创建数据投递任务，且拒绝了数据投递授权。 投递取消：取消了数据投递任务。 创建时间 投递任务创建时间。 操作 可对数据投递任务进行挂起、删除等操作。

本页介绍数据同步实例的性能监控功能。 为方便用户查看和掌握数据迁移/数据同步实例的运行状态、了解实例运行过程中触发的告警情况，数据传输服务DTS为用户提供性能监控和监控告警两个功能模块。 性能监控 DTS提供了丰富的性能监控项，查看数据同步实例性能监控数据的操作步骤，与查看数据迁移实例的监控数据类似，依次进入数据传输服务DTS产品控制台 【数据同步】实例列表页面 点击实例ID进入【实例管理】页面 点击右上角“实例详情”进入详情页面 在详情页面左边菜单栏点击“性能监控”，具体操作可参照数据传输服务DTS 用户指南 数据迁移 监控告警 性能监控的操作。 监控告警 监控告警为数据传输服务DTS的公共模块，数据迁移和数据同步共用。 监控告警功能包含：配置告警和查看告警列表。 配置告警和查看告警列表的操作步骤和方法，具体可参照数据传输服务 用户指南 数据迁移 监控告警 告警配置和查看的告警配置和查看告警列表部分的内容。

本文主要介绍可信数据空间的应用场景。 低密数据交易场景 数据接入 提供方通过连接器上传本地低密数据到可信数据空间的资源目录，形成原始的数据资源池； 数据开发 开放方通过资源申请，创建场景，选择低密数据资源，通过通用数据开发平台，将数据进行加工生产，封装生成数据服务API，发布到数据要素管理中心； 产品上架 提供方再将开发方提供的数据要素服务或者资源池中的资源目录的数据封装成数据要素产品，经过审核上架发布到产品市场； 产品购买 购买方在产品市场检索所需产品，将所需产品加入申请，审核通过后，上传合同等资料信息，再次审核获得产品服务等相关信息，核对信息无误，服务可用，可确认收货完成采购订单。

本节介绍如何使用数据集。 在创建离线训练任务时，可以使用已有数据集，包括公共数据集和私有数据集。 操作步骤 创建AI训练应用 进入AI应用列表，点击创建AI应用按钮。 使用公共数据集 1. 点击训练数据选择数据集，在弹出页面选择公共数据集，找到需要挂载的公共数据集。 2. 选中数据集及版本后，写入挂载路径即可。 3. 若需要挂载多个数据集，可使用同样方式进行多次挂载。 使用私有数据集 私有数据集在选择数据集时，需点击私有数据集进行选择，其余操作和公共数据集一致。

本章节主要介绍将DLI数据导出至OBS。 支持将数据从DLI表中导出到OBS服务中，导出操作将在OBS服务新建文件夹，或覆盖已有文件夹中的内容。 注意 支持导出json格式的文件，且文本格式仅支持UTF8。 只支持将DLI表（表类型为“Managed”）中的数据导出到OBS桶中，且导出的路径必须指定到文件夹级别。 支持跨帐号导出数据，即，如果B账户对A账户授权后，A账户拥有B账户OBS桶的元数据信息和权限信息的读取权限，以及路径的读写权限，则A账户可将数据导出至B账户的OBS路径中。 导出数据步骤 1.导出数据的入口有两个，分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面导入数据。 a. 在管理控制台左侧，单击“数据管理”>“库表管理”。 b. 单击需导出数据的表对应的数据库，进入该数据的“表管理”页面。 c. 在对应表（DLI表）的“操作”栏中选择“更多”中的“导出”，弹出“导出数据”页面。 在“SQL编辑器”页面导出数据。 a. 在管理控制台左侧，单击“SQL编辑器”。 b. 在左侧导航栏选择“数据库”页签，鼠标左键单击需要导出数据的表对应的数据库名，进入“表”区域。 c. 鼠标左键单击需要导出数据的表（Managed表，即DLI表）右侧的，在列表菜单中选择“导出”，选择弹出“导出数据”页面。 2.在“导出数据”对话框，参考下表填写导出数据相关信息。 参数名称 描述 数据库 当前表所在的数据库。 表名称 当前表名称。 数据格式 导出数据的文件格式。当前只支持json格式。 队列 选择队列。 压缩格式 导出数据的压缩方式，选择如下压缩方式。 none bzip2 deflate gzip 存储路径 输入或选择OBS路径。 导出路径必须为OBS桶中不存在的文件夹，即用户需在OBS目标路径后创建一个新文件夹。 文件夹名称不能包含下列特殊字符： / : ? " l，并且不能以“.”开头和结尾。 导出方式 导出数据的保存方式。 随导出创建指定路径：指定的导出目录必须不存在，如果指定目录已经存在，系统将返回错误信息，无法执行导出操作。 覆盖指定路径：在指定目录下新建文件，会删除已有文件。 表头:无/有 设置导出数据是否含表头。 3.单击“确定”即可导出数据。 4.（可选）您可以在“作业管理”>“SQL作业”页面查看导出作业的“状态”、“执行语句”等信息。 a.在“作业类型”中选择“EXPORT”，输入导出数据的时间段，即可查询出对应条件下的作业列表。 b.单击导出作业名称前的可查看导出作业。

本节介绍如何创建数据脱敏策略，然后在数据目录中进行脱敏查询。 前提条件 数据分类规则已创建，数据分类规则的创建请参见数据分类。 数据连接，数据表已创建成功，敏感数据已被数据目录采集。 创建脱敏策略 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2. 选择“数据安全 > 脱敏策略”，在“脱敏策略”页面中，单击“新建”。 3. 绑定分类规则，配置脱敏算法并适配对应的算法类型。脱敏算法包含掩码，截断和哈希。每种脱敏算法对应多种算法类型，请根据产品界面进行选择，这里不再赘述。配置完成后单击“确定”。 说明 已被绑定脱敏算法的分类规则不支持被重复绑定。 详见下图：新建脱敏 4. 适配脱敏算法后，支持用户在线进行测试。输入测试数据，单击“测试”，在测试结果文本框中进行验证。 5. 开启或关闭状态，只有启用状态下的脱敏策略才可生效。 查看数据脱敏效果 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2. 选择“数据地图 > 数据目录”。 3. 在资产搜索结果列表，搜索脱敏后的数据表，进入数据表详情页面。 4. 单击“数据预览”，查看数据脱敏后的效果。

数据安全专区数据脱敏能力具有广泛的数据库支持、出色的性能和良好的可扩展性。它采用独特的脱敏与水印/溯源算法，能够高效处理敏感数据，实现去标识化和匿名化。多种处理方式如固定值替换、置空、乱序、保留统计特征等确保了在不改变现有业务逻辑的前提下，脱敏后的数据仍能保留原有业务逻辑特征。 数据安全专区支持软硬件一体机或虚拟化部署（保证与生产环境和开发 第三方测试环境前后路由可达即可）。生产库中的原始数据，经过数据脱敏清洗后离线分发至测试环境，所有敏感数据全部在内存中处理，可保证整个环节敏感数据不落地。 主要功能 敏感数据自动发现 数据脱敏系统内置多种发现规则，支持基于数据内容的识别，不仅依赖于用户的元数据管理系统、字段名或字段注释等信息。支持用户基于自身需求自定义规则，实现对敏感数据的自动发现和标识。 同时数据脱敏系统可和数据分级分类平台进行对接，可基于行业或法律法规对敏感数据进行分类分级与梳理，便于用户按照不同级别进行脱敏算法的配置，有效避免数据的过度保护。 支持采用随机采样的方式，在采样的过程中过滤空值及脏数据。如在业务初期数据逻辑定义不规范往往会产生较多脏数据，而传统的敏感数据检索方式通常是简单过滤表中前若干条数据，无法有效避免此类脏数据的干扰。数据脱敏系统的随机采样是基于表总行数进行随机抽取，可有效避免脏数据的干扰，提高敏感数据识别的准确性。数据发现算法除常规的正则表达式、字典等，还加入了NLP算法，开箱即用70多种通用敏感字段识别算法，大幅提升了对敏感数据内容的识别和处理能力。有效避免敏感数据的误报、漏报。

概述 天翼云数据迁移功能，目前支持[共享模式] 与[独立模式]，其中独立模式内部使用的是：数据同步服务进行支撑； 相比于[共享模式]，数据同步服务会单独新开云主机运行迁移任务，不占据业务实例资源，适用于高OPS下的数据同步场景。 计费模式 目前数据同步服务供包周期（包年/包月）、按需两种计费模式供您灵活选择，使用越久越便宜。 实例规格 规格 VCPU（核） 内存（GB） 最大带宽（GBbps） 基准带宽（GBbps） migration.large.2 2 4 4 0.8 migration.xlarge.2 4 8 8 1.6 migration.2xlarge.2 8 16 15 3 migration.4xlarge.2 16 32 20 6 功能说明 1. 订购 该产品总共有两个订购途径，分别是： 数据迁移>数据同步服务>创建同步服务 数据迁移>数据迁移任务>创建任务>选择独立模式>创建服务 2. 退订 仅数据同步服务处于空闲状态时才支持退订（如退订前数据迁移任务仍然在运行中，请先停止任务，再进行退订操作），操作途径： 数据迁移>数据同步服务>退订 3. 发起在线迁移 登录 ++Redis管理控制台++ 在管理控制台左上角选择实例所在的区域 进入数据迁移>数据迁移任务页面 点击创建任务，任务模式选择：独立模式，选择数据同步服务 填写源库和目标库的实例信息 点击创建任务，创建后后台自动进行数据迁移操作

本章节主要介绍数据治理中心DataArts Studio的计费方式。 计费项 计费项目 计费子项 计费模式 计费说明 数据治理中心 DataArts Studio（基础包） 初级版、企业版 包年包月 数据治理中心基础包的计费详情，请参见数据治理中心价格详情。 在使用数据治理中心过程中，使用其他云服务的费用（如弹性公网IP/带宽、对象存储服务OBS等），需按照相应云服务的计费规则进行计费，数据治理中心基础包不包含此类费用。例如，在数据开发过程中，创建了DWS数据连接，并创建了数据库和表，DWS服务所需的费用需按照DWS服务的计费规则进行计费。 DataArts Studio增量包批量数据迁移CDM（可选） 批量数据迁移增量包 按需计费 计费详情请参见数据治理中心批量数据迁移增量包价格详情。 购买“DataArts Studio增量包批量数据迁移CDM”时，需注意如下几点： 购买“按需计费”增量包，系统会按照您所选规格自动创建一个批量数据迁移的集群/实时数据接入通道。 您可以将批量数据迁移集群关机，以降低费用成本。关机期间会产生一定的低额按需费用。

本章节主要介绍如何配置Hive数据连接。 本章节指导用户在创建后，将现有集群的Hive元数据切换为本地数据库或者RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据，且元数据不随集群的删除而删除。也能够避免集群迁移时Hive元数据的迁移。 说明 不同集群间Hive元数据切换时，MRS当前只对Hive组件自身的元数据数据库中的权限进行同步。这是由于当前MRS上的权限模型是在Manager上维护的，所以不同集群间的Hive元数据切换，不能自动把用户/用户组的权限同步到另一个集群的Manager上。 对于MRS 3.x之前版本，当用户选择的数据连接为“RDS服务MySQL数据库”时，请确保使用的数据库用户为root用户。如果为非root用户，请参考 管理数据连接章节配置数据连接中的 数据连接前置操作新建用户并为该用户进行赋权。 对于MRS 3.x及之后版本，当用户选择的数据连接为“RDS服务MySQL数据库”时，数据库用户不允许为root用户，请参考 管理数据连接章节配置数据连接中的 数据连接前置操作新建用户并为该用户进行赋权。 配置Hive数据连接 该功能在MRS 3.0.5版本暂不支持。 1.登录MRS控制台，在导航栏选择“集群列表 > 现有集群”。 2.单击集群名称，进入集群详情页面。 3.在集群详情页的“概览”页签，单击“数据连接”右侧的“单击管理”。 4.在“数据连接”页面显示集群已关联的数据连接，单击“编辑”或“删除”可对数据连接进行编辑或删除。 5.若“数据连接”页面没有关联连接，单击“配置数据连接”进行增加。 说明 一种模块类型只能配置一个数据连接，如在Hive元数据上配置了数据连接后，不能再配置其他的数据连接。当没有可用的模块类型时，“配置数据连接”按钮不可用。 配置Hive数据连接 参数 说明 组件名称 Hive 模块类型 Hive元数据 连接类型 RDS服务MySQL数据库 本地数据库 连接实例 当“连接类型”参数选择“RDS服务PostgreSQL数据库”或“RDS服务MySQL数据库”时有效。选择MRS集群与RDS服务数据库连接名称，该连接必须先创建才能在此处引用。可单击“创建数据连接”进行创建，具体请参考配置数据连接中的创建数据连接。 6.单击“测试”，测试此数据连接和集群的连通性。 7.连接成功后单击“确定” 完成配置数据连接。 说明 配置了Hive元数据后，请重启Hive服务，Hive会在指定的数据库下创建Hive必须的数据库表（如表已经存在则不会创建）。 重启Hive服务前，请确保已安装对应驱动包到所有MetaStore实例所在节点中。 Postgres：使用开源驱动包替换集群已有的驱动包。将postgres驱动包postgresql42.2.5.jar上传至所有MetaStore实例节点${BIGDATAHOME}/thirdlib/Hive目录下（开源驱动包下载地址： MySQL：进入MySQL官网（ > Community > MySQL Connectors > Connector/J”下载对应版本的驱动包，将MySQL对应版本的驱动包上传至所有Metastore实例节点“/opt/Bigdata/FusionInsightHD /install/FusionInsightHive /hive/lib/”目录下。

本文主要介绍跨帐号迁移业务数据(只迁移数据盘) 操作场景 用户的业务数据一般保存在数据盘中，要想实现业务数据跨帐号迁移，需要用到镜像服务的创建数据盘镜像、共享镜像等功能。本节操作以Linux操作系统为例，为您详细介绍在同一区域内，跨帐号迁移业务数据（只迁移数据盘数据）的操作流程。 方案介绍 跨帐号迁移业务数据的方案为：帐号A将云主机A上挂载的数据盘A做成数据盘镜像，将此镜像共享给帐号B；帐号B接受帐号A的共享镜像后，创建数据盘后将其挂载至自己的云主机上，实现数据迁移。操作流程如下： 图 跨帐号迁移业务数据流程图 步骤一：创建数据盘镜像 假设帐号A的云主机数据盘中存放了如下数据：qianyi.txt 1、帐号A登录管理控制台，在左上角切换区域为“江苏苏州”。 2、选择“所有服务> 计算 > 镜像服务”。 进入镜像列表页面。 3、单击右上角的“创建私有镜像”。 进入创建私有镜像页面。 4、填写如下参数： 图 创建数据盘镜像 创建方式：创建私有镜像 镜像类型：数据盘镜像 选择镜像源：云主机，并选择数据盘“ecs testvolume0001” 名称：输入数据盘镜像名称，如“diskimagetest” 企业项目：选择默认项目“default” 5、单击“立即创建”。 6、确认无误后，阅读并勾选协议，单击“提交申请”。 7、返回私有镜像列表，等待几分钟后，数据盘镜像创建成功。 图 查看私有镜像