创建云搜索服务连接 1.单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面。 2.连接器类型选择“云搜索服务”后单击“下一步”，配置云搜索服务连接参数。 名称：用户自定义连接名称，例如“csslink”。 Elasticsearch服务器列表：配置为云搜索服务集群（支持5.X以上版本）的连接地址、端口，格式为“ip:port”，多个地址之间使用分号（；）分隔，例如192.168.0.1:9200;192.168.0.2:9200。 用户名、密码：配置为访问云搜索服务集群的用户，需要拥有数据库的读写权限。 3.单击“保存”回到连接管理界面。 创建Oracle连接 1.单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面。 2.连接器类型选择“Oracle”后单击“下一步”，配置Oracle连接参数： 名称：用户自定义连接名称，例如“oraclelink”。 数据库服务器地址、端口：配置为Oracle服务器的地址、端口。 数据库名称：选择要导出数据的Oracle数据库名称。 用户名、密码：Oracle数据库的登录用户名和密码，该用户需要拥有Oracle元数据的读取权限。 3.单击“保存”回到连接管理界面。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”，开始创建从Oracle导出数据到云搜索服务的任务。 详见下图：创建Oracle到云搜索服务的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 −源连接名称：选择创建Oracle连接中的“oraclelink”。 −模式或表空间：待迁移数据的数据库名称。 −表名：待迁移数据的表名。 −高级属性里的可选参数一般情况下保持默认既可，详细说明请参见 配置常见关系数据库源端参数。 目的端作业配置 −目的连接名称：选择创建云搜索服务连接中的“csslink”。 −索引：待写入数据的Elasticsearch索引，也可以输入一个新的索引，CDM会自动在云搜索服务中创建。 −类型：待写入数据的Elasticsearch类型，可输入新的类型，CDM支持在目的端自动创建类型。 −高级属性里的可选参数一般情况下保持默认既可，详细说明请参见配置云搜索服务目的端参数。 2.单击“下一步”进入字段映射界面，CDM会自动匹配源和目的字段，如下图“云搜索服务的字段映射”所示。 如果字段映射顺序不匹配，可通过拖拽字段调整。 如果选择在目的端自动创建类型，这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容。 3.单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，请参见 配置定时任务。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 作业运行完是否删除：这里保持默认值“不删除”。 4.单击“保存并运行”，回到作业管理界面，在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。

本章节主要介绍配置Oracle源端参数。 作业中源连接为配置Oracle数据库连接，源端作业参数如下表所示。 表 Oracle作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明 SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如select from table a; select from table b。 不支持with语句。 不支持注释 ，比如""，“/”。 不支持增删改操作，包括但不限于以下操作： load data delete from alter table create table drop table l into outfile select id,name from sqoop.user; 模式或表空间 “使用SQL语句”选择“否”时，显示该参数，表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面，用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间，请确认对应连接里的帐号是否有元数据查询的权限。 说明 该参数支持配置通配符（），实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如： 表示导出所有以“SCHEMA”开头的数据库。 表示导出所有以“SCHEMA”结尾的数据库。 表示数据库名称中只要有“SCHEMA”字符串，就全部导出。 SCHEMAE 表名 “使用SQL语句”选择“否”时，显示该参数，表示要抽取的表名。单击输入框后面的按钮可进入表的选择界面，用户也可以直接输入表名称。 如果选择界面没有待选择的表，请确认表是否已经创建，或者对应连接里的帐号是否有元数据查询的权限。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据。 说明 表名支持配置通配符（），实现导出以某一前缀开头或者以某一后缀结尾的所有表（要求表中的字段个数和类型都一样）。 例如： 表示导出所有以“table”开头的表。 表示导出所有以“table”结尾的表。 表示表名中只要有“table”字符串，就全部导出。 table 高级属性 抽取分区字段 “使用SQL语句”选择“否”时，显示该参数，表示抽取数据时使用该字段进行数据切分，CDM依据此字段将作业分割为多个任务并发执行。一般使用数据均匀分布的字段，例如以自然增长的序号字段作为分区字段。 单击输入框后面的按钮可进入字段选择界面，用户也可以直接输入抽取分区字段名。 说明 抽取分区字段支持CHAR、VARCHAR、LONGVARCHAR、TINYINT、SMALLINT、INTEGER、BIGINT、REAL、FLOAT、DOUBLE、NUMERIC、DECIMAL、BIT、BOOLEAN、DATE、TIME、TIMESTAMP类型，建议该字段带有索引。 当选择CHAR、VARCHAR、LONGVARCHAR抽取分区字段类型时，字段值不支持ASCII字符代码表之外的字符，不支持中文字符。 id Where子句 “使用SQL语句”选择“否”时，显示该参数，表示配置抽取范围的Where子句，不配置时抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据。 DS'${dateformat(yyyyMMdd,1,DAY)}' 分区字段是否允许空值 是否允许分区字段包含空值。 是 按表分区抽取 从Oracle导出数据时，支持从分区表的各个分区并行抽取数据。启用该功能时，可以通过下面的“表分区”参数指定具体的Oracle表分区。 该功能不支持非分区表。 数据库用户需要具有系统视图dbatabpartitions 和dbatabsubpartitions 的SELECT权限。 否 表分区 输入需要迁移数据的Oracle表分区，多个分区以&分隔，不填则迁移所有分区。 如果有子分区，以“分区.子分区”的格式填写，例如“P2.SUBP1”。 P0&P1&P2.SUBP1&P2.SUBP3 作业拆分字段 使用该字段将作业拆分为多个子作业并发执行。 拆分字段最小值 表示抽取数据时“作业拆分字段”的最小值。 拆分字段最大值 表示抽取数据时“作业拆分字段”的最大值。 子作业个数 根据“作业拆分字段”的最小值和最大值限定的数据范围，将作业拆分为多少个子作业执行。 说明 Oracle作为源端时，如果未配置“抽取分区字段”或者“按表分区抽取”这2个参数，CDM自动使用ROWID进行数据分区。

操作场景 态势感知（专业版）支持将数据实时投递至其他管道或其他云产品中，便于您存储数据或联合其它系统消费数据。配置数据投递后，态势感知（专业版）将定时将采集到的数据投递至其他管道或对应的云产品。 分类 投递场景 场景说明 数据投递场景 投递日志数据至其他数据管道 投递日志数据到其他数据管道。 数据投递场景 投递日志数据至OBS桶 投递日志数据到对象存储服务（Object Storage Service，OBS）。 数据投递场景 投递日志数据至LTS 投递日志数据到云日志服务（Log Tank Service，LTS）。 管理数据投递任务 管理数据投递任务 包括查看数据投递任务、挂起投递任务、启动投递任务、删除投递任务。 查看数据投递任务：查看数据投递任务相关信息。 挂起投递任务：数据投递成功后，如需停止投递，可挂起目标投递任务。 启动投递任务：数据投递任务停止投递后，如需重启投递，可启动目标投递任务。 删除投递任务：如果不再需要某个投递任务，可删除投递任务。 功能优势 操作简单：只需要在控制台中完成简单的配置，即可将态势感知（专业版）的数据投递至OBS等云产品。 数据集中：态势感知（专业版）已完成不同服务中的数据集中化，只需要将采集到的数据投递到OBS等云产品中，即可完成数据集中管理。 分类管理：态势感知（专业版）的采集数据时，对数据进行了分类管理。可以利用此功能，将不同项目、不同类型的数据投递到不同的云产品中。

本文介绍数据迁移、同步、恢复这三个概念的区别。 数据迁移 数据迁移用于将数据从源实例迁移至目标实例，属于一次性任务，非实时、持续性任务。数据迁移适用于上云迁移场景，可以通过数据迁移服务（DTS）对同构或异构数据库实例之间进行数据迁移，也可以对云下数据库的数据迁移至云上数据库。 数据同步 数据同步用于源实例和目标实例之间的实时数据同步，属于持续性任务，任务创建后会一直进行同步，保持目标实例和源实例间的数据一致。数据同步适用于数据灾备、异地多活、数据分析等场景。数据同步一般仅支持同构数据库实例之间进行数据同步。 数据恢复 数据恢复是通过数据备份和日志备份，将数据从源实例的某个备份集恢复至目标实例，属于一次性任务。另外，通过数据备份和日志备份，可以将数据恢复到某个时间点。数据迁移虽然也能将数据复制到实例，但是其并不是利用备份来进行，而是通过数据迁移服务，且数据迁移无法实现将数据恢复至某个时间点的状态，数据恢复则可以。

开源CloudEvents 未提供C++SDK，但您可以通过发送一个http请求的形式来完成发送事件。 前提条件 1. 您的运行环境已安装libcurl、boost依赖库。支持c++11及以上，若不支持修改对应代码。 2. 下载eventBridgecppsdk.zip，查看示例代码。 签名生成工具 cpp include "EventSignHelper.h" include include include "crypt/hmac.h" include "crypt/sha1.h" include include using namespace std; string get(map m, const string &key) { string value; if (m.find(key) ! m.end()) { value m[key]; } return value; } string implode(const vector &vec, const string &glue) { string res; int n 0; for (const auto &str : vec) { if (n 0) { res str; } else { res + glue + str; } n++; } return res; } string uppercase(string str) { transform(str.begin(), str.end(), str.begin(), [](unsigned char c) { return toupper(c); }); return str; } bool startwith(string src, string prefix) { auto res mismatch(prefix.begin(), prefix.end(), src.begin()); return res.first prefix.end(); } void ltrim(string &s) { s.erase(s.begin(), findif(s.begin(), s.end(), [](unsigned char ch) { return !isspace(ch); })); } // trim from end (in place) void rtrim(string &s) { s.erase(findif(s.rbegin(), s.rend(), [](unsigned char ch) { return !isspace(ch); }) .base(), s.end()); } // trim from both ends (in place) void trim(string &s) { ltrim(s); rtrim(s); } string getCanonicalizedHeaders(const map &headers, const string &prefix "xceb") { stringstream result; for (const auto &item : headers) { if (startwith(item.first, prefix)) { string v item.second; trim(v); result query) { if (query.empty()) { return pathname; } vector tmp; tmp.reserve(query.size()); for (const auto &item : query) { tmp.pushback(string(item.first) + "" + item.second); } return pathname + "?" + implode(tmp, "&"); } string hmacsha1(const string &src, const string &key) { boost::uint8t hashval[sha1::HASHSIZE]; hmac ::calc(src, key, hashval); return base64::encodefromarray(hashval, sha1::HASHSIZE); } // 生成签名 string EventSignHelper::genSign(const string& httpMethod, const map & headers, const string& pathname, const map & query, const string& ak, const string& sk) { string contentmd5 get(headers, "contentmd5"); string contenttype get(headers, "contenttype"); string date get(headers, "date"); stringstream stringToSign; stringToSign << uppercase("POST") << "n" << contentmd5 << "n" << contenttype << "n" << date << "n"; stringToSign << getCanonicalizedHeaders(headers); stringToSign << getCanonicalizedResource(pathname, query); string sign hmacsha1(stringToSign.str(), sk); string token "ceb:" + ak + ":" + sign; return token; }

本节主要介绍移除数据目录命令。 ./stor server { R rmpath } { p path } PATH & [ { n server } SERVERID ] [ {d deldata } ] [ f force ] 此命令用来移除HBlock服务器的数据目录。一次可以移除多个数据目录。 注意 对于单机版，如果要移除的数据目录为默认数据目录，需要先指定其他数据目录为默认数据目录，才可以移除。 如果执行日志采集后，产生的日志保存在HBlock的数据目录内，当移除该数据目录时选择删除数据目录上的HBlock数据，该日志将被删除。 有数据目录正在移除时，不能再移除其他数据目录。如果必须移除，请使用强制移除，但有丢数据风险。 对于集群版，该数据目录不属于任何存储池，才允许从移除该数据目录。否则不能移除，如果必须移除，请使用强制移除，但有丢数据风险。 参数 参数 描述 :: p PATH & 或 path PATH & HBlock服务器数据目录，一次可以移除多个数据目录，以英文逗号（,）分开。 n SERVERID 或 server SERVERID 指定移除数据目录的HBlock服务器ID。 如果未指定服务器ID，则为执行该命令的服务器移除数据目录。 d 或 deldata 移除HBlock服务器数据目录，并删除数据目录上的HBlock数据。 f 或 force 强制移除HBlock服务器数据目录。 注意 强制移除数据目录，可能造成数据丢失。

参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用，您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 cardetail 分区 导入前清空数据，如果设置为true时，呈现此参数。 表示分区信息。 year2020,locationsun

Where子句中的时间宏变量 以SQOOP.CDM20171016表为例，该表中存在表示时间的列DS，如下图“表数据”所示： 假设当前时间为“20171016”，要导出前一天的数据（即DS‘20171015’），则可以在创建作业时配置“Where子句”为 DS'${dateformat(yyyyMMdd,1,DAY)}' ，即可将符合DS‘20171015’条件的数据导出。 时间宏变量和定时任务配合完成增量同步 这里列举两个简单的使用场景： 数据库表中存在表示时间的列DS，类型为“varchar(30)”，插入的时间格式类似于“2017xxxx”。 定时任务中，重复周期为1天，每天的凌晨0点执行定时任务。配置“Where子句”为 DS'${dateformat(yyyyMMdd,1,DAY)}' ，这样就可以在每天的凌晨0点导出前一天产生的所有数据。 数据库表中存在表示时间的列time，类型为“Number”，插入的时间格式为时间戳。 定时任务中，重复周期为1天，每天的凌晨0点执行定时任务。配置“Where子句”为 time between {timestamp(1,DAY)} and {timestamp()} ，这样就可以在每天的凌晨0点导出前一天产生的所有数据。 其它的配置方式原理相同。

本文介绍数据缓存概述。 对于一些数据量较大的业务数据，例如训练模型等，ECI支持创建数据缓存（DataCache）来提前拉取数据，将数据缓存到本地，以便在创建ECI实例时可以直接挂载使用，从而减少实例启动耗时，避免数据重复下载，节约使用成本。本文为您介绍什么是数据缓存，包括功能简介、应用场景、创建和使用方式、计费说明等。 功能简介 为了解决数据加载与容器镜像加载解耦的问题，ECI提供了数据缓存的功能。在创建业务应用前，您可以提前创建数据缓存，将业务应用所需的数据缓存到本地。在创建业务应用时，可以直接挂载使用缓存好的数据。 通过数据缓存功能，您无需将数据打包进应用镜像，从而避免因数据变更而频繁更新镜像；也无需从远端的仓库下载数据，避免因下载数据导致应用启动过慢。 数据缓存流程 通过创建一个带有数据盘的ECI(中转任务实例)，拉取相关数据集和模型到数据盘后，将数据盘制作成快照。在使用数据盘的过程，即是从快照创建数据盘的过程，将创建好的数据盘给用户实例挂载上。 数据缓存生命周期 状态说明： 状态 说明 操作 Creating 创建中 资源初始化，如创建ECI实例和云盘 Loading 缓存数据中 从数据源加载数据过程 Available 创建成功 快照创建完成，可用使用数据缓存，支持更新所属Bucket、数据源、保留时长、大小等 Failed 创建失败 资源初始化失败或数据源加载失败 Updating 更新中 更新Bucket、数据源、保留时长、大小过程中 UpdateFailed 更新失败 支持更新所属Bucket、数据源、保留时长、大小等

本节介绍了通过数据盘创建数据盘镜像的流程等内容。 操作场景 数据盘镜像是只包含用户业务数据的镜像，您可以通过创建数据盘镜像将云主机数据盘上的业务数据保存。数据盘镜像可用来创建新的云硬盘，从而实现用户业务数据的迁移。 如果您有以下使用场景，建议通过数据盘镜像来实现。 云主机上的业务数据迁移到另一个账号。 实现方式：A账号将数据盘制作成数据盘镜像，共享给B账号，然后B账号使用数据盘 镜像创建新的数据盘。 场景示例：通过制作数据盘镜像，将快到期云主机的磁盘数据导出。 背景知识 通过云主机的数据盘创建数据盘镜像的过程如下：从现有数据盘开始，挂载至云主机实例，初始化数据盘并写入数据，创建数据盘镜像，并最终创建新的数据盘，如下图所示。 数据盘镜像使用流程 前提条件 云主机已挂载数据盘，并且云主机处于开机或关机状态。 如未挂载，请参考“《云硬盘操作指南》 > 快速入门 > 挂载云硬盘”挂载数据盘。 用于创建数据盘镜像的数据盘，磁盘容量需≤1TB。 数据盘容量大于1TB时，不支持创建数据盘镜像，此时请选择创建整机镜像。 操作步骤 1.登录IMS控制台。 登录控制台。 选择“镜像服务”。进入镜像服务页面。 2.创建数据盘镜像。 单击右上角的“创建私有镜像”，进入创建私有镜像页面。 在“镜像类型”区域，选择镜像的创建方式为“数据盘镜像”。 镜像源选择“云主机”，在云主机已挂载的磁盘列表中选择一块数据盘。 在“配置信息”区域，输入镜像名称，选择企业项目，并根据需要输入镜像的描述和标签。 加密属性依据数据盘而定，使用未加密的数据盘创建的私有镜像为未加密的私有镜像。在创建镜像时不可更改此属性，创建成功后，可以通过区域内复制更改加密属性。 单击“立即创建”。 根据界面提示，确认镜像参数。阅读并勾选协议，单击“提交申请”。 返回私有镜像列表，等待数据盘镜像创建成功。 3.返回私有镜像列表，查看创建的数据盘镜像。

参数名 说明 数据源元数据已更新 当数据连接中元数据发生变化时，通过配置更新策略，设置数据目录中元数据的更新方式。 需要注意的是配置的更新、删除策略是作用在用户配置的数据库、数据表的范围内的。 勾选“仅更新数据目录中的元数据”：采集任务仅更新数据目录已经采集到的元数据。 勾选“仅添加新元数据”：采集任务仅采集数据源中存在，但是数据目录中不存在的元数据。 勾选“更新数据目录中的元数据、添加新元数据”：采集任务全量同步数据源中的元数据。 勾选“忽略更新、添加操作”：不采集数据源中的元数据。 数据源元数据已删除 当数据连接中元数据发生变化时，通过配置删除策略，设置数据目录中元数据的更新方式。 勾选“从数据目录中删除元数据”：当数据源中的某些元数据已经被删除，数据目录中也将同步删除对应的元数据。 勾选“忽略删除”：当数据源中的某些元数据已经被删除，数据目录中不同步删除对应元数据。

编辑数据连接 1.登录MRS控制台，在导航栏选择“数据连接”。 2.在数据连接列表的“操作列”，单击待编辑数据连接所在行的“编辑 ”。 3.参考上表 数据连接 修改参数。 如果选择的数据连接已经关联了集群，编辑后会将修改后的配置同步到对应的集群中。 删除数据连接 1.登录MRS控制台，在导航栏选择“数据连接”。 2.在数据连接列表的操作列，单击待删除数据连接所在行的“删除 ”。 如果选择的数据连接已经关联了集群，删除动作不会影响对应的集群。 创建集群时配置数据连接 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“自定义创建”。 4.在软件配置中，参考下表配置“元数据”，其他参数请参考创建自定义集群进行配置并创建集群。 数据连接参数说明 参数 参数说明 元数据 是否使用外部数据源存储元数据。 本地元数据： 元数据存储在集群本地。 数据连接：使用外部数据源元数据，若集群异常或删除时将不影响元数据，适用于存储计算分离的场景。 支持Hive或Ranger组件的集群支持该功能。 组件名 当“数据连接”功能开启时，该参数有效。用于表示可以设置外部数据源的组件类型。 Hive Ranger 数据连接类型 当“数据连接”功能开启时，该参数有效。用于表示外部数据源的类型。 Hive组件支持的数据连接类型： − RDS服务MySQL数据库 − 本地数据库 Ranger组件支持的数据连接类型： − RDS服务MySQL数据库 − 本地数据库 数据连接实例 当“数据连接类型”选择“RDS服务PostgreSQL数据库”或“RDS服务MySQL数据库”时，该参数有效。用于表示MRS集群与RDS服务数据库连接的名称，该实例必须先创建才能在此处引用。可单击“创建数据连接”进行创建，具体请参考 管理数据连接章节配置数据连接中的 数据连接前置操作 和 创建数据连接进行操作。 详见下图： 创建集群时配置数据连接

本文介绍了如何通过数据管理服务将数据从天翼云关系数据库MySQL版导入和导出。 前提条件 操作用户拥有目标数据库的导入、导出权限。 目标数据库已是登录状态。 数据导入、导出功能支持的资源池请参考数据管理服务的资源池约束。 约束限制 数据导入功能支持的数据库类型：支持MySQL、PostgreSQL等数据库类型。 数据导入功能支持本地上传SQL文件、CSV文件（逗号分隔值）、TXT文件（逗号分隔值）。 数据导入功能支持的写入方式： INSERT INTO：插入数据，数据库会检查主键（PrimaryKey），如果出现重复会报错。 INSERT IGNORE INTO：插入数据，数据库会检查主键（PrimaryKey），如果表中已经存在相同的记录，则忽略当前新数据。 REPLACE INTO：插入替换数据，数据库会检查主键（PrimaryKey），如果数据库已经存在数据，则用新数据替换，如果没有数据效果则和INSERT INTO一样。 数据导出功能支持多种常见的数据格式：CSV（逗号分隔值）、SQL文件、TXT文件。 数据导出功能支持整表导出，也可以输入SQL语句进行定制导出确保只导出您所需的数据。 数据导出功能当前支持最大数据量100万行。 详细信息请参考数据导入介绍文档、 数据导出介绍文档。 操作步骤 数据导入 1. 登录数据管理服务的管理控制台。 2. 在左侧导航栏，单击 开发空间 > 数据导入，进入数据导入管理页面。 3. 单击数据导入按钮，弹出数据导入工单填写弹窗，工单需要输入的内容说明如下： 1. 目标数据库：数据库实例选择列表，数据来源于数据资产元数据管理中添加的数据库实例，支持MySQL、PostgreSQL。 2. 文件类型：可以选择csv、sql、txt文件类型其中之一。 3. 目标表：在选择目标数据库下，筛选导入的目标表。 4. 写入方式：可以选择INSERT INTO、INSERT IGNORE INTO、REPLACE INTO三种写入方式其中之一。 5. 附件上传：上传对应文件类型的文件。 6. 工单说明：描述工单备注内容。 4. 填写完数据导入工单后，单击提交按钮，即完成工单的提交，进入数据导入后台执行阶段。

2. 数据标注 对导入成功的数据，点击操作列【标注】进入标注页面，在标注详情页对数据进行微调和打标处理。页面左侧可对导入数据内容进行修改和撰写，页面右侧可对导入数据进行打标审核。 3. 数据管理 预览：对数据集进行预览； 发布：针对文本类数据集，标注完成后，可以选定数据集，点击【发布】，完成发布后的数据集才能供后续的训练使用； 推送到高速缓存：如果您希望训练过程中训练速度更快的话，可以选定数据集，点击【操作】，选择【推送到高速缓存】，该操作可将数据集从对象存储转存到并行文件系统中存储中进行加速。仅共享存储支持该功能； 制作副本：为此数据集制作副本，仅共享存储支持该功能； 导出数据：对数据集进行导出； 删除数据集：您可对不需要的数据集进行删除操作，对于自有存储，在本平台删除数据集不会删除底层存储。 4. 数据加速 平台通过Fluid等技术将数据从ZOS加速到本地缓存中，称为普通加速。是一种比HPFS更有性价比的数据加速方案，他只需要性价比极高的ZOS+智算平台提供的本地缓存即可完成数据吞吐量的提升。适用于规模中等的数据进行模型训练的场景。该功能支持范围有限，目前支持的资源池有：华北2。 前提条件是针对已【发布完成】的数据集，可以在操作中点击【普通加速】，即可将发布完成的数据从ZOS加速至本地缓存中，使用的时候可以更快、更近的读取数据，增加数据吞吐量。 点击【普通加速】后，数据会进入“普通加速”中的状态。 等加速数据集的状态完成会变成“普通加速”后，即可使用加速后的数据集。在模型精调中，选择对应数据集时即可看到【普通加速的标签】。

创建RDS连接 1.单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面。 2.连接器类型选择“云数据库 MySQL”后单击“下一步”，配置连接参数： 名称：用户自定义连接名称，例如：“rdslink”。 数据库服务器、端口：配置为RDS上MySQL数据库的连接地址、端口。 数据库名称：配置为RDS上MySQL数据库的名称。 用户名、密码：登录数据库的用户和密码。 说明 创建RDS连接时，“使用本地API”设置为“是”时，可以使用MySQL的LOAD DATA功能加快数据导入，提高导入数据到MySQL的性能。 由于RDS上的MySQL默认没有开启LOAD DATA功能，所以同时需要修改MySQL实例的参数组，将“localinfile”设置为“ON”，开启该功能。 如果“localinfile”参数组不可编辑，则说明是默认参数组，需要先创建一个新的参数组，再修改该参数值，并应用到RDS的MySQL实例上。 3.单击“保存”回到连接管理界面。 创建整库迁移作业 1.两个连接创建完成后，选择“整库迁移 > 新建作业”，开始创建迁移任务，如下图所示。 图 创建整库迁移作业 作业名称：用户自定义整库迁移的任务名称。 源端作业配置 −源连接名称：选择上述 创建MySQL连接 中的“mysqllink”。 −模式或表空间：选择从本地MySQL的哪个数据库导出数据。 目的端作业配置 −目的连接名称：选择上述 创建RDS连接 中的“rdslink”。 −模式或表空间：选择将数据导入到RDS的哪个数据库。 −自动创表：选择“不存在时创建”，当RDS数据库中没有本地MySQL数据库里的表时，CDM会自动在RDS数据库中创建那些表。 −导入前清空数据：选择“是”，当RDS数据库中存在与本地MySQL数据库重名的表时，CDM会清除RDS中重名表里的数据。 −高级属性里的可选参数保持默认即可。 2.单击“下一步”，进入选择待迁移表的界面，您可以选择全部或者部分表进行迁移。 3.单击“保存并运行”，CDM会立即开始执行整库迁移任务。 作业任务启动后，每个待迁移的表都会生成一个子任务，单击整库迁移的作业名称，可查看子任务列表。 4.单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 整库迁移的作业没有日志，子作业才有。在子作业的历史记录界面单击“日志”，可查看作业的日志信息。

模型压缩旨在帮助客户在尽量不减少模型效果的前提下压缩模型大小，进而提升模型在推理调用时的性能。 前置条件 资源准备：本功能仅支持910b硬件。 模型准备：您需要先对支持评估的模型完成模型精调后，再在评估页面创建评估任务。 创建模型压缩任务 1. 您可通过以下方式使用： 1. 入口1：进入“模型工具”>“模型压缩”菜单，进入评估任务列表，点击【创建压缩任务】，进入创建页面； 2. 入口2：进入“智算资产”>“我的模型”菜单，在我的模型菜单页面中，找到支持压缩的模型，点击【压缩】按钮，进入到创建页面。 2. 进入创建压缩任务页面后，填写相关配置： 类型 字段 说明 基本信息 任务名称 压缩任务名称，不超过20个字符 基本信息 任务描述 该任务的描述，300个字符以内 模型配置 选择源模型 此处支持选择用户希望压缩的模型，目前仅支持Llama38BInstruct基座模型精调出的模型 模型配置 模型创建方式 选择压缩后模型的保存方式，支持保存为已有模型新版本（默认为最新版本）或保存为新模型（默认V1版本） 模型配置 选择已有模型/新模型名称 选择已有模型：同一模型各版本的基础模型需保持一致，已自动过滤不符合要求的模型； 新模型名称：保存为新模型的名称 压缩策略配置 压缩方法 选择压缩方法，支持W8A16与稀疏化： W8A16：WxAxCx中W、A、C分别代表模型权重（weight）、激活（activation）和键值缓存（kv cache），数字x代表模型压缩后相应部分的比特数。模型压缩过程后，高比特浮点数会映射到低比特量化空间，从而达到降低显存占用、提升推理性能等目的。 模型的推理性能收益均需要通过实际测试获得，表中策略类型仅做参考。W8A16的权重使用8位整数量化，但是激活值仍然保留较高的精度，通常是使用16位浮点数（FP16）或者混合精度（MixedPrecision）。这种方式相比于W8A8，可能会提供更好的模型准确性，但是代价是在激活值上保留了更高的精度，因此可能不会像 W8A8那样大幅度减少内存使用。 稀疏化：是指在深度学习模型中通过将模型参数中的一些元素设为零来减少模型的计算量和存储需求，从而实现模型轻量化的目的。稀疏化不仅能有效地压缩模型，还能够加速推理过程，尤其是在硬件资源有限的设备上（如嵌入式系统或移动设备）。通过算法判断模型权重中每个元素对精度结果的重要性，并将模型权重中对最终精度影响小的权重值置零的过程。 资源配置 集群 选择适合的集群 资源配置 队列 选择可用资源配额 资源配置 资源规格 选择资源规格类型，不同的算力规格对应不同的价格 3. 点击提交，创建压缩任务。

项目 描述 时间选择 数据取回量查询的时间段，可以选择查看下列时间段的数据取回量： 今日。 昨日。 近7日。 近30日。 根据日历按钮，选择查询任意90天数据取回量。 数据位置 数据取回量查询的数据位置，可以选择： 全部数据位置：展示所有数据位置的数据取回量之和。 具体数据位置：根据显示的数据位置进行选择，查看对应数据位置的数据取回量。 存储桶 数据取回量查询的存储桶，可以选择： 全部存储桶：展示所有存储桶的数据取回量之和。 指定存储桶：根据显示的存储桶，选择查看对应存储桶的数据取回量。 存储类型 选择数据的存储类型： 全部存储类型：分别展示不同存储类型的数据取回量。 低频访问存储：低频访问存储的数据取回量。

迁移到天翼云后，若目的端服务器不能正常启动，天翼云可以提供相应的技术支持，但是不承诺解决问题。 其中目的端服务器不能正常启动的原因可能包括以下几种： 源端服务器本身无法重启 源端服务器上有非OS标准的配置 源端服务器上安装了与天翼云不兼容的驱动或软件等 为了适配天翼云，主机迁移服务对目的端服务器的系统配置做了修改。主机迁移服务可以保证迁移前后数据一致性，但无法保证业务能正常运行，需要您自己修改业务相关配置。 业务割接后，源端服务器、目的端服务器均有新增数据时，使用主机迁移服务，无法将源端新增数据与目的端新增数据进行合并，只能使用源端数据覆盖目的端数据。因此，建议您在业务割接前，不要在目的端服务器新增数据；业务割接后，不要在源端服务器新增数据。对于业务割接后，源端服务器、目的端服务器均有新增数据且需要合并的情况，需要您自行设计解决方案。

参数 参数说明 填写样例 任务名称 自定义脱敏任务的名称，系统会自定义生成一个。 Test 任务类型 此处选择“数据水印”。 数据脱敏 数据流向 选择脱敏任务的数据流向。 说明 当数据流向为“数据库到数据库”时，用户可以自主设置是否启用“增量读取”，开启后可以以增量方式处理源表更新数据。启用该功能后，可进一步选择增量方式： “插入”指增量数据以插入方式写入目标，若目标数据存在，则插入失败或重复插入，用户若选择插入则需指定自增主键或时间作为增量标识； “更新”指增量数据以更新方式写入目标，若目标数据存在，则更新成最新的数据，用户若选择更新则需同时指定主键和时间作为增量标识。 数据库到数据库 输入源 选择数据的输入源。 输入数据 支持选择如下四种数据输入方式： 手动选择：自定义选择需要输入的数据 全选所有：选择所有数据 发现结果导入 文件导入 全选所有 输出目标 选择数据的数据目标。 Scheam映射 选择输出目标的Scheam名。 表格映射 选择表格映射方式： 继承输入源命名 附加前缀 附加后缀 继承输入源命名

本文为您展示星辰MaaS模型服务平台我的数据集模块相关操作。 星辰MaaS模型服务平台包括我的数据集模块，可以实现私有数据集，支持数据集的检索、预览与创建，为用户提供便捷的数据资源，支撑模型训练与调优。 操作步骤 1. 登录星辰MaaS模型服务平台。 2. 在左侧导航栏选择“我的数据集”。 3. 点击“新建”，可新增数据集。 4. 可以管理个人数据集，进行删除或者编辑操作。 操作流程 数据集列表 操作说明：查看所有用户自己上传的数据集，支持数据集新建和删除。 数据集详情 操作说明：点击单个数据集进入，数据集介绍时展示的数据集的描述内容。 操作说明：点击【数据集文件】可查看数据的具体内容。展示文件的名称、大小、数据集类型、数据集状态和修改时间。 操作说明：点击进入文件夹，可以查看数据集名称、大小、类型、上传状态和修改时间，并支持下载和删除数据集。 数据集上传 操作说明：在数据集集市点击【上传】进入。可以点击或文件拖拽到此处上传，支持单文件大小不超过100G，支持上传多个文件。需要将数据集转为压缩文件上传。 操作说明：用户点击【新建文件夹】可以创建文件夹。支持修改文件夹名称。

本文主要介绍数据中台的数据架构定义。 使用数据中台进行数据建模时，数仓架构师或者项目空间成员可以在数仓规划页面对数据分层和主题域进行设计。完成设计后，模型设计师在建模过程中可以依赖数仓规划中的数据分层和主题域对所建模型进行分层划域管理。 数据中台的数据分层和分域管理在架构规划> 数据架构> 数据架构管理中进行。数据架构通过树的形式在画布中进行展示，数据架构管理中包含数据分层和数据主题，数据架构会默认提供主题和分层两个二级节点。在数据架构画布中您可以对画布进行以下操作： 刷新：刷新画布内容。 放大：放大画布中的元素显示比例。 缩小：缩小画布中的元素显示比例。 全屏：全屏显示画布内容。

本章节为您介绍数据安全专区的数据对比任务。 “数据对比任务”页面用于比较生产源和对比目标，轻松发现目标数据是否脱敏；也可用于验证数据脱敏处理效果，即对比脱敏前后的数据差异。 注意 目前，系统仅支持对比同构数据库中的敏感字段，自动跳过非敏感字段，且表名及表所含字段名完全相同才算匹配上。 不支持对比主键经过脱敏的数据。 新增数据对比任务 1.使用系统管理员登录数据脱敏实例。 2.在左侧导航栏选择“数据对比 > 数据对比任务 ”，进入“数据对比任务”页面。 3.单击页面左上角的“新增”按钮，即可开始新增数据对比任务。 参数 参数说明 填写样例 任务名称 自定义数据对比的任务名称，在您创建的时候系统会生成一个随机名称。 Test 生产源 选择数据对比任务的生产源。 生产数据 选择数据对比任务的生产数据。 对比名称 选择需要对比的数据。 目标数据 选择目标数据。 采样数据 可根据您需求是否开启，若开启可选择： 采样行数 采样比例 采样比例 特殊处理 选择单表超过一定行数时，自动完成对比任务。 500 4.配置完成后，单击“报告”即可生成数据对比报告。 后续操作： 单击报告末尾的“一键创建敏感数据发现任务”，界面将跳转至敏感数据发现的任务创建页，自动生成一个结构化发现任务，并自动填入输入源（对应“生产源”）、输入数据、任务名称等参数； 单击“一键创建脱敏任务”，界面将跳转至脱敏/水印任务的任务创建页，自动生成一个脱敏任务，并自动填入输入源、输入数据、输出目标（对应“对比目标”）、任务名称等参数。

本文主要介绍数据智能中台的产品优势。 快速跨源跨域计算 基于异构计算引擎，解决不同地域，不同数据源之间的数据隔阂问题，实现多地区，多系统的数据协同计算和即席查询。 稳定可靠 支持故障容错，训练作业故障自动恢复，作业失败率低于0.5%，万卡训练30天不中断。 多源异构数据采集清洗 支持多源异构数据的统一管理及具备多种数据迁移方式与丰富的数据预处理能力。 多模态数据治理 融合大模型支持自动生成元数据、智能推荐标准与多模态质检规则，实现多模态数据融合治理。 融合计算 支持异构数据的统一融合框架，实现多源数据智能对齐与语义关联，构建全域数据关联。 基于AI辅助实现人机协审 解决数据标注过程，人工数据审核慢，同时在线标注人员支持量不足的问题，攻关智能数据审核能力，实现人机协审，提升数据审核效率50%+，万人在线同时标注。

管理数据标准 在DataArts Studio数据架构控制台，单击左侧导航树中的“数据标准”，进入数据标准页面。您可以对数据标准进行管理。 在数据标准页面，可以执行以下操作： 搜索 在数据标准上方，设置标准、数据类型、创建人、审核人等筛选条件，然后单击“搜索”可以查找指定的数据标准。 找到指定的数据标准后，可以执行以下操作： −编辑 −发布 −下线 导入 单击“更多 > 导入”，可以导入数据标准，下载导入模板，填写模板并上传，然后单击“确定”。 导出 −导出指定目录中的数据标准 在数据标准目录结构中，选中一个目录，单击数据标准列表上方的“更多 > 导出”，可以导出该目录下的所有的数据标准。 −导出指定的数据标准 在数据标准列表中，选中需要导出的数据标准，然后单击列表上方的“更多 > 导出”，可以导出所选中的数据标准。 删除 勾选标准后单击“更多>删除”，可以删除数据标准，其中待发布，已发布和待下线状态的数据标准不可被删除。且被引用的数据标准不可被删除。 发布 选中需要发布的数据标准，单击“发布”，弹出“提交发布”对话框，下列两种方式任选其一。 −选择审核人。如果下拉列表里无审核人，可单击旁边的进行添加。 −勾选“自主审批”。 说明 如果当前账号在审批人列表中，才会有“自主审批”功能。 单击“确认提交”，如果选择了审核人，需要审核通过后才能发布上线。如果勾选了“自主审批”，会立即发布上线。

本节主要介绍数据方案 自动生成测试数据 操作场景 在进行程序的功能测试时，通常需要在数据库中插入大量符合特定规则的测试数据。自动生成测试数据，可高效的生成测试数据，根据生成规则可以很方便生成所需数据。 操作步骤 1. 在顶部菜单栏选择“数据方案”>“自动生成测试数据”打开自动生成测试数据页面。 2. 在“自动生成测试数据”页面，单击“新建任务”，在弹出窗口选择编辑任务信息。 生成行数 生成测试数据的行数，最大支持100万。 冲突处理 设置成“遇到数据冲突则跳过”，即数据冲突时可继续生成数据；当设置成“遇到数据冲突则替换”，将以主键相同时，替换原来数据的规则进行处理。 生成方式 选择目标列，您可根据列设置情况，设置随机生成数据的规则，如列为time时，您可以设置开始时间、结束时间、格式；或者直接勾选“根据当前时间生成”。 3. 设置完生成任务信息，您可单击“预览数据”查看生成的数据是否符合预期，然后做出调整；您也可直接单击“生成数据”，可获取该规则下的测试数据。 4. 在任务列表中，也单击“查看任务”，获取已生成的自动测试数据任务详情。也可根据需要，勾选任务并单击“删除任务”，删除该任务。 数据追踪与回滚 操作场景 核心数据变更审计，统计变更数量及查看敏感变更信息。例如，查询银行流水查看收支情况、订单表统计新增订单、配置表关键配置变更历史时，可以使用该功能。 误操作数据回滚，找回误删除数据，恢复变更前数据状态。例如，DBA更新配置未加where条件、误删除配置数据、程序bug生成大量脏数据及其连锁反应时，可以使用该功能。

本章节主要介绍数据管理的新建数据连接功能。 通过创建数据连接，您可以在数据开发模块中对相应服务进行更多数据操作，例如：管理数据库、管理命名空间、管理数据库模式、管理数据表。 在同一个数据连接下，可支持多个作业运行和多个脚本开发，当数据连接保存的信息发生变化时，您只需在连接管理中编辑修改该数据连接的信息。 新建数据连接 数据开发模块的数据连接，是基于管理中心的数据连接完成的，创建方法请参考创建数据连接 。 查看连接引用 当用户需要查看某个连接被引用的情况时，可以参考如下操作查看引用。 1.登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2.在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 3.单击，进入连接目录列表。 4.在连接目录中，右键单击对应的连接，选择“查看引用”，弹出“引用列表”窗口。 5.在引用列表窗口，可以查看该连接被引用的情况。

新建数据表（DDL模式） 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”/“数据开发 > 作业开发”，进入“右侧区域”页面。 3. 在左侧菜单选择，单击“数据连接”，目录层级展开至“tables”，右键单击“新建数据表”。 4. 单击“DDL模式建表”，选择如下表所示的参数，并在下方的编辑器中输入SQL语句。 数据表参数 参数 说明 数据连接类型 选择数据表所属的数据连接类型。 DLI DWS HIVE 数据连接 选择数据表所属的数据连接。 数据库 选择数据表所属的数据库。 5. 单击“确定”，新建数据表。 查看表详情 1. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”或“数据开发 > 作业开发”，进入“右侧区域”页面。 2. 在左侧菜单选择，单击“数据连接”，目录层级展开至数据表的名称，右键单击“查看表详情”。 3. 进入数据表详情页面，查看下表所示的数据表信息。 表详情页面 页签名称 说明 表信息 显示数据表的基本信息和存储信息。 字段信息 显示数据表的字段信息。 数据预览 预览数据表的10条记录。 DDL 显示DLI/DWS/MRS Hive数据表的DDL。

态势感知（专业版）提供数据消费功能，支持通过客户端实时消费数据。 数据消费是指第三方软件、云产品等通过客户端实时消费日志服务的数据，是对全量数据的顺序读写。 开启数据消费 1. 登录管理控制台。 2. 单击页面左上方的，选择“安全 > 态势感知（专业版）”，进入态势感知（专业版）管理页面。 3. 在左侧导航栏选择“工作空间 > 空间管理”，并在工作空间列表中，单击目标工作空间名称，进入目标工作空间管理页面。 4. 在左侧导航栏选择“日志审计 > 安全数据”，进入安全分析页面。 5. 在左侧数据空间导航栏中，单击数据空间名称，展开数据管道列后，单击目标管道名称后的“更多> 数据消费”，进入数据消费页面。 6. 在数据消费页面中，单击当前状态后的，开启数据消费。 开启后，将显示消费配置信息，具体说明如下表所示。 参数名称 参数说明 当前状态 当前管道中数据消费配置状态。 管道名称 当前数据管道的名称。 订阅器 系统预制的订阅模式，决定数据如何传递给消费者。 访问节点 当前数据的访问节点。 相关操作 数据消费开启后，如需关闭，则可在数据消费页面，单击“当前状态”后的，关闭数据消费。

算法名称 说明 仿真算法 根据所选的参数（若有）生成格式、语义等属性与原数据相同且符合校验规则（若有）的仿真数据。 可逆算法 根据所选的参数（若有）生成格式类似、符合校验规则（若有）且支持可逆计算的数据。 遮蔽算法 根据所选的参数（若有）对指定区域的数据内容进行替换。 水印算法 根据所选的水印信息，对数据添加水印标记，可实现数据所有权声明和数据泄漏追溯。 取整算法 根据所选的参数（若有）对数据进行取整计算。 分割算法 根据所选的参数（若有）对数据进行分割，保留指定区域的数据。 保留算法 保留原数据不做脱敏。 替换算法 使用固定值替换，注意替换的值应与原数据所在列声明的数据结构保持一致，否则会出现因数据结构不符而造成脱敏失败的情况。 置空算法 使用空值替换，注意需确认若原数据所在列要求为非空，则使用本算法会出现失败的情况。 乱序算法 打乱数据元组的顺序。 哈希算法 对数据进行哈希编码，支持输入盐值。 密码学算法 根据所选参数指定的密码学加密算法对数据进行加密。支持的加密算法有：RSA/AES/SM2/SM4。 编码算法 根据所选参数指定的编码方式对数据进行编码。支持的编码方式有：UTF8/GBK。 平均算法 对数据进行均值填充。 区间算法 根据步长对数据进行规整。 保留频次算法 对类别属性的数据（取值数目有限）进行编码，去除字段内容含义，仅保留类别区分性。适用于机器学习等数据分析中需保留标签区分性的场景。 标准化算法 对数值类型的数据进行标准化缩放，使得数据均值归为0，方差归为1。本算法脱敏后的数据基本保留数据分布类型，可后续用于常见的分类、聚类等数据分析任务。注意本算法不适合用于大量数据（建议行数为2w以下），因平台在该种情况下会批量计算，由此造成结果不准确。 归一化算法 对数值类型的数据进行归一化缩放，将数据线性缩放至[0,1]区间。本算法脱敏后的数据可限定数据范围，保留数据相对大小，剔除量纲影响，可根据分析模型和分析需求选用本算法。注意本算法不适合用于大量数据（建议行数为2w以下），因平台在该种情况下会批量计算，由此造成结果不准确。 分布重建算法 根据指定的直方图的数量对原数据分布进行估计和采样重建。本算法可以使得脱敏后的数据保留原数据的高阶统计特征，适用于对数据质量有较高要求的分析场景。注意本算法不适合用于过少量数据（建议行数为100以上），因在此种情况下会造成分布估计不准确。 添加噪声算法 根据指定的均值和标准差，对原数据添加加性高斯噪声。本算法可以使得（在参数合理配置情况下）脱敏后的数据仍满足常见信号估计和趋势分析的噪声假设，适用于序列数据，可后续用于回归拟合和预测任务。 一致性算法 根据所选的参数（若有）生成格式类似、符合校验规则（若有）且支持相同的数据在指定的表、列中在脱敏后仍保持一致。 计算关系保留算法 指定的列在脱敏后保留减法运算关系。可指定减数或被减数是否保留原值，否则会按照仿真算法重新生成。 乱序关联保留算法 指定的2个或多个列（支持至多5列）在乱序前后保留对应关系。 身份信息关联保留算法 出生日期/性别/身份证互相之间关系（根据需要）保持一致。

本页为您介绍数据传输服务的技术架构和功能原理。 DTS技术架构 天翼云DTS系统技术架构图如下所示： DTS功能原理 数据迁移 DTS数据迁移提供多种迁移类型：结构对象迁移、全量数据迁移及增量数据迁移。如果需要实现不停服务迁移，需要同时选择结构对象迁移、全量数据迁移和增量数据迁移。 全量数据迁移过程可能会持续较久，在这过程中，源实例不断有业务写入，为保证迁移数据的一致性，在全量数据迁移之前，会记录当前源实例的日志位点，存储在本地数据库中。 当全量数据迁移完成后，DTS会启动增量日志回放模块，增量日志回放模块会从增量日志读取模块中获取增量数据，经过反解析、过滤、封装后迁移到目标实例，从而实现增量数据迁移。 数据同步 DTS数据同步功能能够实现两个数据源之间的增量数据实时同步。 同步链路创建过程 同步初始化 将源实例的历史存量数据在目标实例初始化一份。 增量数据实时同步 当初始化完成后进入两边增量数据实时同步阶段，该阶段DTS将实现源实例和目标实例的数据动态同步。

本实践将为您介绍如何通过LVM创建逻辑卷。 操作场景 当LVM管理工具安装成功之后，用户可以通过LVM来创建逻辑卷。通过LVM架构图，可以了解到在这一层需要完成三个步骤： 创建物理卷（Physical Volumes）：将云硬盘分区或整个云硬盘设备初始化为物理卷。 创建卷组（Volume Group）：将一个或多个物理卷添加到卷组中。 创建逻辑卷（Logical Volumes）：从卷组中划分逻辑卷。 本指导假设您前期已经在操作系统为“CentOS 7.6 64bit”的弹性云主机上挂载了两个大小为10GB的数据盘。 操作步骤 1. 以root用户登录云主机，登录成功之后如图： 2. 执行命令 fdisk l grep /dev/vd grep v vda，查看云主机中的云硬盘并记录设备名称。回显如下图所示： 如图所示，当前云主机中已经挂载两个数据盘，分别为/dev/vdb和/dev/vdc，容量为10GB。 3. 查看之后，请执行 pvcreate命令进行物理卷创建的工作，pvcreate的参数是设备名称。此处执行命令 pvcreate /dev/vdb /dev/vdc，回显信息如图所示： 如图所示，物理卷/dev/vdb与物理卷/dev/vdc已经创建成功。 4. 执行 pvdisplay命令来验证物理卷/dev/vdb与物理卷/dev/vdc的创建信息，具体回显如图所示： 5. 物理卷创建成功，接下来创建卷组，卷组通常使用 vgcreate命令创建，请执行 vgcreate vgdata /dev/vdb /dev/vdc。其中vgdata为创建的卷组名，/dev/vdb 、/dev/vdc为物理设备名，具体回显信息如下图： 如图，卷组“vgdata”已创建成功。 6. 执行 vgdisplay命令验证卷组“vgdata”的具体信息，具体回显如图所示： 7. 最后创建逻辑卷，执行命令为：lvcreate L 15GB n lvdata vgdata，此命令的格式为：lvcreate L 逻辑卷大小 n 逻辑卷名称 卷组名称，具体回显信息如下图所示： 说明 具体参数说明如下： 1. 逻辑卷大小：该值应小于所创建卷组剩余可用空间，容量单位可以选择“MB”或“GB”，在此例中创建15GB的逻辑卷大小。 2. 逻辑卷名称：可自定义，此处以lvdata为例。 3. 卷组名称：已经创建的卷组的名称。 8. 执行 lvdisplay命令来验证逻辑卷的创建信息，验证是否创建成功，具体回显信息如下图所示： 至此，逻辑卷创建成功。

本章节主要介绍通过数据地图查看数据血缘关系的方案概述。 什么是数据血缘 大数据时代，数据爆发性增长，海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息，通过联姻融合、转换变换、流转流通，又生成新的数据，汇聚成数据的海洋。 数据的产生、加工融合、流转流通，到最终消亡，数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数据之间的这种关系，称之为数据的血缘关系。与人类社会中的血缘关系不同，数据的血缘关系还包含了一些特有的特征： 归属性 ：一般来说，特定的数据归属特定的组织或者个人，数据具有归属性。 多源性 ：同一个数据可以有多个来源（多个父亲）。一个数据可以是多个数据经过加工而生成的，而且这种加工过程可以是多个。 可追溯性 ：数据的血缘关系，体现了数据的生命周期，体现了数据从产生到消亡的整个过程，具备可追溯性。 层次性 ：数据的血缘关系是有层次的。对数据的分类、归纳、总结等对数据进行的描述信息又形成了新的数据，不同程度的描述信息形成了数据的层次。 详见下图：数据血缘关系示例 DataArts Studio数据血缘实现方案 数据血缘的产生： 在DataArtsStudio平台，自动分析血缘是通过在数据开发模块中配置数据处理迁移类型的节点产生的，当前支持采集节点静态配置产生的血缘和部分节点实例上的血缘。详情请参见 配置数据血缘章节中的 自动分析血缘。 另外，DataArtsStudio平台还支持手动配置血缘方式，当用户手动配置血缘时，自动分析血缘将不生效。详情请参见 配置数据血缘章节中的 手动配置血缘。 数据血缘的展示： 当数据开发模块中的作业已完成血缘关系配置后，启动作业调度，并在数据目录模块进行元数据采集任务，则可以在数据目录模块可视化查看数据血缘关系。