创建RDS连接 1.单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面。 2.连接器类型选择“云数据库 MySQL”后单击“下一步”，配置连接参数： 名称：用户自定义连接名称，例如：“rdslink”。 数据库服务器、端口：配置为RDS上MySQL数据库的连接地址、端口。 数据库名称：配置为RDS上MySQL数据库的名称。 用户名、密码：登录数据库的用户和密码。 说明 创建RDS连接时，“使用本地API”设置为“是”时，可以使用MySQL的LOAD DATA功能加快数据导入，提高导入数据到MySQL的性能。 由于RDS上的MySQL默认没有开启LOAD DATA功能，所以同时需要修改MySQL实例的参数组，将“localinfile”设置为“ON”，开启该功能。 如果“localinfile”参数组不可编辑，则说明是默认参数组，需要先创建一个新的参数组，再修改该参数值，并应用到RDS的MySQL实例上。 3.单击“保存”回到连接管理界面。 创建整库迁移作业 1.两个连接创建完成后，选择“整库迁移 > 新建作业”，开始创建迁移任务，如下图所示。 图 创建整库迁移作业 作业名称：用户自定义整库迁移的任务名称。 源端作业配置 −源连接名称：选择上述 创建MySQL连接 中的“mysqllink”。 −模式或表空间：选择从本地MySQL的哪个数据库导出数据。 目的端作业配置 −目的连接名称：选择上述 创建RDS连接 中的“rdslink”。 −模式或表空间：选择将数据导入到RDS的哪个数据库。 −自动创表：选择“不存在时创建”，当RDS数据库中没有本地MySQL数据库里的表时，CDM会自动在RDS数据库中创建那些表。 −导入前清空数据：选择“是”，当RDS数据库中存在与本地MySQL数据库重名的表时，CDM会清除RDS中重名表里的数据。 −高级属性里的可选参数保持默认即可。 2.单击“下一步”，进入选择待迁移表的界面，您可以选择全部或者部分表进行迁移。 3.单击“保存并运行”，CDM会立即开始执行整库迁移任务。 作业任务启动后，每个待迁移的表都会生成一个子任务，单击整库迁移的作业名称，可查看子任务列表。 4.单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 整库迁移的作业没有日志，子作业才有。在子作业的历史记录界面单击“日志”，可查看作业的日志信息。

模型压缩旨在帮助客户在尽量不减少模型效果的前提下压缩模型大小，进而提升模型在推理调用时的性能。 前置条件 资源准备：本功能仅支持910b硬件。 模型准备：您需要先对支持评估的模型完成模型精调后，再在评估页面创建评估任务。 创建模型压缩任务 1. 您可通过以下方式使用： 1. 入口1：进入“模型工具”>“模型压缩”菜单，进入评估任务列表，点击【创建压缩任务】，进入创建页面； 2. 入口2：进入“智算资产”>“我的模型”菜单，在我的模型菜单页面中，找到支持压缩的模型，点击【压缩】按钮，进入到创建页面。 2. 进入创建压缩任务页面后，填写相关配置： 类型 字段 说明 基本信息 任务名称 压缩任务名称，不超过20个字符 基本信息 任务描述 该任务的描述，300个字符以内 模型配置 选择源模型 此处支持选择用户希望压缩的模型，目前仅支持Llama38BInstruct基座模型精调出的模型 模型配置 模型创建方式 选择压缩后模型的保存方式，支持保存为已有模型新版本（默认为最新版本）或保存为新模型（默认V1版本） 模型配置 选择已有模型/新模型名称 选择已有模型：同一模型各版本的基础模型需保持一致，已自动过滤不符合要求的模型； 新模型名称：保存为新模型的名称 压缩策略配置 压缩方法 选择压缩方法，支持W8A16与稀疏化： W8A16：WxAxCx中W、A、C分别代表模型权重（weight）、激活（activation）和键值缓存（kv cache），数字x代表模型压缩后相应部分的比特数。模型压缩过程后，高比特浮点数会映射到低比特量化空间，从而达到降低显存占用、提升推理性能等目的。 模型的推理性能收益均需要通过实际测试获得，表中策略类型仅做参考。W8A16的权重使用8位整数量化，但是激活值仍然保留较高的精度，通常是使用16位浮点数（FP16）或者混合精度（MixedPrecision）。这种方式相比于W8A8，可能会提供更好的模型准确性，但是代价是在激活值上保留了更高的精度，因此可能不会像 W8A8那样大幅度减少内存使用。 稀疏化：是指在深度学习模型中通过将模型参数中的一些元素设为零来减少模型的计算量和存储需求，从而实现模型轻量化的目的。稀疏化不仅能有效地压缩模型，还能够加速推理过程，尤其是在硬件资源有限的设备上（如嵌入式系统或移动设备）。通过算法判断模型权重中每个元素对精度结果的重要性，并将模型权重中对最终精度影响小的权重值置零的过程。 资源配置 集群 选择适合的集群 资源配置 队列 选择可用资源配额 资源配置 资源规格 选择资源规格类型，不同的算力规格对应不同的价格 3. 点击提交，创建压缩任务。

本页为您介绍数据传输服务的技术架构和功能原理。 DTS技术架构 天翼云DTS系统技术架构图如下所示： DTS功能原理 数据迁移 DTS数据迁移提供多种迁移类型：结构对象迁移、全量数据迁移及增量数据迁移。如果需要实现不停服务迁移，需要同时选择结构对象迁移、全量数据迁移和增量数据迁移。 全量数据迁移过程可能会持续较久，在这过程中，源实例不断有业务写入，为保证迁移数据的一致性，在全量数据迁移之前，会记录当前源实例的日志位点，存储在本地数据库中。 当全量数据迁移完成后，DTS会启动增量日志回放模块，增量日志回放模块会从增量日志读取模块中获取增量数据，经过反解析、过滤、封装后迁移到目标实例，从而实现增量数据迁移。 数据同步 DTS数据同步功能能够实现两个数据源之间的增量数据实时同步。 同步链路创建过程 同步初始化 将源实例的历史存量数据在目标实例初始化一份。 增量数据实时同步 当初始化完成后进入两边增量数据实时同步阶段，该阶段DTS将实现源实例和目标实例的数据动态同步。

算法名称 说明 仿真算法 根据所选的参数（若有）生成格式、语义等属性与原数据相同且符合校验规则（若有）的仿真数据。 可逆算法 根据所选的参数（若有）生成格式类似、符合校验规则（若有）且支持可逆计算的数据。 遮蔽算法 根据所选的参数（若有）对指定区域的数据内容进行替换。 水印算法 根据所选的水印信息，对数据添加水印标记，可实现数据所有权声明和数据泄漏追溯。 取整算法 根据所选的参数（若有）对数据进行取整计算。 分割算法 根据所选的参数（若有）对数据进行分割，保留指定区域的数据。 保留算法 保留原数据不做脱敏。 替换算法 使用固定值替换，注意替换的值应与原数据所在列声明的数据结构保持一致，否则会出现因数据结构不符而造成脱敏失败的情况。 置空算法 使用空值替换，注意需确认若原数据所在列要求为非空，则使用本算法会出现失败的情况。 乱序算法 打乱数据元组的顺序。 哈希算法 对数据进行哈希编码，支持输入盐值。 密码学算法 根据所选参数指定的密码学加密算法对数据进行加密。支持的加密算法有：RSA/AES/SM2/SM4。 编码算法 根据所选参数指定的编码方式对数据进行编码。支持的编码方式有：UTF8/GBK。 平均算法 对数据进行均值填充。 区间算法 根据步长对数据进行规整。 保留频次算法 对类别属性的数据（取值数目有限）进行编码，去除字段内容含义，仅保留类别区分性。适用于机器学习等数据分析中需保留标签区分性的场景。 标准化算法 对数值类型的数据进行标准化缩放，使得数据均值归为0，方差归为1。本算法脱敏后的数据基本保留数据分布类型，可后续用于常见的分类、聚类等数据分析任务。注意本算法不适合用于大量数据（建议行数为2w以下），因平台在该种情况下会批量计算，由此造成结果不准确。 归一化算法 对数值类型的数据进行归一化缩放，将数据线性缩放至[0,1]区间。本算法脱敏后的数据可限定数据范围，保留数据相对大小，剔除量纲影响，可根据分析模型和分析需求选用本算法。注意本算法不适合用于大量数据（建议行数为2w以下），因平台在该种情况下会批量计算，由此造成结果不准确。 分布重建算法 根据指定的直方图的数量对原数据分布进行估计和采样重建。本算法可以使得脱敏后的数据保留原数据的高阶统计特征，适用于对数据质量有较高要求的分析场景。注意本算法不适合用于过少量数据（建议行数为100以上），因在此种情况下会造成分布估计不准确。 添加噪声算法 根据指定的均值和标准差，对原数据添加加性高斯噪声。本算法可以使得（在参数合理配置情况下）脱敏后的数据仍满足常见信号估计和趋势分析的噪声假设，适用于序列数据，可后续用于回归拟合和预测任务。 一致性算法 根据所选的参数（若有）生成格式类似、符合校验规则（若有）且支持相同的数据在指定的表、列中在脱敏后仍保持一致。 计算关系保留算法 指定的列在脱敏后保留减法运算关系。可指定减数或被减数是否保留原值，否则会按照仿真算法重新生成。 乱序关联保留算法 指定的2个或多个列（支持至多5列）在乱序前后保留对应关系。 身份信息关联保留算法 出生日期/性别/身份证互相之间关系（根据需要）保持一致。

本文介绍如何在科研助手中删除数据集。 操作步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中，选择【数据存储】的【数据集管理】。 3. 在【数据集管理 】页面，点击左上角的【个人数据集】选项卡。 4. 在数据集右侧单击【删除】按钮。注意：已被开发环境/作业挂载的数据集无法删除。 5. 此时弹出【删除数据集 】页面，确认信息无误后，填入“确认删除 ”，单击弹窗的【确认】按钮，删除数据集。 注意：科研助手的数据集与专业版数据集通用，在科研助手的【数据集管理】中可以显示并删除专业版的数据集。

功能类型 链路规格 包年包月（元/月） 按需（元/小时） RPS性能上限 数据迁移 小规格 / 1.02 1000 数据迁移 中规格 / 1.80 3000 数据迁移 大规格 / 2.88 5000 数据迁移 超大规格 / 5.18 7000 数据迁移 极大规格 / 9.20 12000 数据同步 小规格 768 1.60 1000 数据同步 中规格 1104 2.30 3000 数据同步 大规格 1656 3.45 5000 数据同步 超大规格 2486.4 5.18 7000 数据同步 极大规格 4056 8.45 12000 数据同步 特大规格 5625.6 11.72 30000

本节介绍数据集生命周期管理。 数据集创建完成后可以进行查看、编辑和进行版本管理。 数据集概览 可以点击数据集私有数据集进行查看创建的数据集。 编辑数据集 点击编辑按钮，可修改数据集名称。 查看数据集 在数据集详情页面，点击创建版本按钮，可以创建新的版本，流程和创建数据集一致。

本节主要介绍数据目录监控信息。 在“监控”页面点击“数据目录”，可以查看对应数据目录的实时监控信息：数据目录容量、数据目录已用容量、数据目录使用率、容量配额、已用容量配额、容量配额使用率、健康状态、健康详情。 说明 对于单机版，可以根据健康状态，选择查看对应数据目录的信息。对于集群版，可以根据存储池名称或者健康状态，选择查看对应数据目录的信息。 图1 数据目录实时监控信息（单机版） 图2 数据目录实时监控信息（集群版） 项目 描述 数据目录 具体数据目录路径。 数据目录容量 数据目录所在磁盘的容量。 数据目录已用容量 数据目录所在磁盘已用容量。 数据目录使用率 数据所在磁盘使用率。 容量配额 HBlock的容量配额。 已用容量配额 HBlock已使用的容量配额。 容量配额使用率 HBlock的容量配额使用率。 健康状态 健康状态： 健康：数据目录可正常读写，且数据目录所在磁盘使用率未超过阈值（系统默认值为95%）。 警告：数据可读，但存在以下情况的任意一种：慢盘；数据目录所在磁盘使用率超过阈值（系统默认值为95%）；磁盘剩余空间不足1GiB；HBlock对这个目录停写；数据目录配额使用率超过阈值（系统默认值为95%）；数据目录配额为0。 错误：数据目录无法访问，原因可能是：所在磁盘出现I/O错误导致无法读写，数据目录未正确挂载等。 健康详情 健康详情： 如果“健康状态”为“健康”，此列为空。 如果“健康状态”为“警告”或“错误”，显示警告或错误的详细信息。 在“监控”>“数据目录”页面，点击对应数据目录，可以查看数据目录指定时间内的监控信息：数据目录使用率、容量配额使用率、数据目录使用量、数据目录总容量、配额使用、配额。 图3 数据目录监控信息（单机版） 图4 数据目录监控信息（集群版） 项目 描述 数据目录 具体数据目录路径。 时间范围 可以选择相对时间： 近2小时 近6小时 近1天 近7天 近1年 自定义时间段，选择开始日期和结束日期，精确到天。 注意 起始时间必须早于结束时间，且起始时间不能早于服务器当前时间一年。 数据目录使用率 数据所在磁盘使用率。 容量配额使用率 HBlock容量配额使用率。 数据目录容量 数据目录所在磁盘的容量。 数据目录已用容量 数据目录所在磁盘已用容量。 容量配额 HBlock的容量配额。 已用容量配额 HBlock已使用的容量配额。

本页介绍数据同步实例的订购、续订和退订操作说明。 订购数据同步实例的具体操作流程与订购数据迁移实例类似，可参照订购数据迁移实例。 续订数据同步实例的具体操作流程与续订数据迁移实例类似，可参照续订数据迁移实例。 退订数据同步实例的具体操作流程与退订数据迁移实例类似，可参照退订数据迁移实例。 注意 订购数据同步实例时，支持包周期和按需两种计费方式。 续订数据同步实例时，仅针对计费方式为包周期的实例。

本章节主要介绍数据目录权限管理。 约束与限制 仅管理员角色的用户支持创建、删除、修改数据目录权限规则和设置数据目录权限生效状态。 开发者、运维者和访客角色的用户仅支持查看数据目录权限规则和规则列表。 管理数据目录权限规则 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2. 选择“数据权限 > 数据目录权限”，单击“新建”，配置数据目录权限规则。 a.规则名称：设置数据权限规则的名称。 b.类型：当前支持从标签、密级和分类的维度进行过滤筛选。 c.范围：选择实际的标签、密级和分类。 d.用户：配置的数据目录权限规则所适配的用户。 e.生效：打开，表示该数据目录权限规则生效。反之，不生效。 说明 数据目录权限规则生效后，仅该数据目录权限规则所适配的用户，可管理限定标签或者分类的数据资产。例如设置类型为标签，范围选择test，用户设置为A，当开启权限规则后，A用户只可管理test标签的资产。 详见下图：新建规则 3. 在数据权限规则列表中，选择对应规则后的编辑和删除，可修改和删除数据权限规则。

本页为您简要介绍什么是天翼云数据传输服务DTS。 TeleDB数据传输服务（Data Transmission Service，简称DTS）是由天翼云基于TeleDB v5.1.9版本孵化并演进而成的集数据迁移和数据实时同步于一体的数据传输服务。它作为数据流通的底座，能够帮助用户实现数据库不停业务快速稳定地迁移上云、构建数据实时同步通道实现数据库灾备/双活，保障业务数据高效、稳定地流通。 数据迁移 数据迁移是指在数据传输服务能够同时连通源数据库和目标数据库的情况下，只需要配置迁移的源、目标数据库实例及迁移对象即可完成整个数据迁移过程。数据迁移功能旨在帮助用户方便、快速地实现各种数据源之间的数据迁移，用户可通过EIP公网网络实现数据上云迁移、也可使用VPC网络实现天翼云内部跨实例数据迁移、数据库拆分扩容等业务场景。同时，数据迁移服务可实现不停机迁移，数据库不关机，业务不暂停，最大程度保障用户业务在迁移期间的可用性。 数据同步 数据同步是指在不同的系统之间，将数据通过同步技术从一个数据源拷贝到目标数据库，并保持目标库与源库数据的一致，实现关键业务的数据实时流动。数据同步功能旨在帮助用户实现两个数据源之间的数据实时同步。同步过程中可通过映射和条件过滤实现灵活同步。 基本特性 多数据源实时同步和迁移 支持MySQL>MySQL，PostgreSQL>PostgreSQL，SQL Server>SQL Server的实时数据同步和迁移。 支持DDS/MongoDB副本集>DDS/MongoDB副本集的数据迁移。 支持MySQL> PostgreSQL、MySQL>ClickHouse不同数据源之间的实时数据同步和迁移。 支持数据结构迁移、全量迁移、增量迁移，通过结构、全量、增量迁移可帮助用户将数据实时同步到目标端，实现业务平滑迁移。

本页介绍天翼云TeleDB数据库如何使用数据稽查功能对比迁移。 数据稽查功能用于对比源库与目标库的数据差异，帮助用户及时发现数据不一致的问题。支持对源库和目标库的对象数目、数据行数、字段内容等多个维度的进行一致性对比。 数据稽查的类型 对象对比 对象级对比任务，对源库和目标库的数据库、索引、表、视图等对象的数量进行对比，检查数据对象是否缺失。 支持的数据链路：MYSQL > TeleDB、PostgreSQL > TeleDB。 行数对比 通过对源和目标库中表的行数进行对比，检查表的数据是否缺失。 支持的数据链路：MYSQL > TeleDB、PostgreSQL > TeleDB、 Oracle > TeleDB。 内容对比 通过对源和目标库中表的行数据进行对比，检查表的行数据是否一致。 支持的数据链路： MYSQL > TeleDB、PostgreSQL > TeleDB、 Oracle > TeleDB。 支持设置数据块大小： 用户可以自由控制内容对比的数据块大小，数据块的大小可设置在100010000范围内。 支持抽样校验： 如果迁移或同步的数据量非常大，对所有数据都进行校验会对源库和目标库造成高负荷。为此，内容对比提供抽样校验功能，用户可以通过设置抽样比例对数据进行抽样检验，以减小数据库的负担。可设置的抽样比例为10%、20%、30%、……、100%。 支持设置任务超时时间： 用户可以设定内容对比任务的最长运行时间，如果任务未能在最大期限内完成，则任务自行终止。可设置的时间长度为1180分钟。 支持查看不一致数据的所在范围： 如果发现不一致的数据，用户可以查看不一致数据所在的范围，缩小了用户需要自行检查的数据范围。 操作步骤 1. 在DTS的实例管理页面，单击目标实例名称，进入实例详情页面。 2. 在左侧菜单栏选择 数据稽查 ，进入数据稽查页面。 3. 在数据稽查 页面，您可以分别在对象级对比、数据级对比、内容级对比页面创建不同级别的对比任务。

本页介绍如何使用数据稽核功能进行数据同步项的对比。 什么是数据稽查 数据稽查功能用于对比源库与目标库的数据差异，帮助用户及时发现数据不一致的问题。支持对源库和目标库的对象数目、数据行数、字段内容等多个维度的进行一致性对比。 数据稽查的类型 对象对比 对象级对比任务，对源库和目标库的数据库、索引、表、视图等对象的数量进行对比，检查数据对象是否缺失。 支持的数据链路：MYSQL>MYSQL、PostgreSQL>PostgreSQL、DDS/MongoDB>DDS/MongoDB、SQL Server>SQL Server。 行数对比 通过对源和目标库中表的行数进行对比，检查表的数据是否缺失。 支持的数据链路：MYSQL>MYSQL、PostgreSQL>PostgreSQL、DDS/MongoDB>DDS/MongoDB、SQL Server>SQL Server。 内容对比 通过对源和目标库中表的行数据进行对比，检查表的行数据是否一致。 支持的数据链路：MYSQL>MYSQL、PostgreSQL>PostgreSQL、SQL Server>SQL Server。 支持设置数据块大小：用户可以自由控制内容对比的数据块大小，数据块的大小可设置在100010000范围内。 支持抽样校验：如果迁移或同步的数据量非常大，对所有数据都进行校验会对源库和目标库造成高负荷。为此，内容对比提供抽样校验功能，用户可以通过设置抽样比例对数据进行抽样检验，以减小数据库的负担。可设置的抽样比例为10%、20%、30%、……、100%。 支持设置任务超时时间：用户可以设定内容对比任务的最长运行时间，如果任务未能在最大期限内完成，则任务自行终止。可设置的时间长度为1180分钟。 支持查看不一致数据的所在范围：如果发现不一致的数据，用户可以查看不一致数据所在的范围，缩小了用户需要自行检查的数据范围。

如果不再需要某个数据空间，可以参照本节进行删除。 约束与限制 系统创建默认数据空间不支持删除操作。 如果待删除数据空间中，存在数据管道，则该数据空间不能直接删除。您需要先删除数据管道，再删除数据空间。 操作步骤 1. 登录管理控制台。 2. 单击页面左上方的，选择“安全 > 态势感知（专业版）”，进入态势感知（专业版）管理页面。 3. 在左侧导航栏选择“工作空间 > 空间管理”，并在工作空间列表中，单击目标工作空间名称，进入目标工作空间管理页面。 4. 在左侧导航栏选择“日志审计 > 安全数据”，进入安全分析页面。 5. 在需要删除的数据空间所在行的“操作”列，单击“删除”。 6. 在弹出的对话框中单击“确认”，完成删除数据空间的操作。 注意 如果待删除数据空间中，存在数据管道，则该数据空间不能直接删除。您需要先删除数据管道，再删除数据空间。

删除系统数据 当系统数据盘使用率高于95%后，可能导致系统故障无法使用。为确保系统数据盘的正常使用，您可参考本小节配置自动删除或定期手动删除系统数据。 通过自动或手动删除的系统数据，主要为数据盘暂存的文件，包括历史会话视频大文件、本地备份的日志文件、本地备份的系统配置文件等。 系统数据被删除后，默认不可找回，请谨慎操作。 约束限制 “手动删除”不能删除具体某一天的数据。手动删除选择日期，即删除该日期之前的全部数据。 前提条件 用户已获取“系统”模块管理权限。 配置自动删除 1 登录云堡垒机系统。 2 选择“系统 > 数据维护 > 存储配置”，进入系统存储配置管理页面。 3 在“自动删除”区域，单击“编辑”，弹出自动删除配置窗口，配置相关参数。 配置自动删除 配置自动删除 参数 说明 自动删除 选择开启或关闭自动删除功能，默认。 l，表示开启自动删除功能。根据数据存储时间和数据盘空间使用率，触发自动清除。 l，表示关闭自动删除功能。 自动删除（天）前数据 数据存储天数超过设定时长，将会被自动清除。 l 默认为180天。 l 取值范围为1～10000，单位为天。 空间满时覆盖之前数据 数据盘使用率超过90%时，将自动删除数据。 选择开启或关闭，默认。 l，表示关闭该功能。 l，表示开启该功能。 l 自动删除规则： − 系统每隔30min检查一次数据盘使用率。当使用率低于90%时，则停止删除。 − 优先删除存储时间更久远的数据，默认先删除180天之前的数据。 − 若删除180天之前数据后，数据盘使用率仍高于90%，则逐日依次删除数据。 − 当天数据不能被自动删除。 4 单击“确认”，返回存储配置管理页面，查看配置的自动删除信息。 自动删除配置信息

本页介绍天翼云TeleDB数据库数据迁移任务相关操作。 功能概览 数据传输服务支持多种数据源之间的数据迁移，不同数据库的支持情况如下： 源库类型及版本 目标库类型及版本 迁移类型 MYSQL 5.7, 8.0 TELEDB 结构迁移 全量迁移 增量迁移 POSTGRESQL 12, 13, 14, 15 TELEDB 结构迁移 全量迁移 增量迁移 Oracle 12c, 19c, 21c TELEDB 结构迁移 全量迁移 增量迁移 模块架构 管理服务：用户在DCP平台开通DTS实例后，可通过DTS的管理服务来配置一个数据迁移任务，并进行数据迁移任务管理。 核心配置集群：存储迁移任务的核心状态、监控信息。 元数据库：存储配置好的数据迁移任务的元数据信息，例如源库连接地址、目标库连接地址等。 执行模块+迁移模块（工作节点）：用户配置好迁移任务后，由执行模块进行具体的数据迁移工作。数据迁移完成后，由稽核模块进行数据校验。一个管理服务可以管理多个工作节点。 DTS数据迁移提供多种迁移类型：结构对象迁移、全量数据迁移及增量数据迁移。如果需要实现不停服务迁移，需要选择结构对象迁移、全量数据迁移和增量数据迁移。 全量数据迁移过程持续较久，在这个过程中，源实例不断有业务写入，为保证迁移数据的一致性，在全量数据迁移之前，会记录当前源实例的日志位点，存储在本地数据库中。 当全量数据迁移完成后，DTS会启动增量日志回放模块，增量日志回放模块会从增量日志读取模块中获取增量数据，经过反解析、过滤、封装后迁移到目标实例，从而实现增量数据迁移。

本文介绍如何在科研助手中查看数据集列表。 操作步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中，选择【数据存储】。 3. 在【数据存储】弹出的选项中，选择【数据集管理】。 4. 此时显示的页面即为【数据集管理】页面，在页面上方可下拉选择资源池，通过资源池来筛选数据集列表;可通过数据集关键字进行查询定位数据集。 5. 以下【数据集列表】展示的字段说明： 参数 说明 查询 根据输入数据集名称关键字进行检索筛选。 刷新 刷新当前数据集列表展示页面。 名称 数据集的名称。 存储源 数据集绑定的存储源的名称。 访问模式 目前仅支持ReadWriteMany的访问模式。 企业项目 数据集归属的企业项目。 创建时间 存储源的创建时间。 操作 查看、删除

本节主要介绍冷热数据分离。 GeminiDB Influx在同一数据保留策略（Retention Policy，简称RP，包含数据保留时长，备份个数等信息）里实现了冷热数据分离，系统会根据RP中用户设置的冷热数据分界线自动将符合转冷条件的热数据归档到冷存储中。 背景 在海量大数据场景下，时序数据冷热分明，即随着时间推移历史的时序数据被查询和分析的概率越低，同时因为这些数据占用量比较大，降低这部分冷数据的存储容量将会极大的节省企业的成本。GeminiDB Influx提供了冷热分离功能，使用低成本的介质存储冷数据，并通过极简配置就能极大的降低存储成本。 GeminiDB Influx对数据的冷热分离是基于RP的，用户首先需要在RP中设置冷热数据分界线，系统会自动根据此冷热设置将相应的冷数据归档到冷存储中。冷数据访问和普通访问没有任何差异，对用户而言是完全透明的，在查询的过程中，系统会根据查询条件中的时间范围（TimeRange）自动地从热数据区或冷数据区查询数据。 原理简介 用户在RP中配置热数据的保存时长。数据在写入时先保存在热存储上，GeminiDB Influx根据数据中的时间戳判断数据的冷热，如果数据的时间戳在热数据保存时长之内，则是热数据，如果是保存时长之前的数据，则是冷数据，系统自动归档到冷存储上。 图1 原理图

本章节主要介绍数据目录的数据安全简介。 应用背景 数据安全为数据湖提供数据生命周期内统一的数据使用保护能力。通过敏感数据识别、分级分类、隐私保护、资源权限控制、数据加密传输、加密存储、数据风险识别以及合规审计等措施，帮助用户建立安全预警机制，增强整体安全防护能力，让数据可用不可得和安全合规。 说明 在已上线数据安全组件的区域，数据安全功能已由数据安全组件提供，不再作为数据目录组件能力。 功能模块 数据安全包括： 数据密级 对数据进行等级划分，方便数据的管理。 数据分类 基于数据密级，可以进行数据分类，来有效识别数据库内的敏感数据。 脱敏策略 基于数据分类，可以通过创建脱敏策略，实现数据资产的脱敏和隐私保护。

与用户的应用程序配合使用 当您的应用程序需要对明文数据进行加密时，可通过调用KMS的接口来创建数据加密密钥，再使用数据加密密钥将明文数据进行加密，得到密文数据并进行存储。同时，用户的应用程序调用KMS的接口创建对应用户主密钥，对数据加密密钥进行加密，得到密文的数据加密密钥并进行存储。 基于信封加密技术，用户主密钥存储在KMS中，用户的应用程序只存储密文的数据加密密钥，仅在需要使用时调用KMS解密数据加密密钥。 加密流程说明如下： 1.应用程序调用KMS的“createkey”接口创建一个用户主密钥。 2.应用程序调用KMS的“createdatakey”接口创建数据加密密钥。得到一个明文的数据加密密钥和一个密文的数据加密密钥。 说明 密文的数据加密密钥是由1创建的用户主密钥加密明文的数据加密密钥生成的。 3.应用程序使用明文的数据加密密钥来加密明文文件，生成密文文件。 4.应用程序将密文的数据加密密钥和密文文件一同存储到持久化存储设备或服务中。

参数名称 说明 数据连接类型 在下拉列表中将显示逆向数据库支持的数据连接类型，请选择所需要的数据连接类型。 数据连接 选择数据连接。 如需从其他数据源逆向数据库到码表目录中，需要先在DataArts Studio管理中心创建一个数据连接，以便连接数据源。创建数据连接的操作，请参见 数据库 选择数据库。 Schema 下拉选择Schema。该参数仅DWS模型的表有效。 队列 DLI队列。仅当“数据连接类型”选择“DLI”时，该参数有效。 更新已有表 如果从其他数据源逆向过来的表，在码表中已存在同名的表，选择是否更新已有的码表。 逆向表数据 不逆向 ：逆向数据库时，将表导入到码表目录中，但是不导入表数据。您可以在完成逆向数据库后，参考下方“填写数值到码表中”添加记录到码表中。 覆盖 ：逆向数据库时，将表导入到码表目录中，同时将表数据导入到该码表中。 数据表 选择一个或多个需导入的数据表。

本节介绍数据集生命周期管理。 数据集创建完成后可以进行查看，编辑，版本管理。 查看数据集 可以点击数据集私有数据集进行查看创建的数据集。 编辑数据集 点击编辑按钮，可修改数据集名称。 版本管理 在数据集详情页面，点击创建版本按钮，可以创建新的版本，流程和创建数据集一致。

本章节主要介绍数据管理的（可选）新建数据库模式。 DWS数据连接创建完成后，用户可以在右侧区域中管理DWS数据连接的数据库模式。 前提条件 已新建DWS数据连接，请参见 新建数据连接。 已新建DWS数据库，请参见 新建数据库。 新建数据库模式 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”或“数据开发 > 作业开发”。 3. 在左侧菜单选择，单击DWS数据连接名称，选择需配置的数据库，展开目录层级至“schemas”，右键单击“schemas”，选择“新建模式”。 4. 在弹出的“新建模式”页面，配置如下表所示的参数。 新建模式 参数 是否必选 说明 模式名称 是 数据库模式的名称。 描述 否 数据库模式的描述信息。 5. 单击“确定”，新建数据库模式。 修改数据库模式 1. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”或“数据开发 > 作业开发”。 2. 在左侧菜单选择，单击数据连接名称，选择数据库，目录层级展开至需要修改的数据库模式，右键单击数据库模式名称，选择“修改”。 3. 在弹出的“修改模式”页面，修改数据库模式的描述信息。 4. 单击“确定”，保存修改。

数据流传递模型 云工作流的数据传递模型可如下图所示： 整体数据传递过程描述如下： 1、工作流传递的数据是按照JSON格式数据进行传递的。 2、工作流执行的输入数据作为工作流执行的第一个状态的输入数据。 3、工作流最后一个状态的执行输出作为工作流执行的输出数据。 4、每个状态执行完成后， 状态执行的输出数据作为下一个状态的输入数据, 如下图所示： 数据访问 云工作流提供了以JSONPath的方式访问在工作流执行过程中产生的数据。其语法格式为： javascript "{ $.ParentNode.childNodePath1.childNodePath2 }" 语法说明如下： 1、引用变量表达式需要是是字符串，因此需要双引号 2、字符串内容以{ 开头， 以}结尾， 代表是表达式， 云工作流引擎会按照表达式方式去解析字符串 3、如果要按照JSONPath访问访问引用变量数据， 则需要以符号$.开头 4、 云工作流是按照相对路径去解析引用变量的， 例如在工作流执行路径是state1>state2， 在state2中进行按照JSONPath方式去进行数据引用， 访问的数据源是state1产生的数据输出 以如下数据为例： plaintext { "testInt": 123, "testString": "1234", "testMap": { "k1": "v1", "k2": "v2" } } 如果要访问到k1这个节点的数据， 则可以按照如下方法引用到该数据变量， 得到的值即"v1" javascript "{ $.testMap.k1 }" 另外，为了方便在工作流执行输入过程中访问工作流执行输入， 提供的额外的全局方式去访问工作流执行输入， 语法如下： javascript "{ $Context.Input }" 如需要访问工作流执行输入数据的子层级， 即按照JSONPath访问json节点数据接口。例如工作流执行输入数据： plaintext { "key": "hello world" } 按照"{ $Context.Input.key }"去引用工作流执行输入数据， 得到的即"hello world"

本文帮助您了解GPU驱动及工具包安装的相关操作步骤。 请参考：GPU驱动及工具包的安装

本文帮助您了解GPU驱动及工具包安装的相关操作步骤。 请参考：GPU驱动及工具包的安装

数据权限管理 点击列表操作栏的 数据权限管理 按钮，进入数据权限管理页面，对数据权限进行管理 当前用户需要具有访问数据权限管理的权限，详见数据权限管理 删除数据库 点击库列表操作菜单的 删除 按钮，二次确认无误后，即可完成对目标数据库的删除。 PostgreSQL数据管理 数据库类型为PostgreSQL系列的数据库。 新建数据库 1. 登录数据管理服务。 2. 在实例列表页面中，单击 库列表 按钮进入到数据库管理页面。 3. 点击 新建数据库 按钮，按需输入可选参数。 4. 点击 确定 按钮即可完成数据库的创建。 创建数据库参数说明： 参数 是否必填 说明 数据库名称 是 创建后数据库的名称。 授权账号 否 将当前数据库的权限赋予指定用户。 注释 否 数据库的备注信息。 所有者 否 数据库在该实例中的所有者。 字符集 否 默认为UTF8。 模板 否 基于指定模板创建数据库。 表空间 否 指定数据库的表空间。 连接限制 否 当前数据库的连接数限制。 删除数据库 点击库列表操作菜单的 删除 按钮，二次确认无误后，即可完成对目标数据库的删除。 SQLServer数据库管理 数据库类型为SQLServer系列的数据库。 新建数据库 SQLServer暂不支持通过页面新建数据库。 数据权限管理 点击列表操作栏的 数据权限管理 按钮，进入数据权限管理页面，对数据权限进行管理 当前用户需要具有访问数据权限管理的权限，详见数据权限管理

创建云数据库ClickHouse实例后，可以通过登录数据库管理服务DMS对数据库进行数据管理、用户授权、SQL审计、数据可视化等管理操作。本文为您介绍如何通过数据库管理服务DMS登录云数据库ClickHouse。 数据管理服务（Data Management Service，DMS）是异构数据库的一站式、全生命周期管理平台，为企业提供统一数据资产视图、统一数据库开发规范、统一数据安全策略、统一变更管控标准，让数据库的使用更高效、更安全、更规范。更多DMS信息，请参见DMS产品定义。 前提条件 已创建云数据库ClickHouse实例 已创建数据库用户 操作步骤 1. 在天翼云官网首页的顶部菜单栏，选择产品 > 数据库 > 分析型数据库> 云数据库ClickHouse ，进入云数据库ClickHouse产品页面。然后单击管理控制台，进入数据库实例列表。 2. 选择如下一种方式，进入数据库管理服务DMS。 方法一：在实例列表上方，单击进入数据管理服务，进入到DMS管理控制台，然后填写登录数据库的数据库账号和密码，即可登录DMS。 方法二：在实例列表中，找到目标实例，选择操作 列的更多 > 登录数据库，即可进入该实例的DMS登录页面。

数据传输服务DTS对目标数据库有什么要求？ 目前数据传输服务支持MySQL到MySQL、PostgreSQL到PostgreSQL、SQL Server到SQL Server的数据迁移和数据同步，支持DDS/MongoDB>DDS/MongoDB的数据迁移。对目标数据库的要求如下： MySQL到MySQL的数据迁移/数据同步：支持RDS for MYSQL，且自建数据库的源数据库版本不得高于目标数据库版本。 PostgreSQL到PostgreSQL的数据迁移/数据同步：支持RDS for PostgreSQL，且源数据库版本不得高于目标数据库版本。 DDS/MongoDB到DDS/MongoDB的数据迁移：支持DDS，且目标库大版本号建议不低于源库。 SQL Server到SQL Server的数据迁移/数据同步：支持RDS for SQL Server，且源数据库版本不得高于目标数据库版本。 数据传输服务是否采用了并发技术？ 数据传输服务DTS的全量迁移采用了并发技术，包括： 多表并发迁移，根据配置支持多张表的数据同时进行迁移。 单表写入目标库并发，针对每个表的迁移，在写入目标库时，启用多线程并发写入多批数据，以解决读写速度不均衡问题。 数据传输服务是否支持公有云和专属云间的数据库迁移？ 当前支持专属云的数据迁移至天翼云（入云场景），不支持天翼云数据迁移至专属云（出云场景）。 数据传输服务DTS支持的迁移场景请参见用户指南数据迁移迁移方案概览，具体操作方法请参见用户指南数据迁移入云。

本节介绍如何创建数据空间。 操作场景 数据空间是进行数据分组、负载、流控单元。同一数据空间的数据共享同一载均衡策略。 当您需要使用态势感知（专业版）提供的 安全分析 、 数据分析 、智能建模等功能时，需要新增数据空间。 前提条件 已新增工作空间，具体操作请参见新增工作空间。 约束与限制 一个工作空间中最多可创建5个数据空间。 操作步骤 1. 登录管理控制台。 2. 单击页面左上方的，选择“安全 > 态势感知（专业版）”，进入态势感知（专业版）管理页面。 3. 在左侧导航栏选择“工作空间 > 空间管理”，并在工作空间列表中，单击目标工作空间名称，进入目标工作空间管理页面。 4. 在左侧导航栏选择“日志审计 > 安全数据”，进入安全分析页面。 5. 在数据空间列表左上角，单击“新增”，系统从右侧弹出新增数据空间界面。 6. 在新增数据空间页面中，配置新建数据空间参数，参数说明如下表所示。 参数名称 参数说明 数据空间 输入数据空间名称。命名规则如下： 名称长度取值范围为563个字符。 可包含英文字母、数字和。其中，不能出现在开头和结尾，且不能连续出现。 名称须为全局唯一，不能与其他数据空间名称相同。 描述 可选参数，设置该数据空间的备注信息。 7. 单击“确定”，完成数据空间的新增。 新增完成后，可以在数据空间列表中查看已新增的数据空间。

数据标注 对导入成功的数据，点击操作列【标注】进入标注页面，在标注详情页对数据进行微调和打标处理。页面左侧可对导入数据内容进行修改和撰写，页面右侧可对导入数据进行打标审核。目前通过数据清洗任务生成的指令微调类型的数据集暂不支持标注。 数据管理 预览：对数据集进行预览； 发布：针对文本类数据集，标注完成后，可以选定数据集，点击【发布】，完成发布后的数据集才能供后续的训练使用； 推送到高速缓存：如果您希望训练过程中训练速度更快的话，可以选定数据集，点击【操作】，选择【推送到高速缓存】，该操作可将数据集从对象存储转存到并行文件系统中存储中进行加速。仅共享存储支持该功能； 制作副本：为此数据集制作副本，仅共享存储支持该功能； 导出数据：对数据集进行导出； 删除数据集：您可对不需要的数据集进行删除操作，对于自有存储，在本平台删除数据集不会删除底层存储。

2. 创建数据集版本 登录云容器引擎管理控制台 在集群列表页点击进入指定集群 进入主菜单 智算套件 > AI应用管理 > 数据集 > 私有数据集，查看指定数据集 查看指定数据集，进入版本页，点击“创建版本” 在创建数据集版本页面，首先完成基础信息配置，参考 创建数据集 进行数据加速配置，具体配置项与 “创建数据集开启加速” 一致 3. 开启加速 由于数据源配置资源及缓存引擎资源是集群级别，即对数据集开启加速时，默认仅在当前创建数据集所在集群开启加速。 同资源池下其他集群如需使用加速功能，需进入指定集群开启加速。 操作步骤如下： 登录云容器引擎管理控制台 在集群列表页点击进入指定集群 进入主菜单 智算套件 > AI应用管理 > 数据集 > 私有数据集 在私有数据集列表页，选择指定数据集，点击 “加速” 按钮 在加速弹窗中，选择数据集版本，进行数据加速配置，具体配置项与 “创建数据集开启加速” 一致。 注意 数据集加速配置弹窗中，数据集版本仅展示可用状态，且未加速的版本。 4. 查看数据集 数据集开启加速后，在数据集详情页，可以查看各版本加速状态。 最初加速状态为加速中，此时后台同步生成数据源配置资源与加速引擎资源，如下图所示： 后台资源就绪约1~2min ，数据集加速状态变为已加速，此时可以根据需要进行缓存预热或直接使用数据集：