本页介绍天翼云TeleDB数据库备份概述。 TeleDB支持数据库实例的备份与恢复，以保证数据的可靠性。备份存储方式可根据业务需求设置加密或不加密。TeleDB数据库实例的备份包括物理备份和逻辑备份。 备份的目的 当数据库被恶意或误删除，虽然TeleDB支持高可用，但备机数据库会被同步删除且无法还原。因此，数据被删除后只能依赖于实例的备份保障数据安全。 全量备份 全量备份表示对所有目标数据进行备份，包含备份时刻点上数据库的全量数据，耗时时间长（和数据库数据总量成正比），自身即可恢复出完整的数据库。 增量备份 只包含从指定时刻点之后的增量修改数据，耗时时间短（和增量数据成正比，和数据总量无关），但是必须要和全量备份数据一起才能恢复出完整的数据库。 自动备份 TeleDB会在数据库实例的备份时段中创建数据库实例的自动备份。系统根据您指定的备份保留期保存数据库实例的自动备份。 手动备份 用户还可以创建手动备份对数据库进行备份，手动备份是由用户启动的数据库实例的全量备份，会一直保存，直到用户手动删除。 对象存储备份 数据库对象存储备份是一种数据备份策略，‌其中数据库数据被存储在对象存储‌系统中。‌这种备份方法利用对象存储的特性和优势，‌为数据库提供连续的数据保护和低成本的备份服务。‌对象存储作为一种存储架构，‌以对象为单位处理、‌存储和检索数据，‌每个对象包含数据本身、‌元数据以及一个全局唯一的标识符。‌这种存储方式特别适合存储大量非结构化的数据，‌并且能够通过API进行数据的读写。

参数类型 参数名 说明 取值样例 基本参数 桶名 待迁移数据所在的桶名。 BUCKET2 基本参数 源目录或文件 “列表文件”选择为“否”时，才有该参数。 待迁移数据的目录或单个文件路径。文件路径支持输入多个文件（最多50个），默认以“l”分隔，也可以自定义文件分隔符。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据。 FROM/example.csv 基本参数 文件格式 文件格式指CDM以哪种格式解析数据，可选择以下格式： CSV格式：以CSV格式解析源文件，用于迁移文件到数据表的场景。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 JSON格式：以JSON格式解析源文件，一般都是用于迁移文件到数据表的场景。 CSV格式 基本参数 列表文件 当“文件格式”选择为“二进制格式”时，才有该参数。 打开列表文件功能时，支持读取OBS桶中文件（如txt文件）的内容作为待迁移文件的列表。该文件中的内容应为待迁移文件的绝对路径（不支持目录），例如直接写为如下内容： /052101/DAY20211110.data /052101/DAY20211111.data 是 基本参数 列表文件源连接 当“列表文件”选择为“是”时，才有该参数。可选择列表文件所在的OBS连接。 OBStestlink 基本参数 列表文件OBS桶 当“列表文件”选择为“是”时，才有该参数。该参数表示列表文件所在的OBS桶名。 01 基本参数 列表文件或目录 当“列表文件”选择为“是”时，才有该参数。该参数表示列表文件所在的OBS桶中的绝对路径或目录。 此处建议选择为文件的绝对路径。当选择为目录时，也支持迁移子目录中的文件，但如果目录下文件量过大，可能会导致集群内存不足。 /0521/Lists.txt 基本参数 JSON类型 当“文件格式”选择为“JSON格式”时，才有该参数。JSON文件中存储的JSON对象的类型，可以选择“JSON对象”或“JSON数组”。 JSON对象 基本参数 记录节点 当“文件格式”选择为“JSON格式”并且“JSON类型”为“JSON对象”时，才有该参数。对该JSON节点下的数据进行解析，如果该节点对应的数据为JSON数组，那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割。 data.list 高级属性 换行符 文件中的换行符，默认自动识别“n”、“r”或“rn”。当“文件格式”选择为“CSV格式”时，才有该参数。 n 高级属性 字段分隔符 文件中的字段分隔符，使用Tab键作为分隔符请输入“t”。当“文件格式”选择为“CSV格式”时，才有该参数。 , 高级属性 使用包围符 选择“是”时，包围符内的字段分隔符会被视为字符串值的一部分，目前CDM默认的包围符为："。 否 高级属性 使用正则表达式分隔字段 选择是否使用正则表达式分隔字段，当选择“是”时，“字段分隔符”参数无效。当“文件格式”选择为“CSV格式”时，才有该参数。 是 高级属性 正则表达式 分隔字段的正则表达式。 ^(d. d) (w ) [(. )] ([w.] ) (w. ). 高级属性 首行为标题行 “文件格式”选择“CSV格式”时才有该参数。在迁移CSV文件到表时，CDM默认是全部写入，如果该参数选择“是”，CDM会将CSV文件的第一行数据作为标题行，不写入目的端的表。 否 高级属性 编码类型 文件编码类型，例如：“UTF8”或“GBK”。只有文本文件可以设置编码类型，当“文件格式”选择为“二进制格式”时，该参数值无效。 GBK 高级属性 压缩格式 当“文件格式”为“CSV格式”或“JSON格式”时该参数才显示。选择对应压缩格式的源文件： 无：表示传输所有格式的文件。 GZIP：表示只传输GZIP格式的文件。 ZIP：表示只传输ZIP格式的文件。 TAR.GZ：表示只传输TAR.GZ格式的文件。 无 高级属性 压缩文件后缀 压缩格式非无时，显示该参数。 该参数需要解压缩的文件后缀名。当一批文件中以该值为后缀时，才会执行解压缩操作，否则则保持原样传输。当输入或为空时，所有文件都会被解压。 高级属性 源文件处理方式 作业执行成功后对源端文件的处理方式： 不处理。 重命名：作业执行成功后将源文件重命名，添加用户名和时间戳的后缀。 删除：作业执行成功后将源文件删除。 不处理 高级属性 启动作业标识文件 选择是否开启作业标识文件的功能。当源端路径下存在启动作业的标识文件时才启动作业，否则会挂起等待一段时间，等待时长在下方“等待时间”中配置。 否 高级属性 标识文件名 选择开启作业标识文件的功能时，需要指定启动作业的标识文件名。指定文件后，只有在源端路径下存在该文件的情况下才会运行任务。该文件本身不会被迁移。 ok.txt 高级属性 等待时间 选择开启作业标识文件的功能时，如果源路径下不存在启动作业的标识文件，作业挂机等待的时长，当超时后任务会失败。 等待时间设置为0时，当源端路径下不存在标识文件，任务会立即失败。 单位：秒。 10 高级属性 文件分隔符 “源目录或文件”参数中如果输入的是多个文件路径，CDM使用这里配置的文件分隔符来区分各个文件，默认为 。 高级属性 过滤类型 满足过滤条件的路径或文件会被传输，该参数有“无”、“通配符”和“正则表达式”三种选择。 通配符 高级属性 目录过滤器 “过滤类型”选择“通配符”时，用通配符过滤目录，符合过滤器规则的目录，允许进行迁移。支持配置多个路径，中间使用“,”分隔。 input 高级属性 文件过滤器 “过滤类型”选择“通配符”时，用通配符过滤目录下的文件，符合过滤器规则的文件，允许进行迁移。支持配置多个文件，中间使用“,”分隔。 .csv, .txt 高级属性 时间过滤 选择“是”时，可以根据文件的修改时间，选择性的传输文件。 是 高级属性 起始时间 “过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间大于该时间才会被传输，输入的时间格式需为“yyyyMMdd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyyMMdd HH:mm:ss,90,DAY))} 表示：只迁移最近90天内的文件。 20190601 00:00:00 高级属性 终止时间 “过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间小于该时间才会被传输，输入的时间格式需为“yyyyMMdd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyyMMdd HH:mm:ss))} 表示：只迁移修改时间为当前时间以前的文件。 20190701 00:00:00 高级属性 加密方式 如果源端数据是被加密过的，则CDM支持解密后再导出。这里选择是否对源端数据解密，以及选择解密算法： 无：不解密，直接导出。 AES256GCM：使用长度为256byte的AES对称加密算法，目前加密算法只支持AES256GCM（NoPadding）。该参数在目的端为加密，在源端为解密。 AES256GCM 高级属性 忽略不存在原路径/文件 如果将其设为是，那么作业在源路径不存在的情况下也能成功执行。 否 高级属性 数据加密密钥 “加密方式”选择“AES256GCM”时显示该参数，密钥由长度64的十六进制数组成，且必须与加密时配置的“数据加密密钥”一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B 高级属性 初始化向量 “加密方式”选择“AES256GCM”时显示该参数，初始化向量由长度32的十六进制数组成，且必须与加密时配置的“初始化向量”一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F 高级属性 MD5文件名后缀 “文件格式”选择“二进制格式”时，该参数才显示。 校验CDM抽取的文件，是否与源文件一致。 .md5

本节介绍了冷热数据性能相关问题与处理方法。 冷热数据问题导致SQL执行速度慢 场景描述 从自建MySQL或友商MySQL迁移到云上TaurusDB实例，发现同一条SQL语句执行性能远差于原数据库。 原因分析 同一条SQL语句在数据库中执行第一次和第二次可能会性能差异巨大，这是由数据库的bufferpool机制决定的： 第一次执行时，数据在磁盘上，称之为冷数据，读取需要一定的耗时。 读取完，数据会被存放于内存的bufferpool中，称为热数据，读取迅速；对于热数据的访问速度极大的超过冷数据，所以当数据是热数据时，SQL语句的执行速度会远快于冷数据。 该场景中，源端数据库中常用的数据一般是热数据，所以访问时速度极快。当数据迁移到云上TaurusDB时，第一次执行同样的SQL语句，很可能是冷数据，就会访问较慢，但再次访问速度就会得到提升。 解决方案 该场景是正常现象，在同一个数据库中，我们经常会遇到第一次执行一条语句时很慢，但再次执行就很快，也是因为受到了bufferpool的冷热数据原理的影响。 复杂查询造成磁盘满 场景描述 主机或只读节点偶尔出现磁盘占用高或磁盘占用满，其他只读节点磁盘空间占用正常。 原因分析 MySQL内部在执行复杂SQL时，会借助临时表进行分组（group by）、排序（order by）、去重（distinct）、Union等操作，当内存空间不够时，便会使用磁盘空间。

本页介绍天翼云TeleDB数据库高效的分布式数据查询能力。 TeleDB支持提供高效的分布式数据查询能力。分布式查询架构主要由四部分组成，分别为：客户端、GTM、CN和DN。 客户端：负责发送读写请求，缓存数据和文件，接收返回结果。 GTM：负责提供全局事务id和快照。 CN：负责全局事务、SQL优化、计划分发和结果汇聚。 全局事务：从GTM获取全局事务id和快照。 SQL优化：生成最优的执行计划。 计划分发：将全部计划或部分计划分发给相应的DN。 结果汇聚：收集DN返回结果，汇总后返回客户端。 DN：负责计划执行、数据交互和返回结果。 计划执行：接收CN的执行计划，并执行。 数据交互：如果需要其它DN数据，从其它DN获取数据。 结果返回：将执行结果返回给CN。

本实践将为您介绍如何安装LVM。 操作场景 默认情况下，弹性云主机系统中并没有安装LVM，因此需要您手工安装。本章节将帮助您查询您的弹性云主机是否安装了LVM以及如何去安装LVM。 本文以云主机的操作系统为“CentOS 7.5 64位”为例，不同云主机的操作系统的格式化操作可能不同，本文仅供参考。 操作步骤 以下操作步骤中云主机的操作系统为“CentOS 7.6 64bit”，回显仅供参考。 1. 登录控制中心。 2. 单击控制中心左上角的，选择地域，此处我们选择华东1。 3. 单击“计算>弹性云主机”，进入弹性云主机页面。 4. 单击待操作的弹性云主机所在行的“操作>远程登录”。 5. 以root用户身份登入云主机，登录之后如图： 6. 安装LVM管理工具的第一步首先是确认当前主机中是否已经安装过LVM管理工具，您可以执行命令：rpm qa grep lvm2，回显如图： 这样的回显表示当前主机中并未安装LVM管理工具。默认情况下，弹性云主机的LVM管理工具都是未安装状态。 7. 在未安装状态下执行命令 yum install lvm2，使用yum安装LVM管理工具，并根据提示信息完成安装。回显如下： 当出现“Complete!”时就说明已经安装成功。 8. 接下来可以再次执行命令 rpm qa grep lvm2来查验此云主机中是否已经安装成功LVM管理工具，具体回显信息如下，说明已经成功安装。

本页介绍天翼云TeleDB数据库备份概述。 TeleDB支持数据库实例的备份与恢复，以保证数据的可靠性。备份存储方式可根据业务需求设置加密或不加密。TeleDB数据库实例的备份包括物理备份和逻辑备份。 备份的目的 当数据库被恶意或误删除，虽然TeleDB支持高可用，但备机数据库会被同步删除且无法还原。因此，数据被删除后只能依赖于实例的备份保障数据安全。 全量备份 全量备份表示对所有目标数据进行备份，包含备份时刻点上数据库的全量数据，耗时时间长（和数据库数据总量成正比），自身即可恢复出完整的数据库。 增量备份 只包含从指定时刻点之后的增量修改数据，耗时时间短（和增量数据成正比，和数据总量无关），但是必须要和全量备份数据一起才能恢复出完整的数据库。 自动备份 TeleDB会在数据库实例的备份时段中创建数据库实例的自动备份。系统根据您指定的备份保留期保存数据库实例的自动备份。 手动备份 用户还可以通过手动方式对数据库进行备份。手动备份是共享备份策略设置的保留份数，超过也会自动删除备份文件。 对象存储备份 数据库对象存储备份是一种数据备份策略，‌其中数据库数据被存储在对象存储‌系统中。‌这种备份方法利用对象存储的特性和优势，‌为数据库提供连续的数据保护和低成本的备份服务。‌对象存储作为一种存储架构，‌以对象为单位处理、‌存储和检索数据，‌每个对象包含数据本身、‌元数据以及一个全局唯一的标识符。‌这种存储方式特别适合存储大量非结构化的数据，‌并且能够通过API进行数据的读写。

目标库ClickHouse表结构说明 迁移到ClickHouse的表结构和ClickHouse的部署架构有关： 集群部署，单副本 在集群的每个节点上创建一个本地表和一个分布式表。分布式表的名称与源端表名映射后的名字一致，本地表的名称为 +local，本地表使用ReplacingMergeTree引擎。 集群部署，多副本 在集群的每个节点上创建一个本地表和一个分布式表。分布式表的名称与源端表名映射后的名字一致，本地表的名称为 +local，本地表使用ReplicatedReplacingMergeTree引擎。 此外，DTS会在目标表(包括本地表和分布式表)中添加两个字段： ctyundtsversion ，类型为UInt64，默认值为now()，记录了数据插入的时间戳； ctyundtssign，类型为Int8，默认值为0，标记数据的存在性，0表示数据存在，1表示数据已逻辑删除。 用户可使用where条件过滤掉ClickHouse被逻辑删除的数据，例如：select from tablename final where ctyundtssign< 1，其中，表名后的final字段可以过滤相同排序键的数据。 名称 数据类型 默认值 说明 ctyundtssign Int8 0 记录是否被删除： Insert：记录为0。 Delete：记录为1。 Update:：记录为0。 ctyundtsversion UInt64 now() 数据写入ClickHouse的时间戳。 操作须知 DTS迁移过程一般包含四个阶段：预检查阶段、结构迁移阶段、全量阶段、增量阶段。为了确保数据迁移各个阶段的平顺，在创建迁移任务前，请务必阅读以下使用须知。 待迁移对象不支持无主键的表。 在库表结构迁移阶段，DTS会在目标表中添加字段ctyundtsversion和ctyundtssign。若您配置迁移类型时未勾选库表结构迁移，则需要手动在目标端创建接收数据的表，并在表中添加额外的字段。根据目标端ClickHouse的部署架构，需要创建的表结构也不相同，具体请查看“目标库ClickHouse表结构说明”章节。 如迁移对象为表级别，则单次迁移任务仅支持迁移最多10000张表。当超出数量限制，任务会在提交后会请求报错。如果遇到这种情形，建议您拆分待迁移的表，分批配置成多个任务，或者配置为整库迁移。 目标库若已存在行数据，DTS在增量迁移过程中源库相同主键的数据将覆盖目标库已存在的数据，因此在启动迁移任务前需要用户自行判断数据是否需要清除，建议用户在迁移前自行清空目标库。 MySQL源数据库的binlog日志必须打开，且binlog日志格式必须为Row格式。 在磁盘空间允许的情况下，建议源数据库binlog保存时间越长越好，建议为7天。否则DTS在增量迁移时可能因无法获取Binlog而导致任务失败。由于您所设置的Binlog日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。 在任务进入增量迁移阶段之前，不建议对源数据库做DDL操作，这样可能会引起任务迁移失败。 迁移过程中，请勿修改、删除提供给DTS连接访问的源库和目标库及用户名、密码、权限，或修改源库和目标库的端口号；若用户源库、目标库的密码发生变化，请先暂停任务再修改DTS配置的连接源库、目标库的密码。 选择表级对象迁移时，增量迁移过程中不建议对表进行重命名操作。 增量迁移场景下，不支持源数据库进行恢复操作。 增量迁移并开启增量DDL支持的场景下，当前暂不支持在结构迁移与全量迁移详情页面显示增量阶段新增的表。 若源表使用了外键约束如FOREIGN KEY REFERENCES ON DELETE CASCADE或FOREIGN KEY REFERENCES ON UPDATE CASCADE时，当删除或更新父表的数据时，子表关联的数据会被自动删除或更新，但这些子表的删除或更新操作并不会记录到源库的二进制日志（Binlog）中，从而导致迁移后数据不一致的问题。为解决该问题，可在使用DTS迁移数据前在源库创建触发器实现关联子表的数据操作，确保所需执行的删除或更新都可以记录到Binlog中，从而保证迁移前后的数据一致性。

本文为您展示星辰MaaS模型服务平台公共数据集模块相关操作。 星辰MaaS模型服务平台包括公共数据集模块，可以实现共享数据集，支持数据集的检索、预览与创建，为用户提供便捷的数据资源，支撑模型训练与调优。 操作步骤 1. 登录星辰MaaS模型服务平台。 2. 在左侧导航栏选择“公共数据集”。 3. 点击“创建数据集”，可新增数据集。 4. 在搜索框输入数据集名称，可以查找数据集，或通过数据集集市分类，快速筛选数据集。 操作流程 数据集查询 操作说明：可点击数据集的二级分类如：图片分类，也可在输入框输入数据集的名称，列表可筛选出符合条件的数据集。 数据集详情 操作说明：点击单个数据集进入，数据集介绍时展示文件的名称、大小、数据集类型、数据集状态和修改时间。 操作说明：点击进入文件夹，可以查看数据集名称、大小、类型、上传状态和修改时间，并支持下载数据集。

本文主要介绍如何在数据管理服务DMS中删除实例。 前提条件 已登录数据管理服务。 登录用户的角色为超级管理员、系统管理员、运维管理员、团队管理员或者实例Owner。 操作步骤 1. 点击 数据资产 > 实例管理 ，进入实例列表界面。 2. 在列表中找到目标实例，点击 更多 > 删除实例 。 3. 单击 确定 按钮，即完成在数据管理服务DMS的实例信息删除。 说明 本操作仅删除在数据管理服务DMS中录入的实例元数据，不影响真实运行环境的实例状态。

您可使用开源CloudEvents Go SDK发布事件。 前提条件 1. 您已下载Goland等Go研发IDE。 2. 在go.mod中加入依赖。 plaintext require ( github.com/cloudevents/sdkgo/v2 v2.15.1 github.com/google/uuid v1.1.1 ) // 然后执行更新依赖 go mod tidy go mod vendor 注：sdkgo可参考使用版本2.15.1。 签名生成工具 示例代码如下： plaintext package main import ( "bytes" "crypto/hmac" "crypto/sha1" "encoding/base64" "hash" "io" "sort" "strings" ) // Request is used wrap http request type Request struct { Protocol string Port int Method string Pathname string Domain string Headers map[string]string Query map[string]string } // NewRequest is used shortly create Request func NewRequest() (req Request) { return &Request{ Headers: map[string]string{}, Query: map[string]string{}, } } func String(a string) string { return &a } func StringValue(a string) string { if a nil { return "" } return a } type Sorter struct { Keys []string Vals []string } func newSorter(m map[string]string) Sorter { hs : &Sorter{ Keys: make([]string, 0, len(m)), Vals: make([]string, 0, len(m)), } for k, v : range m { hs.Keys append(hs.Keys, k) hs.Vals append(hs.Vals, v) } return hs } // Sort is an additional function for function SignHeader. func (hs Sorter) Sort() { sort.Sort(hs) } // Len is an additional function for function SignHeader. func (hs Sorter) Len() int { return len(hs.Vals) } // Less is an additional function for function SignHeader. func (hs Sorter) Less(i, j int) bool { return bytes.Compare([]byte(hs.Keys[i]), []byte(hs.Keys[j])) < 0 } // Swap is an additional function for function SignHeader. func (hs Sorter) Swap(i, j int) { hs.Vals[i], hs.Vals[j] hs.Vals[j], hs.Vals[i] hs.Keys[i], hs.Keys[j] hs.Keys[j], hs.Keys[i] } / Get the string to be signed according to request @param request which contains signed messages @return the signed string / func GetStringToSign(request Request) (result string) { return String(getStringToSign(request)) } func getStringToSign(request Request) string { resource : StringValue(request.Pathname) queryParams : request.Query // sort QueryParams by key var queryKeys []string for key : range queryParams { queryKeys append(queryKeys, key) } sort.Strings(queryKeys) tmp : "" for i : 0; i < len(queryKeys); i++ { queryKey : queryKeys[i] tmp tmp + "&" + queryKey + "" + StringValue(queryParams[queryKey]) } if tmp ! "" { tmp strings.TrimLeft(tmp, "&") resource resource + "?" + tmp } return getSignedStr(request, resource) } func getSignedStr(req Request, canonicalizedResource string) string { temp : make(map[string]string) for k, v : range req.Headers { if strings.HasPrefix(strings.ToLower(k), "xceb") { temp[strings.ToLower(k)] StringValue(v) } } hs : newSorter(temp) // Sort the temp by the ascending order hs.Sort() // Get the canonicalizedOSSHeaders canonicalizedHeaders : "" for i : range hs.Keys { canonicalizedHeaders + hs.Keys[i] + ":" + hs.Vals[i] + "n" } // Give other parameters values // when sign URL, date is expires date : StringValue(req.Headers["date"]) contentType : StringValue(req.Headers["contenttype"]) contentMd5 : StringValue(req.Headers["contentmd5"]) signStr : StringValue(req.Method) + "n" + contentMd5 + "n" + contentType + "n" + date + "n" + canonicalizedHeaders + canonicalizedResource return signStr } func GetSignature(stringToSign string, secret string) (result string) { h : hmac.New(func() hash.Hash { return sha1.New() }, []byte(StringValue(secret))) io.WriteString(h, StringValue(stringToSign)) signedStr : base64.StdEncoding.EncodeToString(h.Sum(nil)) return String(signedStr) }

对比项 标准存储 低频存储 归档存储 存储成本 中等 较低 非常低 访问频率 高 低 非常低 数据可用性 高 高 低 数据访问延迟 低 较高 高 最小存储期限 无 30天 90天 数据安全性 高 高 高 数据存储用途 经常访问的数据 低频访问的数据 长期存档和备份 适用场景 实时数据、热门内容 冷数据、备份和归档 长期存储、合规性要求高的数据

本文主要介绍插入变量 添加请求信息时，在输入框内输入“$”，支持插入变量。 “变量类型”为“自定义变量”时，需要设置如下参数： 变量范围：选择变量范围。 变量名称：自定义变量名称。自定义变量名称为添加变量时为变量取的名称。 “变量类型”为“系统变量”时，需要选择函数名称： 身份证号：随机生成一个身份证号。 手机号：随机生成一个手机号。 区间随机数：根据用户输入区间，随机生成区间内的任一整数。 随机字符串：根据用户输入的位数（132），随机生成小写字母和数字混合的字符串。 时间戳：根据用户选择（秒（s）/毫秒（ms）），生成执行时当前时间戳（秒（s）对应10位，毫秒（ms）对应13位）。 UUID：随机生成一个32位的字符串。 “变量类型”为“加密函数”时，需要选择加密类型和变量插入的位置，加密类型如下： MD5：对val数据进行md5加密，返回加密后的数据字符串。 MD5BASE64：对val数据进行MD5BASE64编码，返回编码后的数据字符串。 SHA1：对输入的数据进行SHA1加密，返回加密后的数据字符串。 SHA224：对输入的数据进行SHA224加密，返回加密后的数据字符串。 SHA256：对输入的数据进行SHA256加密，返回加密后的数据字符串。 SHA384：对输入的数据进行SHA384加密，返回加密后的数据字符串。 SHA512：对输入的数据进行SHA512加密，返回加密后的数据字符串。 BASE64编码：对输入的数据进行BASE64编码，返回编码后的数据字符串。 BASE64解码：对输入的数据进行BASE64解码，返回解码后的数据字符串。

选择合适的数据分布策略 分片集群支持将单个集合的数据分散存储在多个分片上，用户可以根据集合内文档的分片键来分布数据。 目前，主要支持两种数据分布策略，即范围分片（Range based sharding）和Hash分片（Hash based sharding）。 下面分别介绍这两种数据分布策略以及各自的优缺点。 范围分片 基于范围进行分片，即集群按照分片键的范围把数据分成不同部分。假设有一个数字分片键，为一条从负无穷到正无穷的直线，每一个片键的值均在直线上进行标记。可以理解为将该直线划分为更短的不重叠的片段，并称之为数据块，每个数据块包含了分片键在一定的范围内的数据。 图 数据分布示意图 如上图所示，x表示范围分片的片键，x的取值范围为[minKey,maxKey]，且为整型。将整个取值范围划分为多个chunk，每个chunk（通常配置为64MB）包含其中一小段的数据。其中，chunk1包含x值在[minKey, 75]中的所有文档，每个chunk的数据都存储在同一个分片上，每个分片可以存储多个chunk，并且chunk存储在分片中的数据会存储在config服务器中，mongos也会根据各分片上的chunk的数据自动执行负载均衡。 范围分片能够很好的满足范围查询的需求，例如，查询x的取值在[60,20]中的文档，仅需mongos将请求路由到chunk2。 范围分片的缺点在于，如果分片键有明显递增（或递减）趋势，新插入的文档很大程度上会分布到同一个chunk，从而无法扩展写的能力。例如，使用“id”作为分片键，集群自动生成id的高位值将是递增的时间戳。 Hash分片 根据用户的分片键值计算出Hash值（长度64bit且为整型），再按照范围分片策略，根据Hash值将文档分布到不同的chunk中。基于Hash分片主要的优势为保证数据在各节点上分布基本均匀，具有“相近”片键的文档很可能不会存储在同一个数据块中，数据的分离性更高。 图 数据分布示意图 Hash分片与范围分片互补，能将文档随机分散到各个chunk，充分扩展写能力，弥补范围分片的不足。但所有的范围查询要分发到后端所有的分片，才能获取满足条件的文档，查询效率低。

数据打标 新增分类分级任务 1.使用安全管理员账号登录数据分类分级实例。 2.在左侧导航栏选择“分类分级任务 > 结构化数据”即可进入“结构化数据”页面。 3.在页面上方选择“数据打标”页签，进入数据打标页。 4.单击页面左上角的“新增”按钮，开始新增分类分级任务。 配置内容 说明 任务名称 填写任务名称。 数据源 选择所需数据源；数据源来自数据源管理中添加的数据源，已添加分类分级任务的数据源无法再次添加分类分级任务； 系统默认选择最新添加且尚未被添加分类分级任务的数据源。 行业模板 显示选中数据源对应的行业模板；该模板与新增数据源时设置的行业模板保持一致，如需修改，请至数据源管理页面编辑对应数据源配置。 抽样策略 填写每张表抽取数据数量（默认值100条，可设置100–1000之间的整数），设置一个较小的数值，有利于提升扫描性能； 执行逻辑 选择执行逻辑，用户可以选择使用规则/模型/框架扫描，默认勾选规则扫描和框架扫描；使用模型扫描或框架扫描时，支持设置置信度，使得字段分类分级结果的置信度超过该数值时，字段梳理状态自动从“未梳理”变更为“已梳理” 打标方式 选择打标方式 一次处理模式：该模式将根据用户配置的执行逻辑，将所有的数据进行分析处理，处理完成后无后续步骤； 多轮迭代模式（默认使用）： 该模式为表打标模式，具体如下： 表打标模式：按照系统推荐的数据表顺序，对系统自动打标结果进行批量梳理和确认，用户可以设置每轮打标数量（默认值100张，可设置11000之间的整数）。 执行周期和执行次数 执行周期：指数据源同步的周期，可选项包括手动执行（默认状态）、每天、每周、每月。当周期为“每天”时，可以设置具体执行时间（精确到分钟）；当周期为“每周”“每月”时，可以设置具体的执行日期和时间（精确到分钟）； 执行次数：默认为“手动执行”；支持自定义执行次数。其中，“0”表示已执行次数，“1”表示自定义执行次数。 5.填写完成后单击“保存”，即可新建分类分级任务。

索引位置 索引位置是指存放文件数据索引信息的位置，在创建存储桶时指定索引位置，创建成功后不能再对存储桶的索引位置进行更改。 数据位置 数据位置是指存放文件数据的位置。 如果用户选择“就近写入” ，那么文件数据将被存储在距离写入点最近的数据位置。 如果用户选择“指定位置”，那么用户可以指定多个数据位置存放文件数据，OOS将按用户指定的位置顺序存储文件。 数据调度策略 OOS可以根据用户选择地区的实际使用情况，自动进行数据存储位置的调度，以便为用户提供更快的访问速度。

索引位置 索引位置是指存放文件数据索引信息的位置，在创建存储桶时指定索引位置，创建成功后不能再对存储桶的索引位置进行更改。 数据位置 数据位置是指存放文件数据的位置。 如果用户选择“就近写入” ，那么文件数据将被存储在距离写入点最近的数据位置。 如果用户选择“指定位置”，那么用户可以指定多个数据位置存放文件数据，OOS将按用户指定的位置顺序存储文件。 数据调度策略 OOS可以根据用户选择地区的实际使用情况，自动进行数据存储位置的调度，以便为用户提供更快的访问速度。

数据盘扩容 1.进入“AI云电脑（政企版）”控制台； 2.展开“AI云电脑管理”菜单栏，选择“桌面管理”，进入“桌面管理”页面； 3.在需要变更规格的桌面所在行，点击“管理”，点击“数据盘扩容”操作； 4.根据需求选择扩容的规格； 5.点击“立即创建”，即完成桌面的数据盘扩容。 注意 1、通过资源包开通的桌面，数据盘扩容会直接扣取资源包资源；通过单实例开通的桌面，数据盘扩容需要付费才能完成扩容。 2、数据盘扩容，系统将自动重启以完成配置。 添加数据盘 1.进入“AI云电脑（政企版）”控制台； 2.展开“AI云电脑管理”菜单栏，选择“桌面管理”，进入“桌面管理”页面； 3.在需要添加数据盘的桌面所在行，点击“管理”，点击“添加数据盘”操作； 4.根据需求选择添加数据盘的规格； 5.点击“立即创建”，即完成添加数据盘。 注意 1、通过资源包开通的桌面，添加数据盘会直接扣取资源包资源；通过单实例开通的桌面，需要付费才能完成添加数据盘。 2、添加数据盘，系统将自动重启以完成配置。 退订/删除数据盘 通过单实例开通的桌面添加数据盘后是支持退订操作，通过资源包开通的桌面添加数据盘后是支持删除操作。 1.进入“AI云电脑（政企版）”控制台； 2.展开“AI云电脑管理”菜单栏，选择“桌面管理”，进入“桌面管理”页面； 3.在需要退订/删除数据盘的桌面所在行，点击“管理”，点击“退订数据盘”或“删除数据盘”操作； 4.根据需求选择需退订/删除的数据盘； 5.点击“确定”，即完成数据盘的退订/删除。 注意 由于退订/删除操作会导致数据盘清理，数据盘数据将无法恢复，因此，在退订/删除前请您做好数据备份工作。 通过资源包开通的数据盘，进行删除数据盘会直接将存储资源释放回资源包； 通过单实例开通的数据盘，进行退订数据盘将根据使用时长扣除已消费金额，余额将原路返还到您的付款账户； 通过其他渠道开通的数据盘，如需退订数据盘请咨询对应受理渠道。

本节主要介绍准备RDA依赖资源 概述 在使用RDA之前，您需要提前准备相关依赖资源，包括天翼云测试账号，账号可创建弹性云主机、虚拟私有云（Virtual Private Cloud，以下简称VPC）、子网和安全组，并配置安全组策略。 准备依赖资源 迁移源端测试账号： 天翼云目的端测试账号： 购买一台windows弹性云主机用于安装RDA软件工具； 购买一台或者多台linux弹性云主机用于对象存储迁移agent安装 说明 （RDA控制机和oms agent工具机迁移完成后均可释放） 获取天翼云测试账号AK/SK：天翼云官网控制台账号我的凭证管理访问秘钥，点击新增访问秘钥，在弹窗生成的excel表中获取对应AK/SK。

创建关系数据库MySQL版实例后，可以通过登录数据库管理服务DMS对数据库实例进行数据管理、用户授权、SQL审计、数据可视化等管理操作。本文为您介绍如何通过数据库管理服务DMS登录关系数据库MySQL版实例。 注意 仅西南1、华东1、华南2、华北2等II类型资源池支持该功能，I类型资源池不支持该功能，具体支持情况以控制台页面展示为准。更多资源池信息，请参见使用限制或者功能概览。 背景信息 数据管理服务（Data Management Service，DMS）是异构数据库（支持MySQL、PostgreSQL、SQLServer、DRDS、MongoDB、DDS等数据库类型）的一站式、全生命周期管理平台，为企业提供统一数据资产视图、统一数据库开发规范、统一数据安全策略、统一变更管控标准，让数据库的使用更高效、更安全、更规范。更多DMS信息，请参见DMS产品定义。 前提条件 已快速创建关系数据库MySQL版实例。 已创建数据库用户。 操作步骤 1. 在天翼云官网首页的顶部菜单栏，选择产品 > 数据库 > 关系型数据库 > 关系数据库MySQL版 ，进入关系数据库MySQL产品页面。然后单击管理控制台 ，进入概览页面。 2. 在左侧导航栏，选择MySQL > 实例管理，进入实例列表页面。然后在顶部菜单栏，选择区域和项目。 3. 选择如下一种方式，进入数据库管理服务DMS。 方法一：在实例列表上方，单击进入数据管理服务，进入到DMS管理控制台，然后填写登录数据库的数据库账号和密码，即可登录DMS。 方法二：在实例列表中，找到目标实例，单击实例名称，进入实例基本信息 页签，然后在右上角单击登录数据库，即可进入该实例的DMS登录页面。 方法三：在实例列表中，找到目标实例，选择操作 列的更多 > 登录数据库，即可进入该实例的DMS登录页面。

本章节将介绍如何创建MRS脱敏任务。 创建MRS脱敏任务后，可以对指定数据的敏感信息脱敏。 前提条件 已在“资产列表”中完成了云资源委托授权。 已添加MRS资产，具体请参见添加MRS资产章节。 已在“敏感数据识别”中完成了敏感数据识别，具体操作请参见创建敏感数据识别任务章节。 创建数据库脱敏 1. 单击左上角的，选择区域或项目。 2. 在左侧导航树中，单击，选择“安全 >数据安全中心”，进入数据安全中心总览界面。 3. 在左侧导航树中选择“数据脱敏”，并选择“MRS脱敏”页签，进入“MRS脱敏”页面。 4. 在“MRS脱敏”页签中，单击，将“MRS脱敏”设置为，开启MRS脱敏。 5. 单击“新建任务”，进入“数据源配置”页面，如下图所示，具体参数说明如下表所示。 参数名称 参数说明 任务名称 您可以自定义脱敏任务的名称。 任务名称需要满足以下要求： 1~255个字符。 字符可由中文、英文字母、数字、下划线或中划线组成。 数据源选择 选择数据来源。仅支持“MRSHIVE”。 数据源 说明 说明 如果没有可使用的云数据，可单击“添加云数据库”，添加云数据库资产，具体的操作可参见添加MRS资产。 数据库实例：选择脱敏数据所在的数据库实例。 数据源 说明 说明 如果没有可使用的云数据，可单击“添加云数据库”，添加云数据库资产，具体的操作可参见添加MRS资产。 数据库名：选择脱敏数据所在的数据库名称。 数据源 说明 说明 如果没有可使用的云数据，可单击“添加云数据库”，添加云数据库资产，具体的操作可参见添加MRS资产。 数据表名：选择脱敏数据所在的数据表名称。 数据源 说明 说明 如果没有可使用的云数据，可单击“添加云数据库”，添加云数据库资产，具体的操作可参见添加MRS资产。 数据类型：勾选后将该列数据拷贝到目标数据库。 此处还显示数据列的“目标数据类型”，“风险等级”。 6. 单击“下一步”，进入“脱敏算法配置”页面。 1. 勾选需要脱敏的数据列。 2. 选择脱敏算法。脱敏算法更多详细信息请参见配置脱敏规则章节。 7. 单击“下一步”，进入“脱敏周期”页面，配置脱敏周期。 选择并设置脱敏任务的执行周期： 手动：由用户自行启动的，且基于脱敏规则执行脱敏任务。 每小时：每几个小时执行一次脱敏任务。 示例：如果需要每2小时执行一次脱敏任务，则此处设置为：02:00 每天：每天几点几分执行一次脱敏任务。 示例：如果需要每天12:00执行一次脱敏任务，则此处设置为：12:00:00 每周：每周几的几点几分执行一次脱敏任务。 示例：如果需要每周一的12:00执行一次脱敏任务，则此处设置为：每周一12:00:00 每月：每月几日几时执行一次脱敏任务。 示例：如果需要每月12日的12:00执行一次脱敏任务，则此处设置为：每月12日12:00:00 说明 如果设置每月31日执行一次脱敏任务，在当月日期少于31日的情况下，系统自动在当月最后一日执行任务。 8. 单击“下一步”，进入“数据目标配置”页面。 1. 选择数据库实例、数据库名，并输入数据表名。 如果输入的数据表名已存在，系统将刷新目标数据库中该数据表中的数据。 如果输入的数据表名不存在，系统将自动在目标数据库中新建该名称的数据表。 注意 如果需要填写已有的数据表，请勿选择业务数据表，以免影响业务。 2. 设置数据目标列名。 系统默认将生产与数据源列相同的名称，您可以保持默认名称，也可以根据需要进行修改。 9. 单击“完成”。

本章节主要介绍脚本开发功能。 数据中台将不同类型引擎任务封装为不同脚本任务，通过创建脚本来生成数据开发任务。同时，数据开发支持使用资源和函数开发任务。 脚本开发功能提供如下能力： 提供在线脚本编辑器，支持Python脚本、Shell脚本、MySQL脚本、DM（达梦数据库）脚本、Hive脚本、Spark脚本、PySpark脚本、Postgre SQL脚本、Gauss DB脚本、SQLserver脚本、Kingbase脚本、Clickhouse脚本、Oracle脚本等在线代码开发和调测。 支持导入和导出脚本。 支持使用变量和函数。 支持脚本的版本管理能力，支持生成保存版本和提交版本。 脚本开发支持细粒度权限管控，对数据开发脚本目录权限管控策略进行配置。 前提条件 需要完成数据源接入和数据建模，才能进行数据开发操作。 使用限制 已拥有开发角色权限。 已拥有所需数据源和数据表权限。 开发流程 新建脚本：新建相应类型的脚本。 开发脚本：基于新建的脚本，进行脚本的在线开发、调试和执行。。 （可选）管理脚本：脚本开发完成后，您可以根据需要，进行脚本管理。 编排脚本：将脚本按照依赖关系进行编排，同时配置任务调度参数。 发布脚本：将测试通过的脚本发布上线到生产环境。

参数名 说明 取值样例 开始时间 查询的起始时间，格式为yyyyMMddHHmmdd的字符串或时间戳。 20180920145505 结束时间 可选参数，查询的终止时间，格式为yyyyMMddHHmmdd的字串或时间戳。 20180921145505 指标 输入迁移哪个指标的数据，或选择OpenTSDB中已存在的指标。 city.temp 聚合函数 输入聚合函数。 sum 标记 可选参数，如果这里有输入标记，则只迁移标记的数据。 tagk1:tagv1,tagk2:tagv2

操作需知 DTS迁移过程一般包含四个阶段：预检查阶段、结构迁移阶段、全量阶段、增量阶段。为了确保数据迁移各个阶段的平顺，在创建迁移任务前，请务必阅读以下使用须知。 任务开始前 源库要求 MySQL源数据库的binlog日志必须打开，且binlog日志格式必须为Row格式。 在磁盘空间允许的情况下，建议源数据库binlog保存时间越长越好，建议为3天。 源数据库expirelogsdays参数值为0，可能会导致迁移失败。 增量迁移时，必须设置MySQL源数据库的serverid。如果源数据库版本小于或等于MySQL5.6，serverid的取值范围在2－4294967296之间；如果源数据库版本大于或等于MySQL5.7，serverid的取值范围在1－4294967296之间；请设置serverid值>1。 源数据库GTID状态建议为开启状态，源数据库实例没有开启GTID的情况下DTS不支持主备HA切换，因为DTS任务会因为位点不续接而中断导致无法恢复。 目标库若已存在数据，DTS在增量迁移过程中源库相同主键的数据将覆盖目标库已存在的数据，因此在迁移前需要用户自行判断数据是否需要清除，建议用户在迁移前自行清空目标库。 目标实例及关联RDS实例的运行状态必须正常，若关联RDS实例是主备实例，复制状态也必须正常。 目标库关联RDS实例必须有足够的磁盘空间，建议至少为待迁移数据量的2.5倍。（全量数据迁移会并发执行 INSERT 操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大，且会产生大量的BINLOG，占用大量空间）。 目标库关联RDS数据库的字符集必须与源数据库一致。 由于DTS不迁移USER信息，因此在调用目标库的视图、存储过程和函数时需要对调用者授予读写权限。 建议在适当的范围内设置源库的expirelogday参数，以确保在服务中断后能够顺利恢复，并保证断点处的binlog尚未过期。 在任务进入增量迁移阶段之前，不建议对源数据库做DDL操作，这样可能会引起任务迁移失败。 迁移过程中，请勿修改、删除提供给DTS连接访问的源库和目标库及用户名、密码、权限，或修改源库和目标库的端口号；若用户源库、目标库的密码发生变化，请先暂停任务再修改DTS配置的连接源库、目标库的密码。 选择表级对象迁移时，增量迁移过程中不建议对表进行重命名操作。 增量迁移场景下，不支持源数据库进行恢复操作。 当将MySQL5.x迁移到PostgreSQL，如源端数据库的引擎类型为MyISAM时，请您先手工将源端的MyISAM存储引擎改为InnoDB再进行迁移。 增量迁移并开启增量DDL支持的场景下，当前暂不支持在结构迁移与全量迁移详情页面显示增量阶段新增的表。 若源表使用了外键约束如FOREIGN KEY REFERENCES ON DELETE CASCADE或FOREIGN KEY REFERENCES ON UPDATE CASCADE时，当删除或更新父表的数据时，子表关联的数据会被自动删除或更新，但这些子表的删除或更新操作并不会记录到源库的二进制日志（Binlog）中，从而导致迁移后数据不一致的问题。为解决该问题，可在使用DTS迁移数据前在源库创建触发器实现关联子表的数据操作，确保所需执行的删除或更新都可以记录到Binlog中，从而保证迁移前后的数据一致性。

数据盘加密场景 数据盘可以跟随弹性云主机一起购买，也可以单独购买。数据盘是否加密主要涉及如下场景： 购买方式 数据源 说明 随弹性云主机一起购买数据盘 不选择数据源 随弹性云主机一起购买的空白数据盘，可以选择加密或不加密。 创建完成后不可更改加密属性。 单独购买数据盘 不选择数据源 创建的空白数据盘，可以选择加密或不加密。 创建完成后不可更改加密属性。 单独购买数据盘 从备份创建（备份源云硬盘加密） 通过加密云硬盘创建的备份属性为加密。 使用加密备份作为数据源创建的云硬盘继承备份的加密属性和加密密钥。 单独购买数据盘 从备份创建 （备份源云硬盘未加密） 通过未加密云硬盘创建的备份为未加密备份。 使用未加密备份作为数据源创建的云硬盘未加密。 单独购买数据盘 从快照创建（快照源云硬盘加密） 通过加密云硬盘创建的快照为加密快照。 使用加密快照作为数据源创建的云硬盘继承快照的加密属性和加密密钥。 单独购买数据盘 从快照创建 （快照源云硬盘未加密） 通过未加密云硬盘创建的快照为未加密快照。 使用未加密快照作为数据源创建的云硬盘未加密。 单独购买数据盘 从镜像创建 （数据盘镜像不支持加密） 仅未加密云硬盘可以创建数据盘镜像。 使用未加密镜像作为数据源创建的云硬盘未加密。

脱敏授权 当用户需要授权其他用户查询敏感列的明文信息时，可以进行脱敏授权操作。 1. 登录数据管理服务。 2. 在左侧菜单栏中，选择数据资产 > 敏感数据保护，进入敏感数据保护页面。 3. 在顶部菜单栏中，选择敏感实例页签，进入敏感实例页面。 4. 在敏感实例列表中，点击指定实例操作列的脱敏授权按钮即可跳转到该实例的数据权限管理页面。 5. 在数据权限管理页面，用户可以查看、添加、回收该实例下所有敏感列的权限。 关闭保护 当实例不再需要敏感数据保护功能时，可以通过关闭保护操作，移除该实例的敏感数据保护功能。 1. 登录数据管理服务。 2. 在左侧菜单栏中，选择数据资产 > 敏感数据保护，进入敏感数据保护页面。 3. 在顶部菜单栏中，选择敏感实例页签，进入敏感实例页面。 4. 在敏感实例列表中，点击指定实例操作列的关闭保护按钮即可。 5. 需要注意的是，关闭保护后，会同步删除对应实例的所有敏感列、历史识别任务、敏感列权限。

本节介绍了 使用DAS的导出和导入功能迁移RDS for SQL Server数据的相关内容。 操作场景 当进行数据备份或迁移时，支持使用数据管理服务的数据导出功能，获取完整的数据信息，再将数据从本地或者从OBS桶导入目标数据表。 约束限制 只支持导入一个文件，该文件最大可达1GB。 暂不支持BINARY、VARBINARY、TINYBLOB、BLOB、MEDIUMBLOB、LONGBLOB等二进制类型字段的导入。 RDS for SQL Server实例表数量超过1万时，使用DAS的“导出数据库”功能会报错表数量过多，无法导出数据。此时请使用“导出SQL结果集”功能。 导出数据 步骤 1 登录管理控制台。 步骤 2 单击管理控制台左上角的 ，选择区域和项目。 步骤 3 选择“数据库 > 关系型数据库”。进入关系型数据库信息页面。 步骤 4 在“实例管理”页面，选择目标实例，单击操作列的“登录”，进入数据管理服务实例登录界面。 步骤 5 正确输入数据库用户名和密码，单击“登录”，即可进入您的数据库并进行管理。 步骤 6 在顶部菜单栏选择“导入·导出”>“导出”。 步骤 7 在导出页面，单击左上角“新建任务”，您可根据需要选择“导出数据库”或“导出SQL结果集”。下文以导出数据库为例，导出SQL集同理。 您也可通过单击“快速导出”，创建快速导出任务导出指定数据库信息，选择存储位置，并单击“确定”。 步骤 8 在导出数据库弹出页面，您可按需选填“基本信息”及“高级选项”，并在页面右侧选择需要导出的表。 步骤 9 设置完导出任务信息，单击弹出页面下部“确定”，创建导出任务。 步骤 10 在导出任务列表页面，您可查看任务ID、任务类型、任务状态、进度等信息。 步骤 11 您可在列表操作栏，单击“查看详情”，在任务详情弹出页面，查看本次导出任务执行的详情信息。 结束

本节为您介绍数据库迁移服务的功能特性。 多种源和目标 数据库迁移服务支持多种数据库之间的数据迁移。 增量同步 配置数据库迁移任务时如果启用了增量迁移，就会持续性地采集源数据库的数据变化同步到目标数据库中，直到手动点击停止增量为止 数据"0"丢失 数据库迁移服务在传输过程存在数据校验保证数据一致，用户也可通过数据稽核功能相对准确的检验出两端数据的异同。 自定义迁移 数据库迁移服务可以根据用户的特定需求智能地筛选出要迁移的数据，例如根据表名进行筛选。 多模式迁移 数据库迁移服务支持表结构、全量、增量多模式迁移，可将数据库割接窗口降至分钟级，减少迁移带来的业务影响。 快速数据传输 数据库迁移服务采用优化的传输协议和算法，实现高速的数据传输。它能够利用带宽和网络资源，最大程度地提高数据迁移的速度，减少迁移时间。 定时任务与批量迁移 数据库迁移服务支持定时任务，用户可以设置定时任务，自动执行数据迁移，减少人工干预。同时数据库迁移服务支持批量迁移多张表，提高数据迁移速度，减少迁移时间。

功能分类 功能名称 功能描述 云硬盘备份 云硬盘粒度的备份 云硬盘备份提供对云硬盘的基于快照技术的数据保护。云服务备份支持备份服务器的单个磁盘，为磁盘提供数据保护。 云硬盘备份 使用备份策略备份数据 通过备份策略，您可以将整个存储库绑定的磁盘按照一定的策略要求对磁盘数据进行周期性备份，以便磁盘在数据丢失或损坏时快速恢复数据，保证业务正常运行。 云硬盘备份 备份数据管理 在备份任务正在执行或完成后，可以通过各种筛选条件在备份列表查看备份详情进行整理。 云硬盘备份 根据备份恢复云硬盘数据 当磁盘发生故障、或者由于人为误操作导致服务器数据丢失时，可以使用已经创建成功的备份恢复磁盘。 云硬盘备份 使用备份创建新云硬盘 可以使用云硬盘备份数据创建新的磁盘，创建后的磁盘原始数据将会和磁盘备份状态的数据内容相同。 云主机备份 服务器粒度的备份 云主机备份提供对弹性云主机的基于多云硬盘一致性快照技术的数据保护。云服务备份支持备份整个服务器，为服务器提供数据保护。 云主机备份 使用策略备份数据 通过备份策略，您可以将整个存储库绑定的服务器按照一定的策略要求对服务器数据进行周期性备份，以便服务器在数据丢失或损坏时快速恢复数据，保证业务正常运行。 云主机备份 备份数据管理 在备份任务正在执行或完成后，可以通过各种筛选条件在备份列表查看备份详情进行整理。 云主机备份 使用备份恢复服务器数据 当服务器发生故障、或者由于人为误操作导致服务器数据丢失时，可以使用已经创建成功的备份恢复服务器。 云主机备份 共享备份 在对服务器和磁盘数据进行备份后，可将备份进行添加共享，将备份共享给其他账户项目使用。共享的备份可用于创建服务器等操作。 云主机备份 数据库服务器备份 云主机备份在支持崩溃一致性备份的基础上，同时支持数据库备份。文件/磁盘数据在同一时间点，通过数据库备份内存数据，能够保证应用系统一致性，如包含MySQL或SAP HANA数据库的弹性云主机。 SFS Turbo备份 SFS Turbo备份 云服务备份提供对SFS Turbo文件系统的备份保护。通过SFS Turbo备份，您可以使用备份创建新的SFS Turbo，从而避免SFS Turbo重要数据丢失 SFS Turbo备份 使用策略备份数据 通过备份策略，您可以将整个存储库绑定的文件系统按照一定的策略要求对文件系统数据进行周期性备份，以便文件系统在数据丢失或损坏时快速恢复数据，保证业务正常运行。 SFS Turbo备份 备份数据管理 在备份任务正在执行或完成后，可以通过各种筛选条件在备份列表查看备份详情进行整理。 SFS Turbo备份 使用备份创建新文件系统 可以使用SFS Turbo备份数据创建新的文件系统，创建后的文件系统原始数据将会和SFS Turbo备份状态的数据内容相同。 文件备份 创建文件备份 文件备份支持为云上主机或本地的文件目录进行备份，无需再以整机或整盘的形式进行备份。 文件备份 使用备份恢复数据 当文件由于人为误操作或病毒入侵导致文件数据丢失时，可以使用云上已经创建成功的备份恢复数据。

您可以根据云硬盘备份将磁盘数据恢复到备份时刻的状态。 您可以根据云硬盘备份将磁盘数据恢复到备份时刻的状态。 前提条件 需要恢复的磁盘状态为可用。 在恢复数据前，需要先停止云主机，并解除云主机和磁盘的挂载关系后再做恢复操作。恢复后，再挂载磁盘并启动云主机。 约束与限制 如果系统盘在备份完成后，云主机切换过系统，则由于磁盘的UUID变化等原因将会导致系统盘备份无法恢复原系统盘。您可以使用系统盘备份创建新磁盘后，将数据导入原系统盘中。 目前仅支持将备份恢复至原磁盘中，暂不支持将备份恢复至新的磁盘中。如果希望将备份恢复至其他的磁盘中，可以使用备份创建新的磁盘。 暂不支持批量恢复数据操作。 操作步骤 1. 登录云服务备份管理控制台。 a. 登录管理控制台。 b. 单击管理控制台左上角的，选择区域。 c. 单击“”，选择“存储 > 云服务备份”。选择对应的备份目录。 2. 选择“备份副本”页签，找到存储库和磁盘所对应的备份。 3. 单击备份所在行的“恢复数据”，弹出恢复数据对话框，如下图所示。 图 找到目标备份副本 图 恢复磁盘 注意 恢复磁盘数据之后将导致备份时间点的数据覆盖磁盘数据，一旦执行，无法回退。 如果恢复按钮为灰色，需要先停止云主机，并解除云主机和磁盘的挂载关系后再做恢复操作。恢复后，再挂载磁盘并启动云主机。 4. 根据页面提示，单击“确定”。可以在云硬盘备份副本页面和云硬盘页面确认恢复数据是否成功。直到云硬盘备份的“状态”恢复为“可用”时，表示恢复成功。恢复成功的资源数据将于备份时间点保持一致。 5. 恢复完成后，需要将磁盘重新挂载至云主机上。

本章节主要介绍规格说明。 专享版规格 数据服务专享版的实例规格，如下表所示。 专享版实例规格说明 实例规格 最大支持发布的API数量 small (X86或ARM) 500 medium (X86或ARM) 1000 large (X86或ARM) 2000 API返回数据规格 数据服务适用于小批量数据的快速响应交互场景，不适用于将大量数据通过API的方式返回。当前通过数据服务API返回数据的规格如下表所示。 API的返回数据条数限制 API分类 使用场景 数据源 默认规格 配置类API 调试API DLI/MySQL/RDS/DWS 10 配置类API 调用API DLI/MySQL/RDS/DWS 100 脚本类API 测试SQL 10 脚本类API 调试API DLI 默认分页：100 自定义分页：1000 脚本类API 调试API MySQL/RDS/DWS 默认分页：10 自定义分页：2000 脚本类API 调用API DLI 默认分页：100 自定义分页：1000 脚本类API 调用API MySQL/RDS/DWS 默认分页：10 自定义分页：2000

前置网络协议与安全环境限制 协议与认证强制要求 ：不支持 Windows 身份认证方式，仅支持 SQL Server 身份认证。不支持 TLS 1.0 和 TLS 1.1 协议的同步，必须将源库升级到 TLS 1.2 及以上版本。 TDE透明数据加密 ：不支持迁移源数据库中开启了 TDE（透明数据加密）的数据库，若需迁移，必须在配置迁移任务前将其彻底关闭。同时，也不支持列加密。 操作须知 DTS迁移过程一般包含四个阶段：预检查阶段、结构迁移阶段、全量阶段、增量阶段。为了确保数据迁移各个阶段的平顺，在创建迁移任务前，请务必阅读以下使用须知。 如迁移对象为表级别，则单次迁移任务仅支持迁移最多3000张表。当超出数量限制，任务会在提交后会请求报错。如果遇到这种情形，建议您拆分待迁移的表，分批配置成多个任务，或者配置为整库迁移。 目标库关联RDS数据库的字符集必须与源数据库一致。 目标库若已存在行数据，DTS在增量迁移过程中源库相同主键的数据将覆盖目标库已存在的数据，因此在迁移前需要用户自行判断数据是否需要清除，建议用户在迁移前自行清空目标库。 目标实例及关联RDS实例的运行状态必须正常，若关联RDS实例是主备实例，复制状态也必须正常。 目标库关联RDS实例必须有足够的磁盘空间，建议至少为待迁移数据量的2.5倍。（全量数据迁移会并发执行 INSERT 操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大）。 SQL Server的TIMESTAMP类型字段不能显式赋值，只能自动生成，所以目标库库的TIMESTAMP值自动生成，跟源库的字段值存在差异。 增量迁移时，CDC机制会在源库的cdc这个schema下产生一些数据库对象，请勿操作，否则影响增量迁移/同步。 在任务启动、任务全量迁移阶段，不建议对源数据库做删除类型的DDL操作，这样可能会引起任务迁移失败。 迁移过程中，不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限，或修改源和目标数据库的端口号。 迁移过程中，不允许对源库需要迁移的表结构进行修改。 选择表级对象迁移时，增量迁移过程中不建议对表进行重命名操作。 增量迁移场景下，不支持源数据库进行恢复操作。 增量迁移场景下，不支持无主键表的数据增量迁移，因为无主键表的增量迁移性能远低于有主键的表，而且不能保证数据的一致性。 如果开启 CDC 的表需要写入的单字段数据长度超过 64KB，由于 CDC 作业默认最大处理长度限制，必须提前在源库执行 exec spconfigure 'max text repl size', 1; 命令进行配置调整，否则会导致同步失败或截断。 CDC 组件默认仅保留 3 天数据，若源库单表日均变更超千万条，建议使用 spcdcchangejob 命令将保留时间调整为 1440 分钟（24小时）或更长。 极端场景下，开启 CDC 的表数量不建议超过 1000 张，否则极易导致任务延迟或运行不稳定。聚集列存储索引表不支持开启 CDC。 待同步的表不仅需要有主键，还需要具备聚集索引且包含主键列；已经开启 CDC 的表不支持进行任何主键相关的变更，增量同步期间不支持重建索引操作，否则会造成数据丢失。 切勿使用 sprename 命令修改对象名称，应直接使用 ALTER 命令，否则会导致任务运行失败。 全量迁移运行期间，建议将源库的事务处理模式启用 READCOMMITTEDSNAPSHOT（已提交读隔离），防止产生的共享锁影响业务正常写入。 在业务正式切换到目标实例前，务必手动结束该同步任务，或者回收 DTS 账号在目标库的写权限。避免任务意外自动恢复后用旧数据覆盖目标端新业务数据。 sys.sysservers视图的srvname字段与SERVERPROPERTY函数返回值保持一致。 若单次同步任务中开启CDC的表数量大于1000，则预检查会失败。 日志备份模式与全量物理备份前提：为保证增量同步正常进行，源库的数据日志必须开启，且备份模式必须设置为 Full。

本页详细介绍如何配置同步实例。 基本流程 用户在成功购买天翼云DTS同步实例之后，实例默认是“待配置”状态，需要完成实例的配置，才可以真正实现数据的同步。 前置条件 1. 备好待同步的数据库实例。 2. 已成功订购天翼云DTS实例。 3. 其他合理且必要的条件。 具体步骤 1、登录天翼云官网门户，进入数据传输服务DTS控制台。 登录天翼云 在天翼云门户首页顶部菜单栏，点击“控制中心”进入【控制中心】页面。 在【控制中心】页面顶部的资源池下拉列表框中选择相应资源池（目前支持上海36/华东1/西南1/华北2/长沙42/杭州7 ），找到页面中的“数据库”服务列表，选择“数据传输服务DTS”，进入DTS控制台。 2、进入数据同步实例列表页面。 在控制台左侧菜单栏点击“数据同步”，进入【数据同步】实例列表页面。 3、选择待配置实例，点击“实例配置”进入实例配置页面。 DTS实例订购成功后，选择对应实例ID的操作，点击“实例配置”，进入配置页面。