TeleDB管控数据传输服务由管理模块、执行模块、稽核模块、核心配置集群、核心配置库组成，本文为您详细介绍具体的模块。 TeleDB管控数据传输服务由管理模块、执行模块、稽核模块、核心配置集群、核心配置库组成，具备广泛的兼容性，支持从多种数据源（如Oracle、MySQL、PostgreSQL等）迁移数据至TeleDB。这一功能为各类客户提供了一种简便、顺畅的迁移方式，能够顺利完成数据的迁移与整合。 管理模块 ：接受外部用户对系统的请求，对操作请求进行预处理和分发，并兼具进行任务管理、任务配置、监控数据查看、日志查看、工作节点调度等功能。 执行模块 ：具体负责执行数据迁移，接收管理模块的任务请求，依序执行迁移评估、结构迁移、全量迁移、增量迁移的具体工作流程。 稽核模块 ：负责在全量迁移完成后，对存量数据的正确性进行数据比对。包含对象级稽核、行级稽核、内容级稽核三个级别。对象级稽核比对源端和目标端数据库对象的结构是否一致，行级稽核比对源端表和目标端对应表的数据行数是否一致，内容级稽核比对源端表和目标端对应表的数据内容是否一致。 核心配置集群 ：负责增量任务位点管理、实时监控数据存储、任务状态存储和工作节点高可用。 核心配置库 ：负责存储和管理用户的任务信息以及部分元数据信息。

本章节主要介绍记录数据迁移入库时间。 CDM在创建表/文件迁移的作业，支持连接器源端为关系型数据库时，在表字段映射中使用时间宏变量增加入库时间字段，用以记录关系型数据库的入库时间等用途。 前提条件 已创建连接器源端为关系型数据库，以及目的端数据连接。 创建表/文件迁移作业 1.在创建表/文件迁移作业时，选择已创建的源端连接器、目的端连接器。 图 配置作业 2.单击“下一步”，进入“字段映射”配置页面后，单击源字段图标。 图 配置字段映射 3.选择“自定义字段”页签，填写字段名称及字段值后单击“确认”按钮，例如： 名称：InputTime。 值：${timestamp()}，更多时间宏变量请参见下表。 图 添加字段 表 时间变量宏定义具体展示 宏变量 含义 实际显示效果 ${dateformat(yyyyMMdd)} 以yyyyMMdd格式返回当前时间。 20171016 ${dateformat(yyyy/MM/dd)} 以yyyy/MM/dd格式返回当前时间。 2017/10/16 ${dateformat(yyyyMMdd HH:mm:ss)} 以yyyyMMdd HH:mm:ss格式返回当前时间。 20171016 09:00:00 ${dateformat(yyyyMMdd HH:mm:ss, 1, DAY)} 以yyyyMMdd HH:mm:ss格式返回时间，时间为当前时间的前一天。 20171015 09:00:00 ${timestamp()} 返回当前时间的时间戳，即1970年1月1日（00:00:00 GMT）到当前时间的毫秒数。 1508115600000 ${timestamp(10, MINUTE)} 返回当前时间点10分钟前的时间戳。 1508115000000 ${timestamp(dateformat(yyyyMMdd))} 返回今天0点的时间戳。 1508083200000 ${timestamp(dateformat(yyyyMMdd,1,DAY))} 返回昨天0点的时间戳。 1507996800000 ${timestamp(dateformat(yyyyMMddHH))} 返回当前整小时的时间戳。 1508115600000 说明 添加完字段后，新增的字段在界面不显示样值，不会影响字段值的传输，CDM会将字段值直接写入目的端。 这里“添加字段”中“自定义字段”的功能，要求源端连接器为JDBC连接器、HBase连接器、MongoDB连接器、ElasticSearch连接器、Kafka连接器，或者目的端为HBase连接器。 4.单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入数据前需要先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 作业运行完是否删除：这里保持默认值“不删除”。 5.单击“保存并运行”，回到作业管理的表/文件迁移界面，在作业管理界面可查看作业执行进度和结果。 6.作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。

本文介绍数据授权功能，使用户可以快速熟悉数据授权页面的相关操作，以及如何进行数据授权。 前提条件 用户需要具有进入数据授权 页面的菜单权限。菜单权限请参考权限说明。 注意事项 数据授权功能仅限企业版。 超级管理员、管理员可以授权组织内所有实例 的数据权限，团队管理员可以授权团队内所有实例的数据权限。 每次授权仅限一种类型的资源粒度，资源粒度从大到小依次是实例、库/模式、表。 数据权限支持按资源粒度继承，即用户拥有大粒度资源的数据权限时，则默认拥有该大粒度资源下所有小粒度资源的数据权限。 多次授权同一用户、同一资源、同一权限后，最后一次授权的结果会覆盖之前授权的结果。 操作步骤 用户可以在安全协作>用户与角色 页面中点击某个用户信息的“数据授权”按钮进入数据授权页面，也可以在安全协作>团队管理>团队成员管理页面中点击某个团队成员信息的“数据授权”按钮进入数据授权页面。 数据授权的具体操作流程如下： 1. 选择资源的粒度。进入数据授权页面后，默认选择库/模式授权，可以点击其他标签，切换到其他资源粒度，每次授权仅限一种类型的资源粒度。 2. 选择授权的资源。在左侧”请选择“框内勾选想要授权的资源的复选框，然后点击中间的”>“按钮，即可将当前页选中的资源加入到右侧”已选择“框内。如果想要删除右侧“已选择”框内的资源，可以勾选想要删除的资源的复选框，然后点击中间的“<”按钮，即可将右侧“已选择”框内的资源删除。每次授权可以同时选择多个资源。 3. 选择权限的类型。根据用户需要，勾选对应权限类型的复选框。每次授权可以同时选择多种权限。 4. 选择权限的有效期。权限有效期默认为1个月，根据用户需要，可以选择3个月、半年或者1年，也可以点击时间栏，直接指定权限的到期时间。 5. 确定信息无误后，点击页面右下角的“确认授权”按钮即可完成授权。

查看日志数据的存储位置 日志数据接入完成后，请前往安全分析的安全数据表页面查看接入的日志数据： 1. 在左侧导航栏选择“日志审计 > 安全数据”，进入安全分析页面。 2. 在左侧数据空间导航栏中，单击数据空间名称，展开数据管道列后，再单击管道名称，右侧将显示管道数据的检索页面。 在管道数据检索页面即可查看接入的日志数据。 相关操作 取消数据接入 1. 在云服务接入管理页面，单击待取消接入云服务产品所在行操作列的“设置”，右侧弹出日志接入设置配置页面。 2. 在设置页面，单击“日志接入”列的，关闭接入的云服务日志。 编辑数据接入生命周期 1. 在云服务接入管理页面，单击对应云服务产品所在行操作列的“设置”，右侧弹出日志接入设置配置页面。 2. 在设置页面，单击日志所在行操作列的“编辑”按钮。 3. 在弹出的编辑页面，修改“生命周期”配置，输入生命周期时间。 4. 修改完成后，单击“确定”。 取消自动转告警 1. 在云服务接入管理页面，单击对应云服务产品所在行操作列的“设置”，右侧弹出日志接入设置配置页面。 2. 在设置页面，单击“自动转告警”列的，关闭告警映射。

安全办公场景 场景特点： 需要对员工行为做一定约束，对敏感岗位的电脑数据安全需要做到事前防控和事后审计，需要较丰富的管理功能。 推荐方案： 开通天翼AI云电脑（政企版）+ 管控策略+翼甲卫士（需要单独开通，详见翼甲卫士帮助指导）。 方案优势： 1、按需提供基于私网、公网的接入方式。 2、通过精细到品牌、型号的外设管控策略，防止未经授权的设备接入AI云电脑。 3、通过包括翼加密、屏幕水印、登录鉴权、登录审计在内的方式，加强信息泄露的事前威慑、事中管控、事后审计。 4、通过应用黑白名单、安全组、翼甲上网行为管理等组件，强化敏感岗位的员工行为管理。 5、提供包括文件剪切板权限、桌面工具栏权限、关机还原在内的其他个性化策略，帮助企业实现更多精细化、个性化的数据安全管理。 用户场景图：

本章节主要介绍数据治理中心的配置常见关系数据库连接功能。 常见关系数据库包括数据仓库服务（DWS）、云数据库 MySQL、云数据库 PostgreSQL、云数据库 SQLServer、PostgreSQL、Microsoft SQL Server、IBM Db2、SAP HANA。 前提条件 已参考管理驱动上传对应的驱动。 常见关系数据库连接参数 连接参数详见下表：常见关系数据库连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mysqllink 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的DWS、RDS等实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同，请根据具体情况配置。例如： SQLServer默认端口：1433 PostgreSQL默认端口：5432 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 cdm 密码 用户名密码。 使用Agent 是否选择通过Agent从源端提取数据。 是 Agent 单击“选择”，选择3.3.5.3管理Agent中已创建的Agent。 驱动版本 不同类型的关系数据库，需要适配不同的驱动。 一次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 1000 SSL加密 可选参数，支持通过SSL加密方式连接数据库，暂不支持自建的数据库。 RDS上的PostgreSQL数据库服务做了一些安全增强，在创建RDS上的PostgreSQL的连接时，该参数需要配置为“是”。 是 连接属性 可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 说明 CDM作业默认打开了useCursorFetch开关，即JDBC连接器与关系型数据库的通信使用二进制协议。 sslmoderequire 引用符号 可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 '

本页汇总介绍数据传输服务的最佳实践。 本文汇总了数据传输服务DTS常见应用场景的操作实践，每个实践我们提供详细的方案描述和操作指导，用于指导您快速实现数据库迁移和同步。 最佳实践一览表如下： 模块 源数据库类型 目标数据库类型 相关文档 数据迁移 其他云MySQL RDS for MySQL []( for MySQL 数据迁移 本地MySQL RDS for MySQL []( for MySQL 数据迁移 其他云PostgreSQL RDS for PostgreSQL []( for PostgreSQL 数据迁移 本地PostgreSQL RDS for PostgreSQL []( for PostgreSQL 说明 目前，DTS数据同步只支持MySQL到MySQL、PostgreSQL到PostgreSQL的同步链路。进行数据同步需订购数据同步实例，操作方面其他云MySQL/PostgreSQL到RDS for MySQL/PostgreSQL、本地MySQL/PostgreSQL到RDS for MySQL/PostgreSQL的数据同步操作流程与数据迁移类似，不再赘述。

本文介绍科研助手提供百度网盘进行数据给本地盘供训练使用。 概述 科研助手支持从百度网盘同步数据，供本地盘训练使用。 操作步骤 1.登录科研助手管理控制台。 2.在控制台左侧导航栏中，选择【数据存储】。 3.在【数据存储】弹出的选项中，选择【数据集管理】，左上角切换到【个人数据集】。 4.选中具体的数据集文件，进入【文件管理】，点击【网盘同步】。 5.点击【更新授权】，点击【获取授权码】。 进入百度账号页面，登陆后复制授权码，填写至【更新授权】中，确认无误点击【授权】。 6.授权完成后，点击【浏览文件】，可浏览查看网盘的相关文件集数据信息。 7.勾选数据并点击【确认】，进行下载给本地盘。 8.等待数据同步完成，即可完成百度网盘数据同步。

本页为使用数据传输服务DTS将PostgreSQL数据迁移到Kafka的详细介绍,包括数据迁移支持的源库、目标库,支持的迁移对象及SQL,数据库账号权限说明,操作须知,操作步骤等。 支持的源和目标数据库 支持的源和目标数据库，如下表： 源数据库 目标数据库 RDS for PostgreSQL 自建PostgreSQL 9.4/9.5/9.6/10/11/12/13/14/15 自建Kafka 天翼云消息队列Kafka 支持的迁移对象及SQL 迁移对象 当前DTS支持表级（指定的表对象）、库级（整库迁移）迁移。 数据迁移仅针对数据源中的用户数据库，而系统库会被自动过滤。例如：MySQL 数据源中的 informationschema、mysql、performanceschema、sys 库不会出现在可迁移列表当中。 若源库为空库（该库下未创建任何表），不支持作为待迁移对象。 增量迁移支持的SQL操作 DML INSERT、UPDATE、DELETE。 DDL 常见DDL操作，如ALTER TABLE、TRUNCATE TABLE 和DROP TABLE。 投递到Kafka的数据格式 DTS投递到Kafka的消息支持JSON和Avro两种数据格式。 JSON格式 消息结构 JSON格式的消息结构如下： 参数 数据类型 说明 dbType String 源库类型，如MYSQL、POSTGRESQL、SQLSERVER。 id Long DTS内部定义的事件操作序列号，单调递增。 es Long 源库产生数据的时间戳（毫秒）。全量数据时为0。 ts Long 数据写入目标Kafka的时间戳（毫秒）。 database String 源端数据库名称。 table String 源端表名称。 ddl Boolean 是否为DDL操作。 sql String DDL操作的SQL语句，DML操作时取值为空字符串。 opType String 操作类型。全量数据为INIT，增量DML为INSERT、UPDATE、DELETE，增量DDL为DDL。 data Array 最新的数据，格式为键值对数组，每个元素为{"列名":"值"}。INSERT时为插入的数据；UPDATE时为更新后的数据；DELETE时为空数组。 old Array 旧数据，格式同data。INSERT时为空数组；UPDATE时为更新前的数据；DELETE时为被删除的数据。 pkNames Array 主键列名称列表。 sqlType Array 源端表字段的JDBC类型编号，格式为键值对数组，每个元素为{"列名":类型编号}。 oriType Array 源端表字段的原始类型名称，格式为键值对数组，每个元素为{"列名":"类型名"}。 gtid String 增量日志位点。MySQL对应GTID，PostgreSQL对应LSN，SQL Server对应CDC的LSN。

本章节主要介绍数据治理中心的数据目录的资产总览。 通过总览，可以查看数据资产全局视图及资产报告，包括资产总数量和总大小，以及按照数据连接分类的数据库数量和数据表数量。 前提条件 已创建数据连接，如何创建数据连接请参见创建数据连接。 已配置采集任务，如何创建采集任务请参见 任务管理。 采集任务已成功运行，查看采集任务运行状况请参见任务监控。 操作步骤 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2. 选择“数据地图 > 总览”。 3. 单击“业务资产”，业务资产显示业务对象、逻辑实体、业务属性的数量及其详情。 4. 单击“技术资产”，技术资产显示数据库、数据表、数据量的数量及其详情。 5. 单击“指标资产”，指标资产显示业务指标及其详情。 标签和分类 “标签”是相关性很强的关键字，帮助用户对资产进行分类和描述，以便于检索。 “分类”是指按照种类、等级或性质分别归类。分类是自上而下的，通过对事物进行分析，按照一定的标准，划分出不同的类别。 二者主要区别如下表： 标签和分类区别 属性 分类 标签 排他性 有 无 关系 从属 相关（关联） 创建 事前规划 任意时间 代价 高 低

监控指标 指标说明 单位 是否支持告警 监控周期 CPU利用率 该指标用于统计数据库审计实例的CPU利用率。 % 是 5分钟 内存总大小 该指标用于统计数据库审计实例的实际内存大小。 GB 是 5分钟 剩余内存大小 该指标用于统计数据库审计实例的空闲的内存大小。 GB 是 5分钟 内存利用率 该指标用于统计数据库审计实例的内存利用率。 内存利用率 100% （剩余内存大小/内存总大小） % 是 5分钟 系统盘大小 该指标用于统计数据库审计实例的实际系统盘大小。 GB 是 5分钟 剩余系统盘大小 该指标用于统计数据库审计实例的空闲的系统盘大小。 GB 是 5分钟 系统盘利用率 该指标用于统计数据库审计实例的系统盘利用率。 系统盘利用率 100% （剩余系统盘大小/系统盘大小） % 是 5分钟 数据盘大小 该指标用于统计数据库审计实例的实际数据盘大小。 GB 是 5分钟 剩余数据盘大小 该指标用于统计数据库审计实例的空闲的数据盘大小。 GB 是 5分钟 数据盘利用率 该指标用于统计数据库审计实例的数据盘利用率。 系统盘利用率 100% （剩余数据盘大小/数据盘大小） % 是 5分钟

本文主要介绍可信数据空间的账号注册。 角色分类 平台主要涉及四类角色，分别是数据提供方、数据开发方、平台运营方和数据购买方。职责分工如下： 1.数据提供方：负责原始数据的上传和产品的发布。 2.数据开发方：负责原始数据的开发。 3.平台运营方：负责流程的审核以及平台的运营管理。 4.数据购买方：负责数据产品的下单购买。 操作路径：登录页面立即注册 点击“立即注册”，填写账号名称、单位名称、密码、手机号、验证码，勾选同意用户协议和隐私政策，就可以注册一个新的账号。 用注册的账号登录系统进入个人空间发起主体认证，获取相应的权限。 管理可以修改账号信息及权限分配。

本章节主要介绍（可选）管理作业的复制名称和重命名作业。 您可以通过复制名称功能复制当前作业名称，通过重命名功能修改当前作业名称。 前提条件 已完成作业开发。如何开发作业，请参见开发作业。 复制名称 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 3. 在作业目录中选择需要复制名称的作业，右键单击作业名称，选择“复制名称”，即可复制名称到剪贴板。 重命名作业 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 3. 在作业目录中选择需要重命名的作业，右键单击作业名称，选择“重命名”。 4. 在弹出的“重命名作业名称”页面，配置新作业名。 重命名作业参数 参数 说明 作业名称 自定义作业的名称，只能包含英文字母、数字、中文、“”、“”、“.”，且长度为1～128个字符。 5. 单击“确定”，重命名作业。

本文介绍如何在科研助手中在在开发机中引用数据集。 操作步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中，选择【开发机】。 3. 在【开发机 】页面中，点击左上角【创建开发机】 4. 在【创建开发机 】页面，【数据集 】中，点击【添加】按钮。 5. 此时在下拉条中，可以选择之前已经创建好的数据集，若还未创建数据集，可单击【创建数据集】按钮。 6. 在选择完挂载数据集之后，用户可自定义填入例如“/tmp”类似的容器挂载路径。 7. 若不需要挂载数据集，也可点击右方删除操作，取消挂载数据集。

本页介绍天翼云TeleDB数据库如何对数据空间进行管理。 操作场景 您可按照百分比或分片形式对数据节点上的数据进行迁移。数据迁移需要实例集群内部至少有两个数据节点组。 操作步骤 1. 以用户名和密码登录分布式数据库TeleDB控制台，在左侧导航树上，单击数据空间管理 ，进入数据空间管理 页面。 2. 数据迁移 1. 选择数据迁移 页签，单击创建任务 ，出现创建迁移任务对话框。 2. 在创建迁移任务对话框，输入任务名称、源节点、目标节点和迁移类型。 任务名称：根据自己的需求填写，可自定义。 源节点：根据实际情况选择。 目标节点：根据自己的实际情况选择。 迁移类型：分为shard迁移 和百分比迁移 。 Shard迁移：按照分片迁移，需要选择分片，单次可迁移的分片最大为1000。选择分片迁移需移动分片至已选shard。 百分比迁移：按照源节点上的数据百分比进行迁移，需要输入1100的整数。 3. 单击确定完成任务迁移。 3. 空间清理 说明 当数据被删除或更新时，TeleDB将其标记为无效，但并不立即回收相关的存储空间。需要定期执行空间清理操作，以检查并释放被标记为无效的数据所占用的空间。这样可以确保数据库在长时间运行后不会因为无效数据的积累而占用过多的磁盘空间。 1. 选择空间清理 页签，单击创建任务 ，出现创建清理任务 对话框。 2. 选择源节点 、清理开始时间 和清理结束时间 ，单击确定 。 4. 空间回收 说明 经过空间清理任务后的实例并没有立即释放空间，用户可以通过空间回收任务对实例进行重建表和索引，自动释放被空间清理回收的空间。 1. 选择空间回收 页签，单击创建任务 ，出现创建回收任务 对话框。 2. 选择回收节点、设置回收开始时间和回收结束时间，单击确定完成空间回收。 5. 数据重平衡 说明 用户可以通过数据重平衡，依据磁盘使用率，把节点组原有的数据平均分布到节点组内各个节点上。该功能会自动生成迁移任务以及空间清理任务，用户可以在任务详情或者在对应功能页面查看任务具体执行情况。 1. 选择重平衡任务 页签，单击创建任务 ，出现创建数据重平衡任务 对话框。 输入任务名称，选择节点组，单击确定，完成数据重平衡。

本节介绍如何进入数据分类分级制台,及如何使用数据分类分级。 进入控制台 方式一： 1. 登录天翼云控制中心。 2. 在控制中心页面顶部选择区域。 3. 在产品服务列表页，选择“安全 > 云等保专区”，进入云等保专区控制台。 4. 在左侧导航栏，选择“数据分类分级”，跳转到数据分类分级控制台。 方式二： 1. 登录天翼云控制中心。 2. 在控制中心页面顶部选择区域。 3. 在产品服务列表页，选择“安全 > 数据安全专区”，进入数据分类分级控制台。 使用数据分类分级 请参见数据分类分级。

文件存储数据灾备支持oceanfs吗？ 支持。从协议兼容性角度，只要存储系统支持NFS 协议，均可使用 NAS 文件存储灾备方案进行数据保护。OceanFS 若基于 NFS 协议提供访问，则在理论上完全兼容。 文件存储数据灾备同步机配置要求是什么？ 1. 同步机，1台同步机可保护多个NAS内的数据。 2. 同步机配置:CPU 16 core，32GB内存，200GB系统盘。缓存硬盘建议NAS总量的百分之一。 3. 网络要求：与增量数据相关。 对象存储如何实现做同城双活？ 对于跨地域（异地）场景，建议使用对象存储数据灾备方案，通过异步复制等方式保障数据在不同地域间的安全。 对象存储数据灾备同步机配置要求是什么？ 1. 同步机（drnode）：1台同步机可保护多个DTO内的数据； 2. 同步机配置：CPU 16 core,32GB内存，200GB系统盘。缓存硬盘建议DTO总量的1%； 3. 网络要求：与增量数据相关。

本文主要介绍跨帐号迁移业务数据(迁移系统盘+数据盘) 操作场景 如果您的业务数据同时保存在数据盘和系统盘中，要想实现业务数据跨帐号迁移，需要用到镜像服务的创建整机镜像、共享镜像等功能。本节操作以Windows操作系统为例，为您详细介绍在同一区域内，跨帐号迁移业务数据（包括系统盘和数据盘数据）的操作流程。 说明： 只有通过云服务备份，或云主机（未通过旧版CSBS服务生成备份）创建的整机镜像，才支持共享。 不允许共享加密镜像、已冻结的镜像以及创建中的镜像。 方案介绍 跨帐号迁移业务数据的方案为：帐号A将云主机A做成整机镜像，将此镜像共享给帐号B；帐号B接受帐号A的共享镜像后，将其创建为新的云主机，实现数据迁移。操作流程如下： 图 跨帐号迁移业务数据流程图 步骤一： 创建整机镜像 假设帐号A的云主机数据盘中存放了数据：data disk.txt，系统盘中存放了数据：system disk.txt。 图 数据盘数据 图 系统盘数据 1、帐号A登录管理控制台，在左上角切换区域为“广东广州4”。 2、选择“ 镜像服务”。 进入镜像列表页面。 3、单击右上角的“创建私有镜像”。 进入创建私有镜像页面。 4、填写如下参数： 图 创建整机镜像 创建方式：创建私有镜像 镜像类型：整机镜像 选择镜像源：云主机，并选择云主机“ecsxxxx” 名称：输入整机镜像名称，如“fullimageecsxxxx” 企业项目：选择默认项目“default” 说明： 使用云主机制作整机镜像时，云主机应处于关机状态。如果镜像中包含数据库，请在关机状态下制作。 整机镜像创建过程中，请勿卸载系统盘，不要关闭、开启或者重启云主机，避免创建失败。 了解更多通过云主机创建整机镜像的约束限制，请查看约束与限制。 5、单击“立即创建”。 6、确认无误后，阅读并勾选协议，单击“提交”。 返回私有镜像列表，等待几分钟后，整机镜像创建成功。 图 查看私有镜像

本页为使用数据传输服务DTS将SQL Server数据迁移到Kafka的详细介绍,包括数据迁移支持的源库、目标库,支持的迁移对象及SQL,数据库账号权限说明,操作须知,操作步骤等。 支持的源和目标数据库 支持的源和目标数据库，如下表： 源数据库 目标数据库 自建SQL Server、RDS for SQL Server 2008企业版/2012企业版/2014企业版/2016 标准版/2016 企业版/2019 标准版/2019 企业版/2022 标准版/2022 企业版 自建Kafka 天翼云消息队列Kafka 支持的迁移对象及SQL 迁移对象 当前DTS支持表级（指定的表对象）、库级（整库迁移）迁移。 数据迁移仅针对数据源中的用户数据库，而系统库会被自动过滤。 若源库为空库（该库下未创建任何表），不支持作为待迁移对象。 增量迁移支持的SQL操作 DML INSERT、UPDATE、DELETE。 DDL 常见DDL操作，如ALTER TABLE、TRUNCATE TABLE 和DROP TABLE。 投递到Kafka的数据格式 DTS投递到Kafka的消息支持JSON和Avro两种数据格式。 JSON格式 消息结构 JSON格式的消息结构如下： 参数 数据类型 说明 dbType String 源库类型，如MYSQL、POSTGRESQL、SQLSERVER。 id Long DTS内部定义的事件操作序列号，单调递增。 es Long 源库产生数据的时间戳（毫秒）。全量数据时为0。 ts Long 数据写入目标Kafka的时间戳（毫秒）。 database String 源端数据库名称。 table String 源端表名称。 ddl Boolean 是否为DDL操作。 sql String DDL操作的SQL语句，DML操作时取值为空字符串。 opType String 操作类型。全量数据为INIT，增量DML为INSERT、UPDATE、DELETE，增量DDL为DDL。 data Array 最新的数据，格式为键值对数组，每个元素为{"列名":"值"}。INSERT时为插入的数据；UPDATE时为更新后的数据；DELETE时为空数组。 old Array 旧数据，格式同data。INSERT时为空数组；UPDATE时为更新前的数据；DELETE时为被删除的数据。 pkNames Array 主键列名称列表。 sqlType Array 源端表字段的JDBC类型编号，格式为键值对数组，每个元素为{"列名":类型编号}。 oriType Array 源端表字段的原始类型名称，格式为键值对数组，每个元素为{"列名":"类型名"}。 gtid String 增量日志位点。MySQL对应GTID，PostgreSQL对应LSN，SQL Server对应CDC的LSN。

数据安全中心（DSC）不会保存您的数据和文件，在您授权访问数据源后，DSC会对数据进行识别、脱敏、或添加水印等操作。 数据安全中心（DSC）不会保存您的数据和文件，在您授权访问数据源后，DSC会对数据进行识别、脱敏、或添加水印等操作。 数据识别的结果将展示在DSC的控制台，如何查看敏感数据识别结果，请参见敏感数据识别结果。

本节介绍态势感知（专业版）数据同步、一致性相关问题。 为什么WAF、HSS中的数据和态势感知（专业版）中的数据不一致？ 由于态势感知（专业版）中汇聚了WAF、HSS上报的所有历史告警数据，而WAF和HSS中展示的是实时告警数据，导致存在态势感知（专业版）与WAF、HSS中数据不一致的情况。 因此，建议您前往对应服务（WAF或HSS）进行查看并处理。 为什么总览页面中没有显示资产总数？ 问题现象： 工作空间新增完成后，在工作空间内的“资产管理”页面中同步并已显示资产信息，但是“总览”页面中的资产总数仍然显示为0。 问题原因： 工作空间创建成功，且资产等数据信息接入完成后，态势感知（专业版）将在整点进行数据同步，请耐心等待同步后再进行查看。 解决方法： 请您耐心等待，同步会系统将更新资产等相关数据信息。

本文介绍是否可以将存储桶A的数据迁移到存储桶B。 可以，但针对不同场景，我们建议您使用不同的迁移能力。 场景一： 如果您的桶A和桶B均存储在天翼云媒体存储，您可以通过【存储桶复制】功能进行数据复制，将桶A的数据迁移复制到桶B，具体可参考：存储桶复制。 场景二： 如果您的桶A在第三方云厂商，桶B在天翼云媒体存储，您可通过媒体存储提供的数据迁移能力进行操作，将桶A的数据迁移到桶B，具体可参考：数据迁移。 注意 目前数据迁移服务暂不收取服务费用，但因迁移数据时会产生数据的上传下载以及API请求，所以会产生对应的下行流量费用以及API请求次数费用。 具体可参考： 。

本节主要介绍了GPU加速型实例安装Tesla驱动及CUDA工具包的操作场景。 GPU加速型云主机，需要安装Tesla驱动和CUDA工具包以实现计算加速功能。 使用公共镜像创建的计算加速型（P系列）实例默认已安装特定版本的Tesla驱动。 使用私有镜像创建的GPU加速型云主机，需在创建完成后安装Tesla驱动，否则无法实现计算加速功能。 本节操作介绍GPU云主机安装Tesla驱动及CUDA工具包的操作步骤。

本文介绍如何在科研助手中在在开发机中引用数据集。 操作步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中，选择【开发机】。 3. 在【开发机】页面中，点击左上角【创建开发机】 4. 在【创建开发机】页面，【存储配置】【数据集】中，点击【添加】按钮。 5. 此时在下拉条中，可以选择之前已经创建好的数据集，若还未创建数据集，可单击【创建数据集】按钮。 6. 在选择完挂载数据集之后，用户可自定义填入例如“/tmp”类似的容器挂载路径。 7. 若不需要挂载数据集，也可点击右方删除操作，取消挂载数据集。

本章为您介绍对待注入水印的源数据有什么要求。 由于注入水印的原理是将水印原子信息嵌入到不同特征的数据中去，因此源数据特征越多，越能嵌入完整的水印信息、提高提取成功率，并且即使缺失部分数据也不影响水印提取。所以对需要注入水印的数据有如下要求： 待注入水印的源数据需要大于等于1000行。 小于1000行的源数据有可能因为特征不够导致提取水印失败。 尽量选取数据取值比较多样的列注入水印，如果该列的值是可枚举穷尽的，则有可能因为特征不够导致提取失败。 常见的适合嵌入水印的列如地址、姓名、UUID、金额、总数等。

本章节主要介绍（可选）管理作业的删除作业。 当用户不需要使用某个作业时，可以参考如下操作删除该作业，以减少作业的配额占用。 说明 作业删除后，将无法恢复，请确保删除作业后，不影响业务。 普通删除 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 3. 在作业目录中，右键单击作业名称，选择“删除”。 4. 在弹出的“删除作业”页面，单击“确定”，删除作业。 批量删除 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 3. 在作业目录顶部，单击，选择“显示复选框”，在作业目录前出现复选框。 4. 选择需要删除的作业，再次单击，选择“删除作业”。 5. 在弹出的“删除作业”页面，单击“确定”，批量删除作业。

结构、全量过程中 请勿修改源库和目标库的端口号，请勿修改、删除源库和目标库连接用户的密码、权限，否则可能导致任务失败。 请勿在源库执行任何DDL，否则可能导致数据不一致或任务失败。 请勿在目标库做写入操作，否则可能导致数据不一致。 增量过程中 请勿修改源库和目标库的端口号，请勿修改、删除源库和目标库连接用户的密码、权限，否则可能导致任务失败。 请勿修改源数据库表的主键或者唯一键（主键不存在时），否则可能导致增量数据不一致或任务失败。 请勿修改源数据库中表的replica identity属性，否则可能导致增量数据不一致或任务失败。 请勿在目标库做写入操作，否则可能导致数据不一致。 库级迁移时，源库新增无主键表时，请务必同时将该无主键表的replica identity属性设置为full，然后再写入数据，否则可能导致数据不一致或任务失败。 库级迁移时，源库新增主键表时，如果主键列toast属性为main、external、extended时，请务必同时将该表的replica identity属性设置为full，然后再写入数据，否则可能导致数据不一致或任务失败。 若选择迁移DDL，须注意源库执行DDL时，确保在目标库上是兼容的。 数据稽核 建议在源库的业务低峰期进行数据比对，防止误报不一致数据，以及减少对源库和DTS任务的冲击。 在增量迁移过程中做对比时，源库若存在写入，则对比结果可能不一致。 2、操作步骤

重点数据源（敏感数据） 数据源敏感评分TOP6： 数据源敏感评分TOP6来源于风险检测和分级分类的综合评分排名。鼠标悬停于数据源名称上，显示对应数据源的名称及各级数据占比。单击数据源名称，可以跳转至相应的数据资产目录页面。 数据源敏感字段数TOP5： 数据源敏感字段数TOP5来源于敏感字段数排名。鼠标悬停于数据源名称上，显示对应数据源的名称及敏感字段数。单击数据源名称，可以跳转至相应的数据资产目录页面。 数据分类分级结果概览 数据源统计： 数据源统计内容包括数据源数、表数、字段数、已梳理字段数和字段梳理率。 （1）数据源数即已加入数据源管理的数据源总数； （2）表数即所有数据源中表的总数； （3）字段数即所有数据源中字段的总数； （4）已梳理字段数即字段中是否梳理状态为“是”的字段总数； （5）字段梳理率即已梳理字段数与总字段数的比值。 重点数据源的分类分级及风险评估结果 本模块展示了重点数据源的分类分级及风险评估情况，数据源轮播范围为数据源风险综合评分TOP6。展示信息中，分类分级相关展示字段包括：数据表数量、数据字段数、敏感字段数、字段梳理率、敏感率占比。风险评估相关展示字段包括：配置基线风险数、漏洞风险数、弱口令风险数。 数据分级分布 本模块展示了所有已分类分级字段的分级情况，被定义为敏感数据的数据等级旁附有“敏”字样。模块具体展示信息包括：（字段）数据总量、各级数据总量及相对占比。单击等级，可以跳转至数据资产目录页面。 数据分类分布 本模块来源于当前行业模板下所有已分类分级字段的分类情况，展示了下属字段数最多的TOP7分类。鼠标悬停于分类名称上，显示对应分类的名称及字段数。 单击下拉菜单，可以切换行业模板。

本页介绍如何进行数据同步实例的对象映射配置,以及如何查看已配置的对象映射关系。 对象名映射 数据传输服务DTS在配置同步任务时，支持用户为源库的库名、schema和表名添加映射关系。 例如在目标库存在同名库表的情况下，可将现有源库的库表名进行映射编辑，数据传输服务DTS将同步映射后的名称到目标库。 在【数据同步】实例列表页面，选择待配置的同步实例，点击“实例配置”（或选择已配置的实例，点击“编辑实例”），完成源库及目标库配置后，进入配置同步对象及高级配置步骤，在源库对象窗口中展开待迁移库的对象，进行映射关系的配置。 具体操作与数据迁移实例类似，参考数据迁移的对象名映射。 查看映射关系 数据同步实例进行对象映射配置后，可在【数据同步】实例列表页面选择已配置对象映射关系的数据同步实例，点击“实例ID”进入【实例管理】页面，点击右上角“实例详情”进入【同步信息】页面，再点击【同步信息】页面右上角的“查看迁移对象”按钮，查看同步对象映射关系。 具体操作与数据迁移实例类似，参考数据迁移的查看映射关系。

本章节主要介绍配置HDFS源端参数。 作业中源连接为配置HDFS连接时，即从MRS HDFS、FusionInsight HDFS、Apache HDFS导出数据时，源端作业参数如下表所示。 表 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。 hdfstocdm 基本参数 源目录或文件 “列表文件”选择为“否”时，才有该参数。 待迁移数据的目录或单个文件路径。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据。 /user/cdm/ 基本参数 文件格式 传输数据时所用的文件格式，可选择以下文件格式： CSV格式：以CSV格式解析源文件，用于迁移文件到数据表的场景。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 Parquet格式：以Parquet格式解析源文件，用于HDFS数据导到表的场景。 CSV格式 基本参数 列表文件 当“文件格式”选择为“二进制格式”时，才有该参数。 打开列表文件功能时，支持读取OBS桶中文件（如txt文件）的内容作为待迁移文件的列表。该文件中的内容应为待迁移文件的绝对路径（不支持目录），文件内容示例如下： /mrs/jobproperties/application16348916046210014/job.properties /mrs/jobproperties/application16348916046210029/job.properties 是 基本参数 列表文件源连接 当“列表文件”选择为“是”时，才有该参数。可选择列表文件所在的OBS连接。 OBStestlink 基本参数 列表文件OBS桶 当“列表文件”选择为“是”时，才有该参数。该参数表示列表文件所在的OBS桶名。 01 基本参数 列表文件或目录 当“列表文件”选择为“是”时，才有该参数。该参数表示列表文件所在的OBS桶中的绝对路径或目录。 /0521/Lists.txt 高级属性 换行符 文件中的换行符，默认自动识别“n”、“r”或“rn”。当“文件格式”选择为“CSV格式”时，才有该参数。 n 高级属性 字段分隔符 文件中的字段分隔符，使用Tab键作为分隔符请输入“t”。当“文件格式”选择为“CSV格式”时，才有该参数。 , 高级属性 首行为标题行 “文件格式”选择“CSV格式”时才有该参数。在迁移CSV文件到表时，CDM默认是全部写入，如果该参数选择“是”，CDM会将CSV文件的第一行数据作为标题行，不写入目的端的表。 否 高级属性 源文件处理方式 作业执行成功后对源端文件的处理方式： 不处理。 重命名：作业执行成功后将源文件重命名，添加用户名和时间戳的后缀。 删除：作业执行成功后将源文件删除。 不处理 高级属性 启动作业标识文件 选择是否开启作业标识文件的功能。当源端路径下存在启动作业的标识文件时才启动作业，否则会挂起等待一段时间，等待时长在下方“等待时间”中配置。 ok.txt 高级属性 过滤类型 满足过滤条件的路径或文件会被传输，该参数有“无”、“通配符”和“正则表达式”三种选择。 高级属性 路径过滤器 “过滤类型”选择“通配符”时，用通配符过滤目录，符合过滤器规则的目录，允许进行迁移。支持配置多个路径，中间使用“,”分隔。 input 高级属性 文件过滤器 “过滤类型”选择“通配符”时，用通配符过滤目录下的文件，符合过滤器规则的文件，允许进行迁移。支持配置多个文件，中间使用“,”分隔。 .csv 高级属性 时间过滤 选择“是”时，可以根据文件的修改时间，选择性的传输文件。 是 高级属性 起始时间 “过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间大于该时间才会被传输，输入的时间格式需为“yyyyMMdd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyyMMdd HH:mm:ss,90,DAY))} 表示：只迁移最近90天内的文件。 20190701 00:00:00 高级属性 终止时间 “过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间小于该时间才会被传输，输入的时间格式需为“yyyyMMdd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyyMMdd HH:mm:ss))} 表示：只迁移修改时间为当前时间以前的文件。 20190730 00:00:00 高级属性 创建快照 如果选择“是”，CDM读取HDFS系统上的文件时，会先对待迁移的源目录创建快照（不允许对单个文件创建快照），然后CDM迁移快照中的数据。 需要HDFS系统的管理员权限才可以创建快照，CDM作业完成后，快照会被删除。 否 高级属性 加密方式 “文件格式”选择“二进制格式”时，该参数才显示。 如果源端数据是被加密过的，则CDM支持解密后再导出。这里选择是否对源端数据解密，以及选择解密算法： 无：不解密，直接导出。 AES256GCM：使用长度为256byte的AES对称加密算法，目前加密算法只支持AES256GCM（NoPadding）。该参数在目的端为加密，在源端为解密。 AES256GCM 高级属性 数据加密密钥 “加密方式”选择“AES256GCM”时显示该参数，密钥由长度64的十六进制数组成，且必须与加密时配置的“数据加密密钥”一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B 高级属性 初始化向量 “加密方式”选择“AES256GCM”时显示该参数，初始化向量由长度32的十六进制数组成，且必须与加密时配置的“初始化向量”一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F 高级属性 MD5文件名后缀 “文件格式”选择“二进制格式”时，该参数才显示。 校验CDM抽取的文件，是否与源文件一致。 .md5 说明 HDFS文件编码只能为“UTF8”，故HDFS不支持设置文件编码类型。

场景三：仅更新数据目录中的元数据 用户的数据库中数据表有新增的情况，采集任务仅采集数据目录中已经存在的表。 例如新增table4的情况下： 采集前的数据表元数据：table1，table2，table3 采集后的数据表元数据： table1 ， table2 ，table3 按照如下配置，采集任务仅采集table1，table2和table3。 1.进入DataArts Studio控制台首页的数据目录模块。 2.单击左侧导航的“任务管理”。 3.单击“新建”。 4.配置任务信息，如下图所示。 5.单击“下一步”，配置调度属性如下图所示。 6.单击“提交”，完成采集任务的创建。 7.单击任务管理列表中的“运行”或“启动调度”，跳转到任务监控页面并查看任务状态。 场景四：更新数据目录中的元数据，添加新元数据 ，并从数据目录中删除元数据 用户的数据库中数据表有删除的情况，采集任务能够删除数据目录中对应的数据表。 例如数据库删除table1的情况下： 采集前的数据表元数据：table1，table2，table3 采集后的数据表元数据： table2 ，table3 按照如下配置，采集任务会删除数据目录中的table1。 1.进入DataArts Studio控制台首页的数据目录模块。 2.单击左侧导航的“任务管理”。 3.单击“新建”。 4.配置任务信息，如下图所示。 5.单击“下一步”，配置调度属性如下图所示。 6.单击“提交”，完成采集任务的创建。 7.单击任务管理列表中的“运行”或“启动调度”，跳转到任务监控页面并查看任务状态。

用户主密钥包括“对称密钥”和“非对称密钥”。对称密钥加密是最常用的数据加密保护方式，相比对称密钥加密，非对称密钥通常用于在信任程度不对等的系统之间，实现数字签名验签或者加密传递敏感信息。用户主密钥包括“对称密钥”和“非对称密钥”。 对称密钥加密是最常用的数据加密保护方式，相比对称密钥加密，非对称密钥通常用于在信任程度不对等的系统之间，实现数字签名验签或者加密传递敏感信息。非对称密钥由一对公钥和私钥组成，他们互相关联，其中的公钥可以被分发给任何人，而私钥必须被安全的保护起来，只有受信任者可以使用。 使用非对称密钥生成数字签名以及验证签名：签名者将验签公钥分发给消息接收者，使用签名私钥，对数据产生签名，并将数据以及签名传递给消息接收者。消息接收者获得数据和签名后，使用公钥针对数据验证签名的合法性。 KMS支持的密钥算法类型 钥类型 算法类型 密钥规格 说明 用途 对称密钥 AES AES256 AES对称密钥 小量数据的加解密或用于加解密数据密钥。 对称密钥 SM4 SM4 国密SM4对称密钥 小量数据的加解密或用于加解密数据密钥。 非对称密钥 RSA RSA204 8RSA3072 RSA4096 RSA非对称密钥 小量数据的加解密或数字签名。 非对称密钥 ECC ECP256 ECP384 椭圆曲线密码，使用NIST推荐的椭圆曲线 数字签名。 非对称密钥 SM2 SM2 国密SM2非对称密钥 小量数据的加解密或数字签名。