本章节主要介绍管理中心常见问题。 创建数据连接需要注意哪些事项？ 创建DWS/MRS Hive/RDS/SparkSQL类型的数据连接时，需要绑定由CDM集群提供的代理服务。 目前不支持低于1.8.6版本的CDM集群。 为什么DWS/Hive/HBase数据连接突然无法获取数据库或表的信息？ 可能是由于CDM集群被关闭或者并发冲突导致，您可以通过切换agent代理来临时规避此问题。 建议您通过以下措施解决此问题： 1.检查CDM集群是否被关机。 是，将CDM集群开机后，确认管理中心的数据连接恢复正常。 否，跳转至下一步。 2.检查该CDM集群是否同时被用于数据迁移作业和管理中心连接代理。 是，您可以错开数据迁移作业和管理中心连接代理的使用时间，或再创建CDM集群，与原有CDM集群分开使用。、 否，跳转至下一步。 3.直接重启该CDM集群，释放连接池资源。确认管理中心的数据连接恢复正常。 为什么在创建数据连接的界面上MRS Hive/HBase集群不显示？ 出现该问题的可能原因有： 创建MRS集群时未选择Hive/HBase组件。 创建MRS数据连接时所选择的CDM集群和MRS集群网络不互通。 CDM集群作为网络代理，与MRS集群需网络互通才可以成功创建基于MRS的数据连接。 创建DWS数据连接，开启SSL连接时测试连接失败？ 可能是由于DWS集群的三权分立功能导致的。请在DWS控制台，点击进入对应的DWS集群后，选择“安全设置”，然后关闭三权分立功能。 详见下图：关闭DWS集群三权分立功能

本章节主要介绍数据治理中心的配置Oracle数据库连接功能。 连接Oracle数据库时，详见下表： Oracle数据库连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 oraclelink 数据库服务器 配置为要连接的数据库的IP地址或域名。 192.168.0.1 端口 配置为要连接的数据库的端口。 默认端口：1521 数据库连接类型 选择Oracle数据库连接类型： Service Name：通过SERVICENAME连接Oracle数据库。 SID：通过SID连接Oracle数据库。 SID 实例名称 配置Oracle实例ID，用于实例区分各个数据库。“数据库连接类型”选择“SID”时才有该参数。 dbname 数据库名称 配置为要连接的数据库名称。“数据库连接类型”选择“Service Name”时才有该参数。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 cdm 密码 用户密码。 使用Agent 是否选择通过Agent从源端提取数据。 是 Agent 单击“选择”，选择管理Agent中已创建的Agent。 Oracle版本 创建Oracle连接时才有该参数，根据您Oracle数据库的版本来选择。当出现“java.sql.SQLException: Protocol violation异常”时，可以尝试更换版本号。 高于12.1 一次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 Oracle到DWS迁移时，可能出现目的端写太久导致迁移超时的情况。此时请减少Oracle源端“一次请求行数”参数值的设置。 1000 连接属性 可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 说明 CDM作业默认打开了useCursorFetch开关，即JDBC连接器与关系型数据库的通信使用二进制协议。 开源MySQL数据库支持useCursorFetch参数，无需对此参数进行设置。 阿里云AnalyticDB(ADB)数据库对useCursorFetch参数有兼容问题，在配置与ADB连接时需要关闭useCursorFetch开关，即添加连接属性“useCursorFetch”，对应属性值设置为“false”。如不进行此设置，会出现日期转换出错的情况。 sslmoderequire 引用符号 可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 '

数据定时灾备的功能是什么？ 数据定时灾备提供企业级数据备份与恢复功能，支持常见文件系统、数据库及大数据平台的备份与恢复。具备以下特性： 提供多种备份方式，满足不同备份策略需求； 1. 备端支持重复数据删除与压缩技术，有效节约备份存储空间； 2. 传输压缩可节省带宽资源； 3. 传输加密保障数据在传输过程中的安全性； 4. 支持块存储、对象存储等多种存储介质。 数据定时灾备数据库同步性能？ 在测试环境配置为16 核 CPU、32 GB 内存、100 GB 硬盘 的情况下，数据库同步性能至少可达 3000 条记录/秒。 数据定时灾备怎么估算客户要使用多少TB？ 可采用通用估算公式：开通磁盘总量× 60% × 2.5。其中，60% 为预估的实际使用率，2.5 为备份版本与压缩等开销的放大系数。若客户有自定义的备份规则（如保留周期、备份频率、全量/增量策略），需单独进行估算。 数据定时灾备支持数据库备份吗？ 支持。数据定时灾备（定时备份）支持自建数据库的备份，但不支持云平台内的PaaS类型数据库。对于实时容灾需求，可选用数据库双活产品（支持常见数据库实时同步，且可兼容云内及自建数据库等）。 当前已支持备份的数据库类型包括：达梦（DM）、MySQL、Oracle、DB2、SQL Server、PostgreSQL（PG）、openGauss、OceanBase、KingBase、MongoDB 若用户所需数据库类型未在列表中，可向产品侧提出需求，产品团队将尽快适配并提供服务。

类型 限制项 默认配额 备注 数据查询 最大查询时间范围 11000 暂不支持调整 数据查询 单次接口查询超时时间 30秒 暂不支持调整 数据查询 单次查询最多扫描时间线数量 2万 可提交工单申请扩容，扩容不会对之前上报数据生效。 数据查询 单次查询扫描最大数据量 1000万 暂不支持调整 数据查询 单次查询返回的最大数据量 100万 暂不支持调整 数据查询 最大查询QPS 50QPS 暂不支持调整 数据采集和上报 每个数据点最大支持大小 2kB，超过会解析失败 暂不支持调整 数据采集和上报 每个用户最大时间线数量 实际上系统会在到达限额之前为您自动做相关的扩容，因此您无需关注该限制。 数据采集和上报 每次上报请求总数据量大小 不超过1MB（最多一次上报1024个指标，因此理论上不会超过） 不支持调整，超过1 MB数据会被全部丢弃。 数据采集和上报 单指标Label长度限制 Label Key或者Label Value字符串长度不超过256个字符。 不支持调整，超限会被调换为MAXTAGVALUELIMITED 数据采集和上报 单个指标的标签数限制 64个 超出可能会造成数据丢失 数据采集和上报 默认数据保存时长 Prometheus实例 for 云服务默认保存30天，其他类型实例默认保存15天。 您可在控制台自行调整数据存储时长。 数据采集和上报 Agent单副本默认配置（3核4 G）一次最多能采集的数据点数 350万 建议您扩容副本 数据采集和上报 Agent单副本默认配置（3核4 G）最大采集Target数 1000个 建议您扩容副本 数据采集和上报 1个Target 30秒内可以最大可采集的数据点数 60万 建议您扩容副本 数据采集和上报 Agent HPA最大副本数 20 若超限，您可在控制台手动增加副本数。 数据采集和上报 Agent 支持的ACK集群版本 待测 建议您升级Kubernetes版本 告警 告警规则查询返回结果数 500 其他 单集群Recording Rules数量上限 100 超限不限制使用，但是计算可能会有延迟 其他 共享版Grafana每个租户最多能创建的Folder数量 10

前置网络协议与安全环境限制 协议与认证强制要求 ：不支持 Windows 身份认证方式，仅支持 SQL Server 身份认证。不支持 TLS 1.0 和 TLS 1.1 协议的同步，必须将源库升级到 TLS 1.2 及以上版本。 TDE透明数据加密 ：不支持迁移源数据库中开启了 TDE（透明数据加密）的数据库，若需迁移，必须在配置迁移任务前将其彻底关闭。同时，也不支持列加密。 操作须知 DTS同步过程一般包含四个阶段：预检查阶段、结构同步阶段、全量阶段、增量阶段。为了确保数据同步各个阶段的平顺，在创建同步任务前，请务必阅读以下使用须知。 如同步对象为表级别，则单次同步任务仅支持同步最多3000张表。当超出数量限制，任务会在提交后会请求报错。如果遇到这种情形，建议您拆分待同步的表，分批配置成多个任务，或者配置为整库同步。 目标库关联RDS数据库的字符集必须与源数据库一致。 目标库若已存在行数据，DTS在增量同步过程中源库相同主键的数据将覆盖目标库已存在的数据，因此在同步前需要用户自行判断数据是否需要清除，建议用户在同步前自行清空目标库。 目标实例及关联RDS实例的运行状态必须正常，若关联RDS实例是主备实例，复制状态也必须正常。 目标库关联RDS实例必须有足够的磁盘空间，建议至少为待同步数据量的2.5倍。（全量数据同步会并发执行 INSERT 操作，导致目标数据库的表产生碎片，因此全量同步完成后目标数据库的表存储空间会比源实例的表存储空间大）。 SQL Server的TIMESTAMP类型字段不能显式赋值，只能自动生成，所以目标库库的TIMESTAMP值自动生成，跟源库的字段值存在差异。 增量同步时，CDC机制会在源库的cdc这个schema下产生一些数据库对象，请勿操作，否则影响增量同步。 在任务启动、任务全量同步阶段，不建议对源数据库做删除类型的DDL操作，这样可能会引起任务同步失败。 同步过程中，不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限，或修改源和目标数据库的端口号。 同步过程中，不允许对源库需要同步的表结构进行修改。 选择表级对象同步时，增量同步过程中不建议对表进行重命名操作。 增量同步场景下，不支持源数据库进行恢复操作。 增量同步场景下，不支持无主键表的数据增量同步，因为无主键表的增量同步性能远低于有主键的表，而且不能保证数据的一致性。 如果开启 CDC 的表需要写入的单字段数据长度超过 64KB，由于 CDC 作业默认最大处理长度限制，必须提前在源库执行 exec spconfigure 'max text repl size', 1; 命令进行配置调整，否则会导致同步失败或截断。 CDC 组件默认仅保留 3 天数据，若源库单表日均变更超千万条，建议使用 spcdcchangejob 命令将保留时间调整为 1440 分钟（24小时）或更长。 极端场景下，开启 CDC 的表数量不建议超过 1000 张，否则极易导致任务延迟或运行不稳定。聚集列存储索引表不支持开启 CDC。 待同步的表不仅需要有主键，还需要具备聚集索引且包含主键列；已经开启 CDC 的表不支持进行任何主键相关的变更，增量同步期间不支持重建索引操作，否则会造成数据丢失。 切勿使用 sprename 命令修改对象名称，应直接使用 ALTER 命令，否则会导致任务运行失败。 全量数据同步运行期间，建议将源库的事务处理模式启用 READCOMMITTEDSNAPSHOT（已提交读隔离），防止产生的共享锁影响业务正常写入。 在业务正式切换到目标实例前，务必手动结束该数据同步任务，或者回收 DTS 账号在目标库的写权限。避免任务意外自动恢复后用旧数据覆盖目标端新业务数据。 sys.sysservers视图的srvname字段与SERVERPROPERTY函数返回值保持一致。 若单次同步任务中开启CDC的表数量大于1000，则预检查会失败。 日志备份模式与全量物理备份前提：为保证增量同步正常进行，源库的数据日志必须开启，且备份模式必须设置为 Full。

本章节主要介绍DataArts Studio的开发一个DLI Spark作业流程。 在本章节您可以学习到数据开发模块资源管理、作业编辑等功能。 场景说明 用户在使用DLI服务时，大部分时间会使用SQL对数据进行分析处理，有时候处理的逻辑特别复杂，无法通过SQL处理，那么可以通过Spark作业进行分析处理。本章节通过一个例子演示如何在数据开发模块中提交一个Spark作业。 操作流程如下： 1. 创建DLI集群，通过DLI集群的物理资源来运行Spark作业。 2. 获取Spark作业的演示JAR包，并在数据开发模块中关联到此JAR包。 3. 创建数据开发模块作业，通过DLI Spark节点提交Spark作业。 环境准备 已开通对象存储服务OBS，并创建桶，例如“obs://dlfexample”，用于存放Spark作业的JAR包。 已开通数据湖探索服务DLI，并创建Spark集群“sparkcluster”，为Spark作业提供运行所需的物理资源。 获取Spark作业代码 本示例使用的Spark作业代码来自maven库，此Spark作业是计算π的近似值。 1. 获取Spark作业代码JAR包后，将JAR包上传到OBS桶中，存储路径为“obs://dlfexample/sparkexamples2.101.1.1.jar”。 2. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 选择数据开发 3. 在数据开发主界面的左侧导航栏，选择“配置管理 > 资源管理”。单击“新建资源”，在数据开发模块中创建一个资源关联到步骤1的JAR包，资源名称为“sparkexample”。 创建资源

本章节主要介绍翼MapReduce如何上传示例数据和程序。 用户通过“文件管理”页面可以在分析集群进行文件夹创建、删除，文件导入、导出、删除操作。 背景信息 翼MR集群处理的数据源来源于OBS或HDFS，OBS为客户提供海量、安全、高可靠、低成本的数据存储能力。翼MR可以直接处理OBS中的数据，客户可以基于管理控制台Web界面和OBS客户端对数据进行浏览、管理和使用。 导入数据 翼MR目前只支持将OBS上的数据导入至HDFS中。上传文件速率会随着文件大小的增大而变慢，适合数据量小的场景下使用。 支持导入文件和目录，操作方法如下： 1. 登录翼MR管理控制台。 2. 选择“集群列表 > 现有集群”，选中一集群并单击集群名进入集群信息页面。 3. 单击“文件管理”，进入“文件管理”页面。 4. 选择“HDFS文件列表”。 5. 进入数据存储目录，如“bdapp1”。 “bdapp1”目录仅为示例，可以是界面上的任何目录，也可以通过“新建”创建新的文件夹。 新建文件夹时需要满足以下要求： 文件夹名称小于等于255字符。 不允许为空。 不能包含 : /:?"<>;&,'!{}[]$%+特殊字符。 不能以“.”开头或结尾。 开头和末尾的空格会被忽略。 6. 单击“导入数据”，正确配置HDFS和OBS路径。配置OBS或者HDFS路径时，单击“浏览”并选择文件目录，然后单击“是”。

数据脱敏是否支持原地脱敏？ 数据脱敏支持原地脱敏功能，请您先打开“系统配置管理>全局配置”的“数据流向”开关。然后在'脱敏/水印任务→结构化任务'下新增任务中的“数据流向”配置项下，就会出现相关选项。 数据脱敏是否支持非结构化脱敏？ 数据脱敏支持非结构化脱敏（包括XML、JSON、TXT、WORD、DICOM等），具体请先登录SysAdmin用户，查看'脱敏/水印任务→非结构化任务'。 数据脱敏数据是否会落地？ 数据脱敏系统保证敏感数据全程不落地，所有敏感数据全部在内存中处理，避免产品本身成为数据泄漏的一个风险点。 实现原理：代码用Java语言实现，脱敏步骤在JVM内存中进行，脱敏结束后，方法自动出栈，堆内存中的数据对象会被自动清理，不会落地到磁盘。 数据脱敏支持哪些脱敏算法？ 支持24大类200多种系统内置脱敏算法，适用各种业务场景主要算法支持情况如下： 置空：直接将待脱敏的信息以填充空字符或者删除的形式抹除。 乱序：在结构化数据（例如数据库）中颇为常用，对于待脱敏的列，不对列的内容进行修改，仅对数据的顺序进行随机打乱。 遮蔽：保留数据一些位置上的信息，对于敏感位置的信息使用指定的字符进行替换。 分割：保留数据一些位置上的信息，对于敏感位置的信息进行删除。 替换：使用固定值或字典映射表对敏感数据进行替换。 取整：对数值类型和日期时间类型的数据进行取整操作。 哈希：将哈希（或哈希加盐）编码后的数据作为脱敏结果输出。 仿真（保留业务含义）：考虑到业务含义，则生成的数据需符合核验规则，主要包括长度、取值范围以及校验规则和校验位的计算等。 密码学：根据所选参数指定的密码学加密算法对数据进行加密。支持的加密算法有：RSA/AES/SM2/SM4。 编码：根据所选参数指定的编码方式对数据进行编码。 保留类别频次特征：主要指的是反映事物类别的数据类型，具有有限个无序的值，或枚举类型，脱敏后各个类型出现的频次可保持不变。 保留数值统计特征：支持分布重建、平均、区间、标准化、归一化、添加噪声、一致性等算法：对数值型数据在脱敏后可保留数据中的高阶统计特征及数据分布特征，仍满足趋势分析要求。 关联关系保留：支持计算关系保留、乱序关联保留、身份信息关联保留等算法：对数据在脱敏后可保留其原始的字段间关联关系。 保留原数据：对指定的列的数据不做脱敏处理。 溯源算法:对数据本身添加仿真水印，做到精准溯源。

本页介绍天翼云TeleDB数据库空间管理相关操作。 操作场景 您可按照百分比或分片形式对数据节点上的数据进行迁移。数据迁移需要实例集群内部至少有两个数据节点组。 操作步骤 1. 以用户名和密码登录分布式数据库TeleDB控制台，在左侧导航树上，单击数据空间管理 ，进入数据空间管理页面。 2. 数据迁移 1. 选择数据迁移 页签，单击创建任务 ，出现创建迁移任务对话框。 2. 在创建迁移任务对话框，输入任务名称 、源节点 、目标节点 和迁移类型。 任务名称：根据自己的需求填写，可自定义。 源节点：根据实际情况选择。 目标节点：根据自己的实际情况选择。 迁移类型：分为shard迁移 和百分比迁移 。 Shard迁移：按照分片迁移，需要选择分片，单次可迁移的分片最大为1000。选择分片迁移需移动分片至已选shard。 百分比迁移：按照源节点上的数据百分比进行迁移，需要输入1100的整数。 3. 单击确定完成任务迁移。 3. 空间清理 说明 当数据被删除或更新时，TeleDB将其标记为无效，但并不立即回收相关的存储空间。需要定期执行空间清理操作，以检查并释放被标记为无效的数据所占用的空间。这样可以确保数据库在长时间运行后不会因为无效数据的积累而占用过多的磁盘空间。 1. 选择空间清理 页签，单击创建任务，出现创建清理任务 对话框。 2. 选择源节点 、清理开始时间 和清理结束时间 ，单击确定。 4. 空间回收 说明 经过空间清理任务后的实例并没有立即释放空间，用户可以通过空间回收任务对实例进行重建表和索引，自动释放被空间清理回收的空间。 1. 选择空间回收 页签，单击创建任务 ，出现创建回收任务 对话框。 2. 选择回收节点、设置回收开始时间和回收结束时间，单击确定完成空间回收。 5. 数据重平衡 说明 用户可以通过数据重平衡，依据磁盘使用率，把节点组原有的数据平均分布到节点组内各个节点上。该功能会自动生成迁移任务以及空间清理任务，用户可以在任务详情或者在对应功能页面查看任务具体执行情况。 1. 选择重平衡任务页签，单击创建任务，出现创建数据重平衡任务对话框。 2. 输入任务名称，选择节点组，单击确定，完成数据重平衡。 6. 表空间管理 说明 用户通过对表空间进行管理，以组织数据存储，在物理设备上合理分配数据。 1. 创建表空间 1. 选择表空间管理 页签，单击创建表空间，出现创建表空间对话框。 2. 在创建空间表对话框，填写表空间名称 ，选择归属账号 ，填写挂载目录 ，并检测目录有效性 ，单击确定完成表空间的创建。 说明 表空间名字请参照以下格式： 1.不能以pg开头。 2.只支持大小写字母、数字和下划线。 3.只能以字母开头。 2. 修改表空间 单击编辑按钮，在弹出的编辑表空间可修改表空间或查看表空间。 3. 删除表空间 单击删除 按钮，在出现的警告提示框，单击确定即可删除表空间。

本章节主要介绍数据地图功能。 经过元数据采集后的数据即可接入数据地图，可以在数据地图进行检索和详请查看，当前系统支持接入以下类型的数据资源： 数据库表 模型（发布状态） API（发布状态） 数据地图提供统一的检索功能，页面上侧为统一检索入口，输入资产名称等关键字，点击搜索按钮可以进行检索。 点击列表区域的展开按钮，可以触发高级检索，支持使用环境、团队、负责人、资产标签等字段对资源进行高级搜索。 数据地图支持在目录树中选择任意数据节点，或切换不同的数据类型，可以查看数据资源实体情况。 在查找到的资产列表中，单击目标对象名称，即可进入详情页面查看资产元数据信息。 资源操作 点击目标资源的【更多操作】按钮，可以进行资源详情查看、权限申请、创建API等操作。 查看详情 点击【更多操作】>【查看详情】，查看资源详情信息，包括资源基本信息（所属目录、描述）、资产属性（基本信息、基本属性）等 权限申请（仅限数据库表） 点击【更多操作】>【权限申请】，在右侧弹窗中为团队或个人申请数据库表的权限，选择具体的数据库表、权限类型以及申请时常，填写申请理由，即可进行权限申请。 查看血缘（仅限数据库表） 点击【更多操作】>【查看血缘】，可以快递定位至数据库表的血缘分析tab页 收藏 点击目标资源右侧的星星，收藏目标资源

项目 描述 Storage Pool Name 存储池名称。 Pool Status 存储池状态： Normal：正常。 Deleting：删除中。 Fault Domain 存储池故障域级别： path：数据目录级别。 server：服务器级别。 rack：机架级别。 room：机房级别。 Base Pool 是否是基础存储池： true：是基础存储池。 false：不是基础存储池。 Total Capacity 存储池总容量。 Used Capacity 存储池已用容量。 Created Time 存储池创建时间。 Description 存储池描述信息。 LUN 卷相关信息，包含LUN for CachePool、LUN for Pool、status。 LUN LUN for CachePool 缓存存储池卷列表。 LUN LUN for Pool 存储池卷列表。 LUN status 卷的状态信息，包括卷的总数、总容量，以及各类型卷的个数及容量。 Data Health 存储池的数据健康度，包括：正常数据的比例（normal）、降级数据的比例（low redundancy）、错误数据的比例（error）。如果存在降级状态的数据，会给出数据重建进度（low redundancy reconstruction progress）。 Topology 存储池拓扑图，包括：Node Name、Node Type、Status、Disk Path(s)、Removing Details。 Topology Node Name 节点名称。 Topology Node Type 节点类型： path：数据目录。 server：服务器。 rack：机架。 room：机房。 Topology Status 节点健康状态： Healthy：节点处于健康状态，可正常读写。 Warning：节点处于警告状态，可读。 Error：节点处于错误状态，无法访问。 Topology Disk Path(s) 数据目录信息： No.：编号。 Path：数据目录。 Used Capacity：HBlock数据目录对应分区的已用容量。 Total Capacity：HBlock数据目录对应分区的总容量。 Used Capacity Quota：已用数据目录容量配额。 Capacity Quota：数据目录容量配额，当HBlock的使用空间一旦达到配额，就立刻阻止数据写入，不允许再使用超出配额的空间。 Health Status：数据目录的健康状态： Healthy：数据目录处于健康状态，可正常读写，且数据目录所在磁盘使用率未超过阈值（系统默认值为95%）。 Warning：数据目录处于警告状态，可读，但存在以下情况的任意一种：慢盘；数据目录所在磁盘使用率超过阈值（系统默认值为95%）；磁盘剩余空间不足1GiB；HBlock对这个目录停写；数据目录配额使用率超过阈值（系统默认值为95%）；数据目录配额为0。 Error：数据目录错误状态，无法访问，原因可能是：所在磁盘出现I/O错误导致无法读写，数据目录未正确挂载等。 Health Detail：数据目录健康状态详情。 如果健康状态为Healthy，此列为空。 如果健康状态为Warning或Error，显示警告或错误的详细信息。 Topology Removing Details 被移除节点的详细信息： No.：编号。 Path：节点的具体数据目录。 Stage：移除节点所处的阶段： Reconfiguration：重置中。 CheckingData：检查数据。 Executing：执行移除节点。 Details：详细数据： FaultDomains：故障域详情，包括：healthy（健康个数），warning（告警个数），error（错误个数）。 Data：safe（安全数据百分比），await reconstruction（需要重建的数据百分比），await more faultdomains（需要额外故障域才能够重建的数据百分比），singlecopy（单副本数据百分比），corrupted（已经损坏的数据百分比）。

本章节介绍Zookeeper持久化数据迁移方案 数据迁移功能是利用ZooKeeper的快照（Snapshot）进行持久化数据的迁移。 前提条件 已创建MSE ZooKeeper集群。具体操作，请参考创建ZooKeeper引擎。 使用限制 1. 迁移前确保源ZooKeeper停止同步服务，并且有生成最新的快照文件。 2. 该方式不支持同步分布式锁、临时节点数据。 迁移步骤 步骤一：导出源ZooKeeper快照 1. 在源ZooKeeper部署机器上，查看zoo.cfg配置文件，获取dataDir配置目录。 2. 进入dataDir目录后，进入version2/目录找到最新的快照文件进行下载保存。 3. 在MSE ZooKeeper实例详情页面中，进入数据管理>Znode管理>点击数据导入。 4. 点击上传文件，选中刚刚下载保存的快照文件，点击确定，等待集群重启完毕即可，预计需要等待25分钟。 5. 验证数据迁移结果，可以在Znode管理中查看相应的节点数据验证。

本章节主要介绍翼MapReduce的恢复租户数据操作。 操作场景 租户默认在Manager和集群组件中保存相关数据，在组件故障恢复或者卸载重新安装的场景下，所有租户的部分配置数据可能状态不正常，管理员需要通过FusionInsight Manager手动恢复配置数据。 操作步骤 1. 登录FusionInsight Manager，单击“租户资源”。 2. 在左侧租户列表，单击某个租户节点。 3. 检查租户数据状态。 在“概述”，查看“租户资源状态”，绿色表示租户可用，灰色表示租户不可用。 单击“资源”，查看“Yarn”或者“HDFS存储”左侧的圆圈，绿色表示资源可用，灰色表示资源不可用。 单击“服务关联”，查看关联的服务表格的“状态”列，“良好”表示组件可正常为关联的租户提供服务，“故障”表示组件无法为租户提供服务。 任意一个检查结果不正常，需要恢复租户数据，请执行步骤4。 4. 单击，在弹出的确认窗中输入当前登录的用户密码确认身份，单击“确定”。 5. 在“恢复租户资源数据”窗口，选择一个或多个需要恢复数据的组件，单击“确定”，等待系统自动恢复租户数据。

本章节主要介绍翼MapReduce的恢复租户数据操作。 操作场景 租户默认在Manager和集群组件中保存相关数据，在组件故障恢复或者卸载重新安装的场景下，所有租户的部分配置数据可能状态不正常，管理员需要通过FusionInsight Manager手动恢复配置数据。 操作步骤 1. 登录FusionInsight Manager，单击“租户资源”。 2. 在左侧租户列表，单击某个租户节点。 3. 检查租户数据状态。 在“概述”，查看“租户资源状态”，绿色表示租户可用，灰色表示租户不可用。 单击“资源”，查看“Yarn”和“HDFS存储”左侧的圆圈，绿色表示资源可用，灰色表示资源不可用。 单击“服务关联”，查看关联的服务表格的“状态”列，“良好”表示组件可正常为关联的租户提供服务，“故障”表示组件无法为租户提供服务。 任意一个检查结果不正常，需要恢复租户数据，请执行步骤4。 4. 单击，在弹出的确认窗中输入当前登录的用户密码确认身份，单击“确定”。 5. 在“恢复租户资源数据”窗口，选择一个或多个需要恢复数据的组件，单击“确定”，等待系统自动恢复租户数据。

本文为您介绍信封加密场景中，如何通过用户主密钥、数据密钥实现数据离线加密。 信封加密（Envelope Encryption）是一种应对海量数据的高性能加解密方案。这种技术不再使用用户主密钥（CMK）直接加密和解密数据，而是通过生成加密数据的数据密钥（DEK），将其封入信封中（即通过CMK加密）存储、传递和使用，由KMS确保数据密钥的随机性和安全性。 实际使用时，用户无需将大量业务数据上传至KMS服务端，直接通过离线的数据密钥在本地实现加解密，有效避免安全隐患，保证了业务加密性能的要求。 场景示意图 操作流程 信封加密 1. 通过KMS控制台或者调用CreateKey接口，创建一个用户主密钥（CMK）。 2. 调用GenerateDataKey接口创建一个数据密钥。KMS会返回一个明文的数据密钥和一个经用户主密钥（CMK）加密的密文数据密钥。 3. 使用明文的数据密钥加密本地文件，产生密文文件，然后销毁内存中的明文数据密钥。 4. 用户将密文数据密钥和密文文件一同存储到持久化存储设备或服务中。 信封解密 1. 从本地文件中读取密文数据密钥。 2. 调用KMS服务的Decrypt接口，将密文数据解密为明文数据密钥。 3. 用明文数据密钥为本地密文文件解密，再销毁内存中的明文密钥。 相关API 您可以调用以下KMS API，实现对本地数据的加密或解密操作。 API名称 说明 createKey 创建用户主密钥（CMK） generateDataKey 生成信封加密的数据密钥，返回数据密钥的明文和经过指定用户主密钥加密的密文 decrypt 解密由generateDataKey接口生成的数据密钥密文，不需要指定CMK

本章节介绍当Windows操作系统的服务器在恢复完成后未显示数据盘，可能造成的原因和解决方案。 现象描述 使用备份恢复云主机成功后，Windows操作系统的云主机上没有显示恢复后的数据盘。 可能原因 Windows操作系统自身限制，导致数据盘处于脱机状态。 解决方法 步骤 1 在Windows操作系统的服务器桌面，右键单击“计算机”图标。 步骤 2 选择“管理”，弹出“计算机管理”页面。 步骤 3 在左侧导航树中，选择“存储 > 磁盘管理”。 此时，可以在页面下方看到有数据盘处于脱机状态，如下图所示。 步骤 4 右键单击处于脱机状态的数据盘，选择“联机”，如下图所示。 数据盘置为联机状态后，会在上方的磁盘列表中显示，如下图所示。 联机完成后，数据盘将在服务器中正常显示。

科研文件规格 可用区 适用 指标 性能 科研文件基础通用版 华北2 冷数据、应用和环境、模型文件等 IOPS 无最低性能保证 科研文件基础通用版 华北2 冷数据、应用和环境、模型文件等 吞吐量 无最低性能保证 科研文件基础性能版 重庆两江1 冷数据、应用和环境、模型文件等 IOPS 无最低性能保证 科研文件基础性能版 重庆两江1 冷数据、应用和环境、模型文件等 吞吐量 每100GB 25MB/s 科研文件专业入门版 哈密2、厦门4 冷数据、应用和环境、模型文件等 IOPS 无最低性能保证 科研文件专业入门版 哈密2、厦门4 冷数据、应用和环境、模型文件等 吞吐量 无最低性能保证 科研文件专业性能版 上海15、杭州7、南京1、北京11 模型训练数据集 IOPS 每GB 2.6 IOPS，1300 IOPS 起 科研文件专业性能版 上海15、杭州7、南京1、北京11 模型训练数据集 吞吐量 每GB 0.2 MB/s， 100 MB/s 起 科研文件企业版 中卫4、福州6、扬州7 模型训练数据集 IOPS 每GB 50 IOPS + 1800 IOPS 基准，最大35000 IOPS 科研文件企业版 中卫4、福州6、扬州7 模型训练数据集 吞吐量 每GB 0.5 MB/s + 120 MB/s 基准，最大350 MB/s

分类分级报告 分类分级报告页面左侧为数据源列表，展示的最细颗粒度可达数据库级；未同步的数据源置灰，无法勾选。 每日零时系统自动刷新统计数值，您也可以点击报告顶部的“手动刷新”按钮，获取实时最新数据。 数字资产概况 数据源数、数据库数、Schema数、数据表数、字段数、未梳理字段数、梳理率、数据量（万行，数据源下能统计到的所有表的行数和）、近6个月资产/梳理新增趋势与分类分级梳理统计： 数据资产统计 按Schema进行统计，展示梳理率正排TOP10、梳理率倒排TOP10、数据表数量正排TOP10、字段数正排TOP10、数据量正排TOP10； 单击“更多”，跳转分类分级报表页的数据资产视角查看Schema详情； 分类分级统计 分类分级模板：包含数据分类概述和分类详情统计 数据分类概述：以树状图形式展示模板完整框架。点击蓝色节点可展开或折叠下级分类，节点显示白色时表示该分类无下级子类，可通过鼠标滚轮、双指缩放（触控板）、单击拖动画布调整显示范围； 分类详情统计：用户在数据分类概述中单击选中特定分类后，本区域联动显示属于当前分类的数据表数、字段数、数据量、敏感字段数； 单击“更多”，跳转分类分级报表页的分类分级视角查看分类详情。 数据分类分布： 按字段数排序可视化展示数据分类分布。只统计到模板下的二级分类（如客户个人），每个层级显示的分类不超过6个，若超过6个则显示字段数最多的5个分类，同层级内的其他分类合并统计为“其他”。不同的一级分类以不同色相区分；一级分类内部，不同的二级分类以色彩深浅区分； 按Schema进行统计，展示敏感字段数正排TOP10、敏感数据数据量正排TOP10、不同分级字段数正排TOP10（支持多选不同分级）。

本章节主要介绍（可选）管理脚本的删除脚本。 当用户不需要使用某个脚本时，可以参考如下操作删除该脚本。 删除脚本时会检查脚本被哪个作业引用，引用列表中显示“版本”，表示此脚本被哪些作业版本引用。点击删除时，会删除对应的作业和这个作业的所有版本信息。 说明 如果某一个待删除的脚本正在被作业关联，请确保强制删除脚本后，不影响业务使用。如果希望作业能继续正常使用，请前往作业开发页面，重新关联可用的脚本。 前提条件 删除脚本前，请确保该脚本未被作业使用。 普通删除 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 3. 在脚本目录中，右键单击脚本名称，选择“删除”。 4. 在弹出的“删除脚本”页面，单击“确认”，删除脚本。 批量删除 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 3. 在脚本目录顶部，单击，选择“显示复选框”，在脚本目录前出现复选框。 4. 选择需要删除的脚本，再次单击，选择“删除脚本”。 5. 在弹出的“删除脚本”页面，单击“确认”，批量删除脚本。

本页为使用数据传输服务DTS将DDS/MongoDB副本集架构数据迁移到DDS/MongoDB副本集架构的详细介绍,包括数据迁移支持的源库、目标库,支持的迁移对象及SQL,数据库账号权限说明,操作须知,操作步骤等。 支持的源和目标数据库 支持的源和目标数据库，如下表： 源数据库 目标数据库 DDS 3.4/4.0（副本集） 自建MongoDB 3.4/4.0/4.2/4.4/5.0/6.0（副本集） DDS 3.4/4.0（副本集） 自建MongoDB 3.4/4.0/4.2/4.4/5.0/6.0（副本集） 说明 源库为自建MongoDB数据库时，支持的版本为3.4/4.0/4.2/4.4/5.0/6.0。 目标库大版本号建议不低于源库。 支持MongoDB/DDS单机版的全量数据迁移。 支持的迁移对象及SQL 迁移对象 当前DTS支持集合级（指定集合对象）、库级（整库迁移）迁移。 支持索引的结构迁移。 库、集合支持做名称映射。 不支持迁移admin和local库中的数据。 数据迁移仅针对数据源中的用户数据库，而系统库confilg、local、admin会被自动过滤。 增量迁移支持的SQL操作 DML INSERT、UPDATE、REPLACE、DELETE。 DDL 结构迁移仅支持INDEX迁移，如果是整库迁移，支持其下新增表的迁移；不支持增量迁移过程中的DDL操作。

参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 图名称 是 可以直接选择需要导入的图，也支持手动输入图名称。如需新建GES图，请前往GES管理控制台进行新建。 元数据 是 可以直接选择对应的元数据，也支持手动输入元数据的OBS路径。 边数据集 是 可以直接选择对应的边数据集，也支持手动输入边数据集的OBS路径。 点数据集 否 可以直接选择对应的点数据集，也支持手动输入点数据集的OBS路径。若不选择，则以边数据集中的点作为点数据集来源。 边处理 是 边处理支持如下几种方式： 允许重复边 不允许重复，忽略之后的重复边 不允许重复，覆盖之前的重复边 离线导入 否 是否离线导入，取值为是或者f否，默认取否。 是：表示离线导入，导入速度较快，但导入过程中图处于锁定状态，不可读不可写。 否：表示在线导入，相对离线导入，在线导入速度略慢，但导入过程中图并未锁定，可读不可写。 重复边忽略Label 否 重复边的定义，是否忽略Label。取值为是或者否，默认取是。 是：表示重复边定义不包含Label，即用<源点，终点>标记一条边，不包含Label。 否：表示重复边定义包含Label，即用<源点，终点，Label>标记一条边。 日志存储路径 否 用于存储导入图过程中不符合元数据定义的点、边数据集和详细日志。

维度表关联质量规则 1. 在数据架构控制台，选择“模型设计 > 维度建模”，进入维度建模页面。 2. 单击“维度表”页签，进入维度表页面。 3. 在维度表列表中，勾选需要关联质量规则的维度表。单击“关联质量规则”。 4. 在弹出的页面中配置关联质量规则参数。配置完成单击确定。 − 更新已有规则 ：若勾选此项，新添加的规则会覆盖旧规则。 − 匹配字段 ：此参数默认应用于所有字段，依据用户输入的正则表达式对字段进行过滤。 − Where条件 ：可依据用户输入的where条件对字段进行过滤。 − 生成异常数据 ：开启此项，表示异常数据讲按照配置的参数存储到规定的库中。 − 数据库或Schema ：开启“生成异常数据”时显示此项，表示存储异常数据的数据库或Schema − 表前缀 ：开启“生成异常数据”时显示此项，表示存储异常数据的表的前缀。 − 表后缀 ：开启“生成异常数据”时显示此项，表示存储异常数据的表的后缀。 − 添加规则 ：单击“添加规则”进行设置。例如，添加名称为“字段唯一值”规则，选中该规则后单击“确定”，在“告警条件”中输入告警条件表达式，然后按照此方法添加其他规则后，单击“确定”。 − 告警条件表达式，由告警参数和逻辑运算符组成。在质量作业运行时，系统将计算出告警条件表达式的结果，并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警，结果为假则不触发质量告警。在此处的“关联质量规则”对话框中，每个质量规则的“告警参数”以按钮形式列出。

本页说明数据传输服务DTS的计费优惠政策。 数据传输服务DTS转商后执行价格优惠政策，相关优惠政策如下： 【数据迁移】商用链路在结构迁移和全量迁移阶段免费，进入增量迁移阶段后按需计费 ，降低数据上云门槛。非商用链路仍将继续免费提供，后续开始计费前提前至少30天通知。 【数据同步】商用链路针对目标端选择云上数据库实例的任务，按需计费时实行 7天免费 ，7天后收取配置费用；包年/包月实行长期优惠策略，降低围绕云的数据传输门槛。 详细信息，您可以点击查看DTS计费说明/计费项，根据您的需要选择对应的配置规格。

添加方式 配置 说明 基本信息 子作业名称 在作业的执行结果中，每条规则对应一个子作业。为便于结果查看和日志定位，建议您补充子作业信息。 基本信息 描述 为更好的识别子作业，此处加以描述信息。 来源对象 规则类型 包括库级规则、表级规则、字段级规则、跨字段级规则和自定义规则，自定义规则可针对表中的具体字段配置监控规则。 来源对象 数据连接 来源对象/目的对象支持的数据源类型：DWS，MRS Hive，DLI，ORACLE、RDS（MySQL、PostgreSQL）。 从下拉列表中选择已创建的数据连接。 说明 规则都是基于数据连接的，所以在建立数据质量规则之前需要先到管理中心模块中建立数据连接。 针对通过代理连接的MRS HIVE，需要选择MRS API方式或者代理方式提交： MRS API方式：通过MRS API的方式提交。历史作业默认是MRS API提交，编辑作业时建议不修改。 代理方式：通过用户名、密码访问的方式提交。新建作业建议选择代理提交，可以避免权限问题导致的作业提交失败。 来源对象 数据库 选择配置的数据质量规则所应用到的数据库。 说明 数据库基于已建立的数据连接。 当“规则类型”选择“库级规则”，数据对象选择对应的数据库即可。 来源对象来源对象 数据表 选择配置的数据质量规则所应用到的表。 说明 数据表与数据库强相关，基于已选择的数据库。 当“规则类型”选择“表级规则”，数据对象选择对应的数据表。 来源对象 SQL 当“规则类型”选择“自定义规则”时，需要配置该参数。此处需输入完整的SQL语句，定义如何对数据对象进行数据质量监控。 来源对象 失败策略 选择是否勾选“忽略规则错误”。 来源对象 选择字段 当“规则类型”选择“字段级规则”，需要配置该参数。此处选择对应数据表中的字段。 说明 数据质量字段级别校验不支持对字段名为单个字母（例如：a,b,c,d...等）的字段进行校验。 来源对象 参考数据对象 当“规则类型”选择“跨字段级规则”，需要配置该参数。此处选择参考的数据字段。 来源对象 维度 当“规则类型”选择“自定义规则”时，需要配置该参数。将该自定义规则与质量六性（完整性、有效性、及时性、一致性、准确性、唯一性）进行关联。 计算引擎 集群名称 选择运行质量作业的引擎。仅数据连接为DLI类型时，此参数有效。 规则模板 模板名称 选择系统内置的或者用户自定义的规则模板。 说明 模板类型与规则类型强相关，详情请参见 规则模板 版本 仅“模板名称”选择为自定义的规则模板时，需要配置该参数。自定义的规则模板发布后，会产生对应的版本号，此处选择所需的版本。 规则模板 权重 设置规则的权重，支持按照字段级别设置权重。权重范围：【19】，整数。默认值为5。 计算范围 选择扫描区域 支持选择“全表扫描”或“条件扫描”，默认为全表扫描。 当仅需计算一部分数据，或需周期性按时间戳运行质量作业时，建议通过设置where条件进行条件扫描。 计算范围 where条件 输入where子句，系统会选择符合条件的数据进行扫描。 例如需要筛选数据表中“age”字段在(18, 60]区间范围内的数据时，where条件可设置为如下内容： age > 18 and age < 60 where条件还支持输入为SQL动态表达式，例如当需要根据“time”字段筛选数据表中24小时前的数据时，where条件可设置为如下内容： time > (datetrunc('hour', now()) interval '24 h') and time < (datetrunc('hour', now())) 告警条件 告警表达式 此参数可选，如果您需要针对当前规则设定告警条件，则可以在此配置告警条件的表达式。如果您需要通过多条规则的逻辑运算统一设置告警条件的表达式，此处无需设置，可在下一步的告警配置中统一设置。 配置规则的告警条件后，系统通过“告警参数”的值，结合告警条件进行真假判断，如果结果为真则进行告警。另外，除了单一告警表达式的结果，您还可以通过逻辑运算符组成组成更复杂的告警条件进行告警。当前表达式中支持如下逻辑运算符，且可以通过“(”和“)”进行包围： +：相加 ：相减 ：相乘 /：相除 ：等于 !：不等于 >：大于 <：小于 >：大于等于 <：小于等于 !：非 ll：或 &&：与 例如，“规则模板”为“字段空值”时，您可以参考如下样例进行配置： 需要配置字段空值大于10时告警，则此处可设置为“ {1}>10”，其中“ {1}”为通过告警参数配置的“空值行数”。 需要配置有字段空值率大于80%时告警，则此处可设置为“ {3}>0.8”，其中“ {3}”为通过告警参数配置的“空值率”。 需要配置字段空值大于10或字段空值率大于80%时告警，则此处可设置为“( {1}>10)ll ( {3}>0.8)”，其中“ {1}”和“ {3}”分别为通过告警参数配置的“空值行数”和“空值率”，“ll”表示满足两个条件之一即会告警。 告警条件 告警参数 此参数来源于规则模板的输出结果。您可以单击界面显示的参数从而输入告警表达式中的告警参数，单击后系统会在“告警表达式”输入框给出参数的表达式。 例如“规则模板”为“字段空值”时，点击告警参数“空值行数”，在“告警表达式”输入框会显示为“${1}”。 告警条件 逻辑运算符 可选，本参数支持将单一告警表达式的结果进行逻辑运算，组成更复杂的告警条件。 您可以将鼠标光标放在“告警表达式”输入框处需要进行逻辑运算的两个告警表达式之间，然后单击输入如下之一运算符。另外，您也可以手动输入，当前表达式中支持如下逻辑运算符，且可以通过“(”和“)”进行包围： +：相加 ：相减 ：相乘 /：相除 ：等于 !：不等于 >：大于 <：小于 >：大于等于 <：小于等于 !：非 ll：或 &&：与 例如，“规则模板”为“字段空值”，需要配置字段空值大于10或字段空值率大于80%时告警，则“告警表达式”可设置为“( {1}>10)ll ( {3}>0.8)”，其中“ {1}”和“ {3}”分别为通过告警参数配置的“空值行数”和“空值率”，“ll”表示满足两个条件之一即会告警。 告警条件 质量评分 当“规则类型”选择“自定义规则”时，需要配置该参数。 告警条件 生成异常数据 开启“生成异常数据”开关，单击“选择库表”可将质量作业中不符合设定规则的异常数据存储在异常表中。 说明 自定义模板不支持生成异常数据，自定义规则可通过自定义异常表SQL生成异常数据。 系统内置模板，“表级规则”中的“表行数”模板。“字段级规则”中的“字段平均值”、“字段汇总值”、“字段最大值”、“字段最小值”模板不支持生成异常数据。 当质量作业设置周期调度或重跑时，每次实例运行的扫描的异常数据会持续插入该异常表。建议您定期到该数据湖中清理异常表数据，避免异常数据表超大带来的成本与性能问题。 告警条件 异常表 单击选择库表，可以配置输出表名的前后缀。 告警条件 输出配置 输出规则配置：勾选，则可在异常表中显示质量作业的配置信息，方便查看异常数据产生的源头。 输出空值：勾选，则当空值不满足设定规则时，可在异常表中输出空值。 告警条件 异常数据数量 可选择输出全部的异常数据，或者设定数量的异常数据。 告警条件 异常表SQL 当“规则类型”选择“自定义规则”时，需要配置该参数。此处需输入完整的SQL语句，指定输出哪些数据是异常数据。 告警条件 查看相同规则 单击，创建质量作业时， 能够根据表和字段判断规则的重复性。 提示已存在相关子规则和质量作业，您可看到已有规则。 计算范围 选择扫描区域 用来确定所配置的某条规则应检查的范围。 勾选全表扫描，则遍历所有表。 勾选条件扫描，输入where条件后，精确定位分区查询数据，不需要全表扫描查询。

本页为时延类常见问题。 数据迁移/同步全量阶段进度条不更新的原因是什么？ DTS在全量阶段停滞、进度条不动的原因可能有以下几种： 单表数据量过大：在全量同步过程中，进度条的计算和表数量相关，如果源库中某些表数据量过大，需要耗费较长来进行迁移，则可能导致数据库进度条长时间不动。 网络问题：在全量同步过程中，如果网络带宽过小或网络不稳定，可能会导致同步进度长时间不动。可以通过检查网络带宽和网络连接情况来判断是否是网络问题导致的问题。 数据库负载过高：在全量同步过程中，如果源库或目标库的负载过高，同步进度就会受到影响。数据库所在的磁盘有读写上限，当同一时间有其他任务占用过多的读写带宽，会影响DTS数据传输服务的任务进度。 数据迁移/同步增量阶段延迟高的原因是什么？ 增量过程中延迟很高的原因可能有以下几种： 网络问题：在增量同步过程中，如果网络带宽不足或网络不稳定，同步的延迟就会相应增高。 数据变更频繁：在增量同步过程中，如果源库中的数据变更频繁，同步的延迟就会很高。这是因为每次数据变更都需要同步到目标库，如果变更频繁，同步的延迟就会累积，从而导致同步延迟增加。 磁盘读写速度慢：如果目标库的磁盘读写速度不足，写入同步数据的速度就会受到影响，从而导致同步延迟增加。 DTS系统规格限制：如果需要同步的数据过大，而DTS没有选用相应的规格来支撑，可能会导致增量阶段延迟过大。 针对上述延迟高的原因，可以采取以下措施来减少同步延迟： 增加网络带宽或优化网络连接，以提高数据传输速度和稳定性。 等待任务完成数据同步，优化业务逻辑，减少短时间内密集写入和大事务写入。 优化目标库磁盘，可以考虑优化磁盘分区或使用SSD等方式来提高磁盘读写速度。 重新购买更大规格的同步实例，以支撑现有业务。

本页介绍数据迁移实例的性能监控功能。 为方便用户查看和掌握数据迁移/数据同步实例的运行状态，DTS提供了丰富的性能监控项。 以下以数据迁移为例，介绍如何查看实例的性能监控信息和对监控项进行说明。 查看性能监控信息 1. 在实例列表页面点击实例ID进入【实例管理】页面，点击右上角的“实例详情”进入详情页面， 在左边菜单栏点击“性能监控” > “全量迁移性能”，可查看全量迁移的各项指标。全量迁移的指标包括：迁移流量BPS、迁移性能RPS、网络延迟、SQL执行RT等。 2. 在详情页面的左边菜单栏点击“增量迁移性能”，可查看增量迁移的各项性能指标。增量迁移的指标包括：迁移流量BPS、迁移性能RPS、网络延迟等。 性能监控项 性能指标 说明 全量迁移性能 全量迁移流量（Mb/s） 读取流量：DTS从源实例读取所需同步的数据量，单位为MB/s。 写入流量：DTS写入目标实例的数据量，单位为MB/s。 源、目标实例RPS 源实例PRS：表示在数据库源端，每秒由于数据增、删、改（DML，包括INSERT、UPDATE、DELETE等）产生的数据记录变化的数量。 目标实例RPS：表示在数据库目标端，每秒由于数据增、删、改（DML，包括INSERT、UPDATE、DELETE等）产生的数据记录变化的数量。 源库网络延时、目标库网络延时（ms） 源库网络延时：表示源端数据库和DTS之间的网络延时。 目标库网络延时：表示DTS和目标端数据库之间的网络延时。 源库SQL执行RT、目标库SQL执行RT（ms) 源库SQL执行RT：表示从源端读取数据，源端数据库的响应时间。 目标库SQL执行RT：表示DTS将数据写入目标端，目标端数据库的响应时间。 增量迁移性能 可查看增量迁移的迁移流量、迁移性能和网络延迟等信息。相关性能指标说明如下： 迁移流量BPS：每秒写入到目标库的数据量，单位为Mb/s。 迁移性能RPS：每秒写入到目标库的行数。 网络延迟：表示数据库与DTS之间的网络延时。

本节介绍了什么是云服务备份、备份、快照、镜像有什么区别、云服务备份产品架构、备份机制、备份的方式及适用场景。 什么是云服务备份 云服务备份（Cloud Backup and Recovery，CBR）可以为云主机、云硬盘提供简单易用的备份服务，当发生病毒入侵、人为误删除、软硬件故障等事件时，可将数据恢复到任意备份点。 云服务备份保障用户数据的安全性和正确性，确保业务安全。 备份、快照、镜像有什么区别？ 备份分为云主机备份和云硬盘备份。 镜像分为系统盘镜像、数据盘镜像、整机镜像。 备份类型 备份对象 适用场景 区别和优势 备份方法 恢复方法 :::::: 云主机备份 弹性云主机中的所有云硬盘（系统盘和数据盘） 云主机受到攻击或病毒入侵 通过云主机备份，可立即恢复到最近一次没有受黑客攻击或病毒入侵的备份时间点。 数据被误删 通过云主机备份，可立即恢复到删除前的备份时间点，找回被删除的数据 应用程序更新出错 通过云主机备份，可立即恢复到应用程序更新前的备份时间点，使系统正常运行。 云主机宕机 通过云主机备份，可立即恢复到宕机之前的备份时间点，使云主机能再次正常启动 备份的同一个云主机下的所有云硬盘数据具有一致性，即同时对所有云硬盘进行备份，不存在因备份创建时间差带来的数据不一致问题。 且云备份支持根据备份策略自动备份。 创建云主机备份 使用云主机备份恢复数据（恢复至原服务器） 使用云主机备份恢复数据（创建新的云主机） 云硬盘备份 指定的单个或多个云硬盘（系统盘或数据盘） 系统盘没有个人数据，因而只需要对部分的数据盘进行备份 当云硬盘出现故障或云硬盘中的数据发生逻辑错误时（如误删数据、遭遇黑客攻击或病毒危害等），可快速恢复数据。 备份作为基线数据 设置备份策略，根据策略自动对云硬盘进行数据备份，通过定期创建的备份作为基线数据，用来创建新的云硬盘或者恢复数据到云硬盘。 备份数据则存储在对象存储 (OBS)中，可以实现在云硬盘存储损坏情况下的数据恢复 保证数据安全的同时降低备份成本 创建云硬盘备份 使用云硬盘备份恢复数据（恢复至原磁盘） 使用云硬盘备份恢复数据（创建新的磁盘） 快照 指定的单个或多个云硬盘（系统盘或数据盘） 日常备份数据 通过对云硬盘定期创建快照，实现数据的日常备份，可以应对由于误操作、病毒以及黑客攻击等导致数据丢失或不一致的情况 快速恢复数据 应用软件升级或业务数据迁移等重大操作前，您可以创建一份或多份快照，一旦升级或迁移过程中出现问题，可以通过快照及时将业务恢复到快照创建点的数据状态。 例如，当由于云主机 A的系统盘 A发生故障而无法正常开机时，此时您可以使用系统盘 A已有的快照新创建一块云硬盘 B并挂载至正常运行的云主机 B上，从而云主机 B能够通过云硬盘 B读取原系统盘 A的数据。 快速部署多个业务 通过同一个快照可以快速创建出多个具有相同数据的云硬盘，从而可以同时为多种业务提供数据资源。 例如数据挖掘、报表查询和开发测试等业务。这种方式既保护了原始数据，又能通过快照创建的新云硬盘快速部署其他业务，满足企业对业务数据的多元化需求。 说明 只支持回滚快照数据至原云硬盘，不支持快照回滚到其它云硬盘。 重装操作系统或切换操作系统后，系统盘快照会自动删除；数据盘快照不受影响，可以照常使用。 快照数据与云硬盘数据存储在一起，可以支持快速备份和恢复 快速保存指定时刻云硬盘的数据，同时还可以通过快照创建新的云硬盘，这样云硬盘在初始状态就具有快照中的数据 创建快照 使用快照回滚数据 系统盘镜像 系统盘 快速恢复系统 更换操作系统、应用软件升级或业务数据迁移等重大操作前，将系统盘创建成系统盘镜像，一旦迁移过程中出现问题，可以通过系统盘镜像切换操作系统，或重新创建新的云主机。 快速部署多个业务 通过同一个系统盘镜像可以快速创建出多个具有相同操作系统的云主机，从而快速部署多个业务。 系统盘镜像可以实现在云主机操作系统损坏情况下快速切换至损坏前的操作系统。 创建系统盘镜像 使用系统盘镜像切换故障云主机的操作系统 使用系统盘镜像创建新的云主机 数据盘镜像 指定的数据盘 快速复制数据 通过同一个数据盘镜像可以快速创建出多个具有相同数据的云硬盘，再将新创建的云硬盘挂载到其他服务器上，从而可以同时为多种业务提供数据资源。 数据盘镜像可以复制全盘的数据并创建新的云硬盘挂载到其他服务器上，实现云主机数据盘的复制和共享。 创建数据盘镜像 使用数据盘镜像创建数据盘 整机镜像 弹性云主机中的所有云硬盘（系统盘和数据盘） 快速恢复系统 更换操作系统、应用软件升级或业务数据迁移等重大操作前，将云主机的系统盘和数据盘创建成整机镜像，一旦迁移过程中出现问题，可以通过整机镜像切换操作系统，或重新创建新的云主机。 快速部署多个业务 通过同一个整机镜像可以快速创建出多个具有相同操作系统和数据的云主机，从而快速部署多个业务。 通过整机镜像实现业务的整理迁移。 创建整机镜像 使用整机镜像创建新的云主机

本节主要介绍使用备份文件迁移不同Region/Redis版本的实例 DCS支持通过备份文件导入的方式离线迁移DCS实例间的数据。 前提条件 源Redis实例已执行数据备份并备份成功。 − 如果是通过Redis实例离线迁移，无需下载备份文件到本地，备份数据请参考手动备份实例。 − 如果是通过OBS桶离线迁移，需要下载备份文件到本地，请参考下载实例备份文件。 已准备目标Redis实例。如果您还没有目标Redis实例，请先创建Redis，参考创建实例。 目前Redis高版本支持兼容低版本，因此，同版本或低版本可以迁移到高版本Redis，目标端创建的实例版本不要低于源端Redis版本。 请确保目标Redis有足够的存储空间，迁移实例前建议清空目标Redis中的数据，清空实例数据的操作请参考清空实例数据。如果没有清空实例数据，数据迁移后，目标Redis与源Redis实例重复的数据会被覆盖，源Redis没有、目标Redis有的数据会保留。 使用备份文件离线迁移DCS Redis实例 如果您需要迁移的源Redis与目标Redis为DCS相同账号下相同Region的实例，且源Redis实例非单机实例时，离线迁移请参考通过Redis实例离线迁移。 如果您需要迁移的源Redis与目标Redis为DCS不同账号或不同Region的实例，或源Redis实例为单机实例时，离线迁移请参考通过OBS桶离线迁移。

本文介绍了云防火墙提供的数据保护技术。 数据保护手段 简要说明 传输中的数据保护 日志数据采用安全协议HTTPS传输到日志服务，防止数据被窃取；用户的配置数据传输采用安全协议HTTPS，防止数据被窃取。 配置数据完整性 CFW会和配置管理中心检验配置一致性，实时确保配置的准确性和完整性。 数据销毁机制 考虑到残留数据导致的用户信息泄露问题，保留期到期仍未续订或充值，存储在云服务中的数据将被删除，云服务资源将被释放。CFW会清除用户数据，避免用户数据残留造成信息泄露。 数据存储安全 对静态数据进行透明加密，可以保护数据免受可以访问底层文件系统的攻击者的影响。

本章节介绍如何创建数据类追踪器。 云审计服务提供的追踪器分两类，包括管理类追踪器和数据类追踪器。 管理类追踪器用于记录管理事件，即针对所有云资源的操作日志，例如创建、登录、删除等。 数据类追踪器用于记录数据事件，即针对租户对OBS桶中的数据的操作日志，例如上传、下载等。 操作场景 云审计服务支持创建数据类事件追踪器，用于记录数据操作日志。数据类追踪器用于记录数据事件，即针对租户对OBS桶中的数据的操作日志，例如上传、下载等。 在开通云审计服务时，系统已为您自动创建了一个管理事件追踪器，管理事件追踪器只能有一个，故后续您自行创建的追踪器均为数据类事件追踪器。 使用限制 CTS仅记录最近7天内的操作事件，您需要配置追踪器来保存更长时间的事件，否则将无法追溯7天前的操作事件。追踪器会将事件持续保存到您指定的LTS日志流或者OBS桶中。 前提条件 已开通云审计服务。 创建数据类事件追踪器 1. 登录管理控制台。 2. 在服务列表选择“管理与部署 > 云审计服务 CTS”，进入云审计服务页面。 3. 在左侧导航栏选择“追踪器”，单击页面右上角的“创建追踪器”。 4. 基本信息。新建“追踪器名称”便于识别。单击“下一步”，基本信息填写成功。 数据类事件追踪器命名规则：名称只能包含大小写字母、数字、和，且必须由大小写字母或数字开头。名称不能为空，且输入长度不能超过32个字符。名称不能为“system”或“systemtrace”。 5. 在选择追踪对象页面，填写相关参数，详细参数说明见表 选择追踪对象参数表 ，单击“下一步”。 6. 在配置转储页面，填写相关参数，单击“下一步”。用户通过云审计控制台只能查询最近7天的操作记录，如果需要查询超过7天的操作记录，您必须配置转储到对象存储服务（OBS）或配置转储到云日志服务（LTS）。具体参数说明参见表 配置转储到OBS参数列表和表 配置转储到LTS参数列表。 7. 预览追踪器信息无误后，单击“创建”完成追踪器的创建。 表 选择追踪对象参数表 参数名称 参数说明 数据事件来源 数据事件的存储容器，默认为OBS桶。 OBS桶名称 在下拉列表中选择对应OBS桶。 创建完成后，OBS桶名称不可修改。 事件操作类型 数据操作类型分为“读操作”和“写操作”，读操作指的是从OBS桶中获取或下载对象数据，写操作指的是向OBS桶中上传或写入对象数据。 勾选“读操作”后，CTS只会记录读操作类型的数据事件。 勾选“写操作”后，CTS只会记录写操作类型的数据事件。 您可以在OBS服务的页面的“表2 云审计服务支持的OBS数据事件操作列表”中，查看当前支持云审计的全部OBS操作数据事件，以及查看具体有哪些读操作类型事件和写操作类型事件。 表 配置转储到OBS参数列表 参数名称 参数说明 转储到OBS 当“转储到OBS”开关打开时，您可以选择已存在的OBS桶，并配置事件文件前缀。 如果“转储到OBS”开关关闭时，则无需配置相应参数。 选择OBS 选择已有OBS桶：选择当前区域已创建的OBS桶。 OBS桶名称 当“选择OBS”选择“新建OBS桶”时，直接新建OBS桶名称。OBS桶名称不能为空，仅支持小写字母、数字、“”和“.”，且长度范围为363个字符。禁止两个“.”相邻（如“my..bucket”），禁止“.”和“”相邻（如“my.bucket”和“my.bucket”），禁止使用ip为桶名称。 当“选择OBS”选择“选择已有OBS桶”时，可以选择已存在的OBS桶。 保存周期 转储至OBS桶中日志的保存周期。该配置会修改被选择桶的桶策略，影响范围为桶内的所有文件。不同类型、不同级别的合规认证标准对审计日志的保存时间有不同的要求，建议设置保存周期不低于180天。 数据类事件追踪器：保存周期支持设置为30天、60天、90天、180天、三年和沿用OBS配置。 事件文件名前缀 用于标识被转储的事件文件，该字段支持用户自定义，会自动添加在转储事件文件的文件名前端，方便用户快速进行筛选。事件文件名前缀只能由英文字母、数字、下划线（）、中划线（）和小数点（.）组成，且长度范围为064个字符。 表 配置转储到LTS参数列表 参数名称 参数说明 转储到LTS 当“转储到LTS”开关打开时，表示操作事件将转储到日志流中。 日志组名称 当“转储到LTS”开关打开时，日志组名称默认为“CTS”。如果“转储到LTS”开关关闭时，则无需配置该参数。

事件 描述 ReachLicenseMaxCapacity 许可证容量达到上限 LicenseMaintenanceExpired 许可证过保 LicenseExpired 许可证过期 LicenseImported 许可证导入 DataDegraded 数据降级 DataDegradedResumed 数据降级恢复 DataResumed 数据恢复 DataBalanceStart 数据均衡开始 DataBalanceProgress 数据均衡过程 DataBalanceFailed 数据均衡失败 DataBalanceEnd 数据均衡结束 DataAccessFailed 数据无法访问 DataAccessResumed 数据访问恢复

检索配置用于控制在数据地图展示和搜索的资源内容，与元模型紧密关联。状态为“启用”的检索模型即可在数据地图展示和检索，目前系统内置的模型、主数据以及图片、音频等多模态数据都可以在此处进行控制。 如果用户想新建一种资源类型并在数据地图展示，可以新建检索项并启用。 点击页面【新建】按钮，选择关联的元模型，点击【下一步】，可以配置元数据的其他检索项。 在配置时需注意，元数据中文名、英文名、描述为默认检索字段，无需配置，在此基础上可以添加业务属性字段，并需要进行元模型字段关联。 配置好检索字段后，点击【完成】完成创建，可在列表中点击【启用】，该类型的资源即可在数据地图中展示。