本页为时延类常见问题。 数据迁移/同步全量阶段进度条不更新的原因是什么？ DTS在全量阶段停滞、进度条不动的原因可能有以下几种： 单表数据量过大：在全量同步过程中，进度条的计算和表数量相关，如果源库中某些表数据量过大，需要耗费较长来进行迁移，则可能导致数据库进度条长时间不动。 网络问题：在全量同步过程中，如果网络带宽过小或网络不稳定，可能会导致同步进度长时间不动。可以通过检查网络带宽和网络连接情况来判断是否是网络问题导致的问题。 数据库负载过高：在全量同步过程中，如果源库或目标库的负载过高，同步进度就会受到影响。数据库所在的磁盘有读写上限，当同一时间有其他任务占用过多的读写带宽，会影响DTS数据传输服务的任务进度。 数据迁移/同步增量阶段延迟高的原因是什么？ 增量过程中延迟很高的原因可能有以下几种： 网络问题：在增量同步过程中，如果网络带宽不足或网络不稳定，同步的延迟就会相应增高。 数据变更频繁：在增量同步过程中，如果源库中的数据变更频繁，同步的延迟就会很高。这是因为每次数据变更都需要同步到目标库，如果变更频繁，同步的延迟就会累积，从而导致同步延迟增加。 磁盘读写速度慢：如果目标库的磁盘读写速度不足，写入同步数据的速度就会受到影响，从而导致同步延迟增加。 DTS系统规格限制：如果需要同步的数据过大，而DTS没有选用相应的规格来支撑，可能会导致增量阶段延迟过大。 针对上述延迟高的原因，可以采取以下措施来减少同步延迟： 增加网络带宽或优化网络连接，以提高数据传输速度和稳定性。 等待任务完成数据同步，优化业务逻辑，减少短时间内密集写入和大事务写入。 优化目标库磁盘，可以考虑优化磁盘分区或使用SSD等方式来提高磁盘读写速度。 重新购买更大规格的同步实例，以支撑现有业务。

ctyundtswriter ) IS NULL THEN UPDATE test SET num num 1 WHERE id 1; END IF; END; 增量迁移并开启增量DDL支持的场景下，当前暂不支持在结构迁移与全量迁移详情页面显示增量阶段新增的表。 如果只勾选增量迁移，请确保目标端已经存在源端库表和所需数据，数据同步可指定增量位点。 若源表使用了外键约束如FOREIGN KEY REFERENCES ON DELETE CASCADE或FOREIGN KEY REFERENCES ON UPDATE CASCADE时，当删除或更新父表的数据时，子表关联的数据会被自动删除或更新，但这些子表的删除或更新操作并不会记录到源库的二进制日志（Binlog）中，从而导致迁移后数据不一致的问题。为解决该问题，可在使用DTS迁移数据前在源库创建触发器实现关联子表的数据操作，确保所需执行的删除或更新都可以记录到Binlog中，从而保证迁移前后的数据一致性。 操作步骤 1、购买DTS数据同步实例。 在管理控制台点击“创建实例”进入订购页面，“实例类型”选择“数据同步”，“目标库实例”的“数据库类型”选择MySQL，选择实例，完成其他信息的填写并完成购买。 2、进入实例配置页面。 DTS实例购买成功后，进入【数据同步】实例列表页面，上一步骤购买成功的实例在实例列表中显示状态为“待配置”，进入实例配置页面的操作分两种情况： 当DTS实例的网络接入类型为“公网EIP”时，请先点击“绑定弹性IP”按钮完成公网弹性IP的绑定，然后点击该实例操作列的“实例配置”按钮。 当DTS实例网络接入类型为“VPC网络”时，直接点击该实例操作列的“实例配置”按钮。

操作场景 由于数据查询只限于服务少量数据的实时查询，数据量大时，需要分页查看，此时，您可通过数据导出功能，快捷获得一次查询的所有数据信息；或者当进行数据备份或迁移时，您亦可通过数据导出功能，获取完整的数据信息。 操作步骤 1. 在顶部菜单栏选择“导入·导出”>“导出”。 2. 在导出页面，单击左上角“新建任务”，您可根据需要选择“导出数据库”或“导出SQL结果集”。下文以导出数据库为例，导出SQL集同理。 您也可通过单击“快速导出”，选择目标数据库，在创建快速导出任务弹窗中选择存储位置，并单击“确定”。 3. 在导出数据库弹出页面，您可按需选填“基本信息”及“高级选项”，并在页面右侧选择需要导出的表。 说明 SQL结果集导出任务中，执行SQL的最大限制是5M。 数据库分用户库和系统库，系统库不支持导出功能。如需导出，您需把创建用户数据库，业务部署到用户库，然后再执行导出操作。 DAS在执行导出操作时，会连接到您的备库进行导出，可以有效规避导出时对主库的性能影响，但当备库复制延迟较大时，会存在“导出的数据不是最新数据“的可能性。 4. 设置完导出任务信息，单击弹出页面下部“确定”，创建导出任务。 5. 在导出任务列表页面，您可查看任务ID、任务类型、任务状态、进度等信息。 6. 您可在列表操作栏，单击“查看详情”，在任务详情弹出页面，查看本次导出任务执行的详情信息。

本章节主要介绍脚本开发的新建脚本流程。 数据开发模块的脚本开发功能支持在线编辑、调试、执行脚本，开发脚本前请先新建脚本。 数据开发模块目前支持新建以下几种脚本，用户可根据需要新建相应的脚本。 DLI SQL脚本 Hive SQL脚本 DWS SQL脚本 Spark SQL脚本 Flink SQL脚本 RDS SQL脚本 Presto SQL脚本 Shell脚本 Python脚本 前提条件 已完成新建数据连接和新建数据库等操作。 操作步骤 新建目录（可选，如果已存在可用的目录，可以不用新建目录） 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 3. 在脚本目录中，右键单击目录名称，选择“新建目录”。 4. 在弹出的“新建目录”页面，配置如下表所示的参数。 脚本目录参数 参数 说明 目录名称 脚本目录的名称，只能包含英文字母、数字、中文字符、“”、“”，且长度为1~64个字符。 选择目录 选择该脚本目录的父级目录，父级目录默认为根目录。 5. 单击“确定”，新建目录。

本章节主要介绍数据开发的解决方案。 背景信息 解决方案定位于为用户提供便捷的、系统的方式管理作业，更好地实现业务需求和目标。每个解决方案可以包含一个或多个业务相关的作业，一个作业可以被多个解决方案复用。 数据开发模块目前支持处理以下几种方式的解决方案。 新建解决方案 编辑解决方案 导出解决方案 导入解决方案 升级解决方案 删除解决方案 新建解决方案 在数据开发模块的开发页面，新建一个解决方案，设置解决方案名称并选择业务相关的作业。 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”或“数据开发 > 作业开发”。 3. 在左侧目录上方，单击解决方案图标，显示解决方案目录。 4. 单击解决方案目录上方的，弹出“新建解决方案”页面，配置如下表所示的参数。 解决方案参数 参数 说明 名称 自定义解决方案的名称。 选择作业 选择解决方案包含的作业。 5. 单击“确定”，新建的解决方案将在左侧目录中显示。

本章为您介绍 数据脱敏是否对原始数据有影响？ 没有影响。数据脱敏功能只会对数据进行读取，脱敏后保存到您选择的目标位置，不会对源数据进行改动。

删除脱敏算法 用户可以删除无关联敏感列的自定义脱敏算法。 1. 登录数据管理服务。 2. 在左侧菜单栏中，选择数据资产 > 敏感数据保护，进入敏感数据保护页面。 3. 在顶部菜单栏中，选择脱敏算法页签，进入脱敏算法页面。 4. 在脱敏算法页面，点击指定脱敏算法操作列的删除按钮，即可删除该脱敏算法。 类似创建脱敏算法 用户可以基于已有的脱敏算法，快速创建出类似的新脱敏算法。 1. 登录数据管理服务。 2. 在左侧菜单栏中，选择数据资产 > 敏感数据保护，进入敏感数据保护页面。 3. 在顶部菜单栏中，选择脱敏算法页签，进入脱敏算法页面。 4. 在脱敏算法页面，点击指定脱敏算法操作列的类似创建按钮，弹出新增算法侧边栏，即可基于已有的脱敏算法配置，创建新的脱敏算法。 系统内置脱敏算法 算法名称 说明 原始数据 脱敏效果 默认全遮盖 任何数据均脱敏为 123456789 MD5COMMON 使用不带盐值的MD5算法将敏感列数据脱敏为长度为32个字符的散列值。 abc 900150983CD24FB0D6963F7D28E17F72 数字取整 保留小数点后几位。 13.03 13.0 日期取整（按照日取整） 按照日将日期取整。 20240102 13:21:31 20240102 00:00:00 日期取整（按照月取整） 按照月将日期取整。 20240802 13:21:31 20240801 00:00:00 日期取整（按照年取整） 按照年将日期取整。 20240202 13:21:31 20240101 00:00:00 手机号码星号遮盖中间4位 对设置该脱敏算法的敏感列的数据的固定位置遮盖，遮盖位置为(4,7)，遮盖字符为。 13303739965 1339965 银行联行号遮盖 对设置该脱敏算法的敏感列的数据的固定位置遮盖，遮盖位置为(4,11)，遮盖字符为。 196378547294 1964 固定电话遮盖 对设置该脱敏算法的敏感列的数据的固定位置遮盖，遮盖位置为(6,10)，遮盖字符为。 0206666666 02066 身份证遮盖 对设置该脱敏算法的敏感列的数据的固定位置遮盖，遮盖位置为(4,14)，遮盖字符为。 11010519800101001X 110001X 中国香港身份证遮盖 对设置该脱敏算法的敏感列的数据的固定位置遮盖，遮盖位置为(2,7)，遮盖字符为。 T770829(3) T(3) 港澳通行证遮盖 对设置该脱敏算法的敏感列的数据的固定位置保留，保留前1位后2位，剩余位置进行遮盖，遮盖字符为。 H1100110010 H10 SIM卡号遮盖 对设置该脱敏算法的敏感列的数据的固定位置保留，保留前5位后2位，剩余位置进行遮盖，遮盖字符为。 73721111266664444888 7372188 邮箱名称遮盖 对设置该脱敏算法的敏感列的数据的第一个@字符之前的位置遮盖，特殊字符为@，遮盖字符为。 test@company.com @company MD5SALT 使用盐值为yanzhi666的MD5算法将敏感列数据脱敏为长度为32个字符的散列值。 abc c6e36d3fb0b5fca40f233c04f3460002 遮盖前1后1 对设置该脱敏算法的敏感列的数据的固定位置遮盖，遮盖前1位后1位，遮盖字符为。 实验中学 验中 遮盖前3后3 对设置该脱敏算法的敏感列的数据的固定位置遮盖，遮盖前3位后3位，遮盖字符为。 abcdedfg de

当服务器中的磁盘发生故障、或者由于人为误操作导致服务器数据丢失时，可以使用已经创建成功的备份恢复服务器。 当云主机中的磁盘发生故障、或者由于人为误操作导致云主机数据丢失时，可以使用已经创建成功的备份恢复原云主机。恢复云主机的过程中会关闭云主机，请在业务空闲时操作。 如果希望将数据恢复至其他云主机上，可以使用云主机备份创建镜像后，再创建一台新的云主机。 背景信息 备份的数据盘的数据，不能恢复到系统盘中。 不支持恢复到状态处于“故障”的云主机。 暂不支持批量恢复数据操作。 前提条件 需要恢复的云主机中的磁盘运行状态正常。 需要恢复的云主机至少存在一个备份，并且需要恢复的云主机的备份的“备份状态”为“可用”。 操作步骤 1. 登录云服务备份管理控制台。 a. 登录管理控制台。 b. 单击管理控制台左上角的，选择区域。 c. 单击“”，选择“存储 > 云服务备份”。选择对应的备份目录。 2. 选择“备份副本”页签，找到存储库和云主机所对应的备份。 3. 单击备份所在行的“恢复数据”，如下图所示。恢复云主机数据之后将导致备份时间点的数据覆盖云主机数据，一旦执行，无法回退，请提前知晓。 图 恢复云主机 4. （可选）取消勾选“恢复后立即启动云主机”。如果取消勾选“恢复后立即启动云主机”，则恢复云主机操作执行完成后，需要手动启动云主机。恢复云主机的过程中会关闭云主机，请在业务空闲时操作。 5. 在指定的磁盘下拉菜单中选择备份需要恢复到的磁盘。 说明 如果云主机只有一个磁盘，则默认恢复到该磁盘。 如果云主机存在多个磁盘，默认将备份恢复到原来的磁盘。也可以通过在“指定的磁盘”下拉菜单中重新选择磁盘的操作将备份恢复到备份云主机中的其他磁盘中。但是指定的磁盘容量不能小于之前的磁盘容量。 备份的数据盘的数据，不能恢复到系统盘中。 注意 如果当前恢复的云主机磁盘数量大于备份时刻的磁盘数量时，需要考虑数据的一致性问题，谨慎执行恢复操作。 例如，Oracle应用的数据分散在被恢复及未被恢复的目标磁盘上，在恢复后可能导致数据不一致（被恢复的磁盘还原到历史数据，未被恢复的磁盘仍保留当前数据），甚至导致应用无法启动。 6. 单击“确定”，并确认备份恢复是否成功。 您可以在备份列表中，查看备份恢复的执行状态。直到备份的“备份状态”恢复为“可用”，并且“任务状态”中没有新增失败的恢复任务时，表示恢复成功。恢复成功的资源数据将于备份时间点保持一致。 查看恢复失败的任务请参见处理任务。 注意 当您使用云主机备份恢复逻辑卷组（LVM）时，恢复完成后需手动重新挂载。 当您恢复的云主机为Windows操作系统时，由于操作系统自身原因，恢复完成后可能无法显示数据盘。如果您遇到此情况，需要手动将数据盘置为联机状态。具体操作，请参见

本页介绍如何查看数据同步实例的同步详情。 查看数据同步实例详情，包含：查看结构同步、查看增量数据同步详情。 操作步骤 1、点击实例ID进入【实例管理】页面。 在【数据同步】实例列表页面选择相应的实例数据，并点击实例ID进入【实例管理】页面。 2、进入详情页面。 在【实例管理】页面点击“实例详情”，进入【实例管理】页面。 3、进入【同步详情】页面查看同步详情。 在左侧菜单栏点击“同步详情”，进入【同步详情】页面。 结构同步 点击“结构同步”菜单，查看当前数据同步实例的结构同步详情，包括迁移的Tables、Views、Functions、Procedures的对象名称、源库、目标库、状态等信息。 点击页面中列表右方“操作”列的“创建语法”按钮，可以查看同步对象的创建语句。 增量数据同步 点击“增量数据同步”菜单，查看当前数据同步任务增量部分的同步详情，包括源库、目标库、当前的DTS拉取位点和源库最新位点、是否延迟等状态信息。 注意 1. 位点用BINLOGNAME:BINLOGPOSITION的格式记录。DTS拉取位点表示DTS的当前进度，与源库最新位点如果有差距就存在延迟。可以通过这两个值查看延迟有多大。 2. 如果针对同步的库未同步的表作了数据变更操作，DTS拉取位点由于过滤条件的存在，该值不会进行更新，但源库最新位点会实时更新。

下线事实表 a. 在事实表列表中，勾选需要下线的事实表，单击“下线”，系统弹出“批量下线”对话框。 b. 在下拉菜单中选择审核人。 c. 单击“确认提交”。 说明 “下线”及“删除”事实逻辑表的前提是无依赖引用，例如事实表未被原子指标等使用时，才能进行删除操作。 删除事实表 如果您不再需要某一个事实表，您可以将它删除。当事实表处于待发布、已发布或待下线状态时，无法删除。 a. 在事实表列表中，勾选需要删除的事实表，在列表上方选择“更多 > 删除”，系统弹出“删除”对话框。 b. 单击“是”。 导入事实表 可通过导入的方式将事实表批量快速的导入到系统中。 a. 在事实表上方，单击“更多>导入”，进入“导入配置”页签。 b. 下载事实表导入模板，编辑完成后保存至本地。 c. 选择是否更新已有数据。 说明 如果系统中已有的编码和模板中的编码相同，系统则认为是数据重复。 不更新：当数据重复时，不会替换系统中原有的数据。 更新：当数据重复时 系统中的原有数据为草稿状态，则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态，则会生成下展数据。 d. 单击“添加文件”，选择编辑完成的导入模板。 e. 单击“上传文件”，上传完成后，自动跳转到“上次导入”页签，查看已导入的数据。 f. 单击“关闭”。

数据管理服务DMS目前提供基础版、企业版,企业版在基础版之外提供更多数据安全和风险管控等企业级特性。本文主要说明版本之间的差异,以及如何查看和切换版本。 基础版和企业版主要差异 模块 功能 基础版 企业版 实例管理 添加实例 Y Y 实例管理 登录实例 账号密码登录 账密托管，免登录 注意 MongoDB和DDS类型数据库暂不支持 实例管理 库/模式管理 Y Y 实例管理 对象管理 Y Y 实例管理 编辑实例 Y Y 实例管理 删除实例 Y Y 实例管理 数据权限管理 实例元数据级别 细粒度，支持实例、库/模式、表级别 实例管理 设置风险规则集 N Y 实例管理 数据库用户管理 Y Y 实例管理 禁用/启用实例 Y Y 实例管理 同步元数据 Y Y 实例列表 所有实例列表 Y Y 实例列表 收藏夹实例列表 Y Y 实例列表 收藏/取消收藏实例 Y Y 查询窗口 执行SQL Y Y 查询窗口 保存脚本 Y Y 查询窗口 格式化 Y Y 查询窗口 执行计划 Y Y 查询窗口 SQL诊断 Y Y 查询窗口 语法帮助 Y Y 查询窗口 导入脚本 Y Y 查询窗口 执行历史 Y Y 查询窗口 结果集可视化编辑 Y Y 查询窗口 表信息查看 Y Y 查询窗口 打开表 Y Y 查询窗口 新建表 Y Y 查询窗口 编辑表 Y Y 查询窗口 复制建表 Y Y 查询窗口 表详情 Y Y 查询窗口 重命名表 Y Y 查询窗口 管理员模式 N Y 查询窗口 删除表 Y Y 查询窗口 新建可编程对象 Y Y 查询窗口 编辑可编程对象 Y Y 数据导出 整库/模式导出 Y Y 数据导出 整表导出 Y Y 数据导出 SQL结果集导出 Y Y 数据导出 结构导出 Y Y 数据导入 CSV/SQL/TXT/JSON/EXCEL数据导入 Y Y SQL变更 提交SQL变更工单 Y 支持定时执行、备份回滚、无锁变更等更多功能 SQL审核 提交SQL审核工单 N Y 结构对比 结构对比 N Y 数据对比 数据对比 N Y 用户与角色 邀请用户 仅能添加普通用户 可添加系统管理员、运维管理员、审计管理员、配置管理员和普通用户 用户与角色 编辑用户 Y Y 用户与角色 删除用户 Y Y 用户与角色 授权用户数据权限 Y Y 用户与角色 授权用户运维权限 N Y 团队管理 团队成员管理 Y Y 团队管理 团队实例管理 Y Y 慢SQL 慢SQL分析 Y Y SQL审计 SQL审计明细 Y Y SQL审计 统计分析 Y Y 操作审计 DMS SQL明细 Y Y 操作审计 DMS 操作审计 Y Y 工单列表 任务工单 Y Y 工单列表 数据权限工单 N Y 工单列表 团队申请工单 Y Y 工单列表 工单审批 N Y SQL规范 规范管理及规则配置 N Y 审批流 审批模板管理 N Y SQL风险 DDL风险规则配置 N Y SQL风险 DML风险 规则配置 N Y SQL风险 数据导出风险规则配置 N Y 敏感数据保护 敏感实例 N Y 敏感数据保护 敏感列 N Y 敏感数据保护 脱敏算法 N Y 敏感数据保护 敏感列权限管控 N Y 敏感数据保护 分类分级 N Y 敏感数据保护 识别任务 N Y 智能运维 实例概览 Y Y 智能运维 实例画像 Y Y 智能运维 一键诊断 Y Y 智能运维 会话管理 Y Y 智能运维 性能分析 Y Y 智能运维 空间分析 Y Y 智能运维 锁分析 Y Y 智能运维 诊断报告 Y Y 智能运维 数据追踪 N Y 智能运维 健康巡检 N Y AI智能 数据库智能问答 以DMS帮助文档，及各数据库手册为语料提供智能问答 以DMS帮助文档，数据库元数据，及各数据库手册为语料提供智能问答 AI智能 NL2SQL N Y AI智能 SQL纠错 N Y 个人中心 申请数据权限 N 细粒度，支持实例、库/模式、表级别 组织管理 组织信息配置 Y Y 屏幕水印 屏幕水印 Y Y

本页为您介绍数据传输服务DTS的产品优势。 不停服 基于天翼云DTS的不停服迁移/同步，是一种实时的在线逻辑处理过程。整个过程中，原始的应用系统在不停止的情况下，可以继续对外提供服务。如果原始数据量较多，可以选择合适的网络带宽，确保源数据快速地迁移至目标库。 针对新旧数据库异构的情况，天翼云DTS在工作时，底层进行了数据对象的转换映射，整个过程对用户来说是完全透明的，降低了用户的使用难度。 高性能 天翼云DTS通过数据合并、并行回放、数据压缩等技术，实现高效的数据传输能力，远高于数据库原生复制。 数据合并：合并算法执行后，单主键只有一条记录，可以减少数据量，同时提高并行回放的效率，例如：insert + update > insert， update + delete > delete。 并行回放：通过并行回放，加速数据入库的速度。 数据压缩：通过压缩数据降低数据传输延时，可适应跨数据中心的窄带宽网络。 稳定可靠 断点续传：当天翼云DTS组件、数据源或者网络发生故障，故障恢复后，支持断点续传，保证数据迁移/同步等DTS任务的继续进行。

天翼云数据传输服务DTS(TeleDB DTS)是一种集数据迁移和数据实时同步于一体的数据传输服务。它支持关系型数据库、NoSQL数据库间的数据传输,致力于解决远距离、毫秒级异步数据传输难题。

合理分片键的判断依据 判断依据 说明 片键基数 片键基数是指划分数据块的能力。例如，要记录某个学校的学生信息，由于学生的年龄比较集中，如果选择年龄作为分片键，同一个数据段中将存储很多同龄学生的数据，影响集群的性能以及可管理性。由于学生的学号唯一，如果选择学号作为分片键，分片基数较大，有利于数据的均匀分布。 写分布 若用户业务在同一时间段有大量写操作，则希望这些写操作能够均匀分布到各个分片上。如果数据分布策略为范围分片，并以一个单调递增的值作为分片键，此时，大量写入的数据同样是片键字段递增，数据将写入同一个分片。 读分发 若用户业务在同一时间段有大量读操作，则希望这些读操作能够均匀分布到各个分片上，以充分利用各分片节点的计算性能。 定向读 mongos查询路由器可以执行定向查询（只查询一个分片）或scatter/gather查询（查询所有分片）。只有查询中存在分片键，mongos才能定位到单一分片，因此，您需要选择在业务运行时可用于普遍查询的分片键。如果您选择合成的分片键，将无法在定向查询中使用该片键，所有的查询方式将变成scatter/gather查询，从而限制扩展读数据的能力。 选择合适的数据分布策略 分片集群支持将单个集合的数据分散存储在多个分片上，用户可以根据集合内文档的分片键来分布数据。 目前，主要支持两种数据分布策略，即范围分片（Range based sharding）和Hash分片（Hash based sharding），设置方式请参见步骤4。 下面分别介绍这两种数据分布策略以及各自的优缺点。 范围分片 基于范围进行分片，即集群按照分片键的范围把数据分成不同部分。假设有一个数字分片键，为一条从负无穷到正无穷的直线，每一个片键的值均在直线上进行标记。可以理解为将该直线划分为更短的不重叠的片段，并称之为数据块，每个数据块包含了分片键在一定的范围内的数据。 图 数据分布示意图 如上图所示，x表示范围分片的片键，x的取值范围为[minKey,maxKey]，且为整型。将整个取值范围划分为多个chunk，每个chunk（通常配置为64MB）包含其中一小段的数据。其中，chunk1包含x值在[minKey, 75]中的所有文档，每个chunk的数据都存储在同一个分片上，每个分片可以存储多个chunk，并且chunk存储在分片中的数据会存储在config服务器中，mongos也会根据各分片上的chunk的数据自动执行负载均衡。 范围分片能够很好的满足范围查询的需求，例如，查询x的取值在[60,20]中的文档，仅需mongos将请求路由到chunk2。 范围分片的缺点在于，如果分片键有明显递增（或递减）趋势，新插入的文档很大程度上会分布到同一个chunk，从而无法扩展写的能力。例如，使用“id”作为分片键，集群自动生成id的高位值将是递增的时间戳。 Hash分片 根据用户的分片键值计算出Hash值（长度64bit且为整型），再按照范围分片策略，根据Hash值将文档分布到不同的chunk中。基于Hash分片主要的优势为保证数据在各节点上分布基本均匀，具有“相近”片键的文档很可能不会存储在同一个数据块中，数据的分离性更高。 图 数据分布示意图 Hash分片与范围分片互补，能将文档随机分散到各个chunk，充分扩展写能力，弥补范围分片的不足。但所有的范围查询要分发到后端所有的分片，才能获取满足条件的文档，查询效率低。

本章节主要介绍如何扩容MRS集群节点数据盘。 随着业务增长，当集群节点的数据盘存储空间不足时，可以进行数据盘扩容操作。 说明 该功能为受限使用功能，请提交工单申请开通，并联系管理员获取操作指导文档及技术支持。 约束与限制 扩容MRS集群节点数据盘，请在业务空闲期执行本操作。 节点数据盘仅支持扩大容量，不支持缩小容量。 节点数据盘最大扩容至32 TB。 节点磁盘为本地盘时，不支持扩容。 仅支持集群节点创建时默认挂载的数据盘完整扩容云硬盘（EVS）容量、磁盘分区和文件系统。 云硬盘所挂载的云服务器状态必须为“运行中”、云硬盘状态必须为“正在使用中”或“可用”才支持扩容。

查看对比任务 步骤 1 在“实时迁移管理”页面，选择指定的实时迁移任务，单击“操作”列的“查看对比”。 步骤 2 在“迁移对比”页签，可查看数据对比结果。 结束 数据修复 当静态内容对比结果中存在不一致数据时，可在对比报表的明细页中选取不一致的表进行数据修复。数据修复结果为可在目标库执行的修复SQL。修复完成后可在对比报表的修复进度明细页查看不一致行的修复SQL生成详情，也可导出和下载针对本次对比所有已生成的不一致SQL，并结合实际情况在目标库手动执行修复SQL。数据修复具有如下约束。 1. 数据修复功能为受限使用阶段，当前仅支持MYSQLMYSQL链路。 2. 对于修复SQL为INSERT或UPDATE语句的场景，修复SQL中将展示不一致行的所有列内容，列值为对应列在源库的当前值。 3. 历史的比对任务可能由于缺少修复信息而修复失败，需要重新比对后再进行修复。 4. 每个迁移任务仅保留最新一次数据修复的修复进度明细信息页面。 5. 单个不一致行的数据大小最大支持4M，超过时对应的修复SQL将生成失败。 6. DRS生成的修复SQL中，时间类型字段的内容是基于UTC时间的，如果表中存在时间字段，目标库执行修复SQL前需先将会话时区设置为0时区。各数据库类型对应的会话时区设置SQL示例如下表。 7. 请谨慎执行修复SQL中的DELETE语句。 8. 数据修复功能无法使用在无主键表的对比结果中。 表 各数据库类型设置会话时区为0时区的SQL示例 数据库类型 时区设置SQL MYSQL SET session timezone'+00:00';

增量过程中 请勿修改源库和目标库的端口号。 请勿修改、删除源库和目标库连接用户的密码、权限，否则可能导致任务失败。 请勿在源库执行DDL，本链路暂不支持同步源库增量结构变更。 请勿修改源数据库表的主键或者唯一键，否则可能导致增量数据不一致或任务失败。 请勿在目标库做写入操作，否则可能导致数据不一致。 请定期关注CDC保留时间、源库日志空间、DTS增量延迟和目标库写入性能。 数据稽核 建议在源库业务低峰期进行数据比对，防止误报不一致数据，并减少对源库和DTS任务的冲击。 增量迁移过程中做数据比对时，若源库存在持续写入，则比对结果可能短时间不一致。 割接前建议至少完成一次全量数据稽核和一次增量追平后的最终稽核。 操作步骤 1、购买DTS数据迁移实例。 在管理控制台点击"创建实例"进入订购页面，"实例类型"选择"数据迁移"，“源数据库”选择“SQL Server”，"目标数据库"选择“PostgreSQL”，选择实例或输入IP地址、端口，完成其他信息的填写并完成购买。 2、进入实例配置页面。 DTS实例购买成功后，进入【数据迁移】实例列表页面，上一步骤购买成功的实例在实例列表中显示状态为“待配置”，进入实例配置页面的操作分两种情况： 当源库或目标库的网络接入类型为“公网EIP”时，请在实例列表的“IP地址列”点击“绑定弹性IP”按钮为DTS实例完成公网弹性IP的绑定，然后点击该实例操作列的“实例配置”按钮。 当源库和目标库的网络接入类型不是“公网EIP”时，请直接点击该实例操作列的“实例配置”按钮。

本章节主要介绍数据治理中心的配置Oracle数据库连接功能。 连接Oracle数据库时，详见下表： Oracle数据库连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 oraclelink 数据库服务器 配置为要连接的数据库的IP地址或域名。 192.168.0.1 端口 配置为要连接的数据库的端口。 默认端口：1521 数据库连接类型 选择Oracle数据库连接类型： Service Name：通过SERVICENAME连接Oracle数据库。 SID：通过SID连接Oracle数据库。 SID 实例名称 配置Oracle实例ID，用于实例区分各个数据库。“数据库连接类型”选择“SID”时才有该参数。 dbname 数据库名称 配置为要连接的数据库名称。“数据库连接类型”选择“Service Name”时才有该参数。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 cdm 密码 用户密码。 使用Agent 是否选择通过Agent从源端提取数据。 是 Agent 单击“选择”，选择管理Agent中已创建的Agent。 Oracle版本 创建Oracle连接时才有该参数，根据您Oracle数据库的版本来选择。当出现“java.sql.SQLException: Protocol violation异常”时，可以尝试更换版本号。 高于12.1 一次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 Oracle到DWS迁移时，可能出现目的端写太久导致迁移超时的情况。此时请减少Oracle源端“一次请求行数”参数值的设置。 1000 连接属性 可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 说明 CDM作业默认打开了useCursorFetch开关，即JDBC连接器与关系型数据库的通信使用二进制协议。 开源MySQL数据库支持useCursorFetch参数，无需对此参数进行设置。 阿里云AnalyticDB(ADB)数据库对useCursorFetch参数有兼容问题，在配置与ADB连接时需要关闭useCursorFetch开关，即添加连接属性“useCursorFetch”，对应属性值设置为“false”。如不进行此设置，会出现日期转换出错的情况。 sslmoderequire 引用符号 可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 '

与表格存储服务的关系 表格存储服务（CloudTable Service）作为数据湖探索的数据来源及数据存储，与数据湖探索配合一起使用，关系有如下两种。 • 数据来源：数据湖探索服务提供DataFrame和SQL方式从CloudTable中导入数据到数据湖探索。 • 存储查询结果：数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到CloudTable表中。 与关系型数据库服务（RDS）的关系 关系型数据库（Relational Database Service）作为数据湖探索的数据来源及数据存储，与数据湖探索配合一起使用，关系有如下两种。 • 数据来源：数据湖探索服务提供DataFrame和SQL方式从RDS中导入数据到数据湖探索。 • 存储查询结果：数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到RDS表中。 与数据仓库服务的关系 数据仓库服务（Data Warehouse Service）作为数据湖探索的数据来源及数据存储，与数据湖探索配合一起使用，关系有如下两种。 • 数据来源：数据湖探索服务提供DataFrame和SQL方式从数据仓库中导入数据到数据湖探索。 • 存储查询结果：数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到数据仓库服务表中。 与云搜索服务的关系 云搜索服务（Cloud Search Service）作为数据湖探索的数据来源及数据存储，与数据湖探索配合一起使用，关系有如下两种。 • 数据来源：数据湖探索服务提供DataFrame和SQL方式从云搜索服务中导入数据到数据湖探索。 • 存储查询结果：数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到云搜索服务表中。

本章主要介绍翼MapReduce的恢复Kafka元数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对ZooKeeper进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，导致Kafka组件全部故障无法使用，或者迁移数据到新集群的场景中，需要对Kafka元数据进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复Kafka任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复Kafka元数据，建议手动备份最新Kafka元数据后，再执行恢复操作。否则会丢失从备份时刻到恢复时刻之间的Kafka元数据信息。 对系统的影响 元数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 元数据恢复后，Kafka的消费者在ZooKeeper上保存的offset信息将会回退，可能导致重复消费。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 先停止Kafka服务，待恢复完成后，再启动Kafka服务。 登录FusionInsight Manager，请参见登录管理系统。

本章节主要介绍配置FTP/SFTP源端参数。 作业中源连接为配置FTP/SFTP连接时，源端作业参数如下表所示。 高级属性里的参数为可选参数，默认隐藏，单击界面上的“显示高级属性”后显示。 表 FTP/SFTP作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源目录或文件 待迁移数据的目录或单个文件路径。文件路径支持输入多个文件（最多50个），默认以“l"分隔，也可以自定义文件分隔符。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据。 /ftp/a.csvl/ftp/b.txt 基本参数 文件格式 指CDM以哪种格式解析数据，可选择以下格式： CSV格式：以CSV格式解析源文件，用于迁移文件到数据表的场景。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 JSON格式：以JSON格式解析源文件，一般都是用于迁移文件到数据表的场景。 CSV格式 基本参数 JSON类型 当“文件格式”选择为“JSON格式”时，才有该参数。JSON文件中存储的JSON对象的类型，可以选择“JSON对象”或“JSON数组”。 JSON对象 基本参数 记录节点 当“文件格式”选择为“JSON格式”并且“JSON类型”为“JSON对象”时，才有该参数。对该JSON节点下的数据进行解析，如果该节点对应的数据为JSON数组，那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割。 data.list 高级属性 换行符 文件中的换行符，默认自动识别“n”、“r”或“rn”。当“文件格式”选择为“CSV格式”时，才有该参数。 n 高级属性 字段分隔符 文件中的字段分隔符，使用Tab键作为分隔符请输入“t”。当“文件格式”选择为“CSV格式”时，才有该参数。 , 高级属性 使用包围符 选择“是”时，包围符内的字段分隔符会被视为字符串值的一部分，目前CDM默认的包围符为："。 否 高级属性 使用正则表达式分隔字段 选择是否使用正则表达式分隔字段，当选择“是”时，“字段分隔符”参数无效。当“文件格式”选择为“CSV格式”时，才有该参数。 是 高级属性 正则表达式 分隔字段的正则表达式。 ^(d.d) (w ) [(.)] ([w.] ) (w.). 高级属性 首行为标题行 “文件格式”选择“CSV格式”时才有该参数。在迁移CSV文件到表时，CDM默认是全部写入，如果该参数选择“是”，CDM会将CSV文件的第一行数据作为标题行，不写入目的端的表。 是 高级属性 编码类型 文件编码类型，例如：“UTF8”或“GBK”。只有文本文件可以设置编码类型，当“文件格式”选择为“二进制格式”时，该参数值无效。 UTF8 高级属性 压缩格式 当“文件格式”为“CSV格式”或“JSON格式”时该参数才显示。选择对应压缩格式的源文件： 无：表示传输所有格式的文件。 GZIP：表示只传输GZIP格式的文件。 ZIP：表示只传输ZIP格式的文件。 TAR.GZ：表示只传输TAR.GZ格式的文件。 无 高级属性 压缩文件后缀 压缩格式非无时，显示该参数。 该参数需要解压缩的文件后缀名。当一批文件中以该值为后缀时，才会执行解压缩操作，否则则保持原样传输。当输入或为空时，所有文件都会被解压。 高级属性 源文件处理方式 作业执行成功后对源端文件的处理方式： 不处理。 重命名：作业执行成功后将源文件重命名，添加用户名和时间戳的后缀。 删除：作业执行成功后将源文件删除。 不处理 高级属性 启动作业标识文件 选择是否开启作业标识文件的功能。当源端路径下存在启动作业的标识文件时才启动作业，否则会挂起等待一段时间，等待时长在下方“等待时间”中配置。 是 高级属性 标识文件名 选择开启作业标识文件的功能时，需要指定启动作业的标识文件名。指定文件后，只有在源端路径下存在该文件的情况下才会运行任务。该文件本身不会被迁移。 ok.txt 高级属性 等待时间 选择开启作业标识文件的功能时，如果源路径下不存在启动作业的标识文件，作业挂机等待的时长，当超时后任务会失败。 等待时间设置为0时，当源端路径下不存在标识文件，任务会立即失败。 单位：秒。 10 高级属性 文件分隔符 “源目录或文件”参数中如果输入的是多个文件路径，CDM使用这里配置的文件分隔符来区分各个文件，默认为 。 高级属性 过滤类型 满足过滤条件的路径或文件会被传输，该参数有“无”、“通配符”和“正则表达式”三种选择。 无 高级属性 目录过滤器 “过滤类型”选择“通配符”时，用通配符过滤目录，符合过滤器规则的目录，允许进行迁移。支持配置多个路径，中间使用“,”分隔。 input,out 高级属性 文件过滤器 “过滤类型”选择“通配符”时，用通配符过滤目录下的文件，符合过滤器规则的文件，允许进行迁移。支持配置多个文件，中间使用“,”分隔。 .csv 高级属性 时间过滤 选择“是”时，可以根据文件的修改时间，选择性的传输文件。 是 高级属性 起始时间 “过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间大于该时间才会被传输，输入的时间格式需为“yyyyMMdd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyyMMdd HH:mm:ss,90,DAY))}表示：只迁移最近90天内的文件。 20190701 00:00:00 高级属性 终止时间 “过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间小于该时间才会被传输，输入的时间格式需为“yyyyMMdd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyyMMdd HH:mm:ss))} 表示：只迁移修改时间为当前时间以前的文件。 20190730 00:00:00 高级属性 加密方式 如果源端数据是被加密过的，则CDM支持解密后再导出。这里选择是否对源端数据解密，以及选择解密算法： 无：不解密，直接导出。 AES256GCM：使用长度为256byte的AES对称加密算法，目前加密算法只支持AES256GCM（NoPadding）。该参数在目的端为加密，在源端为解密。 AES256GCM 高级属性 忽略不存在原路径/文件 如果将其设为是，那么作业在源路径不存在的情况下也能成功执行。 否 高级属性 数据加密密钥 “加密方式”选择“AES256GCM”时显示该参数，密钥由长度64的十六进制数组成，且必须与加密时配置的“数据加密密钥”一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B 高级属性 初始化向量 “加密方式”选择“AES256GCM”时显示该参数，初始化向量由长度32的十六进制数组成，且必须与加密时配置的“初始化向量”一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F 高级属性 MD5文件名后缀 “文件格式”选择“二进制格式”时，该参数才显示。 校验CDM抽取的文件，是否与源文件一致。 .md5

本章节为您介绍如何快速启用数据加密网关。 基于透明化服务理念，业务应用无需改造即可实现数据库中敏感数据的保护，支持国密算法，保证存储过程的机密性和完整性，满足应用和数据安全的合规要求。 启用流程 数据加密网关启用流程大致可参考下图： 步骤一：创建数据库代理 1. 使用运维账号登录数据加密网关。 2. 在左侧导航栏选择“数据库管理 > 数据库列表”，进入“数据库列表”页面。 3. 单击页面左上角的“新增”按钮，进入“新增代理实例”页面。 4. 填写数据库实例代理相关内容，填写完成后单击“提交”，即可完成数据库代理配置。 步骤二：添加数据库实例 1. 使用运维账号登录数据加密网关。 2. 在左侧导航栏选择“数据库管理 > 数据库列表”，进入“数据库列表”页面。 3. 单击“操作”列的“新增实例”按钮，跳转至“新增实例”页面。 4. 填写相关参数，将实例纳管至数据库代理中。 步骤三：配置加密规则 1. 选择需要配置加密规则的数据库，单击“操作”列的“配置加密”。 2. 在“表名”下拉框中选择需要配置加密规则的数据库表。 3. 单击“加密配置”，选择需要加密的字段开始配置。 步骤四：启用数据加密服务 配置完成后，单击对应数据库实例的“加密洗数”即可开始使用数据加密服务。

本页介绍天翼云TeleDB数据库中全密态加密。 全密态加密是一种数据加密技术，‌旨在确保数据在整个生命周期（‌包括传输、‌运算和存储）‌中始终保持加密状态，‌从而保护数据隐私。‌这种加密技术不仅涉及到数据的存储加密，‌还包括数据在处理过程中的加密，‌确保即使在数据传输和计算过程中，‌攻击者也无法获取有效的数据信息。‌全密态加密技术的实现依赖于特定的密钥管理机制，‌包括客户端主密钥（‌CMK）‌和数据加密密钥（‌CEK）‌的使用，‌其中CMK用于加密CEK，‌而CEK则用于加密用户数据，‌从而形成一个完整的数据加密体系。 全密态加密方案 全密态加密的实现原理是用户发起查询任务指令，在客户端按照与数据相同的加密策略(加密算法，加密密钥等)完成加密。参数加密完成后整个查询任务被变更成⼀个加密的查询任务并发到数据库服务端。查询得到的结果仍然为密⽂，并最终返回客户端进⾏解密。其核心在用户自己持有数据加解密密钥且数据加解密过程仅在客⼾侧完成，数据以密⽂形态存在于数据库服务侧的整个生命周期过程中，并在数据库服务端完成查询运算。 开启全密态加密 您可参考如下操作开启全密态加密。 管控侧操作： 1. 以用户名和密码登录TeleDBDCP管理控制台。 2. 进入TeleDBDCP控制台管理页面，开通实例。您可参考《安装部署》中实例服务初始化及实例开通章节开通实例。 3. 在实例开通页面，填写基本信息页面，打开KMS开关，选择KMS机器。 说明 KMS开启后无法关闭，选择后无法更改。 数据库侧操作： 1. 在安装⽬录下新建 etc/localkms ⽬录⽤于存储CMK⽂件。 2. psql使⽤C开启全密态。 psql dxxx pxxx hxxx C 3. 创建主密钥CMK。 CREATE CLIENT MASTER KEY cmk1 WITH (KEYSTORE LOCALKMS , KEYPATH "kms1", ALGORITHM SM2); 4. 创建数据密钥CEK。 CREATE COLUMN ENCRYPTION KEY CEK1 WITH VALUES (CLIENTMASTERKEY cmk1,ALGORITHM SM4SM3); 5. 创建加密表，指定加密列。 CREATE TABLE creditcardinfo ( idnumber int,name text encrypted with (columnsencryptionkey cek1, encryptiontype DETERMINISTIC), creditcard varchar(19) encrypted with (columnsencryptionkey cek1,encryptiontype DETERMINISTIC)); 6. 执⾏SQL（仅⽀持SELECT、UPDATE、INSERT、DELETE）。 使用示例 创建CMK主秘钥 CREATE CLIENT MASTER KEY cmk12 WITH (KEYSTORE localkms, KEYPATH "localkms1" , ALGORITHM SM2);CREATE CLIENT MASTER KEY cmk2 WITH (KEYSTORE localkms, KEYPATH "localkms1" , ALGORITHM SM2); 创建CEK数据秘钥 CREATE COLUMN ENCRYPTION KEY cek1 WITH VALUES (CLIENTMASTERKEY cmk1, ALGORITHM SM4SM3);CREATE COLUMN ENCRYPTION KEY cek2 WITH VALUES (CLIENTMASTERKEY cmk2, ALGORITHM SM4SM3);DROP CLIENT MASTER KEY cmk1 CASCADE 创建加密表，col1未加密，col2使⽤cek1加密，col3和col4使⽤cek2加密 CREATE TABLE IF NOT EXISTS tbl1 (col1 INT,col2 INT ENCRYPTED WITH (COLUMNSENCRYPTIONKEY cek1, ENCRYPTIONTYPE DETERMINISTIC),col3 TEXT ENCRYPTED WITH (COLUMNSENCRYPTIONKEY cek2, ENCRYPTIONTYPE DETERMINISTIC),col4 VARCHAR(20) ENCRYPTED WITH (COLUMNSENCRYPTIONKEY cek2, ENCRYPTIONTYPE DETERMINISTIC));

本章节为您介绍数据识别相关内容。 数据识别模块包含数据标签和敏感数据两个子模块。主要功能是将 API 响应体解析后 ，根据标签对敏感数据进行识别，并展示识别到的敏感数据。 数据识别 API安全网关系统内置25个敏感数据标签，可识别身份证、手机号、邮箱、银行卡等敏感数据，并且支持用户自定义添加标签和识别规则。 新增标签 1.登录API安全网关。 2.在左侧导航栏选择“数据识别 > 数据标签”，进入数据标签页面，即可查看系统内现有的标签。 说明 列表默认展示标签名称、分类、分级、来源、描述。 来源为“系统内置”的标签不允许删除和编辑识别规则。 3.单击页面左上角的“新增”按钮，即可开始新增标签。 字段 说明 标签名称 自定义标签名称，名称不可重复。 启用状态 默认启用，可禁用；禁用后不识别该标签。 分类 默认未分类，可下拉选择内置分类。 分级 默认未分级，可下拉选择内置分级。 描述 自定义描述说明。 识别规则—正则表达式 填写正则表达式，系统可根据正则表达式识别标签。 4.填写完成后单击“保存”即可完成标签新增。

本章介绍翼MapReduce的恢复HBase元数据功能。 操作场景 为了确保HBase元数据（主要包括tableinfo文件和HFile）安全，防止因HBase的系统表目录或者文件损坏导致HBase服务不可用，或者系统管理员需要对HBase系统表进行重大操作（如升级或迁移等）时，需要对HBase元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建恢复HBase任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 建议一个恢复任务只恢复一个组件的元数据，避免因停止某个服务或实例影响其他组件的数据恢复。同时恢复多个组件数据，可能导致数据恢复失败。 HBase元数据不能与NameNode元数据同时恢复，会导致数据恢复失败。 对系统的影响 元数据恢复前，需要停止HBase服务，在这期间所有上层应用都会受到影响，无法正常工作。 元数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 元数据恢复后，需要重新启动HBase的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 检查HBase元数据备份文件保存路径。 恢复HBase元数据需要先停止HBase服务。 登录FusionInsight Manager，请参见登录管理系统。

态势感知的数据来源。 态势感知（专业版）基于云上威胁数据和云服务采集的威胁数据，通过大数据挖掘和机器学习，分析并呈现威胁态势，并提供防护建议。 一方面采集全网流量数据，以及安全防护设备日志等信息，通过大数据智能AI分析采集的信息，呈现资产的安全状况，并生成相应的威胁告警。 另一方面汇聚企业主机安全（Host Security Service，HSS）、Web应用防火墙（Web Application Firewall，WAF）等安全防护服务上报的告警数据，从中获取必要的安全事件记录，进行大数据挖掘和机器学习，智能AI分析并识别出攻击和入侵，帮助用户了解攻击和入侵过程，并提供相关的防护措施建议。 态势感知（专业版）通过对多方面的安全数据的分析，为安全事件的处置决策提供依据，实时呈现完整的全网攻击态势。

指标分类 指标名称 指标说明 磁盘占用率 实例数据磁盘使用量 该指标用于统计测量对象的实例数据磁盘已使用大小，该值为实时值。 (单位：GB) 磁盘占用率 实例数据磁盘总量 该指标用于统计测量对象的实例数据磁盘总大小，该值为实时值。 (单位：GB) 磁盘占用率 实例数据磁盘使用率 该指标用于统计测量对象的实例数据磁盘已使用百分比，该值为实时值。 (单位：%) 负载 死锁次数 该指标用于统计数据库发生事务死锁的次数，取该时间段的增量值。 (单位：次) 负载 80% SQL的响应时间 该指标用于统计数据库80% SQL的响应时间，该值为实时值。 (单位：us) 负载 95% SQL的响应时间 该指标用于统计数据库95% SQL的响应时间，该值为实时值。 (单位：us) 内核资源 buffer命中率 该指标用于统计数据库buffer命中率。 (单位：%)

标准快照容量计算原理 云硬盘的快照总容量以快照链（一块云硬盘中所有快照组成的关系链）为单位进行统计，统计当前云硬盘所有快照的数据块占用的存储空间。云硬盘的单个快照容量不会超过云硬盘容量，但是随着快照的增加，快照链容量可能会大于云硬盘容量。 快照链增加快照容量计算 以下图中的场景为例，假设快照的数据块为固定大小2MiB，那么快照链增加快照后的容量计算如下： 创建快照1时，云硬盘的快照链中仅有快照1，快照链容量 快照1容量 数据块A容量 + 数据块B容量 + 数据块C容量 6MiB 创建快照2时，云硬盘的快照链中有快照1、快照2，快照链容量 快照1容量 + 快照2容量 6MiB + （数据块A1容量 + 数据块B1容量 + 数据块D容量） 12MiB 创建快照3时，云硬盘的快照链中有快照1、快照2、快照3，快照链容量 快照1容量 + 快照2容量 + 快照3容量 6MiB + 6MiB +（数据块A2容量 + 数据块C1容量 + 数据块E容量） 18MiB 快照链删除快照容量计算 删除快照时，会遍历快照元数据文件中的所有数据块信息，如下图所示，遵循以下删除原则： 数据块被下一个快照继承，该数据块不能删除。 数据块没有被下一个快照继承： 继承数据块：如果上一个快照未被删除，那么该继承数据块不能删除；否则可以删除。 修改数据块：可以删除。 新增数据块：可以删除。 以下通过举例说明删除快照后快照链容量计算。 以图65中的场景为例，在14:00删除快照2，在15:00删除快照3，那么快照链删除快照后的容量计算如下： 删除快照前，快照链容量 快照1容量 + 快照2容量 + 快照3容量 18MiB 14:00删除快照2，遍历快照2元数据文件中的所有数据块信息： 数据块A1：没有被快照3继承，且为快照1中的数据块A修改而来（修改数据块），因此数据块A1可以删除。 数据块B1：被快照3继承，数据块B1不能删除。 数据块C：没有被快照3继承，但继承于快照1（继承数据块）且快照1未被删除，因此数据块C不能删除。 数据块D：被快照3继承，因此数据块D不能删除。 删除快照2后，快照链容量 18MiB 数据块A1容量 16MiB 15:00删除快照3，遍历快照3元数据文件中的所有数据块信息： 数据块A2：没有被下一快照继承，且为快照2中的数据块A1修改而来（修改数据块），因此数据块A2可以删除。 数据块B1：没有被下一快照继承，但继承于快照2且快照2已被删除，因此数据块B1可以删除。 数据块C1：没有被下一快照继承，且为快照2中的数据块C修改而来，因此数据块C1可以删除。 数据块D：没有被下一快照继承，但继承于快照2且快照2已被删除，因此数据块D可以删除。 数据块E：没有被下一快照继承，且为快照3新增数据块，因此数据块E可以删除。 删除快照3后，快照链容量 16MiB 数据块A2容量 数据块B1容量 数据块C1容量 数据块D容量 数据块E容量 6MiB

本章节介绍如何使用ZooKeeper导入和导出数据 概述 ZooKeeper提供通过快照（Snapshot）导入数据，同时支持导出快照（Snapshot）和事务日志（Transaction log）文件。本文介绍如何使用ZooKeeper导入和导出数据。 前提条件 已开通微服务引擎MSE，参考章节：创建ZooKeeper引擎 开通ZooKeeper实例并且状态正常。 操作步骤 1. 登录微服务引擎MSE注册配置中心管理控制台，选择资源池。 2. 在左侧导航栏，选择注册配置中心 > 实例列表。 3. 在实例列表页面，单击目标实例ID、实例名称或者目标行“管理”按钮均可跳转至实例基础信息页面。 4. 在左侧导航栏，选择数据管理> Znode管理 > 数据导入导出。 数据导出 在Znode管理中，点击数据导出按钮，选择导出的数据类型，目前仅支持导出最新的快照文件和最新的3个事务日志文件。导出过程预计需要2到5分钟，导出完毕后可以在下载列表获取文件。 点击下载按钮，即可下载相关文件的压缩包。如果导出失败，请按照报错信息及提示重新操作导出。 数据导入 单击导入后，选中要导入的快照文件进行导入，目前仅支持Snapshot格式的快照文件导入，请注意导入文件格式。考虑容量安全问题，数据导入功能目前限制导入的文件大小为200M。 导入文件会导致集群短暂不可用，原本集群的数据将被重置，集群将重新选主。

初始化专属加密实例 说明 目前不支持SSH登录到DHSM，需要通过专属加密实例管理工具管理DHSM。 以使用Windows镜像的ECS作为专属加密实例管理节点为例，初始化专属加密实例操作步骤如下所示。 步骤 1 购买一台Windows镜像的ECS作为专属加密实例管理节点。 登录管理控制台。 单击页面左侧的，选择“计算> 弹性云服务器”，进入弹性云服务器列表界面。 单击“购买弹性云服务器”。 区域、可用区：请与购买的专属加密实例保持一致。 镜像：请选择Windows公共镜像。 VPC：请与专属加密实例所在VPC保持一致。 弹性公网IP：为方便在您本地实例化加密机，请绑定弹性公网IP。 说明 待初始化专属加密实例完成后，您可以解绑弹性公网IP。若后续有需要，可重复绑定、解绑操作。 其他参数请根据实际情况进行选择。 步骤 2 根据收到的专属加密实例管理工具及配套文档，初始化专属加密实例。 步骤 3 初始化完成后，可通过管理工具进行生成、销毁、备份、恢复秘钥等操作。 说明 初始化和管理过程中有任何问题，请咨询专属加密服务安全专家。 安装安全代理软件并授权 用户需要在业务APP节点上安装安全代理软件，使业务APP与专属加密实例建立安全通道。 步骤 1 在管理工具上下载访问专属加密实例的证书。 步骤 2 在业务APP节点上安装安全代理软件。 步骤 3 将证书导入到安全代理软件，授予业务APP访问专属加密实例的权限。 步骤 4 业务APP即可通过SDK或者API接口的方式访问专属加密实例。 说明 您可以在安全代理软件配置多个专属加密实例，实现负载均衡功能。

本章节为您介绍如何快速使用数据脱敏能力。 第一步：新增数据源 1.使用系统管理员账号登录数据脱敏实例。 2.在左侧目标栏选择“数据资产管理 > 数据源/目标”，进入“数据源/目标”管理页面。 3.单击页面左上角的“新增”按钮，在右侧的窗口中数据需要新增数据源的相关信息。 注意 不同的数据源类型会存在不同的参数填写情况。 若您选择的数据源类型为StructFile下的LOCAL/FTP/SFTP，且文件类型为csv/txt/del，则可以在高级属性中填写表头行数：若表头行数为0，将自动填充表头；若行数大于1，则仅保留最后一行作为新表头，此配置可以使数据扫描更加准确。 4.填写完成后，单击窗口左下角的“测试连接”按钮，测试数据源的连通性。 5.连接成功后，若需要再新增目标请单击“保存并新增数据目标”重复上述操作，否则请单击“保存”按钮。 第二步：配置脱敏任务 1.使用系统管理员登录数据脱敏实例。 2.在左侧导航栏选择“脱敏/水印任务 > 结构化任务 ”，进入“结构化任务”页面。 3.单击页面左上角的“新增”按钮，进入“任务新增”界面。 4.填写完成后，单击“下一步”即可完成脱敏规则的基础配置。 第三步：配置脱敏规则 在完成基础配置后，会开始脱敏规则的创建。 配置数据脱敏任务时，您可以选择手动配置所需字段对应的脱敏规则，或者一键选择数据安全专区提供的脱敏模板。 若您希望创建自己的脱敏模板，可单击“管理”按钮，进入对应配置页面配置自定义脱敏模板，单击“保存”后单击“刷新” ，即可在下拉框中选择新创建的自定义模板。如下图所示。

参数 说明 数据源 目前数据存储所用的源端云厂商，如阿里云、腾讯云、华为云等。 Access key/Secret sccess key 访问源端云厂商数据所用提供的AK/SK。 EndPoint 访问源端数据的EndPoint。 BucketName 待迁移数据的源Bucket名称。