参数 描述 流速模式 流速模式支持限速和不限速，默认为不限速。 限速 自定义的最大同步速度，全量同步过程中的同步速度将不会超过该速度。 当流速模式选择了“限速”时，你需要通过流速设置来定时控制同步速度。流速设置通常包括限速时间段和流速大小的设置。默认的限速时间段为全天限流，您也可以根据业务需求自定义时段限流。自定义的时段限流支持最多设置3个定时任务，每个定时任务之间不能存在交叉的时间段，未设定在限速时间段的时间默认为不限速。 流速的大小需要根据业务场景来设置，不能超过9999MB/s。 不限速 对同步速度不进行限制，通常会最大化使用源数据库的出口带宽。该流速模式同时会对源数据库造成读消耗，消耗取决于源数据库的出口带宽。比如源数据库的出口带宽为100MB/s，假设高速模式使用了80%带宽，则同步对源数据库将造成80MB/s的读操作IO消耗。 说明 限速模式只对全量阶段生效，增量阶段不生效。 您也可以在创建任务后修改流速模式。具体方法请参见 修改流速模式。 增量阶段冲突策略 该冲突策略特指增量同步中的冲突处理策略，全量阶段的冲突默认忽略。冲突策略目前支持如下三种形式： 忽略 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将跳过冲突数据，继续进行后续同步。 报错 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），同步任务将失败并立即中止。 覆盖 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将覆盖原来的冲突数据。 当数据发生冲突时，针对如下情况，建议选择“忽略”或者“覆盖”，否则建议选择“报错”： 目标数据库存在数据 多对一同步场景 目标数据库手动更新数据 是否过滤DROP DATABASE 实时同步过程中，源数据库端执行的DDL操作在一定程度上会影响数据的同步能力，为了降低同步数据的风险，数据复制服务提供了过滤DDL操作的功能，目前支持默认过滤删除数据库的操作。 是，表示过程中不会同步用户在源数据库端执行的删除数据库的操作。 否，则表示过程中将相关操作同步到目标库。 对象同步范围 对象同步范围支持普通索引和增量DDL同步。您可以根据业务需求选择是否进行同步。 数据同步拓扑 数据同步功能支持多种同步拓扑，您可以根据业务需求规划您的同步实例。数据同步拓扑说明可参考 数据同步拓扑介绍。 增量支持DDL 用户根据需求选择增量同步的DDL类型，不同链路支持的DDL类型以显示为准。 一对一、一对多场景：如果业务上认为源和目标应该使用保持严格一致，那么高危类DDL也应该勾选并同步。如果业务上确定某个高危DDL不应该发生，则可以不勾选同步高危类DDL，这样DRS将拦截过滤这个DDL，从而起到保护目标数据的作用。但需要知晓，过滤DDL的附带问题是可能导致同步失败，例如过滤删列动作。 多对一数据聚合场景：最佳方式是推荐只选择同步加列DDL，其他大部分DDL同步都可能因目标表修改而导致数据不一致或多对一中其他任务失败的情况发生。 同步对象 可选表级同步、库级同步，您可以根据业务场景选择对应的数据进行同步。 选择数据的时候支持搜索，以便您快速选择需要的数据库对象。 如果有切换源数据库的操作，请在选择同步对象前单击右上角的 ，以确保待选择的对象为最新源数据库对象。 在同步对象右侧已选对象框中，可以使用对象名映射功能进行源数据库和目标数据库中的同步对象映射，具体操作可参考对象名映射。

不可以。 若用户主密钥被彻底删除，KMS将不再保留任何该密钥的数据，使用该密钥加密的数据将无法解密；若用户主密钥没有被彻底删除，则可以通过KMS界面取消删除用户主密钥。 若用户主密钥是通过KMS导入的密钥，且仅删除了密钥材料，则可以将本地备份的密钥材料再次导入原来的空密钥，回收用户数据。若密钥材料没有在本地备份，则无法回收用户数据。

本章节主要介绍库表管理概述。 库表管理主要包括如下功能： 数据库权限管理 表权限管理 创建数据库和表 删除数据库和表 修改数据库和表所有者 导入数据 将DLI数据导出至OBS 查看元数据 预览数据 DLI表和OBS表的区别 DLI表的数据存储在DLI服务内部，查询性能更好，适用于对时延敏感类的业务，如交互类的查询等。 OBS表的数据存储在OBS上，适用于对时延不敏感的业务，如历史数据统计分析等。 约束与限制 数据库 −“default”为内置数据库，不能创建名为“default”的数据库。 −DLI支持创建的数据库的最大数量为50个。 数据表 −DLI支持创建的表的最大数量为5000个。 −DLI支持创建表类型： Managed：数据存储位置为DLI的表。 External：数据存储位置为OBS的表。 View：视图，视图只能通过SQL语句创建。 跨源表：表类型同样为External。 −创建DLI表时不支持指定存储路径。 数据导入 −仅支持将OBS上的数据导入DLI或OBS中。 −支持将OBS中CSV，Parquet，ORC，JSON和Avro格式的数据导入到在DLI中创建的表。 −将CSV格式数据导入分区表，需在数据源中将分区列放在最后一列。− 导入数据的编码格式仅支持UTF8。 数据导出 −只支持将DLI表（表类型为“Managed”）中的数据导出到OBS桶中，且导出的路径必须指定到文件夹级别。 −导出文件格式为json格式，且文本格式仅支持UTF8。 −支持跨帐号导出数据，即B账户对A账户授权后，A账户拥有B账户OBS桶的元数据信息和权限信息的读取权限，以及路径的读写权限，则A账户可将数据导出至B账户的OBS路径中。

本节介绍了云容器引擎的最佳实践:存储卷。 存储基础知识 云容器引擎使用Kubernetes编排系统作为集群、应用、存储、网络等模块的管理平台。本文为您介绍容器存储相关的基础知识，以便在使用容器服务的存储能力时，了解相应模块的基础知识和使用原则。 数据卷（Volume） 因为容器中的文件在磁盘上是临时存放的，所以Kubernetes定义了数据卷（Volume）以解决容器中的文件因容器重启而丢失的问题。数据卷（Volume）是Pod与外部存储设备进行数据传递的通道，也是Pod内部容器间、Pod与Pod间、Pod与外部环境进行数据共享的方式。数据卷（Volume）定义了外置存储的细节，并内嵌到Pod中作为Pod的一部分。实质是外置存储在Kubernetes系统的一个资源映射，当负载需要使用外置存储的时候，可以从数据卷（Volume）中查到相关信息并进行存储挂载操作。 数据卷（Volume）分类 描述 本地存储 适用于本地存储的数据卷，例如HostPath、emptyDir等。本地存储卷的特点是数据保存在集群的特定节点上，并且不能随着应用漂移，节点停机时数据即不再可用。 网络存储 适用于网络存储的数据卷，例如Ceph、GlusterFS、NFS、iSCSI等。网络存储卷的特点是数据不在集群的某个节点上，而是在远端的存储服务上，使用存储卷时需要将存储服务挂载到本地使用。 Secret和ConfigMap Secret和ConfigMap是特殊的数据卷，其数据是集群的一些对象信息，该对象数据以卷的形式被挂载到节点上供应用使用。 PVC 一种数据卷定义方式，将数据卷抽象成一个独立于Pod的对象，这个对象定义（关联）的存储信息即存储卷对应的真正存储信息，供Kubernetes负载挂载使用。 数据卷（Volume）使用原则：一个Pod可以挂载多个数据卷（Volume）。一个Pod可以挂载多种类型的数据卷（Volume）。每个被Pod挂载的Volume卷，可以在不同的容器间共享。Kubernetes环境推荐使用PVC和PV方式挂载数据卷（Volume）。虽然单Pod可以挂载多个数据卷（Volume），但是并不建议给一个Pod挂载过多数据卷。

本章节主要介绍配置的配置OBS桶。 脚本、作业或节点的历史运行记录依赖于OBS桶，如果未配置测试运行历史OBS桶，则无法查看历史运行的详细信息。请参考本节操作配置OBS桶。 配置方法 1.登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2.在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 3.选择“OBS桶”。 4.配置OBS桶的信息。 详见下图：配置OBS桶 5.单击“保存”，完成配置。

本文介绍控制台用量分析与用户分析显示数据不一致的原因。 全站加速原理 全站加速的加速原理是：当用户发起请求，全球负载均衡组件会依据用户所在的区域所在运营商就近选择一个边缘节点给到用户接入全站加速平台，以此保障加速效果。那么就会存在由于没有A区域的节点，为了保障加速效果，使用就近B区域的节点去服务A区域用户的情况。详情请参见：什么是全站加速。 问题分析 控制台用量分析所统计的数据是：服务的边缘节点所在的区域的数据总和。 控制台用户分析所统计的数据是：用户IP所在的区域的数据总和。 因此就会存在用量查询与用户分析所统计的数据不一致的问题。

参数 配置说明 重删存储名称 用户自定义的重删存储名称，重删存储名称只能以英文字母开头，可包含数字，不能包含中文及特殊字符。 存储类型 指存储类型本地存储和对象存储。 备份服务器 选择备份至该重删存储的备份服务器。 数据地址 填写备份服务器的IP地址，如果备份服务器有多个网卡，可通过该网卡IP进行数据传输。 对象存储 填写选择已经创建好的对象存储。 对象桶 选择该对象存储下为重删存储创建的对象桶，需要全新创建的空对象桶作为底层存储。 元数据存储位置 默认推荐为对象存储，也可以选择本地存储。 元数据服务端口 默认为26331，建议采用默认值。 指纹服务端口 默认为26332，不可编辑，随元数据端口递增显示。 数据块服务端口 默认为26333，不可编辑，随指纹服务端口递增显示。 指纹库目录 指纹库目录需要为空目录，建议使用SSD或NVMe硬盘作为存储路径。 数据块目录 本地存储类型可以选择数据块存储目录，用于备份数据分块处理。对象存储类型则没有该选项。 存储空间回收策略 支持设置按周、按月回收策略定期检查并清理无需的指纹数据。 描述 可自定义填写当前重删存储的描述信息。

本章节主要介绍 恢复元数据 。 操作场景 在用户意外修改删除、数据需要找回，对元数据组件进行重大操作（如升级、重大数据调整等）后系统数据出现异常或未达到预期结果，模块全部故障完全无法使用，或者迁移数据到新集群的场景中，需要对元数据进行恢复操作。 该任务指导用户通过MRS Manager创建恢复元数据任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的元数据。 必须使用同一时间点的OMS和LdapServer备份数据进行恢复，否则可能造成业务和操作失败。 MRS集群默认使用DBService保存Hive的元数据。 对系统的影响 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，依赖DBService的组件可能配置过期，需要重启配置过期的服务。 前提条件 检查OMS和LdapServer备份文件是否是同一时间点备份的数据。 检查OMS资源状态是否正常，检查LdapServer实例状态是否正常。如果不正常，不能执行恢复操作。 检查集群主机和服务的状态是否正常。如果不正常，不能执行恢复操作。 检查恢复数据时集群主机拓扑结构与备份数据时是否相同。如果不相同，不能执行恢复操作，必须重新备份。 检查恢复数据时集群中已添加的服务与备份数据时是否相同。如果不相同，不能执行恢复操作，必须重新备份 检查DBService主备实例状态是否正常。如果不正常，不能执行恢复操作。 停止依赖MRS集群运行的上层业务应用。 在MRS Manager停止所有待恢复数据的NameNode角色实例，其他的HDFS角色实例必须保持正常运行，恢复数据后重启NameNode。NameNode角色实例重启前无法访问。 检查NameNode备份文件是否保存在主管理节点“数据存放路径/LocalBackup/”。

本文主要介绍查看监控数据。 操作场景 云监控对Kafka实例的运行状态进行日常监控，可以通过控制台直观的查看Kafka实例各项监控指标。 前提条件 已创建Kafka实例，且实例中有可消费的消息。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法，查看监控数据。 在Kafka实例名称后，单击。跳转到云监控页面，查看实例、节点、队列和消费组的监控数据，数据更新周期为1分钟。 单击Kafka实例名称，进入实例详情页。在左侧导航栏单击“监控”，进入监控页面，查看实例、节点、队列和消费组的监控数据，数据更新周期为1分钟。

概念 说明 站点复制对 一对拥有复制关系的生产站点和容灾站点。 云容灾网关 云容灾网关将生产站点所有被容灾的服务器上的数据进行汇聚和重删压缩加密，并实时同步到容灾站点。 代理客户端 代理客户端将所在服务器上的数据实时传输到云容灾网关。 开启保护 生产业务位于生产站点时，数据同步停止后可执行此操作，用来开始数据同步。 切换 将业务从用户的生产站点切换到容灾站点。切换后数据同步中断，保护实例的状态是切换完成。 切回 切换完成后，当前生产业务位于容灾站点，通过切回操作，可将生产业务从容灾站点切回到生产站点。切回完成后，数据不再进行同步。 反向重保护 切换完成后，数据不会自动反向同步（容灾站点到生产站点），保护实例处于停止保护状态，如需开始反向数据同步，需要进行反向重保护操作。 重保护 切回完成后，数据不会自动同步（生产站点到容灾站点），保护实例处于停止保护状态，如需开始数据同步，需要进行重保护操作。 停止保护 生产业务位于生产站点时，数据同步中或者同步完成后可执行此操作，用来停止数据同步。

参数类型 参数名 说明 取值样例 基本参数 桶名 待迁移数据所在的桶名。 BUCKET2 基本参数 源目录或文件 “列表文件”选择为“否”时，才有该参数。 待迁移数据的目录或单个文件路径。文件路径支持输入多个文件（最多50个），默认以“l”分隔，也可以自定义文件分隔符。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据。 FROM/example.csv 基本参数 文件格式 文件格式指CDM以哪种格式解析数据，可选择以下格式： CSV格式：以CSV格式解析源文件，用于迁移文件到数据表的场景。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 JSON格式：以JSON格式解析源文件，一般都是用于迁移文件到数据表的场景。 CSV格式 基本参数 列表文件 当“文件格式”选择为“二进制格式”时，才有该参数。 打开列表文件功能时，支持读取OBS桶中文件（如txt文件）的内容作为待迁移文件的列表。该文件中的内容应为待迁移文件的绝对路径（不支持目录），例如直接写为如下内容： /052101/DAY20211110.data /052101/DAY20211111.data 是 基本参数 列表文件源连接 当“列表文件”选择为“是”时，才有该参数。可选择列表文件所在的OBS连接。 OBStestlink 基本参数 列表文件OBS桶 当“列表文件”选择为“是”时，才有该参数。该参数表示列表文件所在的OBS桶名。 01 基本参数 列表文件或目录 当“列表文件”选择为“是”时，才有该参数。该参数表示列表文件所在的OBS桶中的绝对路径或目录。 此处建议选择为文件的绝对路径。当选择为目录时，也支持迁移子目录中的文件，但如果目录下文件量过大，可能会导致集群内存不足。 /0521/Lists.txt 基本参数 JSON类型 当“文件格式”选择为“JSON格式”时，才有该参数。JSON文件中存储的JSON对象的类型，可以选择“JSON对象”或“JSON数组”。 JSON对象 基本参数 记录节点 当“文件格式”选择为“JSON格式”并且“JSON类型”为“JSON对象”时，才有该参数。对该JSON节点下的数据进行解析，如果该节点对应的数据为JSON数组，那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割。 data.list 高级属性 换行符 文件中的换行符，默认自动识别“n”、“r”或“rn”。当“文件格式”选择为“CSV格式”时，才有该参数。 n 高级属性 字段分隔符 文件中的字段分隔符，使用Tab键作为分隔符请输入“t”。当“文件格式”选择为“CSV格式”时，才有该参数。 , 高级属性 使用包围符 选择“是”时，包围符内的字段分隔符会被视为字符串值的一部分，目前CDM默认的包围符为："。 否 高级属性 使用正则表达式分隔字段 选择是否使用正则表达式分隔字段，当选择“是”时，“字段分隔符”参数无效。当“文件格式”选择为“CSV格式”时，才有该参数。 是 高级属性 正则表达式 分隔字段的正则表达式。 ^(d. d) (w ) [(. )] ([w.] ) (w. ). 高级属性 首行为标题行 “文件格式”选择“CSV格式”时才有该参数。在迁移CSV文件到表时，CDM默认是全部写入，如果该参数选择“是”，CDM会将CSV文件的第一行数据作为标题行，不写入目的端的表。 否 高级属性 编码类型 文件编码类型，例如：“UTF8”或“GBK”。只有文本文件可以设置编码类型，当“文件格式”选择为“二进制格式”时，该参数值无效。 GBK 高级属性 压缩格式 当“文件格式”为“CSV格式”或“JSON格式”时该参数才显示。选择对应压缩格式的源文件： 无：表示传输所有格式的文件。 GZIP：表示只传输GZIP格式的文件。 ZIP：表示只传输ZIP格式的文件。 TAR.GZ：表示只传输TAR.GZ格式的文件。 无 高级属性 压缩文件后缀 压缩格式非无时，显示该参数。 该参数需要解压缩的文件后缀名。当一批文件中以该值为后缀时，才会执行解压缩操作，否则则保持原样传输。当输入或为空时，所有文件都会被解压。 高级属性 源文件处理方式 作业执行成功后对源端文件的处理方式： 不处理。 重命名：作业执行成功后将源文件重命名，添加用户名和时间戳的后缀。 删除：作业执行成功后将源文件删除。 不处理 高级属性 启动作业标识文件 选择是否开启作业标识文件的功能。当源端路径下存在启动作业的标识文件时才启动作业，否则会挂起等待一段时间，等待时长在下方“等待时间”中配置。 否 高级属性 标识文件名 选择开启作业标识文件的功能时，需要指定启动作业的标识文件名。指定文件后，只有在源端路径下存在该文件的情况下才会运行任务。该文件本身不会被迁移。 ok.txt 高级属性 等待时间 选择开启作业标识文件的功能时，如果源路径下不存在启动作业的标识文件，作业挂机等待的时长，当超时后任务会失败。 等待时间设置为0时，当源端路径下不存在标识文件，任务会立即失败。 单位：秒。 10 高级属性 文件分隔符 “源目录或文件”参数中如果输入的是多个文件路径，CDM使用这里配置的文件分隔符来区分各个文件，默认为 。 高级属性 过滤类型 满足过滤条件的路径或文件会被传输，该参数有“无”、“通配符”和“正则表达式”三种选择。 通配符 高级属性 目录过滤器 “过滤类型”选择“通配符”时，用通配符过滤目录，符合过滤器规则的目录，允许进行迁移。支持配置多个路径，中间使用“,”分隔。 input 高级属性 文件过滤器 “过滤类型”选择“通配符”时，用通配符过滤目录下的文件，符合过滤器规则的文件，允许进行迁移。支持配置多个文件，中间使用“,”分隔。 .csv, .txt 高级属性 时间过滤 选择“是”时，可以根据文件的修改时间，选择性的传输文件。 是 高级属性 起始时间 “过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间大于该时间才会被传输，输入的时间格式需为“yyyyMMdd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyyMMdd HH:mm:ss,90,DAY))} 表示：只迁移最近90天内的文件。 20190601 00:00:00 高级属性 终止时间 “过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间小于该时间才会被传输，输入的时间格式需为“yyyyMMdd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyyMMdd HH:mm:ss))} 表示：只迁移修改时间为当前时间以前的文件。 20190701 00:00:00 高级属性 加密方式 如果源端数据是被加密过的，则CDM支持解密后再导出。这里选择是否对源端数据解密，以及选择解密算法： 无：不解密，直接导出。 AES256GCM：使用长度为256byte的AES对称加密算法，目前加密算法只支持AES256GCM（NoPadding）。该参数在目的端为加密，在源端为解密。 AES256GCM 高级属性 忽略不存在原路径/文件 如果将其设为是，那么作业在源路径不存在的情况下也能成功执行。 否 高级属性 数据加密密钥 “加密方式”选择“AES256GCM”时显示该参数，密钥由长度64的十六进制数组成，且必须与加密时配置的“数据加密密钥”一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B 高级属性 初始化向量 “加密方式”选择“AES256GCM”时显示该参数，初始化向量由长度32的十六进制数组成，且必须与加密时配置的“初始化向量”一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F 高级属性 MD5文件名后缀 “文件格式”选择“二进制格式”时，该参数才显示。 校验CDM抽取的文件，是否与源文件一致。 .md5

使用建议 注意 DRS任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。 为保证同步前后数据一致性，确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题。 基于以下原因，建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，相对静止的数据可以有效提升一次性同步成功率，避免同步对业务造成性能影响。 在网络无瓶颈的情况下，全量同步会对源数据库增加约50MB/s的查询压力，以及占用2~4个CPU。 同步无主键表时，为了确保数据一致性，会存在3s以内的单表级锁定。 正在同步的数据被其他事务长时间锁死，可能导致读数据超时。 DRS并发读取数据库，会占用大约610个session连接数，需要考虑该连接数对业务的影响 全量阶段读取表数据时，特别是大表的读取，可能会阻塞业务上对大表的独占锁操作。 数据对比 建议您结合数据对比的“稍后启动”功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。

本节主要介绍应用场景 SQL变更场景 需要为某一角色设置对某个数据库的结构权限、数据权限等权限进行变更时，可以使用此功能方便操作。 优势： 预检查：此功能可以规避用户使用错误SQL语句进行变更时，提前察觉，方便用户进行预处理。 审批限制：方便企业管理者对数据和数据变更人员的管理。 备份与回滚：备份功能有助于客户在执行SQL失败或返回数据库更改前的状态，保证了数据的安全性。 库管理场景 对象列表下包括表、视图、存储过程、事件、触发器和函数六部分。 表：MySQL数据表包含基本信息、字段/列信息、虚拟列、索引、外键5大组成部分，其中，虚拟列、索引、外键为可选项。通过在数据库中的表操作，可以直接操作数据。 视图：就是一个表或者多个表的一个映射，一般只做查询使用。 事件：即时间触发器，它可以完成在特定的时间特定的操作。 存储过程：存储过程是一组为了完成特定功能的SQL语句集，它通常存在于数据库中，用户只需要修改对应的参数就可以实现某一特定事务。 触发器：触发器是在对某一张表进行操作前后（增、删、改），需要实现对另一张关联表的操作所设计的自动执行的sql语句。触发器经常用于增强数据的完整性约束和原子性的事件规则。 函数：包括系统函数和用户自定义函数，通过设置不同的函数，实现某一功能的复用。

本章介绍将自建Redis的数据通过DCS控制台迁移到DCS Redis。 场景描述 当前DCS支持将自建Redis的数据通过DCS控制台迁移到DCS Redis。 您需要先将自建Redis的数据进行备份，然后在DCS控制台创建迁移任务，将备份数据文件迁移到DCS Redis中。 前提条件 已创建主备或集群目标实例，且源实例已写入数据并备份成功。 步骤1：获取源Redis实例名称及密码 获取准备迁移的源Redis实例名称。 步骤2：准备目标Redis实例 如果您还没有DCS Redis，请先创建。 如果您已有DCS Redis，则不需要重复创建，但在迁移之前，您需要清空实例数据。 − 清空操作请参考清空Redis实例数据。 − 如果没有清空目标实例数据，当目标实例存在与源Redis实例相同的key时，迁移后，会覆盖目标Redis实例原来的数据。 步骤3：创建迁移任务 步骤 1 登录分布式缓存服务管理控制台。 步骤 2 在管理控制台左上角单击，选择区域和项目。 步骤 3 单击左侧菜单栏的“数据迁移”。页面显示迁移任务列表页面。 步骤 4 单击右上角的“创建备份导入任务”，进入创建备份导入任务页面。 步骤 5 设置迁移任务名称和描述。 步骤 6 “数据来源”选择“Redis实例”。 步骤 7 在“源Redis实例”中选择步骤1：获取源Redis实例名称及密码中的Redis实例。 步骤 8 在“备份记录”中选择需要迁移的备份文件。 步骤 9 选择步骤2：准备目标Redis实例中创建的目标Redis。 步骤 10 输入目标实例的密码，单击“测试连接”，测试密码是否符合要求。免密访问的实例，请直接单击“测试连接”。 步骤 11 单击“立即创建”。 步骤 12 确认迁移信息，然后单击“提交”，开始创建迁移任务。 可返回迁移任务列表中，观察对应的迁移任务的状态，迁移成功后，任务状态显示“成功”。 结束

本章节介绍如何将DRDS同步到DRDS。 支持的源和目标数据库 表 支持的数据库 源数据库 目标数据库 DRDS实例 DRDS实例 前提条件 已登录数据复制服务控制台。 满足实时同步支持的数据库类型和版本，详情请参见实时同步。 使用建议 注意 DRS任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。 为保证同步前后数据一致性，确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题。 基于以下原因，建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，相对静止的数据可以有效提升一次性同步成功率，避免同步对业务造成性能影响。 在网络无瓶颈的情况下，全量同步会对源数据库增加约50MB/s的查询压力，以及占用2~4个CPU。 正在同步的数据被其他事务长时间锁死，可能导致读数据超时。 DRS并发读取数据库，会占用大约610个session连接数，需要考虑该连接数对业务的影响。 全量阶段读取表数据时，特别是大表的读取，可能会阻塞业务上对大表的独占锁操作。 数据对比 建议您结合数据对比的“稍后启动”功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。

本文主要介绍使用MirrorMaker跨集群数据同步。 应用场景 在以下场景，使用MirrorMaker进行不同集群间的数据同步，可以确保Kafka集群的可用性和可靠性。 备份和容灾：企业存在多个数据中心，为了防止其中一个数据中心出现问题，导致业务不可用，会将集群数据同步备份在多个不同的数据中心。 集群迁移：当今很多企业将业务迁移上云，迁移过程中需要确保线下集群和云上集群的数据同步，保证业务的连续性。 方案架构 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。其原理如图1所示，MirrorMaker本质上也是生产消费消息，首先从源集群中消费数据，然后将消费的数据生产到目标集群。如果您需要了解更多关于MirrorMaker的信息，请参见Mirroring data between clusters。 图 MirrorMaker 原理图 约束与限制 源集群中节点的IP地址和端口号不能和目标集群中节点的IP地址和端口号相同，否则会导致数据在Topic内无限循环复制。 使用MirrorMaker同步数据，至少需要有两个或以上集群，不可在单个集群内部使用MirrorMaker，否则会导致数据在Topic内无限循环复制。 实施步骤 1、 购买一台弹性云主机，确保弹性云主机与源集群、目标集群网络互通。具体购买操作，请参考购买弹性云主机。 2、 登录弹性云主机，安装Java JDK，并配置JAVAHOME与PATH环境变量，使用执行用户在用户家目录下修改“.bashprofile”，添加如下行。其中“/opt/java/jdk1.8.0151”为JDK的安装路径，请根据实际情况修改。 export JAVAHOME/opt/java/jdk1.8.0151 export PATHJAVAHOME/bin:PATH 执行source .bashprofile命令使修改生效。 说明 弹性云主机默认自带的JDK可能不符合要求，例如OpenJDK，需要配置为Oracle的JDK，可至Oracle官方下载页面

本文介绍专属云（存储独享型）常见的操作类问题。 如何为云主机增加数据盘？ 系统盘在创建云主机时自动创建并挂载，无法单独购买。 数据盘可以在购买云主机的时候购买，由系统自动挂载给云主机。也可以在购买了云主机之后，单独购买磁盘并挂载给云主机。 对于Windows系统： 如果数据盘是随云主机一起订购的，则需要登录云主机对数据盘进行初始化，初始化成功后可以看到数据盘（例如D盘）。 如果数据盘是单独订购的，则需要挂载至云主机，然后登录云主机对数据盘进行初始化，初始化成功后可以看到数据盘（例如D盘）。 对于Linux云主机： 如果数据盘是随云主机一起订购的，则需要登录云主机对数据盘进行初始化，初始化成功后，通过mount命令挂载后可以看到数据盘（例如/dev/vdb1）。 如果数据盘是单独订购的，则需要挂载至云主机，然后登录云主机对数据盘进行初始化，初始化成功后，通过mount命令挂载后可以看到数据盘（例如/dev/vdb1）。 卸载磁盘时数据会丢失吗？ 卸载磁盘不会导致数据丢失，但请注意以下情况。 卸载已挂载到Windows云主机的磁盘前，请确保没有程序正在对该磁盘进行读写操作。否则，有可能造成数据丢失或卸载失败。 卸载已挂载到Linux云主机的磁盘前，请先登录云主机，执行umount命令，并确保没有程序正在对该磁盘进行读写操作。否则，有可能造成数据丢失或卸载失败。

本页介绍天翼云TeleDB数据库如何对实例数据授权。 操作场景 由于目前PaaS平台和组件控制台的数据权限未统一，可能会出现两边查询的实例列表情况不一致的情况，基于此目的新增了数据权限查询接口。 操作步骤 1. 进入控制台，在左侧导航树选择我的租户 > 数据权限管理 ，进入数据权限授权页面。 2. 单击按角色 页签，勾选实例授权给相应用户。 3. 授权后，该用户可以查看该实例信息。 4. 取消授权，用户无法查看该实例信息。

参数名 说明 取值样例 开始时间 查询的起始时间，格式为yyyyMMddHHmmdd的字符串或时间戳。 20180920145505 结束时间 可选参数，查询的终止时间，格式为yyyyMMddHHmmdd的字串或时间戳。 20180921145505 指标 输入迁移哪个指标的数据，或选择OpenTSDB中已存在的指标。 city.temp 聚合函数 输入聚合函数。 sum 标记 可选参数，如果这里有输入标记，则只迁移标记的数据。 tagk1:tagv1,tagk2:tagv2

操作步骤 1. 登录云搜索服务管理控制台。 2. 在左侧菜单栏，选择对应的集群类型，进入集群管理页面。 3. 选择目标集群，单击操作列的“更多>形态变更”进入更改集群规格页面。 4. 选择“缩容指定节点”页签。 5. 在缩容指定节点页面，设置如下参数： 在数据节点表格中勾选待缩容的节点。 6. 单击“下一步”。 7. 确认变更信息后，单击“提交申请”，在数据迁移弹窗中确认是否进行数据迁移（建议勾选“进行数据迁移”避免数据丢失），单击“确认”提交申请。 数据迁移过程中，系统会把待替换节点中的所有数据分片移动到剩余节点，待数据迁移完成后再进行节点替换操作。当待替换节点上的数据在剩余节点存在副本时，可跳过数据迁移，缩短集群变更时间，减少数据迁移带来的负载压力。 8. 单击“返回集群列表”跳转到集群管理页面。集群的“任务状态”列中显示为“缩容中”，表示集群正在缩容。当集群状态变为“可用”，则表示缩容成功。 替换指定节点 当集群中的节点发生故障时，可以执行“指定节点替换”任务。通过删除故障节点，重建一个一样的新节点，实现节点替换。替换指定节点过程中会将替换节点的数据提前转移，不会造成数据丢失。 前提条件 集群处于“可用”状态，且无正在进行的任务。 约束限制 一次只能选择一个节点进行替换。 节点替换过程会按照原节点的ID、IP地址、规格、AZ等信息重建节点。 节点替换过程中不会保留手动操作。例如被替换的节点手动加过回程路由，那么节点替换完成后，需要重新添加回程路由。 如果替换的是数据节点（ess或esscold），需要确认集群/节点是否满足以下条件： 1. 替换数据节点或冷数据节点的过程中，会先将被替换节点的数据迁移到其他数据节点，因此集群中每个索引的副本数和主分片数之和的最大值要小于集群的数据节点个数之和（含ess和esscold）。替换过程耗时跟数据迁移到其他节点的耗时强相关。 2. 版本号在7.6.2以前的集群，不能有close的索引，否则不支持替换数据节点或冷数据节点。 3. 被替换的数据节点或冷数据节点所在的AZ需要有两个及以上的数据节点（含ess和esscold）。 4. 如果替换的数据节点或冷数据节点所在集群不存在Master节点（essmaster），则集群中可用的数据节点（含ess和esscold）个数要大于等于3。 5. 如果替换的是Master节点（essmaster）或Client节点（essclient），则不受以上四条约束。 6. 如果替换的是故障节点，不管什么类型都不受以上四条约束。因为故障节点不包含在“cat/nodes”中。

本文介绍DSC针对云上数据使用异常行为实时告警与审计的方法 数据安全中心DSC对云上数据使用提供异常行为的实时告警与审计，可查看“近30分钟”、“近3小时”、“近24小时”、“近7天”、“近30天”的异常行为数据，并且DSC将异常事件数据保留180天。DSC服务还能够检测敏感数据的访问、操作、管理等相关的异常行为，并且提供告警提示信息，用户可以确认和处理异常事件。以下行为被视为异常事件： 合法用户访问、下载、修改、权限更改、权限删除敏感数据。 合法用户更改、删除与敏感数据存储桶相关的权限。 非法用户在未经授权的情况下访问、下载敏感数据。 访问敏感数据的用户登录终端存在异常情况。 前提条件 当前异常事件处理页面含有异常事件。 操作步骤 1. 单击左上角的，选择区域或项目。 2. 在左侧导航树中，单击，选择“安全 > 数据安全中心”，进入数据安全中心总览界面。 3. 在左侧导航树中选择“数据风险检测 > 数据使用审计”，进入“数据使用审计”页面，参数说明请参考下表。 在列表的右上角，可选择“近30分钟”、“近3小时”、“近24小时”、“近7天”、“近30天”的时间周期，事件类型以及事件状态来展示您想要的异常行为事件信息。 参数名称 参数说明 用户ID 资源所有者对应的ID。 事件类型 DSC将异常事件分成了三种类型： 数据访问异常： 敏感文件的越权操作。 敏感文件的下载操作。 数据操作异常： 敏感文件的更新操作。 敏感文件的文件内容追加操作。 敏感文件的删除操作。 敏感文件的复制操作。 数据管理异常： 添加桶时，检测到桶为公共读或公共读写桶。 添加桶时，检测到私有桶对匿名用户或注册用户组开通了访问/ACL访问权限。 含有敏感文件的桶出现桶策略更改、删除操作。 含有敏感文件的桶出现桶ACL更改、删除操作。 含有敏感文件的桶出现跨区域复制配置的更改、删除操作。 敏感文件的对象出现ACL更改、删除操作。 事件名称 导致异常事件发生的具体事件。 告警时间 异常事件发生的具体时间。 状态 状态说明如下： “待处理”：异常事件未进行处理。 “违例确认”：已处理异常事件为违例确认。 “违例排除”：已处理异常事件为违例排除。 4. 在异常事件的操作列，单击“查看详情”，查看该事件的详细信息。 您可以根据异常事件的详细信息判断该事件是否为违例事件，从而确定如何来处理该事件，具体的处理方法请参见处理异常行为检测事件。

手动备份数据 1.在左侧菜单栏选择“系统管理 > 系统维护 > 数据备份恢复”进入“数据备份恢复”页面。 2.在“在线数据”栏内，选择需要备份的数据，勾选后，单击“备份”按钮即可备份数据。 恢复或外发备份数据 1.在左侧菜单栏选择“系统管理 > 系统维护 > 数据备份恢复”进入“数据备份恢复”页面。 2.选择“本地备份数据”，即可查看已经备份的数据信息。 恢复：将备份的数据恢复至数据库审计服务中。 FTP外送：将备份的数据外发至您服务器中。 数据库审计服务配置备份 1.在左侧菜单栏选择“系统管理 > 系统维护 > 配置备份恢复”进入“配置备份恢复”页面。 2.单击“修改”按钮，开始配置自动备份任务。 3.在弹出的对话框中选择“备份周期”、“备份文件上限”后，单击“确定”即可完成任务修改。

本页介绍天翼云TeleDB数据库的内核架构。 分布式数据库方案架构如图所示。 Global Transaction Manager(简称 GTM)，是全局事务管理器，负责全局事务管理，包括管理分布式事务和管理全局对象。GTM 上不存储业务数据。 管理分布式事务‌：GTM负责协调和管理分布式环境中的事务，确保事务的原子性、一致性、隔离性和持久性（ACID属性），从而保证数据的一致性和完整性。 管理全局对象‌：除了管理分布式事务本身，GTM还负责管理全局对象，如序列等，这些对象在分布式环境中需要跨多个节点进行协调和管理。 Coordinator（简称 CN）是协调节点，主要负责数据的分发和查询规划。协调节点需对外提供接口，确保高效处理和分发数据。协调节点是分布式系统中的一个组件，通过任务调度和数据分发来协调整个数据处理流程，提高处理速度和可靠性。它们还负责监控工作节点的状态和进度，确保数据的高效处理和分析。在大数据处理中，协调节点作为主节点，分配任务给工作节点，确保负载均衡和系统的容错能力。 任务调度‌：协调节点负责将任务分配给可用的工作节点，根据负载均衡策略和节点的可用性确定任务的分配方式。 数据分发‌：协调节点将输入数据分发给工作节点，实现数据并行处理，提高处理速度。 状态监控‌：协调节点监控工作节点的状态和进度，及时检测节点故障或任务失败，并采取相应的措施，如重新分配任务或启动备用节点。‌ Datanode（简称 DN）是数据节点，主要负责存储数据，执行协调节点分发的业务请求。‌它包含数据库的实际数据文件和索引文件，并接收来自应用程序或其他节点的数据读写请求，负责执行实际的数据存储和检索操作。数据节点以分布式方式组织，每个节点存储部分数据，通过分片(Sharding)技术来实现数据的水平扩展和负载均衡。这样的设计使得分布式数据库系统能够支持大规模的数据存储和高可用性，同时确保数据的均匀分布，避免单个节点成为瓶颈，从而提高系统的整体性能和可靠性。 说明 各个数据节点可以部署在不同的物理机上，也支持同物理机部署多个数据节点，注意互为主备数据节点不建议部署在同物理主机上。数据节点存储空间彼此之间独立、隔离，是标准的无共享存储拓扑结构。并且数据节点之间可以相互通信，互相交换数据。‌ TeleDB管控资源全生命周期管理。 说明 在接口上，TeleDB 支持 JDBC、ODBC、shell、C、Python、PHP、.NET 等大多数语言的 API。

本文介绍SQL Server的恢复方案概览。 场景 功能 相关操作 恢复数据 按备份集恢复数据 按备份集恢复数据 恢复数据 将数据恢复至指定时间点 将数据恢复至指定时间点 恢复数据 ZOS备份数据上云 ZOS备份数据上云 恢复数据 跨域恢复 跨域恢复

本节主要介绍登录数据管理服务 操作步骤 1. 登录天翼云控制台。 2. 单击管理控制台右上角的，选择区域和项目。 3. 在页面左上角单击，选择“数据库 > 数据管理服务 DAS”，进入数据管理服务信息页面

本页介绍天翼云TeleDB数据库高效的分布式数据查询能力。 TeleDB支持提供高效的分布式数据查询能力。分布式查询架构主要由四部分组成，分别为：客户端、GTM、CN和DN。 客户端：负责发送读写请求，缓存数据和文件，接收返回结果。 GTM：负责提供全局事务id和快照。 CN：负责全局事务、SQL优化、计划分发和结果汇聚。 全局事务：从GTM获取全局事务id和快照。 SQL优化：生成最优的执行计划。 计划分发：将全部计划或部分计划分发给相应的DN。 结果汇聚：收集DN返回结果，汇总后返回客户端。 DN：负责计划执行、数据交互和返回结果。 计划执行：接收CN的执行计划，并执行。 数据交互：如果需要其它DN数据，从其它DN获取数据。 结果返回：将执行结果返回给CN。

创建物化视图 sql CREATE MATERIALIZED VIEW [IFNOTEXISTS] [db.]tablename [ON CLUSTER] [TO [db.]name] [ENGINEengine] [POPULATE] AS SELECT ... 物化视图存储由相应的SELECT管理。 创建不带 TO [db].[table]的物化视图时，必须指定 ENGINE – 用于存储数据的表引擎。 使用 TO [db].[table] 创建物化视图时，不得使用 POPULATE。 一个物化视图的实现是这样的：当向SELECT中指定的表插入数据时，插入数据的一部分被这个SELECT查询转换，结果插入到视图中。 云数据库ClickHouse中的物化视图更像是插入触发器。 如果视图查询中有一些聚合，则它仅应用于一批新插入的数据。 对源表现有数据的任何更改（如更新、删除、删除分区等）都不会更改物化视图。 如果指定 POPULATE，则在创建视图时将现有表数据插入到视图中，就像创建一个 CREATE TABLE ... AS SELECT ...一样。 否则，查询仅包含创建视图后插入表中的数据。 我们不建议使用POPULATE，因为在创建视图期间插入表中的数据不会插入其中。 SELECT 查询可以包含 DISTINCT、GROUP BY、ORDER BY、LIMIT……，相应的转换是在每个插入数据块上独立执行的。 例如，如果设置了 GROUP BY，则在插入期间聚合数据，但仅在插入数据的单个数据包内。 数据不会被进一步聚合。 例外情况是使用独立执行数据聚合的 ENGINE，例如 SummingMergeTree。 在物化视图上执行ALTER查询有局限性，因此可能不方便。 如果物化视图使用构造 TO [db.]name，你可以 DETACH视图，为目标表运行 ALTER，然后 ATTACH先前分离的（DETACH）视图。 物化视图受optimizeoninsert设置的影响， 在插入视图之前合并数据。 视图看起来与普通表相同。 例如，它们列在 SHOW TABLES查询的结果中。 删除视图,使用DROP VIEW. DROP TABLE也适用于视图。

本页介绍天翼云TeleDB数据库备份概述。 TeleDB支持数据库实例的备份与恢复，以保证数据的可靠性。备份存储方式可根据业务需求设置加密或不加密。TeleDB数据库实例的备份包括物理备份和逻辑备份。 备份的目的 当数据库被恶意或误删除，虽然TeleDB支持高可用，但备机数据库会被同步删除且无法还原。因此，数据被删除后只能依赖于实例的备份保障数据安全。 全量备份 全量备份表示对所有目标数据进行备份，包含备份时刻点上数据库的全量数据，耗时时间长（和数据库数据总量成正比），自身即可恢复出完整的数据库。 增量备份 只包含从指定时刻点之后的增量修改数据，耗时时间短（和增量数据成正比，和数据总量无关），但是必须要和全量备份数据一起才能恢复出完整的数据库。 自动备份 TeleDB会在数据库实例的备份时段中创建数据库实例的自动备份。系统根据您指定的备份保留期保存数据库实例的自动备份。 手动备份 用户还可以创建手动备份对数据库进行备份，手动备份是由用户启动的数据库实例的全量备份，会一直保存，直到用户手动删除。 对象存储备份 数据库对象存储备份是一种数据备份策略，‌其中数据库数据被存储在对象存储‌系统中。‌这种备份方法利用对象存储的特性和优势，‌为数据库提供连续的数据保护和低成本的备份服务。‌对象存储作为一种存储架构，‌以对象为单位处理、‌存储和检索数据，‌每个对象包含数据本身、‌元数据以及一个全局唯一的标识符。‌这种存储方式特别适合存储大量非结构化的数据，‌并且能够通过API进行数据的读写。

指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 方法监控（detail，以方法维度统计接口调用数据。） method method 请求的方法 ENUM LAST 方法监控（detail，以方法维度统计接口调用数据。） concurrentMax 最大并发 该方法的最大并发 INT MAX 方法监控（detail，以方法维度统计接口调用数据。） errorCount 错误数 该方法的错误数 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） invokeCount 调用次数 该方法的调用次数 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） maxTime 最大响应时间 该方法在采集周期内最大响应时间 INT MAX 方法监控（detail，以方法维度统计接口调用数据。） runningCount 正在执行数 该方法在采集时间点正在执行数量 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） range1 010ms 响应时间在010ms范围请求数 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） range3 100500ms 响应时间在100500ms范围请求数 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） range4 5001000ms 响应时间在5001000ms范围请求数 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） range5 110s 响应时间在110s范围请求数 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） range6 10s以上 响应时间在10s以上请求数 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） totalTime 总响应时间 该方法的总响应时间 INT SUM 集群调用（cluster，以调用方集群id维度统计接口调用数据。） clusterId 集群id 调用方的集群id ENUM LAST 集群调用（cluster，以调用方集群id维度统计接口调用数据。） invokeCount 调用次数 该集群的调用次数 INT SUM 集群调用（cluster，以调用方集群id维度统计接口调用数据。） totalTime 总响应时间 该集群调用的总响应时间 INT SUM 集群调用（cluster，以调用方集群id维度统计接口调用数据。） errorCount 错误次数 该集群调用的错误次数 INT SUM

目标库ClickHouse表结构说明 迁移到ClickHouse的表结构和ClickHouse的部署架构有关： 集群部署，单副本 在集群的每个节点上创建一个本地表和一个分布式表。分布式表的名称与源端表名映射后的名字一致，本地表的名称为 +local，本地表使用ReplacingMergeTree引擎。 集群部署，多副本 在集群的每个节点上创建一个本地表和一个分布式表。分布式表的名称与源端表名映射后的名字一致，本地表的名称为 +local，本地表使用ReplicatedReplacingMergeTree引擎。 此外，DTS会在目标表(包括本地表和分布式表)中添加两个字段： ctyundtsversion ，类型为UInt64，默认值为now()，记录了数据插入的时间戳； ctyundtssign，类型为Int8，默认值为0，标记数据的存在性，0表示数据存在，1表示数据已逻辑删除。 用户可使用where条件过滤掉ClickHouse被逻辑删除的数据，例如：select from tablename final where ctyundtssign< 1，其中，表名后的final字段可以过滤相同排序键的数据。 名称 数据类型 默认值 说明 ctyundtssign Int8 0 记录是否被删除： Insert：记录为0。 Delete：记录为1。 Update:：记录为0。 ctyundtsversion UInt64 now() 数据写入ClickHouse的时间戳。 操作须知 DTS迁移过程一般包含四个阶段：预检查阶段、结构迁移阶段、全量阶段、增量阶段。为了确保数据迁移各个阶段的平顺，在创建迁移任务前，请务必阅读以下使用须知。 待迁移对象不支持无主键的表。 在库表结构迁移阶段，DTS会在目标表中添加字段ctyundtsversion和ctyundtssign。若您配置迁移类型时未勾选库表结构迁移，则需要手动在目标端创建接收数据的表，并在表中添加额外的字段。根据目标端ClickHouse的部署架构，需要创建的表结构也不相同，具体请查看“目标库ClickHouse表结构说明”章节。 如迁移对象为表级别，则单次迁移任务仅支持迁移最多10000张表。当超出数量限制，任务会在提交后会请求报错。如果遇到这种情形，建议您拆分待迁移的表，分批配置成多个任务，或者配置为整库迁移。 目标库若已存在行数据，DTS在增量迁移过程中源库相同主键的数据将覆盖目标库已存在的数据，因此在启动迁移任务前需要用户自行判断数据是否需要清除，建议用户在迁移前自行清空目标库。 MySQL源数据库的binlog日志必须打开，且binlog日志格式必须为Row格式。 在磁盘空间允许的情况下，建议源数据库binlog保存时间越长越好，建议为7天。否则DTS在增量迁移时可能因无法获取Binlog而导致任务失败。由于您所设置的Binlog日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。 在任务进入增量迁移阶段之前，不建议对源数据库做DDL操作，这样可能会引起任务迁移失败。 迁移过程中，请勿修改、删除提供给DTS连接访问的源库和目标库及用户名、密码、权限，或修改源库和目标库的端口号；若用户源库、目标库的密码发生变化，请先暂停任务再修改DTS配置的连接源库、目标库的密码。 选择表级对象迁移时，增量迁移过程中不建议对表进行重命名操作。 增量迁移场景下，不支持源数据库进行恢复操作。 增量迁移并开启增量DDL支持的场景下，当前暂不支持在结构迁移与全量迁移详情页面显示增量阶段新增的表。 若源表使用了外键约束如FOREIGN KEY REFERENCES ON DELETE CASCADE或FOREIGN KEY REFERENCES ON UPDATE CASCADE时，当删除或更新父表的数据时，子表关联的数据会被自动删除或更新，但这些子表的删除或更新操作并不会记录到源库的二进制日志（Binlog）中，从而导致迁移后数据不一致的问题。为解决该问题，可在使用DTS迁移数据前在源库创建触发器实现关联子表的数据操作，确保所需执行的删除或更新都可以记录到Binlog中，从而保证迁移前后的数据一致性。

本节介绍了冷热数据性能相关问题与处理方法。 冷热数据问题导致SQL执行速度慢 场景描述 从自建MySQL或友商MySQL迁移到云上TaurusDB实例，发现同一条SQL语句执行性能远差于原数据库。 原因分析 同一条SQL语句在数据库中执行第一次和第二次可能会性能差异巨大，这是由数据库的bufferpool机制决定的： 第一次执行时，数据在磁盘上，称之为冷数据，读取需要一定的耗时。 读取完，数据会被存放于内存的bufferpool中，称为热数据，读取迅速；对于热数据的访问速度极大的超过冷数据，所以当数据是热数据时，SQL语句的执行速度会远快于冷数据。 该场景中，源端数据库中常用的数据一般是热数据，所以访问时速度极快。当数据迁移到云上TaurusDB时，第一次执行同样的SQL语句，很可能是冷数据，就会访问较慢，但再次访问速度就会得到提升。 解决方案 该场景是正常现象，在同一个数据库中，我们经常会遇到第一次执行一条语句时很慢，但再次执行就很快，也是因为受到了bufferpool的冷热数据原理的影响。 复杂查询造成磁盘满 场景描述 主机或只读节点偶尔出现磁盘占用高或磁盘占用满，其他只读节点磁盘空间占用正常。 原因分析 MySQL内部在执行复杂SQL时，会借助临时表进行分组（group by）、排序（order by）、去重（distinct）、Union等操作，当内存空间不够时，便会使用磁盘空间。

数据集配置 针对不同场景下，以下是数据量级的建议： 简单文本分类任务：对于基础的分类任务，如判断文本情感倾向（积极、消极、中性）或对新闻文章进行简单类别划分（体育、科技、娱乐等），若用户使用较小规模模型（如 7B及以下），通常5k20k条的数据量即可取得不错效果；若使用更大参数模型（如30B及以上），由于模型学习能力更强，对数据量要求相对降低，2k10k条也可能实现较好微调。但数据量的大小也与分类数以及任务难易度强相关，类别较多/任务较难的场景可能需要20k条以上的数据，且要做到类别均衡。 信息抽取任务：像从文本中抽取人名、地名、组织机构名等实体，或抽取事件的时间、地点、参与者等关键信息这类任务，任务难易度更大，因此对数据量需求相对较高。若用户使用13B及以下模型时，建议有30k80k的数据量；若使用30B及以上模型时，20k60k的数据量较为合适。这是因为信息抽取任务复杂，模型需学习多种实体和关系模式，足够数据量才能让模型有效捕捉这些模式。例如，在医疗领域的实体抽取微调中，50k条的高质量医疗文本数据，能使13B模型的F1值达到75%左右。 生成任务（如文本续写、文案生成）：生成任务对模型创造力和语言理解能力要求高，数据量需求更大。对于7B及以下的模型，一般需要100k300k条以上数据；而13B30B的模型，50k 200k条数据较为适宜；30B以上模型，30k150k数据可能满足需求。数据不仅要量大，还应多样化，涵盖不同风格、主题和语境文本。如在小说续写微调中，200k条包含各种题材小说片段的数据，可让7B模型生成更连贯、富有想象力的续写内容。 复杂问答任务：如开放域问答、专业领域深度问答、领域内长思考链生成问答，数据量要求与生成任务相近甚至更高。7B的模型可能需要50k150k条数据；13B30B的模型，40k100k条数据；30B及以上的模型，则需要50k80k数据。这类任务需模型理解复杂问题语义，检索知识并生成准确回答，大量的数据帮助模型学习各类问题模式和答案逻辑。但是如果数据中带有思考推理过程，也即cot数据集，则各类模型所需的数据量可以相对应减少50%80%。在医疗领域的带思考过程的问答微调中，10k数量的含各类疾病的治疗方式的数据，便能让14B的模型在开源医疗问题测评集上提点。 需注意，以上数据量仅为经验参考范围，实际微调中最佳数据量受数据质量、模型架构、任务复杂度及训练方法等多种因素影响。例如，若数据质量极高且与任务高度相关，可能用较少数据量就能取得好效果。在微调前，可通过小规模实验评估不同数据量对模型性能影响，确定适合特定任务和模型的最优数据量。