本节介绍如何预热数据集。 为了保证应用在访问数据时的性能，可以数据集开启加速时，或者加速就绪后，开启数据预热功能。 开启数据预热将同步生成预热资源（DataLoad），通过数据预热，提前将远程存储系统中的数据拉取到靠近计算结点的本地存储中，使得消费该数据集的应用能够在首次运行时即可享受到缓存带来的加速效果。 前提条件 已完成AI套件安装，弹性数据集组件运行正常。 确保存储插件cstorcsi运行正常。 数据集已开启数据加速。 操作步骤 1. 开启预热 登录云容器引擎管理控制台； 在集群列表页点击进入指定集群； 进入主菜单 智算套件 > AI应用管理 > 数据集 > 私有数据集，选择数据集； 进入数据集详情页 > 版本； 数据集版本列表中，对于已加速数据集，开放“缓存预热”入口。点击“缓存预热”，将开启预热操作。 2. 查看预热状态 数据集开启预热之后，首先加速状态置为预热中，此时后台进行预热资源创建，缓存引擎拉取远端数据： 预热完成后，加速状态置为已预热，同时通过列表可以获取已缓存大小和缓存百分比信息： 注意 已缓存大小 当前实际缓存的数据量（已使用空间） 已缓存百分比 已缓存大小 / 缓存配额 × 100% （当远端数据全部缓存在本地时，缓存百分比为100%）

本节介绍如何查看已有数据类。 操作场景 安全编排与响应中的剧本和流程的运行都需要绑定数据类，由数据对象（数据类的实例）触发剧本。 操作步骤 1. 登录管理控制台。 2. 单击页面左上方的，选择“安全 > 态势感知（专业版）”，进入态势感知（专业版）管理页面。 3. 在左侧导航栏选择“工作空间 > 空间管理”，并在工作空间列表中，单击目标工作空间名称，进入目标工作空间管理页面。 4. 在左侧导航栏选择“安全编排> 运营对象”，默认进入运营对象的数据类管理页面。 5. 在数据类列表中，查看已有数据类信息。 当数据类较多时，可以通过搜索功能，选择数据类的“名称”、“业务编码”、“内置”或者“描述”，并在搜索框中输入关键词，单击，即可快速查询指定数据类。 参数名称 参数说明 名称 数据类的名称。 业务编码 数据类的业务编码。 内置 是否为系统内置数据类。 创建人 数据类的创建人信息。 创建时间 数据类的创建时间。 更新时间 数据类的更新时间。 描述 数据类的具体描述信息。 操作 可对数据类进行编辑、删除等操作。 6. 如需查看某个数据类的详细信息，可单击目标数据类的名称，右侧将弹出目标数据类的详情页面。

数据追踪功能支持在数据误操作或数据修改不符合预期之后，可以追踪在指定时间段内的数据变更，并生成回滚和重建语句，帮助用户快速将数据恢复到变更前的状态，保障业务数据的完整性。 前提条件 数据追踪目前仅支持MySQL数据库，且MySQL为5.6及以上版本。 数据追踪为企业版功能，请切换到DMS企业版后使用该功能，切换步骤及实例注意事项详见 版本说明 。 数据追踪要求当前用户以及登录实例的账户，拥有追踪的目标数据库或目标表的查询权限。查询及修改用户对实例元数据的操作权限 。 数据库已开启Binlog，并且 Binlog 相关参数设置如下：binlogformat ROW、binlogrowimage FULL。 注意事项 数据追踪仅支持追踪DML语句变更的数据，包括更新、插入、删除，不支持DDL语句变更的数据。 数据追踪仅可追踪到目标实例的Binlog保留时长内的变更数据，若追踪时间超过了Binlog的保留时长，则获取不到该部分数据。 数据追踪通过解析实例Binlog来得到误操作的数据，任务执行时会占用部分实例性能，尽量避免在实例使用高峰期执行数据追踪任务。 每个工单最多保存100W行追踪结果，保留1日后过期删除，请及时查看。 单个组织下未过期工单的追踪结果总数最多保存200W行记录。 执行数据追踪前，请确保数据库的Binlog开启并且正确配置Binlog。

本文主要介绍跨帐号迁移业务数据(只迁移数据盘) 操作场景 用户的业务数据一般保存在数据盘中，要想实现业务数据跨帐号迁移，需要用到镜像服务的创建数据盘镜像、共享镜像等功能。本节操作以Linux操作系统为例，为您详细介绍在同一区域内，跨帐号迁移业务数据（只迁移数据盘数据）的操作流程。 方案介绍 跨帐号迁移业务数据的方案为：帐号A将云主机A上挂载的数据盘A做成数据盘镜像，将此镜像共享给帐号B；帐号B接受帐号A的共享镜像后，创建数据盘后将其挂载至自己的云主机上，实现数据迁移。操作流程如下： 图 跨帐号迁移业务数据流程图 步骤一：创建数据盘镜像 假设帐号A的云主机数据盘中存放了如下数据：qianyi.txt 1、帐号A登录管理控制台，在左上角切换区域为“江苏苏州”。 2、选择“所有服务> 计算 > 镜像服务”。 进入镜像列表页面。 3、单击右上角的“创建私有镜像”。 进入创建私有镜像页面。 4、填写如下参数： 图 创建数据盘镜像 创建方式：创建私有镜像 镜像类型：数据盘镜像 选择镜像源：云主机，并选择数据盘“ecs testvolume0001” 名称：输入数据盘镜像名称，如“diskimagetest” 企业项目：选择默认项目“default” 5、单击“立即创建”。 6、确认无误后，阅读并勾选协议，单击“提交申请”。 7、返回私有镜像列表，等待几分钟后，数据盘镜像创建成功。 图 查看私有镜像

参数 类型 描述 是否必须 path String 指定添加的数据目录。数据目录用于存储数据，建议不要与操作系统共用磁盘或文件系统。 取值：只能包含字母、数字、汉字和特殊字符(~ ! @ $ ( ) + ; . :)。 是 capacityQuota Long 指定数据目录的容量配额，即针对加入到服务器中的每个数据目录，HBlock可写入的数据总量。当HBlock的使用空间一旦达到配额，就立刻阻止数据写入，不允许再使用超出配额的空间。 取值：小于数据目录所在磁盘的总容量，单位是bytes。负整数表示无限制写入，0表示禁止写入。默认不限制写入。 注意 如果相同的数据目录出现多次，以第一次出现的数据目录的容量配额为准。 否

本节介绍如何使用加速数据集。 以创建离线训练应用为例，说明如何使用加速数据集。 前提条件 已完成AI套件安装，弹性数据集组件运行正常。 确保存储插件cstorcsi运行正常。 数据集加速状态为已加速或已预热。 约束与限制 当前使用加速数据集仅限default命名空间。 如数据集加速状态为已加速或已预热，训练应用默认使用加速PVC；其他状态下，训练应用默认使用非加速PVC。 操作步骤 使用加速数据集 登录云容器引擎管理控制台 在集群列表页点击进入指定集群 进入主菜单 智算套件 > AI应用列表 > 离线训练 > 创建AI应用 进入离线训练应用创建页面，进行相关信息配置，详细参考 创建训练任务 配置训练数据 点击“选择数据集”，在弹出页面选择“私有数据集”，选择已加速的数据集名称： 点击“选择数据集版本”，在弹出页面选择“私有数据集”，选择已加速的数据集名称： 训练应用创建完成，将默认使用加速PVC。以PyTorchJob为例，可以在yaml中查看挂载信息：

本文介绍数据加工任务运行的指标详情。 操作入口 1. 登录云日志服务控制台。 2. 点击左侧菜单栏数据加工。 3. 点击目标数据加工任务名称，进入加工任务详情页面。 总览指标 加工速率：默认时间周期为1小时，统计窗口为1分钟，速率为数据条目数/秒。 read：从源日志单元中读到的数据条数。 delivered：成功写入到目标日志单元的数据条数。 dropped：在加工过程中丢弃的日志数据条数。 failed：从源日志单元中读取，在加工过程中发生失败的数据条数。 读取日志数统计：从源日志单元读取到的数据条数总计，默认时间周期为1小时。 写出日志数统计：成功写入到所有目标日志单元的数据条数总计，默认时间周期为1小时。 失败日志数统计：从源日志单元中读取、并在加工过程中发生失败的数据条数总计，默认时间周期为1小时。 写出日志数占比：成功投递到目标日志单元的数据条数占源日志单元读取到数据条数的比例，默认时间周期为1小时。

本页面总结并介绍了多种解决方案来迁移和同步数据。 云数据库ClickHouse提供了多种解决方案来迁移和同步数据，以满足不同业务场景下对数据库数据迁移和同步的需求。这些方案可以帮助用户高效、可靠地将数据从一个环境迁移到另一个环境，并确保数据的一致性和完整性。无论是从本地数据库迁移到云数据库ClickHouse，还是从其他数据源进行数据同步，都可以利用这些方案来简化数据迁移和同步的过程。 从MySQL迁移数据 从本地存储迁移数据 从Flink迁移数据 从ClickHouse 自建集群迁移数据 从Kafka迁移数据

术语解释 本文为您介绍数据传输服务DTS相关的术语。 位点 位点指的是用于标识复制源和复制目标之间数据同步的位置信息，主要用于记录源数据库的更新操作以及标识目标数据库需要同步的位置。位点可以帮助确保数据在源和目标之间的一致性，同时也可以用于数据恢复和备份等操作。 迁移实例 迁移实例是帮助实现数据迁移的辅助型资源，存在于迁移任务的整个生命周期。数据复制服务可以通过迁移实例连接源数据库，读取源数据，然后将数据复制到目标数据库中。 预检查 预检查是指在启动迁移任务之前，对可能影响任务成功的因素及条件进行的检查。如果预检查项失败，需要根据具体的修复方法进行修复后，重新进行预检查，直到预检查项全部通过才可启动任务。 迁移评估 预检查是指针对部分异构数据库链路，例如Oracle到TeleDB，在结构迁移之前对源端数据库对象进行迁移性分析，评估自动转换率，并提供兼容性分析报告。 结构迁移 在结构迁移阶段，DTS根据待迁移对象的结构定义从源数据库迁移到目标数据库，例如表、视图、触发器和存储过程。对于异构数据库之间的结构迁移，DTS会根据迁移评估的结果，将源库的结构定义转换为目标库支持的结构定义， 例如将Oracle数据库中的NUMBER数据类型转换为MySQL数据库中的DECIMAL数据类型。 全量数据迁移 在全量数据迁移阶段，DTS会将源数据库的存量数据全部迁移到目标数据库。如果您在配置数据迁移任务时，仅选择了结构迁移和全量数据迁移，那么在迁移过程中，源库的新增数据不会被迁移至目标库。所以为保障数据一致性，迁移期间请勿在源库中写入新的数据。 增量数据迁移 在增量数据迁移阶段，DTS会将源库产生的增量数据实时同步至目标库。此功能通常用于不停机迁移场景，即迁移在全量数据迁移阶段发生的数据变更。

本文主要介绍云日志服务中数据加工的基本概念。 基本概念 ETL ETL是指将对业务系统的数据进行抽取、清洗、转换、加载的过程，从而整合零散、不标准、不统一的数据。云日志服务支持加载源日志单元数据，将数据转换后输出到目标日志单元。 事件、数据、日志 在数据加工功能中，事件、数据都表示日志，例如事件时间就是日志时间，字段操作指令fields就是用于保留或丢弃特定日志字段的指令。 日志时间 日志时间指事件所发生的时间，也称事件时间。在云日志服务中的保留字段为ts，一般由日志中的时间信息直接提取生成。数据类型为datetime。 日志标签 日志存在标记，区别于其他字段，在数据加工中，标签字段以tag:作为前缀。包括： 用户自定义标签：用户通过API PutLogs写入数据时添加的标签。 系统标签：云日志服务为用户添加的标签，包括tagfileName和taghostIp等。 配置相关概念 源日志单元 数据加工中，从中读取数据再进行加工的日志单元是源日志单元。 一个加工任务仅支持一个源日志单元，但可以对一个源日志单元配置多个加工任务。 目标日志单元 数据加工中，数据写入的日志单元是目标日志单元。 一个加工任务可以配置多个目标日志单元，可以是静态配置，也可以是动态配置。具体配置方法，请参见多目标日志单元数据分发。 SPL SPL（Semistructured Processing Language）是云日志服务数据加工使用的一种类Linux Shell的脚本语言。SPL提供内置8个基本指令和一百多个类SQL函数，简化了常见的数据加工模式。

本页介绍如何使用数据稽核功能进行数据迁移项的对比。 什么是数据稽查 数据稽查功能用于对比源库与目标库的数据差异，帮助用户及时发现数据不一致的问题。支持对源库和目标库的对象数目、数据行数、字段内容等多个维度的进行一致性对比。 数据稽查的类型 对象对比 对象级对比任务，对源库和目标库的数据库、索引、表、视图等对象的数量进行对比，检查数据对象是否缺失。 支持的数据链路：MySQL>MySQL、PostgreSQL>PostgreSQL、DDS/MongoDB>DDS/MongoDB、SQL Server>SQL Server。 行数对比 通过对源和目标库中表的行数进行对比，检查表的数据是否缺失。 支持的数据链路：MySQL>MySQL、PostgreSQL>PostgreSQL、DDS/MongoDB>DDS/MongoDB、SQL Server>SQL Server。 内容对比 通过对源和目标库中表的行数据进行对比，检查表的行数据是否一致。 支持的数据链路：MySQL>MySQL、PostgreSQL>PostgreSQL、SQL Server>SQL Server。 支持设置数据块大小：用户可以自由控制内容对比的数据块大小，数据块的大小可设置在100010000范围内。 支持抽样校验：如果迁移或同步的数据量非常大，对所有数据都进行校验会对源库和目标库造成高负荷。为此，内容对比提供抽样校验功能，用户可以通过设置抽样比例对数据进行抽样检验，以减小数据库的负担。可设置的抽样比例为10%、20%、30%、……、100%。 支持设置任务超时时间：用户可以设定内容对比任务的最长运行时间，如果任务未能在最大期限内完成，则任务自行终止。可设置的时间长度为1180分钟。 支持查看不一致数据的所在范围：如果发现不一致的数据，用户可以查看不一致数据所在的范围，缩小了用户需要自行检查的数据范围。

创建客户端CEK数据密钥，用来对数据库用户数据加解密。 plaintext CREACREATE COLUMN ENCRYPTION KEY columnencryptionkeyname WITH( CLIENTMASTERKEY clientmasterkeyname, ALGORITHM algorithmtype, ENCRYPTEDVALUE encryptedvalue ); 参数描述： columnencryptionkeyname：CEK数据密钥对象名，在同一命名空间中满足唯一性约束 CLIENTMASTERKEY：指定用于对当前CEK加密的CMK ALGORITHM：指定该CEK将用于何种加密算法，支持： AEADAES256CBCHMACSHA256：采用AES256 CBC模式对数据加密实现数据机密性，通过消息验证码(SHA256生成数据摘要)确保数据的完整性和身份校验。 AEADAES128CBCHMACSHA256：采用AES128 CBC模式对数据加密实现数据机密性，通过消息验证码(SHA256生成数据摘要)确保数据的完整性和身份校验。 SM4SM3：采用国密SM4 CBC模式对数据加密实现数据机密性，通过消息验证码(国密SM3生成数据摘要)确保数据的完整性和身份校验。 ENCRYPTEDVALUE（可选项）：用户指定的密钥口令，如果不指定，则会自动生成密钥。密钥口令长度范围为[28, 256]个字符。28个字符派生出来的密钥安全强度满足AES128。如果采用用AES256，密钥口令的长度需要39个字符。如果不指定，则会自动生成256比特的密钥。

全量数据迁移 在全量数据迁移阶段，DTS会将源数据库的存量数据全部迁移到目标数据库。如果您在配置数据迁移任务时，仅选择了结构迁移和全量数据迁移，那么在迁移过程中，源库的新增数据不会被迁移至目标库。所以为保障数据一致性，迁移期间请勿在源库中写入新的数据。 增量数据迁移 在增量数据迁移阶段，DTS会将源库产生的增量数据实时同步至目标库。 此功能通常用于实现不停机迁移，即迁移源端数据库在全量数据迁移阶段发生的数据变更。 企业项目 企业项目权限是实现细粒度控制的基础。将云资源、企业成员按企业项目进行管理，通过企业项目将云资源、带有权限的用户组绑定到一起，通过授权用户组来限制用户使用企业项目内的云资源权限。

本页为您介绍数据传输服务DTS的产品规格。 数据传输服务DTS产品规格说明 数据传输服务DTS提供如下可用的产品规格： 任务类型 分类 适用场景 参考性能 数据迁移 小规格 小规格实例，一般仅用于个人学习或者非生产环境下的产品体验和功能验证 1000RPS 数据迁移 中规格 小型企业及个人在线业务的去O迁移或上云 3000RPS 数据迁移 大规格 中小型企业及个人在线业务的去O迁移或上云 5000RPS 数据迁移 超大规格 大型型企业在线业务的去O迁移或上云 7000RPS 数据迁移 极大规格 超大型企业在线业务的去O迁移或上云 12000RPS 数据同步 小规格 小规格实例，一般仅用于个人学习或者非生产环境下的产品体验和功能验证 1000RPS 数据同步 中规格 小型企业及个人在线业务的数据复制与灾备 3000RPS 数据同步 大规格 中小型企业在线业务的数据复制与灾备 5000RPS 数据同步 超大规格 大型企业核心业务的本地同城灾备或异地灾备环境搭建 7000RPS 数据同步 极大规格 超大型企业核心业务的本地同城灾备或异地灾备环境搭 12000RPS 数据同步 特大规格 特大型企业核心业务的本地同城灾备或异地灾备环境搭建 30000RPS 说明 如需进行MySQL实例间双向同步、PostgreSQL实例间双向同步，请务必在订购时选择订购数据同步大规格及以上规格。您可以在订购时选择同步拓扑双向同步，此时系统将自动为您限制仅能选择数据同步大规格及以上规格；如订购时未选择双向同步，那么仅当您订购的数据同步实例是大规格及以上规格时，还可以在在实例配置配置迁移对象及高级配置环节选择双向同步。 订购MySQL>MySQL、PostgreSQL>PostgreSQL数据同步实例小规格，将不支持启动任务后修改同步对象，如需动态修改同步对象请选择订购中规格及以上规格。 当用户订购DDS/MongoDBDDS/MongoDB迁移链路、数据架构类型为分片，分片数>5时，可订购极大规格。 当用户订购DDS/MongoDBDDS/MongoDB同步链路、数据架构类型为分片，分片数>5时，可订购极大规格；分片数>9时，可订购特大规格。 各规格的线上运行性能受网络环境、源实例和目标实例的性能、延迟等因素影响，实际的性能数字会有差异。

后续操作 1. 数据盘镜像创建完成后，可以在私有镜像列表看到已经创建成功的数据盘镜像。 2. 数据盘镜像支持的操作包括：查看详情、申请数据盘、修改、删除、导出、共享、取消共享。 3. 使用数据盘镜像申请数据盘，单击操作栏的“申请数据盘”，进入申请数据盘界面。 操作界面与常规的购买云硬盘一样。 注意 使用数据盘镜像申请数据盘时，无法同时通过快照创建。

批作业监控：调度作业 作业开发完成后，用户可以在“作业监控”页面中管理作业的调度任务，例如：执行调度、暂停调度、恢复调度、停止调度。 详见下图：调度作业 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“运维调度 > 作业监控”。 3. 单击“批作业监控”页签，进入批作业的监控页面。 4. 在作业的“操作”列，单击“执行调度”/“暂停调度”/“恢复调度”/“停止”。 如果该批处理作业设置有依赖的作业，执行调度该作业时可以设置为只启动当前作业或同时启动依赖的作业。如何配置依赖作业，请参见调度作业章节中的“配置作业调度任务（批处理作业）”。 详见下图：启动作业 批作业监控：补数据 补数据是指作业执行一个调度任务，在过去某一段时间里生成一系列的实例。用户可以通过补数据，修正历史中出现数据错误的作业实例，或者构建更多的作业记录以便调试程序等。 只有配置了周期调度的作业，才支持使用该功能。如需查看补数据的执行情况，请参见补数据监控。 说明 当作业正在补数据时，请勿修改作业配置，否则会影响补数据过程中生成的作业实例。 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“运维调度 > 作业监控”。 3. 单击“批作业监控”页签，进入批作业的监控页面。 4. 在作业的“操作”列，选择“更多 > 补数据”。 5. 弹出“补数据”对话框，配置如下表所示的参数。 详见下图：补数据参数 参数说明 参数 说明 补数据名称 系统自动生成一个补数据的任务名称，允许修改。 作业名称 显示需要补数据的作业名称。 业务日期 选择需要补数据的时间段。 说明 一个作业可进行多次补数据。但多次补数据的业务日期需要避免交叉重叠，否则可能导致数据重复或混乱，用户请谨慎操作。 并行周期数 设置同时执行的实例数量，最多可同时执行5个实例。 说明 请根据实际情况配置并行周期数，例如CDM作业实例，不可同时执行补数据操作，并行周期数只可设置为1。 需要补数据的下游作业 选择需要补数据的下游作业（指依赖于当前作业的作业），支持多选。 6. 单击“确定”，开始补数据，并进入“补数据监控”页面。

本文为您介绍对象存储数据灾备安装部署的相关操作。 概要 对象存储数据灾备主要解决对象存储相关的数据同步场景。帮助用户将海量非结构化数据同步至对象存储中，进而提高非结构化数据的检索与访问性能。既降低了运营的成本，又提高了数据的安全性。文件归档功能使得数据归档管理更加灵活方便，能够及时将本地存储符合归档条件的数据同步至对象存储中，从而释放本地存储资源；所有归档记录可以通过管理界面快速查询和恢复，十分适合有海量数据存储的场景。 对象存储数据灾备的使用场景主要有： 本地/NAS存储上的数据同步至对象存储，详情见本地到对象存储规则、文件比较与同步规则两章节； 对象存储上的数据同步至本地/NAS存储，详情见对象存储到本地规则章节； 对象存储到对象存储之间的数据同步，详情见文件比较与同步规则章节。 针对以上场景：对象存储数据灾备可以实现间隔为秒级的数据定期同步。 操作步骤 一、购买许可 持续数据保护/主机高可用/数据定时灾备/文件存储数据灾备/对象存储数据灾备/数据库双活的购买许可步骤类似。下面以持续数据保护为例，介绍购买许可步骤。 1. 登录天翼云，进入控制中心。 2. 单击管理控制台左上角的，选择区域。 3. 在服务列表选择“计算”“多活容灾服务”，进入多活容灾服务控制台。 4. 点击左侧菜单栏“资源同步”“资源同步管理”，进入资源管理模块页面。 5. 点击左侧菜单栏“对象存储数据灾备”，点击“许可”，进入许可页面。 6. 点击右上角“购买对象存储数据灾备许可”按钮，弹出购买许可弹窗。按需购买许可。 7. 填写购买数量和时长，勾选已阅读并同意相关协议后，点击“购买”按钮，完成许可支付。

本节介绍数据缓存亲和性调度。 Fluid提供了数据缓存亲和性调度优化能力，根据数据集排布的Pod调度策略，支持通过webhook机制将调度信息注入到业务Pod中，从而实现将业务Pod优先调度到有数据缓存能力的节点。 在智算场景下，创建训练任务指定数据集时，通过调度优化策略将训练任务优先调度到缓存数据节点，可以提高数据同节点访问概率，获取最大程度访问效率。 前提条件 已完成AI套件安装，弹性数据集组件运行正常。 已创建数据集并开启加速。 数据集加速状态为已加速或已预热。 功能介绍 基于Mutating Webhook机制，Fluid可以在 业务Pod 创建时拦截，检测是否使用 Fluid PVC，从而为应用Pod注入所需数据缓存的亲和性信息（fluid.io/s{namespace}{dataset}）。当Kubernetes调度器调度应用Pod时，可以优先选择有缓存数据的节点。 注意 如果应用Pod在spec.affinity或spec.nodeSelector中自定义了与fluid调度相关的亲和性信息，此时以应用Pod自身配置为准，Fluid不会注入相关的亲和性调度配置信息。 操作步骤 1、创建数据集并开启数据加速 2、训练任务使用加速数据集 登录云容器引擎管理控制台； 在集群列表页点击进入指定集群； 进入主菜单 智算套件 > AI应用列表 > 离线训练 > 创建AI应用； 进入离线训练应用创建页面，在“基本信息”栏添加标签： 标签名为：fuse.serverful.fluid.io/inject 标签值为：true 进入离线训练应用创建页面，进行相关信息配置，详细参考创建训练任务； 配置训练数据： 点击“选择数据集”，在弹出页面选择“私有数据集”，选择已加速的数据集名称： 点击“选择数据集版本”，在弹出页面选择“私有数据集”，选择已加速的数据集名称： 继续其他配置，完成训练应用创建。 查看训练任务调度信息 进入主菜单 > 工作负载 > 容器组，查看训练任务pod对应的yaml信息，已经注入缓存节点调度信息： 进入主菜单 > 工作负载 > 容器组，可以看到训练任务pod 所在节点与fluid数据节点一致。

本节介绍数据缓存亲和性调度。 Fluid提供了数据缓存亲和性调度优化能力，根据数据集排布的Pod调度策略，支持通过webhook机制将调度信息注入到业务Pod中，从而实现将业务Pod优先调度到有数据缓存能力的节点。 在智算场景下，创建训练任务指定数据集时，通过调度优化策略将训练任务优先调度到缓存数据节点，可以提高数据同节点访问概率，获取最大程度访问效率。 前提条件 已完成AI套件安装，弹性数据集组件运行正常。 已创建数据集并开启加速。 数据集加速状态为已加速或已预热。 功能介绍 基于Mutating Webhook机制，Fluid可以在 业务Pod 创建时拦截，检测是否使用 Fluid PVC，从而为应用Pod注入所需数据缓存的亲和性信息（fluid.io/s{namespace}{dataset}）。当Kubernetes调度器调度应用Pod时，可以优先选择有缓存数据的节点。 注意 如果应用Pod在spec.affinity或spec.nodeSelector中自定义了与fluid调度相关的亲和性信息，此时以应用Pod自身配置为准，Fluid不会注入相关的亲和性调度配置信息。 操作步骤 1、创建数据集并开启数据加速 2、训练任务使用加速数据集 登录云容器引擎管理控制台； 在集群列表页点击进入指定集群； 进入主菜单 智算套件 > AI应用列表 > 离线训练 > 创建AI应用； 进入离线训练应用创建页面，在“基本信息”栏添加标签： 标签名为：fuse.serverful.fluid.io/inject 标签值为：true 进入离线训练应用创建页面，进行相关信息配置，详细参考创建训练任务； 配置训练数据： 点击“选择数据集”，在弹出页面选择“私有数据集”，选择已加速的数据集名称： 点击“选择数据集版本”，在弹出页面选择“私有数据集”，选择已加速的数据集名称： 继续其他配置，完成训练应用创建。 查看训练任务调度信息 进入主菜单 > 工作负载 > 容器组，查看训练任务pod对应的yaml信息，已经注入缓存节点调度信息： 进入主菜单 > 工作负载 > 容器组，可以看到训练任务pod 所在节点与fluid数据节点一致。

本节主要介绍实例自定义数据的定义，以及如何将自定义数据传入实例、查看自定义数据、修改自定义数据等。 实例自定义数据 实例自定义数据是指用户给虚拟机实例上传的脚本、指令或配置文件等数据，用于管理实例的启动行为或对实例进行一些基础配置，如：完成自动化运维脚本、安装/卸载/更新软件或补丁、设置用户名及密码等。 注意 实例必须使用公共镜像或基于公共镜像创建的自定义镜像，或者确保自定义镜像中已经安装cloudinit相关组件。 创建虚拟机设置自定义数据 1. 登录ECX控制台。 2. 单击左侧【边缘虚拟机>实例】导航栏。 3. 对于普通线上用户，点击【新建实例】；对于线下用户，点击【新建实例>指定区域开通】。 4. 在“高级选项”中设置实例自定义数据，虚拟机创建完成启动后，即可生效，其中目前支持的自定义数据类型及格式要求，详见自定义数据格式。 已有虚拟机设置自定义数据 1. 登录ECX控制台。 2. 单击左侧【边缘虚拟机>实例】导航栏。 3. 在虚拟机列表找到目标实例，操作列依次点击【更多>实例管理>自定义数据】，编辑完成后点击【确认】，其中目前支持的自定义数据类型及格式要求，详见自定义数据格式。 4. 找到目标实例，重装虚拟机操作系统，即可为已有虚拟机设置自定义数据。 注意 为已有虚拟机设置实例自定义数据需重装后才可生效。

本章节主要介绍通过数据地图查看数据血缘关系的查看数据血缘。 当数据开发模块中的作业已完成血缘关系配置后，启动作业调度，并在数据目录模块进行元数据采集任务，则可以在数据目录模块可视化查看数据血缘关系。 前提条件 已完成血缘关系的自动配置或手动配置，请参见 配置数据血缘。 启动作业调度 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发控制台，单击左侧导航栏中的作业开发按钮，进入作业开发页面后，打开已完成血缘配置的作业。 3. 在数据开发中，当作业进行“执行调度”时，系统开始解析血缘关系。 说明 测试运行不会解析血缘。 详见下图：作业调度 新建元数据采集任务 如果已创建元数据采集任务，此操作可跳过。 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2. 请参见任务管理章节新建元数据采集任务。

配置同步任务 1. 登录应用高可用服务控制台。 2. 单击左侧菜单栏应用容灾多活 ，在应用容灾多活菜单下单击数据双活/应用双活 ，进入数据双活/应用双活管理页面。 3. 在应用系统列表中找到需要配置的应用系统，单击应用系统名称 ，进入应用系统概览页面。 4. 单击左侧导航栏容灾配置 ，在容灾配置菜单下单击数据层配置 ，进入容灾配置数据层配置页面。 5. 单击数据同步任务列表上方创建 按钮，弹出创建数据同步任务配置页面。 6. 如下表示例，填写配置信息，单击确定按钮，完成配置。 7. 如需修改或删除数据同步配置，可单击所选配置操作列更多 按钮，在下拉列表中选择编辑 或删除，根据界面提示进行操作。 表 数据同步任务配置 配置项 描述 示例 单元组 数据同步所属业务分组，绑定其中路由规则，关联数据源。 订单业务 数据同步名称 数据同步自定义标识。 订单数据同步任务 同步方式 数据同步策略。 单向同步：适用于应用双活的主备集群模式。 双向同步：适用于数据双活的单元集群模式。 单向同步 数据源 需要同步的数据源。 订单北京数据库 主站点 应用双活的主站点标识。 说明 每个单元组可以配置多个数据同步任务，每个数据源只能关联一个数据同步任务。

本节介绍如何新增数据投递。 约束与限制 跨账号投递仅支持投递到其他账号管道中，不支持投递到其他云服务。 如果新增的数据投递为跨账号投递，则需要登录目的账号进行授权操作。 创建数据投递任务 1. 登录管理控制台。 2. 单击页面左上方的，选择“安全 > 态势感知（专业版）”，进入态势感知（专业版）管理页面。 3. 在左侧导航栏选择“工作空间 > 空间管理”，并在工作空间列表中，单击目标工作空间名称，进入目标工作空间管理页面。 4. 在左侧导航栏选择“日志审计> 安全数据”，进入安全分析页面。 5. 在左侧数据空间导航栏中，单击数据空间名称，展开数据管道后，单击目标管道名称后的“更多> 投递”，右侧弹出现在数据投递设置页面。 6. （可选）在弹出的授权提示中，确认无误后，单击“确认”，完成授权。 首次投递到目的投递类型需要进行授权，如果已经授权，请跳过该步骤。 7. 在新增投递配置页面中，配置数据投递相关参数。 1. 配置基本信息。 参数名称 参数说明 投递名称 自定义投递规则的名称。 投递资源消耗 默认生成，无需配置。 2. 配置数据源。 数据源配置中，显示当前管道数据的详细信息，无需配置。 参数名称 参数说明 投递类型 数据投递类型，默认显示为PIPE，即默认从态势感知（专业版）管道投递。 区域 当前管道所在区域。 工作空间 当前管道所属的工作空间。 数据空间 当前管道所属的数据空间。 管道 管道的名称 数据位置策略 当前管道中数据位置的策略。 读取身份 数据源读取身份信息说明。 3. 配置数据目的，请根据投递目的进行配置。 PIPE：将当前管道数据投递到本账号其他管道或其他账号的管道中，请根据您的需要进行选择配置。 本账号投递：将当前管道数据投递到本账号的其他管道中，参数配置说明如下表所示。 参数名称 参数说明 账号类型 选择数据投递目的地的账号类型，此处选择“本账号”。 投递类型 选择投递类型，此处选择PIPE。 工作空间 选择目的PIPE所在工作空间。 数据空间 选择目的PIPE所在数据空间。 管道 选择目的PIPE所在管道。 写入身份 默认生成，无需配置。 跨账号投递：将当前管道数据投递到其他账号的管道中，参数配置说明如下表所示。 参数名称 参数说明 账号类型 选择数据投递目的地的账号类型，此处选择“跨账号”。 投递类型 选择投递类型，此处选择PIPE。 账号ID 输入目的PIPE所在账号的ID。 工作空间ID 输入目的PIPE所在工作空间的ID，查询方法请参见查看管道详情。 数据空间ID 输入目的PIPE所在数据空间的ID，查询方法请参见查看管道详情。 管道ID 输入目的PIPE所在管道的ID，查询方法请参见查看管道详情。 写入身份 默认生成，无需配置。 4. 在“访问授权”中，查看上述步骤6中授予的权限。 投递请求需要获取访问您云资源的读写权限，授权后，投递任务才能拥有对您云资源相应的访问权限。 8. 单击“确定”。

本节主要介绍修改数据目录的容量配额命令。 ./stor server { S setpath } { p path } PATH & [ { n server } SERVERID ] capacityquota CAPACITYQUOTA 此命令用来修改数据目录的容量配额。 说明 对于新增的数据目录，建议设置开机自动挂载，或使用已设置自动挂载的目录或子目录。 参数 参数 描述 :: p PATH 或 path PATH 数据目录，数据目录中不能包含逗号。一次可以添加多个数据目录，以英文逗号（,）分开。 该数据目录用于存储数据，建议不要与操作系统共用磁盘或文件系统。 n SERVERID 或 server SERVERID 要修改的数据目录所属服务器ID。 如果未指定服务器ID，则为执行该命令的服务器修改数据目录。 capacityquota CAPACITYQUOTA 指定数据目录的容量配额，即针对加入到服务器中的每个数据目录，HBlock可写入的数据总量。当HBlock的使用空间一旦达到配额，就立刻阻止数据写入，不允许再使用超出配额的空间。 取值：整型。小于数据目录所在磁盘的总容量，单位是K/k、M/m、G/g、T/t、P/p，默认单位是G/g。负整数表示无限制写入，0表示禁止写入。默认不限制写入。 注意 如果一次修改多个数据目录，只能配置一个容量配额，配置的容量配额适用所有指定的数据目录。

相关服务 交互功能 弹性云主机 数据管理服务支持弹性云主机（ECS）自建库实例的数据管理。 关系型数据库 数据管理服务支持关系型数据库(RDS)实例的管理。 通过数据管理服务连接目标数据库时，需要使用到目标数据库的用户名和密码。 关系型数据库与数据管理服务须在同一个区域下。 文档数据库 数据管理服务支持文档数据库（DDS）实例的管理。 通过数据管理服务连接目标数据库时，需要使用到目标数据库的用户名和密码。 数据库实例与数据管理服务须在同一个区域下。 分布式关系型数据库 数据管理服务支持分布式关系型数据库（DRDS）实例的管理。 通过数据管理服务连接目标数据库时，需要使用到目标数据库的用户名和密码。 数据库实例与数据管理服务须在同一个区域下。

本章主要介绍翼MapReduce的恢复HBase业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对HBase进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对HBase业务数据进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复HBase任务并恢复数据。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 对系统的影响 恢复过程的数据还原阶段，系统会把待恢复的HBase表禁用，此时无法访问该表。还原阶段可能需要几分钟时间，此时HBase的上层应用无法正常工作。 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动HBase的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查HBase备份文件保存路径。 停止HBase的上层应用。 登录FusionInsight Manager，请参见登录管理系统。

本章节为您介绍数据识别模块的相关内容。 数据识别模块包含数据标签模块。 数据标签主要包含内置标签展示，自定义标签新增、修改、删除、启停用，标签查询等功能。 新增数据标签 1.登录API风险监测实例。 2.在左侧导航栏选择“数据识别 > 数据标签”，进入数据标签页面。 3.单击“新增按钮”，即可开始数据标签新增。 4.在弹出的对话框中填写相关参数。 配置模块 配置项 说明 基础设置 标签名称 只能输入中文字符、字母、数字、下划线()、点(.)或短横()，长度不超20。 基础设置 描述 填写数据标签的描述。 基础设置 分类 可选择已有分类或自定义分类。 基础设置 分级 选择已有分级或自定义，只能使用数字进行分级。 基础设置 启用状态 选择启用或禁用。 数据特征 序号 最多添加10 项。 数据特征 识别位置 共六种，分别为：请求头、请求体、响应头、响应体、响应url、文件，可以全部选择。 数据特征 识别方式 关键词或正则匹配。 数据特征 识别规则 输入关键词或正则表达式。 二次校验 标签值 关键词或正则表达式匹配。 二次校验 标签值前20 字符 关键词或正则表达式匹配。 二次校验 标签值数量 可选择大于、小于、等于。 过滤规则 序号 过滤规则的序号。 过滤规则 规则名称 添加的过滤规则的名称。 过滤规则 匹配规则 可选过滤条件有URL、标签值、标签前文匹配，匹配类型支持正则表达式和关键词。 过滤规则 操作 删除一项规则。 过滤规则 新增一项 添加一项识别规则。 测试用例 可输入样例数据 上述规则都填写好以后，点击校验测试用例，可以校验输入的数据内容是否符合上述设置的过滤规则。 5.填写完成后，单击“确定”即可完成数据标签新增。

查看详情 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2. 单击相应工作空间的“数据目录”，系统跳转至“数据目录”页面。 3. 选择“数据地图 > 数据目录”，在“技术资产”页签，选择“数据连接”，类型选择“Table”。筛选出该数据连接下的所有表。 详见下图：筛选表 4. 单击相应的表名称，即可跳转至表详情页面。 表详情页为用户展示表的详情、权限信息、列属性、血缘信息、概要、数据预览和变更记录。 详见下图：表详情页 数据预览 用户可以通过表的数据预览模块，预览当前表的业务数据。根据列的分类信息，支持对预览的数据进行实时脱敏。 数据预览支持的数据源类型：DWS、DLI、Hive、MySQL。 列的分类信息支持在新建采集任务时自动设置和在数据分类菜单中手动添加两种方式。其中仅DWS、DLI支持新建采集任务时自动设置分类。

本章节主要介绍元数据采集的元数据介绍。 按照传统的定义，元数据（Metadata）是关于数据的数据。元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中，元数据可以帮助数据仓库管理员和开发人员非常方便地找到他们所关心的数据，用于指导其进行数据管理和开发工作，提高工作效率。 将元数据按用途的不同分为两类：技术元数据（Technical Metadata)和业务元数据（Business Metadata）。 技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据。 业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够“读懂”数据仓库中的数据。 元数据管理模块是数据湖治理的基石，支持创建自定义策略的采集任务，采集数据源中的技术元数据。支持自定义业务元模型、批量导入业务元数据、关联业务和技术元数据、全链路的血缘管理和应用。

创建数据集 1. 创建普通存储数据集：登录智算服务控制台，单击左侧菜单栏的“智算资产”>“我的数据集”菜单项进入我的数据集模块，点击“基础数据集“菜单，选择“普通/智算存储”，点击【+创建普通/智算存储数据集】，进入创建页面 2. 填写相关配置并提交。基础数据集创建目前仅支持使用自有存储，创建完成后，自动为您创建拼接此数据后缀的容器内挂载路径。 类型 字段 说明 存储基本信息 数据集名称 压缩任务名称，不超过20个字符 存储基本信息 描述 数据集描述信息 权限配置 可见范围 读写权限范围，支持设置仅文件所有者可见、指定工作空间内的算法开发角色可见两种权限策略 存储位置 存储桶/HPFS名称 您租户账号下的存储桶或HPFS名称；若您还未创建，您可点击【去创建】跳转到存储控制台进行创建 存储位置 ZOS/HPFS路径 您对应存储的具体的目录路径，您可根据提示示例进行填写，平台会对您填写路径的存在性进行校验，若校验不通过会进行提示，并禁止提交。 对于管理员用户，此项选填；对于普通子用户，此项必填。 特殊配置 设为保密数据集 对于某些行业客户，在大模型训练时会涉及到保密数据的处理问题，比如需要避免用户下载到本地造成数据泄漏，针对这类问题，平台推出了特色的数据保密功能，以应对用户下载或拷贝保密数据的行为。相关配置仅对管理员用户开放，且此功能会增加操作复杂度和资源占用，建议您只在需要的时候使用。 开启此按钮后，可将本数据集设置为保密数据集。开启保密后，此数据集将：1）仅支持读操作，禁止写操作，运行后的输出将单独写入到保密输出路径；2）数据挂载到容器时禁止访问外网。 特殊配置 设为保密数据集的输出路径 若您已设置保密数据集，您还需再创建一个保密输出数据集，专门用于存储保密数据集的输出，并谨慎设置相关权限：1）若您使用了自有存储，建议您只给自己或管理者读写权限（需前往对应存储控制台设置），即您需要确保这是由您完全可控的存储；2）此数据集的可见范围（在本页面的权限配置设置），建议您只对需要的用户设置。 特殊配置 云审计 您设置好保密输出路径后，会自动弹出云审计设置，此设置对使用了对应保密输出数据集的任务生效。开启云审计后，使用此保密输出数据集的任务在容器内的命令操作将会被记录并发送到云审计，并标识拷贝等高危操作。 特殊配置 审计频率 您开启云审计后，会弹出审计频率设置。审计频率是指审计上报的时间间隔，支持输入11440的整数。如果您设置的时间间隔太短，频繁扫描将会增加损耗，如时间太长，上报的事件信息较密集，建议您根据业务实际情况填写合适的时间。

参数 描述 p PATH 或 path PATH 要添加的数据目录。一次可以添加多个数据目录，以英文逗号（,）分开。 说明 该数据目录用于存储数据，建议不要与操作系统共用磁盘或文件系统。 取值：只能包含字母、数字、汉字和特殊字符(~ ! @ $ ( ) + ; . :)。 n SERVERID 或 server SERVERID 要添加的数据目录所属服务器ID。 如果未指定服务器ID，则为执行该命令的服务器添加数据目录。 capacityquota CAPACITYQUOTA 指定数据目录的容量配额，即针对加入到服务器中的每个数据目录，HBlock可写入的数据总量。当HBlock的使用空间一旦达到配额，就立刻阻止数据写入，不允许再使用超出配额的空间。 取值：整型。小于数据目录所在磁盘的总容量，单位是K/k、M/m、G/g、T/t、P/p，默认单位是G/g。负整数表示无限制写入，0表示禁止写入。默认不限制写入。 注意 如果一次添加多个数据目录，只能配置一个容量配额，配置的容量配额适用添加的所有目录。

编辑分类 1. 在左侧菜单栏中，选择 数据资产 > 敏感数据保护，进入敏感数据保护页面。 2. 登录数据管理服务。 3. 在顶部菜单栏中，选择分类分级页签，进入分类分级页面。 4. 选择任一自定义模版，点击操作列的编辑按钮，进入模版详情页面。 5. 在左侧数据分类栏中，鼠标移动到任一数据分类右侧的...按钮上，在弹出的下拉列表中点击编辑按钮，即可编辑该数据分类。 6. 编辑完成后，点击右侧的√按钮即可编辑成功，点击右侧的×按钮即可取消编辑。 删除分类 1. 在左侧菜单栏中，选择 数据资产 > 敏感数据保护，进入敏感数据保护页面。 2. 登录数据管理服务。 3. 在顶部菜单栏中，选择分类分级页签，进入分类分级页面。 4. 选择任一自定义模版，点击操作列的编辑按钮，进入模版详情页面。 5. 在左侧数据分类栏中，鼠标移动到任一数据分类右侧的...按钮上，在弹出的下拉列表中点击删除按钮，即可删除该数据分类。 数据分级管理 添加条件 1. 在左侧菜单栏中，选择 数据资产 > 敏感数据保护，进入敏感数据保护页面。 2. 登录数据管理服务。 3. 在顶部菜单栏中，选择分类分级页签，进入分类分级页面。 4. 选择任一自定义模版，点击操作列的编辑按钮，进入模版详情页面。 5. 点击数据分级管理按钮，进入数据分级管理页面。 6. 点击添加数据分级按钮，输入数据分级的名称、敏感等级、描述后，点击右侧的√按钮即可添加成功，点击右侧的×按钮即可取消添加。