本节为您介绍数据库迁移工具任务批量删除操作。 数据库迁移工具提供任务批量删除功能，用户可勾选要删除任务，再点击“批量删除”按钮，一次性删除多个同步任务。 操作步骤 1. 进入“数据库迁移工具”，点击“数据传输”展开菜单，点击“数据同步” 2. 用户可通过选择处于“已取消”或“失败”的任务，点击同步任务的“批量删除”按钮，删除选中任务。 3. 点击“确定”之后，选中的任务信息被移除。

本文为您介绍初始化Linux数据盘(parted)。 操作场景 本文以物理机的操作系统为“CentOS 7.6 64位”为例，采用parted分区工具为数据盘设置分区。 说明 物理机的不同操作系统的格式化操作可能不同，本文仅供参考，具体操作步骤和差异请参考对应操作系统的产品文档。 前提条件 已登录物理机。 挂载至物理机的云盘数据盘或者物理机的本地数据盘还没有被初始化。 划分分区并挂载磁盘 本操作以该场景为例，当物理机挂载了一块新的数据盘时，采用parted分区工具为数据盘设置分区，分区形式设置为GPT，文件系统设为ext4格式，挂载在“/mnt/sdc”下，并设置开机启动自动挂载。 操作步骤 1. 执行以下命令，查看新增数据盘。 lsblk 回显类似如下信息： [root@testsharedDisk ~] lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT vda 252:0 0 100G 0 disk ├─vda1 252:1 0 1G 0 part ├─vda2 252:2 0 3G 0 part /boot/efi ├─vda3 252:3 0 5G 0 part /boot ├─vda4 252:4 0 80G 0 part / └─vda5 252:5 0 10G 0 part vdc 252:32 0 30G 0 disk 表示当前的服务器有两块磁盘，“/dev/vda”是系统盘，“/dev/vdc”是新增数据盘。 2. 执行以下命令，进入parted分区工具，开始对新增数据盘执行分区操作。 parted新增数据盘 以新挂载的数据盘“/dev/vdc”为例： parted /dev/vdc 回显类似如下信息： [root@testsharedDisk ~]

本文为您介绍初始化Linux数据盘(parted)。 操作场景 本文以物理机的操作系统为“CentOS 7.6 64位”为例，采用parted分区工具为数据盘设置分区。 说明 物理机的不同操作系统的格式化操作可能不同，本文仅供参考，具体操作步骤和差异请参考对应操作系统的产品文档。 前提条件 已登录物理机。 挂载至物理机的云盘数据盘或者物理机的本地数据盘还没有被初始化。 划分分区并挂载磁盘 本操作以该场景为例，当物理机挂载了一块新的数据盘时，采用parted分区工具为数据盘设置分区，分区形式设置为GPT，文件系统设为ext4格式，挂载在“/mnt/sdc”下，并设置开机启动自动挂载。 操作步骤 1. 执行以下命令，查看新增数据盘。 lsblk 回显类似如下信息： [root@testsharedDisk ~] lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT vda 252:0 0 100G 0 disk ├─vda1 252:1 0 1G 0 part ├─vda2 252:2 0 3G 0 part /boot/efi ├─vda3 252:3 0 5G 0 part /boot ├─vda4 252:4 0 80G 0 part / └─vda5 252:5 0 10G 0 part vdc 252:32 0 30G 0 disk 表示当前的服务器有两块磁盘，“/dev/vda”是系统盘，“/dev/vdc”是新增数据盘。 2. 执行以下命令，进入fdisk分区工具，开始对新增数据盘执行分区操作。 parted新增数据盘 以新挂载的数据盘“/dev/vdc”为例： parted /dev/vdc 回显类似如下信息： [root@testsharedDisk ~]

本节为您介绍数据库迁移工具任务列表查看。 数据库迁移工具可以获取当前用户发起的数据同步类型任务，如任务名、源端配置信息、目标端配置信息、任务开始时间、任务执行状态等信息。

本文介绍使用Rediscli迁移自建Redis（RDB文件） 迁移介绍 Rediscli 是 Redis 自带的命令行客户端工具，它允许用户通过命令行与 Redis 服务器进行交互 如果 Redis 服务不支持获取 AOF 文件，你可以尝试使用 Rediscli 工具获取 RDB 文件，并通过其他工具（如 RedisShake）将其导入到 DCS 缓存实例中。 说明 源Redis实例必须支持“SYNC”命令，因为使用Rediscli导出RDB文件依赖SYNC命令。 步骤1：导出前准备 对于主备或集群实例，由于数据写入 RDB 文件存在一定的时延，你可以在迁移之前先了解待迁移 Redis 实例的 RDB 策略配置（策略配置位于 redis.conf 文件中） 为确保 RDB 文件包含完整的缓存数据，建议先暂停业务系统 步骤2：导出RDB文件 说明 建议业务空闲时间进行迁移操作。 待导出的源Redis为集群模式时，需要对集群的每个节点逐一执行导出操作，然后再逐一导入到目标Redis中。 使用如下命令导出RDB文件： ./rediscli h {redisaddress} p {redisport} a {password} rdb {output.rdb} 执行命令后回显"Transfer finished with success."，表示文件导出成功。 步骤3：上传RDB文件至天翼云ECS 为节省传输时间，请先压缩RDB文件再传输。 将压缩文件（如以SFTP/SCP等方式）上传到天翼云ECS。 说明 ECS需保证有足够的磁盘空间，供数据文件存储，同时需要与缓存实例网络互通，通常要求相同VPC和相同子网，且安全组规则不限制访问端口。 步骤4：导入数据 可借助RedisShake工具完成数据导入。 步骤5：迁移后验证 数据导入成功后，请连接DCS缓存实例，通过dbsize命令，确认数据是否导入成功 如果导入不成功，需要分析原因，修正导入语句，然后使用flushall或者flushdb命令清理实例中的缓存数据，并重新导入。

本章节主要介绍参考数据管理功能。 参考数据是数据的字典，是将组织内数据与组织外信息关联起来的代码表，定义了数据的值域；参考数据被用于字段标准的支撑，字段标准通过引用参考数据来确定具体的值域范围。 参考数据管理模块统一维护和管理参考数据，支持参考数据的分类、新增、导入、编辑、删除、发布、废止等操作。 参考数据目录 新建目录 支持标准目录新建，点击目录区域的加号【+】，可以选择从数据架构添加目录或自定义添加目录。 目录操作 针对现有目录，点击目录名右侧的按钮，可以实现对目录的管理和操作。 新增参考数据 点击【+新增参考数据】按钮，进入新增页面，填写参考数据信息。 基础信息 填写参考数据基础信息，包括参考数据名称（必填）、英文名称（必填）、所属目录（必填）及备注。 其中，关联字段所属目录有两种方式，一种通过在标准基础信息的所属目录下拉菜单中选择所属目录 另一种在字段标准界面首先选中目标目录，再点击【+新增字段标准】按钮，则进入新增页面后，在所属目录位置上可以自动关联已选目录。 代码值 支持添加代码项和批量导入两种方式录入参考数据代码值。代码值信息包括标识码、标识码说明、备注及操作。点击【添加代码项】按钮，手动输入代码值信息。 点击【批量导入】按钮，在弹窗中上传文件。数据导入支持下载模板，点击【下载模板】按钮下载参考模板，按照模板字段要求填充，点击或拖动文件至上传框进行文件上传。 点击【确定】按钮完成批量导入内容的上传。 完成新增 点击【保存】按钮完成参考数据的新增。

本文为您介绍使用parted分区工具初始化Linux数据盘的操作步骤。 操作场景 本文以“CentOS 7.6 64位”操作系统为例，介绍如何使用parted分区工具为数据盘设置分区，操作回显仅供参考。 前提条件 已挂载数据盘至云主机或物理机，且数据盘还没有被初始化。 操作步骤 当新增云硬盘的容量小于2TB，使用parted工具进行Linux数据盘初始化共分为五步，具体步骤如下： 登录弹性云主机。 查看新增数据盘：查看新增数据盘是否已成功挂载至此台云主机，并查看其容量。 创建GPT分区：为新增数据盘创建独立的逻辑分区，以便更好地组织和管理数据。 创建文件系统并挂载：为新建分区创建文件系统，可以使用独立的文件系统来存储数据。 设置开机自动挂载磁盘：云主机系统启动时可自动挂载磁盘。 登录弹性云主机 1. 登录控制中心。 2. 单击控制中心左上角的，选择地域，此处我们选择华东1。 3. 单击选择“计算>弹性云主机”，进入云主机列表页面。 4. 单击需要初始化数据盘的云主机所在行的“操作>远程登录”，登录此台云主机，具体操作可参见登录Linux弹性云主机。 查看新增数据盘 执行命令 fdisk l，查看新增数据盘。回显如下： 当前的云主机有两块磁盘，“/dev/vda”是默认的系统盘，“/dev/vdb”是本次新增需要初始化的数据盘，容量为30G。

本小节介绍安全专区产品类常见问题。 安全专区相比传统安全组件有什么优势？ 与天翼云平台紧密集成，识别并管理云资产及安全状态； 集成多种满足等保合规的安全组件，单点登录，一键登录并管理所有安全组件； 提供全覆盖的安全态势管理能力，集中展现资产不同的安全状态信息； 集中管理云网边界、虚机、业务系统的漏洞、告警、用户行为和安全运行数据； 一键订购，产品自动交付，快速解决云上等保合规要求。 安全专区的防护功能是否就能满足等保合规需求？ 安全专区可满足等保二级、三级的安全技术合规要求。 一套安全专区的防护能服务于多少个系统？ 安全专区套餐可满足天翼云同个VPC甚至同数据节点的多个VPC的多个业务系统的安全防护要求； 根据资产数量的不同，可配置不同的安全组件授权及虚机资源，满足业务防护性能需求。 日志审计有没有整合在安全专区管理中心？ 有的，日志审计通过部署agent在主机进行管理。 安全专区在多个VPC场景下，资产是否能共同管理？ 多个VPC的情况下，通过VPC路由器进行对等连接打通安全专区VPC，安全专区VPC各功能组件对所有资产共同统一管理。 安全专区产品能否解耦订购？ 支持。 安全专区防火墙防护流量最大能支持多少，如果客户所需流量超过最大防火墙防护流量怎么办？ 目前防火墙最大防护流量能达到1.6G，如果客户所需流量超过1.6G，要先确认客户有多少个VPC，如果客户有多个VPC，可以采用防火墙下沉到各个VPC分别管理的解决方案，这种情况也要结合具体项目情况具体沟通。

本章节主要介绍下载集群日志。 操作场景 本章节指导用户获取集群的日志。集群的日志可用于查看作业运行记录，定位作业失败原因等。 前提条件 已创建CDM集群。 操作步骤 1.登录CDM管理控制台。单击左侧导航上的“集群管理”，进入集群管理界面。集群列表详见下图 说明 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 2.选择集群操作列中的“更多 > 下载日志”，选择下载日志类型。下载日志类型详见下图 3.确认后，即可下载日志到本地。

本文为您介绍初始化Linux数据盘(parted)。 操作场景 本文以物理机的操作系统为“CentOS 7.6 64位”为例，采用parted分区工具为数据盘设置分区。 说明 物理机的不同操作系统的格式化操作可能不同，本文仅供参考，具体操作步骤和差异请参考对应操作系统的产品文档。 前提条件 已登录物理机。 挂载至物理机的云盘数据盘或者物理机的本地数据盘还没有被初始化。 划分分区并挂载磁盘 本操作以该场景为例，当物理机挂载了一块新的数据盘时，采用parted分区工具为数据盘设置分区，分区形式设置为GPT，文件系统设为ext4格式，挂载在“/mnt/sdc”下，并设置开机启动自动挂载。 操作步骤 1. 执行以下命令，查看新增数据盘。 lsblk 回显类似如下信息： [root@testsharedDisk ~] lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT vda 252:0 0 100G 0 disk ├─vda1 252:1 0 1G 0 part ├─vda2 252:2 0 3G 0 part /boot/efi ├─vda3 252:3 0 5G 0 part /boot ├─vda4 252:4 0 80G 0 part / └─vda5 252:5 0 10G 0 part vdc 252:32 0 30G 0 disk 表示当前的服务器有两块磁盘，“/dev/vda”是系统盘，“/dev/vdc”是新增数据盘。 2. 执行以下命令，进入parted分区工具，开始对新增数据盘执行分区操作。 parted新增数据盘 以新挂载的数据盘“/dev/vdc”为例： parted /dev/vdc 回显类似如下信息： [root@testsharedDisk ~]

前提条件 部署迁移工具drsredis。 保证迁移工具drsredis、源端Redis和目标端GeminiDB Redis网络互通。 操作步骤 如需进行Redis到GeminiDB Redis的迁移，您可以在管理控制台右上角，选择“工单 > 新建工单”，联系技术支持进行处理。 迁移性能参考 环境：源端单节点Redis和迁移工具drsredis部署在8U32GB的弹性云服务器上，目标端为4U16GB，3节点GeminiDB Redis实例。 场景一： 源端replication buffer采用默认值（slave 268435456 67108864 60），该默认值表示缓存积压数据超过268435456bytes(256MB)，或超过67108864bytes(64MB)且持续60s，源端会主动断开与从节点的连接。 源端写入速率5MB/s，迁移过程可持续进行，不会产生源端buffer满造成的同步失败。 迁移工具读取数据的速率和源端写入速率一致。 场景二： 源端replication buffer不做限制（config set "clientoutputbufferlimit" "slave 0 0 0"）。 源端写入速率10MB/s，容量充足的情况下，迁移持续进行。 迁移工具读取数据的速率和源端写入速率一致。 结论： 在环境上，使用8U32GB弹性云服务器部署迁移工具，若源端replication buffer采用默认值，迁移可在源端5MB/s的写入速率下进行；若源端对replication buffer不做限制，迁移可在源端10MB/s的写入速率下进行。

对象存储可与其他云产品集成和配合使用,构建出高效、灵活的云计算应用解决方案。本文为您介绍对象存储与其他服务的关系。 对象存储（CTZOS，Zettabyte Object Storage）是天翼云云计算产品组合中的一部分，与其他产品相互关联。除了对象存储，天翼云还提供了其他云计算产品和服务，如云主机、关系数据库、云监控等，这些产品可以在天翼云平台上进行集成和使用。例如，可以将文件、图片、视频等数据存储在对象存储中，然后通过弹性云主机进行访问和处理。 说明： 服务名称 交互功能 相关内容 弹性云主机 在弹性云主机上实现通过天翼云内网访问ZOS。 购买弹性云主机 云专线 通过相关服务将数据迁移到ZOS中。 开通云专线 云监控 监控用户/桶的存储容量、存储对象数量、本月公网流出流量、本月请求次数、公网流出流量、公网流入流量、内网流出流量、内网流入流量、公网请求次数、内网请求次数、有效请求率、平均使用带宽。 查看云监控 密钥管理 对上传到ZOS中的文件进行加密。 开通密钥管理 域名服务 为托管在ZOS上的静态网站做域名解析。 配置内网域名 关系数据库 使用ZOS作为数据库的数据备份资源池。 创建关系数据库MySQL版实例

本页面介绍了云数据库ClickHouse的表引擎。 表引擎 表引擎（即表的类型）决定了： 数据的存储方式和位置，写到哪里以及从哪里读取数据。 支持哪些查询以及如何支持。 并发数据访问。 索引的使用（如果存在）。 是否可以执行多线程请求。 数据复制参数。 引擎类型 MergeTree MergeTree是云数据库ClickHouse的主要存储引擎,按主键排序存储数据，支持索引、分区和复制，提供高速写入和实时分析查询。 该类型的引擎： MergeTree ReplacingMergeTree SummingMergeTree AggregatingMergeTree CollapsingMergeTree VersionedCollapsingMergeTree GraphiteMergeTree 日志 轻量级的小数据量存储，按插入顺序存储数据，无序，超高速写入，但没有索引。 该类型的引擎： TinyLog StripeLog Log 集成引擎 用于与其他的数据存储与处理系统集成的引擎。 该类型的引擎： Kafka MySQL ODBC JDBC HDFS 用于其他特定功能的引擎 该类型的引擎： Distributed MaterializedView Dictionary Merge File Null Set Join URL View Memory Buffer 虚拟列 虚拟列是表引擎组成的一部分，它在对应的表引擎的源代码中定义。 您不能在 CREATE TABLE 中指定虚拟列，并且虚拟列不会包含在 SHOW CREATE TABLE 和 DESCRIBE TABLE 的查询结果中。虚拟列是只读的，所以您不能向虚拟列中写入数据。 如果想要查询虚拟列中的数据，您必须在SELECT查询中包含虚拟列的名字。SELECT 不会返回虚拟列的内容。 若您创建的表中有一列与虚拟列的名字相同，那么虚拟列将不能再被访问。我们不建议您这样做。为了避免这种列名的冲突，虚拟列的名字一般都以下划线开头。 合并树引擎示例

本文介绍签名工具的使用方法。 Header签名工具 对象存储ZOS提供Header V2签名工具。您可以在可视化界面中填入指定参数，为GET、POST、PUT、DELETE和HEAD类的请求生成签名。 使用方法 通过Header V2签名工具生成签名的步骤如下： 1. 点击进入Header V2签名工具。 2. 填写对象存储的Access Key和Secret Key。如何获取请参见获取访问密钥（AK/SK）获取对象存储AK/SK。 3. 参考下表填写各项参数。 参数 是否必选 说明 请求方法 是 请求方法包括GET、POST、PUT、DELETE和HEAD，您根据调用的API选择。 GET：获取目标资源，如查询桶策略、下载对象等。 POST：新增资源或执行特殊操作，如生成预签名URL等。 PUT：更新目标资源，如设置桶策略、上传对象等。 DELETE：删除目标资源，如删除桶、删除对象等。 HEAD：返回资源的头部信息，如获取对象的元数据等。 ContentMD5 否 请求数据的MD5值，可以为空。ContentMD5是通过MD5算法计算数据的128位摘要，并将base64编码放入头部的字符串。设置此值可用于检查信息的一致性。 ContentType 否 请求内容的类型，例如image/png，可以为空。 Date 是 请求生成的时间。点击后出现弹窗，选择日期和时间，时间为北京时间。 bucket 否 希望访问的对象存储桶的名称，可以为空。 object 否 希望访问的对象存储对象的名称，可以为空。 4. 点击“生成Header签名”。右侧会生成结果，您可以复制签名字段、签名调用函数和请求头。

Web应用防火墙对网站业务流量进行多维度检测和防护，降低数据被篡改、失窃的风险。 精准高效的威胁检测 采用规则和AI双引擎架构，默认集成最新的防护规则和优秀实践。 企业级用户策略定制，支持拦截页面自定义、多条件的CC防护策略配置、海量IP黑名单等，使网站防护更精准。 0day漏洞快速修复 专业安全团队724小时运营，实现紧急0day漏洞2小时内修复完成，帮助用户快速抵御最新威胁。 保护用户数据隐私 支持用户对攻击日志中的账号、密码等敏感信息进行脱敏。 支持PCIDSS标准的SSL安全配置。 支持TLS协议版本和加密套件的配置。

查询数据 Flink SQL 读取 Hudi 表支持批与流两种模式，MOR 表流读通过读取日志尾部增量记录实现近实时消费： plaintext 批（快照）读取 SELECT FROM orders WHERE orderdate '20260917'; 流式读取（读取表增量，持续输出新写入数据） SET execution.runtimemode streaming; SELECT FROM orders /+ OPTIONS('read.streaming.enabled''true', 'read.startcommit''20260917093000123') /; 流读相关主要参数：read.streaming.enabled（是否流读）、read.startcommit（起始消费时刻）、read.streaming.checkinterval（增量检查间隔，默认 30 秒）。 Flink 集成注意事项 1、流式写入必须开启 Checkpoint，Checkpoint 间隔即为数据可见延迟； 2、MOR 表建议保持默认异步压缩（compaction.async.enabledtrue），避免日志堆积拖慢快照查询； 3、同一张表不可同时被 Spark 与 Flink 写入，跨引擎写入会因并发提交冲突失败；读写可跨引擎（Flink 写、Spark 读或反之）； 4、Flink 写入无推测执行问题（推测执行为 Spark 特有），Spark 侧写入的推测执行限制见"使用说明环境准备"。

查询数据 Flink SQL 读取 Hudi 表支持批与流两种模式，MOR 表流读通过读取日志尾部增量记录实现近实时消费： plaintext 批（快照）读取 SELECT FROM orders WHERE orderdate '20260917'; 流式读取（读取表增量，持续输出新写入数据） SET execution.runtimemode streaming; SELECT FROM orders /+ OPTIONS('read.streaming.enabled''true', 'read.startcommit''20260917093000123') /; 流读相关主要参数：read.streaming.enabled（是否流读）、read.startcommit（起始消费时刻）、read.streaming.checkinterval（增量检查间隔，默认 30 秒）。 Flink 集成注意事项 1、流式写入必须开启 Checkpoint，Checkpoint 间隔即为数据可见延迟； 2、MOR 表建议保持默认异步压缩（compaction.async.enabledtrue），避免日志堆积拖慢快照查询； 3、同一张表不可同时被 Spark 与 Flink 写入，跨引擎写入会因并发提交冲突失败；读写可跨引擎（Flink 写、Spark 读或反之）； 4、Flink 写入无推测执行问题（推测执行为 Spark 特有），Spark 侧写入的推测执行限制见"使用说明环境准备"。

对比项 MSE ZooKeeper 自建ZooKeeper 系统搭建成本 资源全托管免运维，故障节点自动摘除。 自行购买各种资源搭建系统，运维升级需投入精力，人工成本高。 易用性 提供可视化的数据管理，支持页面修改全局参数，重启生效。 不支持可视化。 高可用 多AZ部署，故障自动检测以及数据及时备份成快照。 需自行开发高可用保障体系。 性能 集成超高IO磁盘，提高ZooKeeper读写性能。 需要自行调试。 监控告警 对集群状态，znode数，连接数，请求平均延时等指标监控。 没有监控体系，需要自己搭建。

本章节主要介绍SQL作业相关问题中有关使用咨询的问题。 DLI是否支持创建临时表？ 问题描述 临时表主要用于存储临时中间结果，当事务结束或者会话结束的时候，临时表的数据可以自动删除。例如MySQL中可以通过：“create temporary table ...” 语法来创建临时表，通过该表存储临时数据，结束事务或者会话后该表数据自动清除。当前DLI是否支持该功能？ 解决措施 当前DLI不支持创建临时表功能，只能根据当前业务逻辑控制来实现相同功能。 可以本地连接DLI吗?支持远程工具连接吗？ 暂不支持。 请在控制台提交作业。 DLI SQL作业超过12h会被kill掉吗？ 默认情况下，为了保障队列的稳定运行，超过12h的SQL作业会被系统按超时取消处理。 用户可以通过dli.sql.job.timeout（单位是秒）参数配置超时时间。 DLI支撑本地测试Spark作业吗? DLI暂不支持本地测试Spark作业。 您可以安装DLI Livy工具，通过Livy工具提供的交互式会话能力调测Spark作业。 DLI 表(OBS表 / DLI 表 )数据支持删除某行数据吗？ DLI 表(OBS表 / DLI 表 )数据暂不支持删除某行数据。

标准快速 全栈云服务集成一体 , 多种增值能力可选，大幅减少建设时间。 国产化和x86多种配置可选，满足客户不同需求场景。 标准产品规格及售卖模式，快速匹配客户需求。 到货后110个工作日即可完成产品部署交付，虚拟资源即开即用。 安全稳定 采用自研云底座，历经大规模客户业务验证。 数据多副本（双副本或三副本）、故障HA、快照与备份等多项技术保障数据高可靠。 高效管理 内置云管平台，可视化资源开通及运营管理。 可整合多一体机集群，提供混合多资源池管理能力。 支持VPN服务，帮助客户以低成本快速构建专有企业云网。 极简运维 多维度监控、告警数据，帮助用户提前发现业务运行隐患。 属地化运维和724小时在线服务，全方位解决客户后顾之忧。

本章节主要介绍高质量数据集平台的数据源管理功能。 支持数据源的管理，支持对数据源进行团队共享公开，提供数据源的接入与管理能力。支持接入的数据源包括MySQL、Doris、Ceph、OSS、kafka 等主流数据源。

不支持OOS Bucket重命名。若需要其他名称，建议您创建新的Bucket，将原Bucket的文件（Object）迁移到新创建的Bucket后，删除原文件（Object）和原存储桶（Bucket）即可。 若您原Bucket内的文件较少，您可以通过复制文件的方式迁移您的数据，详见复制文件或PUT Object Copy。 若您原Bucket内的文件较多，可以使用OOS数据迁移工具来迁移您的数据，详见OOS数据迁移工具。

本章节主要介绍数据治理中心DataArts Studio的可用规格。 数据治理中心 DataArts Studio （基础包）： 销售品名称 数据治理中心 DataArts Studio初级版 数据治理中心 DataArts Studio企业版 DataArts Studio 增量包 批量数据迁移 CDM ： 销售品名称 CPU核数 内存 DataArts Studio增量包批量数据迁移cdm.large 8 16GB DataArts Studio增量包批量数据迁移cdm.xlarge 16 32GB DataArts Studio增量包批量数据迁移cdm.4xlarge 64 128GB

本章节为您介绍数据资产的相关操作。 数据资产功能主要用于数据源 输出目标的管理，您可以在该功能模块手动添加 或导入导出数据源/输出目标。 手动新增数据源 1.使用系统管理员账号登录数据脱敏实例。 2.在左侧目标栏选择“数据资产管理 > 数据源/目标”，进入“数据源/目标”管理页面。 3.单击页面左上角的“新增”按钮，在右侧的窗口中数据需要新增数据源的相关信息。 注意 不同的数据源类型会存在不同的参数填写情况。 若您选择的数据源类型为StructFile下的LOCAL/FTP/SFTP，且文件类型为csv/txt/del，则可以在高级属性中填写表头行数：若表头行数为0，将自动填充表头；若行数大于1，则仅保留最后一行作为新表头，此配置可以使数据扫描更加准确。 4.填写完成后，单击窗口左下角的“测试连接”按钮，测试数据源的连通性。 5.连接成功后，若需要再新增目标请单击“保存并新增数据目标”重复上述操作，否则请单击“保存”按钮。 批量导入数据源 注意 SFTP/FTP/本地文件/METADATA/MySQL分片环境/HIVE类型的数据源暂不支持通过模板批量导入。 1.使用系统管理员账号登录数据脱敏实例。 2.在左侧目标栏选择“数据资产管理 > 数据源/目标”，进入“数据源/目标”管理页面。 3.单击页面右上方的图标，下载导入模板。 4.在模板中填写数据源信息。 参数名称 参数说明 填写样例 数据源名称 自定义需要导入的数据源名称 Test 源or目标 仅支持填写“输入源”或“输出目标”。 输入源 数据源类型 填写需要新增的数据源类型 MYSQL 主机 填写数据源所在主机IP地址 192.168.0.1 端口 填写数据源所在主机的端口 3377 5.填写完成后，保存Excel文件，并导入至数据脱敏实例中。

本章节主要介绍高质量数据集平台的数据集管理功能。 数据集管理用于对生产出来的数据集进行统一的管理。通过统一纳管多源数据集，构建可追溯的数据血缘、资产标签体系及资产目录，并联动发布管理的版本控制与权限策略，实现数据资产的全生命周期可控、可复用、可审计。

本节主要介绍使用Rump在线迁移 部分云厂商的Redis实例禁止客户端发起SLAVEOF、BGSAVE、PSYNC等命令，无法使用rediscli、或redisshake等工具快速导出数据。 使用KEYS命令容易造成服务端阻塞。 云厂商一般只提供备份文件下载，这种方式仅适宜离线迁移，且迁移过程对业务中断时间较长。 Rump是一款开源的Redis数据在线迁移工具，支持在同一个实例的不同数据库之间互相迁移，以及不同实例的数据库之间迁移。 迁移原理 Rump使用SCAN来获取keys，用DUMP/RESTORE来get/set值。 SCAN是一个时间复杂度O(1) 的命令，可以快速获得所有的key。DUMP/RESTORE使读/写值独立于关键工作。 以下是Rump的主要特性： 通过SCAN非阻塞的获取key，避免KEYS命令造成Redis服务阻塞。 支持所有数据类型的迁移。 把SCAN和DUMP/RESTORE操作放在同一个管道中，利用pipeline提升数据迁移过程中的网络效率。 不使用任何临时文件，不占用磁盘空间。 使用带缓冲区的channels，提升源服务器的性能。 约束与限制 使用Rump工具在线迁移，目标端不支持DCS集群类型实例。 Redis实例的密码不能包含 @:等特殊字符，避免迁移命令解析出错。 正式进行迁移操作前，建议先暂停业务。迁移过程中如果不断写入新的数据，可能会丢失少量Key。

数据过滤 行过滤：用户可以自由拼接where条件完成行数据过滤。 列过滤：用户可以直接设置需要迁移的列。 DML和DDL清洗：支持选择增量迁移/同步的DDL或DML（INSERT/UPDATE/DELETE）操作筛选。 数据稽查 对象级对比 对源库和迁移/同步后的目标库，支持对索引、表、视图、存储过程和函数等对象在数量上进行对比，确保数据对象无缺失。 数据级对比 对源库和迁移/同步后的目标库，支持对迁移或同步的表的行数进行对比，确保用户数据完整性。 内容级对比 对源库和迁移/同步后的目标库，支持对迁移或同步的表的行数据设置对比的数据块大小，进行全量或抽样校验，确保用户数据的一致性。 迁移报告 迁移评估报告 当数据迁移完成时，自动为用户生成迁移评估报告，提供迁移前（预检查情况），迁移中（迁移过程中性能监控指标）和迁移后（数据稽查比对）的全视图，并提供WORD版本下载。 任务管理 开始任务 实例订购完成后，用户可以随时开始任务。如果是按需实例，在首次开始任务之前，不会产生任何费用。 暂停任务 用户可以随时暂停正在进行中的任务，被暂停的任务数据传输会临时中断，可以通过“开始任务”恢复运行。 编辑任务 用户可以随时调整任务当中的迁移对象，对迁移/同步对象进行新增、删除操作，重启任务后生效。 注意 在编辑任务之前，用户必须先将该任务暂停。

优势 多源数据分析免搬迁：关系型数据库RDS中存放车辆和车主基本信息，表格存储中存放实时的车辆位置和健康状态信息，数据仓库DWS中存放周期性统计的指标。通过DLI无需数据搬迁，对多数据源进行联邦分析。 数据分级存储：车企需要保留全量历史数据支撑审计类等业务，低频进行访问。温冷数据存放在低成本的对象存储服务OBS上，高频访问的热数据存放在数据引擎（DWS）中，降低整体存储成本。 告警快速敏捷触发服务器弹性伸缩：对CPU、内存、硬盘空间和带宽无特殊要求。 建议搭配以下服务使用： CDM、OBS、DWS。 大数据ETL处理 运营商大数据分析 运营商数据体量在PB~EB级，其数据种类多，有结构化的基站信息数据，非结构化的消息通信数据，同时对数据的时效性有很高的要求，DLI服务提供批处理、流处理等多模引擎，打破数据孤岛进行统一的数据分析。 优势 大数据ETL：具备TB~EB级运营商数据治理能力，能快速将海量运营商数据做ETL处理，为分布式批处理计算提供分布式数据集。 高吞吐低时延：采用Apache Flink的Dataflow模型，高性能计算资源，从用户自建的Kafka、MRSKafka、DMSKafka消费数据，单CU每秒吞吐1千~2万条消息。 建议搭配以下服务使用： OBS、DataArts Studio。

媒体存储产品优势 数据持久可用 具备多重冗余架构设计，保证数据持久性，服务可用性不低于99.99%，数据持久性不低于99.9999999999%。 服务稳定可靠 支持数据复制、数据迁移等自助备份能力，实现云上数据异地容灾。 安全合规保障 提供ACL、Policy授权和防盗链功能，保障访问安全可信；合规保留策略预防重要文件误删改。 按需弹性扩容 支持按需付费，存储容量可根据实际承载情况动态调整，提高业务灵活性。 视频流直存 深耕视频存储与应用场景，提供视频流直存和融合调度服务，实现视频就近接入/存储/分析/应用。 冷热分级存储 提供多档存储资源，生命周期策略实现不同热度数据的流动，有效节省存储开销。 大容量高性能 提供大容量、高吞吐的存储服务；采用高性能文件索引及缓存技术，支持千万级视频并发接入。 媒体服务集成 推荐搭配智能视图服务、云点播和CDN加速等云服务，轻松获得安防、视频转码和内容分发等能力。

本章节主要介绍导入数据的最佳实践。 从OBS并行导入数据 • 将导入数据拆分为多个文件 导入大数据量的数据时通常需要较长的时间及耗费较多的计算资源。 从OBS上导入数据时，如下方法可以提升导入性能：将数据文件存储到OBS前，尽可能均匀地将文件切分成多个，文件的数量以DN的整数倍更适合。 • 在导入前后验证数据文件 从OBS导入数据时，首先将您的文件上传到OBS存储桶中，我们建议您列出存储桶的内容，然后验证该存储桶是否包含所有正确的文件并且仅包含这些文件。 在完成导入操作后，请使用SELECT查询语句以验证所需文件是否已导入。 • OBS导入导出数据时，不支持中文路径。 使用GDS导入数据 • 数据倾斜会造成查询表性能下降。对于记录数超过千万条的表，建议在执行全量数据导入前，先导入部分数据，以进行数据倾斜检查和调整分布列，避免导入大量数据后发现数据倾斜，调整成本高。 • 为了优化导入速度，建议拆分文件，使用多GDS进行并行导入。另外，单个导入任务可以拆分成多个导入任务并发执行导入，多个导入任务使用同一GDS时可以使用t参数打开GDS多线程并发执行导入。GDS建议挂载在不同物理盘以及不同网卡上，避免物理IO以及网络可能出现的瓶颈。 • 在GDS IO与网卡未达到物理瓶颈前，可以考虑在数据仓库开启SMP进行加速。SMP开启之后会对对应的GDS产生成倍的压力。需要特别说明的是：SMP自适应衡量的标准是数据仓库的CPU压力，而不是GDS所承受的压力。 • GDS与数据仓库通信要求物理网络畅通，并且尽量使用万兆网。千兆网无法承载高速的数据传输压力，极易出现断连。即使用千兆网时数据仓库无法提供通信保障。满足万兆网的同时，数据磁盘组I/O性能大于GDS单核处理能力上限（约400MB/s）时，方可寻求单文件导入速率最大化。 • 并发导入场景，与单表导入相似，至少应保证I/O性能大于网络最大速率。 • GDS跟DN的数据比例建议在1:3至1:6之间。 • 为了优化列存分区表的批量插入效率，在批量插入过程中会对数据进行缓存后再批量写盘。通过GUC参数“partitionmembatch”和“partitionmaxcachesize”，可以设置缓存个数以及缓存区大小。这两个参数的值越小，列存分区表的批量插入越慢。当然，越大的缓存个数和缓存分区，会带来越多的内存消耗。

为什么写入文件系统的中文字符在客户端显示为乱码? 问题描述： 在跨平台的环境中，例如在Linux或Windows客户端向弹性文件系统写入中文字符（文件名、内容等），可能会导致在另一个平台的客户端上显示为乱码的问题。 问题原因： Windows客户端默认使用GBK字符集进行中文编解码，而Linux客户端默认使用UTF8字符集进行中文编解码。当数据写入弹性文件系统时，会以各自平台对应字符集编码后的内容进行存储。当在另一个平台上读取这些数据时，由于两个平台使用的字符集不兼容，无法正确解码，导致显示的内容变成了乱码。 解决方案： 建议您在Windows客户端上使用CIFS协议挂载弹性文件系统，在Linux客户端上使用NFS协议挂载文件系统。通过这种方式，可以避免平台不兼容的问题，确保中文字符能够正常显示和解码。 当弹性文件系统无法结束进程时，如何清理客户端泄露的句柄? 如果需要释放CIFS文件系统的所有连接并释放所有句柄，可以使用以下工具进行操作。 Windows客户端可使用tcpview工具来断开CIFS文件系统的所有连接，具体操作如下： 1. 下载并安装tcpview工具。 2. 打开tcpview工具。 3. 在工具中找到与CIFS文件系统相关的连接。 4. 右键点击连接，并选择"Close Connection"来断开连接。 Linux客户端可使用killcx工具来断开CIFS文件系统的所有连接，具体操作如下请参考

智算一体机从产品购买到正式交付，主要服务流程如下所示： 产品订购 确定需求：客户经理与客户确定项目需求，最终确定项目配置方案和交付时间，并完成下单。 项目设计：确定客户需求后，天翼云技术专家开始设计并输出网络集成规范、系统集成方案、测试用例等。 硬件/软件集成：天翼云技术专家进行硬件集成、网络配置、软件集成等。 测试验收：天翼云测试专家进行测试验收、输出对应报告并进行发货评审。 产品交付 产品发货：天翼云将按照与客户约定的时间依次发货。 交付部署：天翼云服务团队将现场上电、通网、现场系统测试、系统交付检查。 客户验收：由客户进行智算一体机全方位验收，验收通过后即进入计费周期，客户可以开始进行大模型训练或者推理。