本节主要介绍使用Rump在线迁移 部分云厂商的Redis实例禁止客户端发起SLAVEOF、BGSAVE、PSYNC等命令，无法使用rediscli、或redisshake等工具快速导出数据。 使用KEYS命令容易造成服务端阻塞。 云厂商一般只提供备份文件下载，这种方式仅适宜离线迁移，且迁移过程对业务中断时间较长。 Rump是一款开源的Redis数据在线迁移工具，支持在同一个实例的不同数据库之间互相迁移，以及不同实例的数据库之间迁移。 迁移原理 Rump使用SCAN来获取keys，用DUMP/RESTORE来get/set值。 SCAN是一个时间复杂度O(1) 的命令，可以快速获得所有的key。DUMP/RESTORE使读/写值独立于关键工作。 以下是Rump的主要特性： 通过SCAN非阻塞的获取key，避免KEYS命令造成Redis服务阻塞。 支持所有数据类型的迁移。 把SCAN和DUMP/RESTORE操作放在同一个管道中，利用pipeline提升数据迁移过程中的网络效率。 不使用任何临时文件，不占用磁盘空间。 使用带缓冲区的channels，提升源服务器的性能。 约束与限制 使用Rump工具在线迁移，目标端不支持DCS集群类型实例。 Redis实例的密码不能包含 @:等特殊字符，避免迁移命令解析出错。 正式进行迁移操作前，建议先暂停业务。迁移过程中如果不断写入新的数据，可能会丢失少量Key。

为什么写入文件系统的中文字符在客户端显示为乱码? 问题描述： 在跨平台的环境中，例如在Linux或Windows客户端向弹性文件系统写入中文字符（文件名、内容等），可能会导致在另一个平台的客户端上显示为乱码的问题。 问题原因： Windows客户端默认使用GBK字符集进行中文编解码，而Linux客户端默认使用UTF8字符集进行中文编解码。当数据写入弹性文件系统时，会以各自平台对应字符集编码后的内容进行存储。当在另一个平台上读取这些数据时，由于两个平台使用的字符集不兼容，无法正确解码，导致显示的内容变成了乱码。 解决方案： 建议您在Windows客户端上使用CIFS协议挂载弹性文件系统，在Linux客户端上使用NFS协议挂载文件系统。通过这种方式，可以避免平台不兼容的问题，确保中文字符能够正常显示和解码。 当弹性文件系统无法结束进程时，如何清理客户端泄露的句柄? 如果需要释放CIFS文件系统的所有连接并释放所有句柄，可以使用以下工具进行操作。 Windows客户端可使用tcpview工具来断开CIFS文件系统的所有连接，具体操作如下： 1. 下载并安装tcpview工具。 2. 打开tcpview工具。 3. 在工具中找到与CIFS文件系统相关的连接。 4. 右键点击连接，并选择"Close Connection"来断开连接。 Linux客户端可使用killcx工具来断开CIFS文件系统的所有连接，具体操作如下请参考

本小节介绍安全专区产品类常见问题。 安全专区相比传统安全组件有什么优势？ 与天翼云平台紧密集成，识别并管理云资产及安全状态； 集成多种满足等保合规的安全组件，单点登录，一键登录并管理所有安全组件； 提供全覆盖的安全态势管理能力，集中展现资产不同的安全状态信息； 集中管理云网边界、虚机、业务系统的漏洞、告警、用户行为和安全运行数据； 一键订购，产品自动交付，快速解决云上等保合规要求。 安全专区的防护功能是否就能满足等保合规需求？ 安全专区可满足等保二级、三级的安全技术合规要求。 一套安全专区的防护能服务于多少个系统？ 安全专区套餐可满足天翼云同个VPC甚至同数据节点的多个VPC的多个业务系统的安全防护要求； 根据资产数量的不同，可配置不同的安全组件授权及虚机资源，满足业务防护性能需求。 日志审计有没有整合在安全专区管理中心？ 有的，日志审计通过部署agent在主机进行管理。 安全专区在多个VPC场景下，资产是否能共同管理？ 多个VPC的情况下，通过VPC路由器进行对等连接打通安全专区VPC，安全专区VPC各功能组件对所有资产共同统一管理。 安全专区产品能否解耦订购？ 支持。 安全专区防火墙防护流量最大能支持多少，如果客户所需流量超过最大防火墙防护流量怎么办？ 目前防火墙最大防护流量能达到1.6G，如果客户所需流量超过1.6G，要先确认客户有多少个VPC，如果客户有多个VPC，可以采用防火墙下沉到各个VPC分别管理的解决方案，这种情况也要结合具体项目情况具体沟通。

本文介绍Windows AD的认证源创建方式。 功能介绍 AD（Active Directory）是Microsoft提供的本地化用户目录管理服务，主要用于企业内部用户、组织、权限的集中管理。在AOne平台配置AD认证源，可实现用户使用AD的账户密码登录的功能。 本文介绍如何配置实现用户使用企业内部AD的账户密码登录AOne。 注意 客户端集成AD认证源版本为：PC客户端版本为2.9.0及以上版本，移动客户端为1.14.0及以上版本。 终端用户登录预览图 PC客户端 移动客户端 前置准备 1、内网连接器准备 该步骤非必须。若企业AD域服务器部署在公网环境，则可跳过该步骤。 若企业AD域服务器部署在公司内网环境，AOne平台无法直接访问内网AD域控制器，需提前在AD域服务器或内网可访问AD域的服务器上，安装连接器，确保AOne平台与内网AD域服务器建立有效连接，实现网络打通。 2、AD域相关配置参数准备 请提前向AD服务器平台管理员获取协议、服务器地址、端口号、管理员账号、管理员密码、BaseDN参数信息。 特别说明： AD服务器平台管理员可以使用Microsoft官方工具 ADSI 编辑器获取参数 您获取参数后，可先通过LDAP Admin工具测试数据是否正确 序号 参数 参数说明 ADSI 编辑器获取参数说明 LDAP Admin工具登录连接时对应字段 1 协议 ldaps://或ldap:// 若开启SSL加密则选择ldaps:// 若不开启SSL加密则选择ldap://，出于安全考虑，建议使用ldaps:// SSL 2 服务器地址 支持域名或IP地址例如：119.91.137.138（公网），10.1.20.9（内网） Host 3 端口号 ldaps://协议默认端口636，ldap://协议默认端口389，如果修改了端口，可通过 netstat an findstr LISTENING 命令查看 4 BaseDN 服务器根目录，通常是DN（Distinguished Name）的路径，例如：OUaoneid,DCaoneid,DCcom 首先找到根目录（即OUOrganization Unit），该OU需包含所有员工。右击点击属性，找到属性distinguishedName对应的值 Base 5 管理员账号 该账户需具备所有账户的读取权限，一般管理员账号在CNUsers目录下例如：CNAdministrator,CNUsers,DCaoneid,DCcom 找到管理员账号，右击点击属性，找到属性distinguishedName对应的值 Username 6 管理员密码 管理员账户对应的密码 Password 7 用户登录标识 用户使用AD登录时账号对应AD字段，一般为sAMAccountName字段，具体根据您企业的自身情况填写，该字段需保证每个账号唯一 选择一个账户，右击选择属性查看 8 用户映射规则中对应AD字段 用户登录创建/自动匹配绑定AOne用户时，AD对应的用户账号，姓名，手机号，邮箱字段 选择一个账户，右击选择属性查看，选择符合你需求的字段

本文主要介绍云日志服务Logback SDK的使用方式。 Ctyun Logback Appender概述 Logback是由log4j的创始人设计的一款高性能、灵活配置的Java日志框架。它支持将日志输出到各种目标，如文件、控制台等，并允许通过简单的配置文件自定义日志级别、格式和输出目的地。Logback的特点在于其高效的日志处理能力和强大的配置灵活性，使得开发者能够轻松控制和管理日志，从而更好地监控和调试应用程序。同时，Logback也提供了与多种系统组件的集成支持，为Java应用提供了全面的日志解决方案。 通过Ctyun Logback Appender，您可以将生成的日志信息异步发送到ctyun云日志服务，其样式如下： plaintext useragent : logback level : INFO location : cn.ctyun.example.LogbackAppenderExample.main(LogbackAppenderExample.java:22) message : info log logback thread : main time : 20240606T14:33+0800 message : 20240606 14:33:15,203 INFO [main] LogbackAppenderExample: info log logback 其中： level：日志级别。 location：日志打印语句的代码位置 。 message：日志内容。 throwable：日志异常信息，只有当记录了异常信息，这个字段才会出现。 thread：线程名称。 time：日志打印时间（可以通过 timeFormat 或 timeZone 配置 time 字段呈现的格式和时区）。ts ：日志生成时的时间。 message ：日志信息。 useragent ： 日志来源 功能优势 日志实时传输： 实时性增强： 日志数据不再依赖传统的磁盘写入，而是实时通过网络通道发送至服务端，确保数据的即时性。 无侵入性集成： 无缝对接： 对于已采用logback作为日志框架的应用，我们提供了简洁的配置方案，无需对应用代码进行大幅度修改，即可实现日志的采集与传输。 高效异步处理： 高并发设计： 系统采用高并发架构，后台异步处理日志发送任务，即使在大量日志数据产生的情况下，也能保证系统的稳定运行和高效处理。

本章节主要介绍下载集群日志。 操作场景 本章节指导用户获取集群的日志。集群的日志可用于查看作业运行记录，定位作业失败原因等。 前提条件 已创建CDM集群。 操作步骤 1.登录CDM管理控制台。单击左侧导航上的“集群管理”，进入集群管理界面。集群列表详见下图 说明 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 2.选择集群操作列中的“更多 > 下载日志”，选择下载日志类型。下载日志类型详见下图 3.确认后，即可下载日志到本地。

本节为您介绍数据库迁移工具任务参数配置。 1. 进入“数据库迁移工具”，点击“数据传输”展开菜单，点击“数据订阅”。 2. 点击“创建订阅”按钮，跳转至任务参数配置界面。 名称 任务的名称，用于更好地识别订阅任务 启动时间 订阅任务的启动时间。配置后订阅任务会在预定的时间开始运行 迁移选择 可选择全量迁移、增量迁移和稽核修复中的一个或多个，根据需求组合 并发数 配置一组订阅线程中包含的表数量 单表数据延迟预警阈值 表数据从产生到被获取到的的时间延迟，超过这个值则产生告警 单表数据堆积预警阈值 表数据获取到后没有被消费，形成堆积，堆积数量超过这个阈值，则产生告警

对象存储可与其他云产品集成和配合使用,构建出高效、灵活的云计算应用解决方案。本文为您介绍对象存储与其他服务的关系。 对象存储（CTZOS，Zettabyte Object Storage）是天翼云云计算产品组合中的一部分，与其他产品相互关联。除了对象存储，天翼云还提供了其他云计算产品和服务，如云主机、关系数据库、云监控等，这些产品可以在天翼云平台上进行集成和使用。例如，可以将文件、图片、视频等数据存储在对象存储中，然后通过弹性云主机进行访问和处理。 说明： 服务名称 交互功能 相关内容 弹性云主机 在弹性云主机上实现通过天翼云内网访问ZOS。 购买弹性云主机 云专线 通过相关服务将数据迁移到ZOS中。 开通云专线 云监控 监控用户/桶的存储容量、存储对象数量、本月公网流出流量、本月请求次数、公网流出流量、公网流入流量、内网流出流量、内网流入流量、公网请求次数、内网请求次数、有效请求率、平均使用带宽。 查看云监控 密钥管理 对上传到ZOS中的文件进行加密。 开通密钥管理 域名服务 为托管在ZOS上的静态网站做域名解析。 配置内网域名 关系数据库 使用ZOS作为数据库的数据备份资源池。 创建关系数据库MySQL版实例

本页面介绍了云数据库ClickHouse的表引擎。 表引擎 表引擎（即表的类型）决定了： 数据的存储方式和位置，写到哪里以及从哪里读取数据。 支持哪些查询以及如何支持。 并发数据访问。 索引的使用（如果存在）。 是否可以执行多线程请求。 数据复制参数。 引擎类型 MergeTree MergeTree是云数据库ClickHouse的主要存储引擎,按主键排序存储数据，支持索引、分区和复制，提供高速写入和实时分析查询。 该类型的引擎： MergeTree ReplacingMergeTree SummingMergeTree AggregatingMergeTree CollapsingMergeTree VersionedCollapsingMergeTree GraphiteMergeTree 日志 轻量级的小数据量存储，按插入顺序存储数据，无序，超高速写入，但没有索引。 该类型的引擎： TinyLog StripeLog Log 集成引擎 用于与其他的数据存储与处理系统集成的引擎。 该类型的引擎： Kafka MySQL ODBC JDBC HDFS 用于其他特定功能的引擎 该类型的引擎： Distributed MaterializedView Dictionary Merge File Null Set Join URL View Memory Buffer 虚拟列 虚拟列是表引擎组成的一部分，它在对应的表引擎的源代码中定义。 您不能在 CREATE TABLE 中指定虚拟列，并且虚拟列不会包含在 SHOW CREATE TABLE 和 DESCRIBE TABLE 的查询结果中。虚拟列是只读的，所以您不能向虚拟列中写入数据。 如果想要查询虚拟列中的数据，您必须在SELECT查询中包含虚拟列的名字。SELECT 不会返回虚拟列的内容。 若您创建的表中有一列与虚拟列的名字相同，那么虚拟列将不能再被访问。我们不建议您这样做。为了避免这种列名的冲突，虚拟列的名字一般都以下划线开头。 合并树引擎示例

本文介绍使用RedisShake工具离线迁移其他云厂商Redis Cluster集群。 RedisShake基本介绍 RedisShake是一个开源的Redis迁移工具，可以用于在线迁移和离线迁移（通过备份文件导入）。 目前 RedisShake 有三种迁移模式：PSync、RDB 和 SCAN，分别对应 syncreader、rdbreader 和 scanreader。主要有以下三种数据迁移场景： 1. 对于从备份rdb中恢复数据的场景，可以使用 rdbreader。 2. 对于数据迁移场景，优先选择 syncreader。 3. 对于全量复制的场景下或者自研集群不支持 PSync 协议情况下，可以使用 scanreader。 当你需要迁移部署在其他云厂商上的 Redis 集群数据时，如果无法进行在线迁移，你可以选择离线迁移的方式。 离线迁移（备份文件导入） 与在线迁移相比，离线迁移适宜于源实例与目标实例的网络无法连通的场景。 1、在DCS控制台创建缓存实例。 注意新创建的Redis实例容量不能小于源端Redis实例的实际使用容量。 2、准备一台云服务器，并安装RedisShake。 RedisShake既能访问源端缓存实例，也能访问目标端DCS 缓存，需要绑定弹性公网IP 3、导出RDB文件。 使用如下命令导出RDB文件： ./rediscli h {redisaddress} p {redisport} a {password} rdb {output.rdb} 执行命令后回显"Transfer finished with success."，表示文件导出成功。 4、将导出的RDB文件（含多个）上传到云服务器上。 5、编辑RedisShake配置文件。 编辑redisshake工具配置文件shake.toml，补充迁移双方信息，及迁移模式。 [rdbreader] filepath "/tmp/dump.rdb" [rediswriter] cluster false

数据分类分级服务内容说明 名称 服务阶段 工作任务内容 交付物 数据分类分级服务方案 数据分类分级产品部署 数据分类分级工具的安装调试，系统联调与测试，保障平台工具正常运行 数据资产梳理过程交付件 《数据分类目录》 《数据分级清单》 《数据分类分级样表清单》 数据分类分级服务方案 数据资产调研方案制定 制定数据资产调研工作方案，内容包括调研范围、参与对象、工作目的、时间进度、配合分工等 数据资产梳理过程交付件 《数据分类目录》 《数据分级清单》 《数据分类分级样表清单》 数据分类分级服务方案 数据资产梳理 针对XX组织单位业务部门开展调研，梳理业务部门对应的关键业务流程以及业务活动，分析各业务流程涉及的关键敏感数据 数据资产梳理过程交付件 《数据分类目录》 《数据分级清单》 《数据分类分级样表清单》 数据分类分级服务方案 制定数据分类分级逻辑框架 根据数据安全标准和法律法规要求，调研梳理XX组织单位的业务条线，制定数据安全分类分级逻辑框架，为数据分类分级实施奠定基础 数据资产梳理过程交付件 《数据分类目录》 《数据分级清单》 《数据分类分级样表清单》 数据分类分级服务方案 数据分类分级实施 针对XX组织单位试点系统范围内的数据，协调系统业务管理部门，开展数据发现梳理盘点、数据分类分级、归类归级工作，数据分类分级结果讨论形成一致意见，通过自动化工具整理数据分类分级结果 数据资产梳理过程交付件 《数据分类目录》 《数据分级清单》 《数据分类分级样表清单》 数据分类分级服务方案 制定数据分类分级指南 基于数据分类分级逻辑框架基础以及数据分类分级工作持续实施的结果，优化数据分类分级工作流程及方法，输出数据分类分级指南 数据资产梳理过程交付件 《数据分类目录》 《数据分级清单》 《数据分类分级样表清单》

本章节主要介绍高质量数据集平台的数据源管理功能。 支持数据源的管理，支持对数据源进行团队共享公开，提供数据源的接入与管理能力。支持接入的数据源包括MySQL、Doris、Ceph、OSS、kafka 等主流数据源。

Web应用防火墙对网站业务流量进行多维度检测和防护，降低数据被篡改、失窃的风险。 精准高效的威胁检测 采用规则和AI双引擎架构，默认集成最新的防护规则和优秀实践。 企业级用户策略定制，支持拦截页面自定义、多条件的CC防护策略配置、海量IP黑名单等，使网站防护更精准。 0day漏洞快速修复 专业安全团队724小时运营，实现紧急0day漏洞2小时内修复完成，帮助用户快速抵御最新威胁。 保护用户数据隐私 支持用户对攻击日志中的账号、密码等敏感信息进行脱敏。 支持PCIDSS标准的SSL安全配置。 支持TLS协议版本和加密套件的配置。

本文主要介绍 通过公网连接副本集实例 操作场景 本章节指导您使用MongoDB客户端和Robo 3T工具，通过公网连接副本集实例。 用户可以直接操作副本集主节点和备节点。主节点用于读写请求，您可以连接主节点对数据进行读写操作。备节点复制主节点数据，用于读请求，连接备节点仅可读取数据。 操作系统使用场景： 弹性云主机的操作系统以Linux为例，客户端本地使用的计算机系统以Windows为例。 前提条件 副本集实例绑定弹性公网IP，并设置安全组规则，确保可以通过弹性云主机或Robo 3T工具访问弹性IP。 安装MongoDB客户端或Robo 3T工具。 MongoDB客户端 创建并登录弹性云主机，请参见《弹性云主机用户指南》的内容。 在弹性云主机上，安装MongoDB客户端。 使用Robo 3T工具连接实例 步骤 1 打开Robo 3T工具，在连接信息页面，单击“Create”。 连接信息（非SSL方式） 在弹出的“Connection Settings”窗口，设置新建连接的参数。 在“Connection”页签，“Name”填写自定义的新建连接的名称，“Address”填写副本集实例绑定的弹性IP和实例的数据库端口。 Connection（非SSL方式） 在“Authentication”页签，“Database”填写admin，“User Name”填写rwuser，“Password”填写您创建副本集实例时设置的管理员密码。 Authentication（非SSL方式） 设置完成后，单击“Save”。 在连接信息页面，单击“Connect”，开始连接副本集实例。 副本集实例连接信息（非SSL方式） 成功连接副本集实例，工具界面显示如下图所示。 连接成功（非SSL方式）

创建迁移任务失败的原因？ 创建迁移任务失败的可能原因： 1. 底层资源不足。 2. 迁移机ECS规格不足。 3. 迁移之前创建的目标redis内存小于源redis。 迁移或导入备份数据时，相同的Key会被覆盖吗？ 在迁移或导入备份数据时，源端与目标端重复的数据会被覆盖；源端没有，目标端有的数据会保留。 因此，如果在迁移后目标端与源端数据不一致，可能是目标端在迁移前有未清除的数据。 使用Rump在线迁移 背景说明 Rump是一款开源的Redis数据在线迁移工具，支持在同一个实例的不同数据库之间互相迁移，以及不同实例的数据库之间迁移。 迁移原理 Rump使用SCAN来获取keys，用DUMP/RESTORE来get/set值。 SCAN是一个时间复杂度O(1) 的命令，可以快速获得所有的key。DUMP/RESTORE使读/写值独立于关键工作。 以下是Rump的主要特性： 通过SCAN非阻塞的获取key，避免KEYS命令造成Redis服务阻塞。 支持所有数据类型的迁移。 把SCAN和DUMP/RESTORE操作放在同一个管道中，利用pipeline提升数据迁移过程中的网络效率。 不使用任何临时文件，不占用磁盘空间。 使用带缓冲区的channels，提升源服务器的性能。 说明 1. Rump工具不支持迁移到DCS集群实例。请改用其他工具，如redisport或Rediscli。 2. Redis实例的密码不能包含

标准快速 全栈云服务集成一体 , 多种增值能力可选，大幅减少建设时间。 国产化和x86多种配置可选，满足客户不同需求场景。 标准产品规格及售卖模式，快速匹配客户需求。 到货后110个工作日即可完成产品部署交付，虚拟资源即开即用。 安全稳定 采用自研云底座，历经大规模客户业务验证。 数据多副本（双副本或三副本）、故障HA、快照与备份等多项技术保障数据高可靠。 高效管理 内置云管平台，可视化资源开通及运营管理。 可整合多一体机集群，提供混合多资源池管理能力。 支持VPN服务，帮助客户以低成本快速构建专有企业云网。 极简运维 多维度监控、告警数据，帮助用户提前发现业务运行隐患。 属地化运维和724小时在线服务，全方位解决客户后顾之忧。

本节为您介绍数据库迁移工具任务参数配置。 1. 进入“数据库迁移工具”，点击“数据传输”展开菜单，点击“数据同步”。 2. 点击“创建任务”按钮，跳转至任务参数配置界面。 任务名称 任务的名称，用于更好地识别同步任务 启动时间 同步任务的启动时间。配置后同步任务会在预定的时间开始运行 同步方式 可选择是否同步 全量并发数 全量同步时同时处理表的数量 增量并发数 增量同步时同时处理表的数量 允许自建表 允许用户在同步前自行建表。请确保建好的表中无数据，否则可能导致同步失败 单表数据延迟预警阈值 数据变更时间到被平台读取到的时间延迟超过阈值，平台界面会提示告警 增量同步失败策略 可选择同步失败时 ，继续同步数据或停止同步数据

本章节主要介绍数据治理中心DataArts Studio的可用规格。 数据治理中心 DataArts Studio （基础包）： 销售品名称 数据治理中心 DataArts Studio初级版 数据治理中心 DataArts Studio企业版 DataArts Studio 增量包 批量数据迁移 CDM ： 销售品名称 CPU核数 内存 DataArts Studio增量包批量数据迁移cdm.large 8 16GB DataArts Studio增量包批量数据迁移cdm.xlarge 16 32GB DataArts Studio增量包批量数据迁移cdm.4xlarge 64 128GB

优势 多源数据分析免搬迁：关系型数据库RDS中存放车辆和车主基本信息，表格存储中存放实时的车辆位置和健康状态信息，数据仓库DWS中存放周期性统计的指标。通过DLI无需数据搬迁，对多数据源进行联邦分析。 数据分级存储：车企需要保留全量历史数据支撑审计类等业务，低频进行访问。温冷数据存放在低成本的对象存储服务OBS上，高频访问的热数据存放在数据引擎（DWS）中，降低整体存储成本。 告警快速敏捷触发服务器弹性伸缩：对CPU、内存、硬盘空间和带宽无特殊要求。 建议搭配以下服务使用： CDM、OBS、DWS。 大数据ETL处理 运营商大数据分析 运营商数据体量在PB~EB级，其数据种类多，有结构化的基站信息数据，非结构化的消息通信数据，同时对数据的时效性有很高的要求，DLI服务提供批处理、流处理等多模引擎，打破数据孤岛进行统一的数据分析。 优势 大数据ETL：具备TB~EB级运营商数据治理能力，能快速将海量运营商数据做ETL处理，为分布式批处理计算提供分布式数据集。 高吞吐低时延：采用Apache Flink的Dataflow模型，高性能计算资源，从用户自建的Kafka、MRSKafka、DMSKafka消费数据，单CU每秒吞吐1千~2万条消息。 建议搭配以下服务使用： OBS、DataArts Studio。

本章节为您介绍数据资产的相关操作。 数据资产功能主要用于数据源 输出目标的管理，您可以在该功能模块手动添加 或导入导出数据源/输出目标。 手动新增数据源 1.使用系统管理员账号登录数据脱敏实例。 2.在左侧目标栏选择“数据资产管理 > 数据源/目标”，进入“数据源/目标”管理页面。 3.单击页面左上角的“新增”按钮，在右侧的窗口中数据需要新增数据源的相关信息。 注意 不同的数据源类型会存在不同的参数填写情况。 若您选择的数据源类型为StructFile下的LOCAL/FTP/SFTP，且文件类型为csv/txt/del，则可以在高级属性中填写表头行数：若表头行数为0，将自动填充表头；若行数大于1，则仅保留最后一行作为新表头，此配置可以使数据扫描更加准确。 4.填写完成后，单击窗口左下角的“测试连接”按钮，测试数据源的连通性。 5.连接成功后，若需要再新增目标请单击“保存并新增数据目标”重复上述操作，否则请单击“保存”按钮。 批量导入数据源 注意 SFTP/FTP/本地文件/METADATA/MySQL分片环境/HIVE类型的数据源暂不支持通过模板批量导入。 1.使用系统管理员账号登录数据脱敏实例。 2.在左侧目标栏选择“数据资产管理 > 数据源/目标”，进入“数据源/目标”管理页面。 3.单击页面右上方的图标，下载导入模板。 4.在模板中填写数据源信息。 参数名称 参数说明 填写样例 数据源名称 自定义需要导入的数据源名称 Test 源or目标 仅支持填写“输入源”或“输出目标”。 输入源 数据源类型 填写需要新增的数据源类型 MYSQL 主机 填写数据源所在主机IP地址 192.168.0.1 端口 填写数据源所在主机的端口 3377 5.填写完成后，保存Excel文件，并导入至数据脱敏实例中。

本节主要介绍用户场景 作为一款线下云迁移工具，云迁移工具RDA主要应用于以下几种场景： 本地数据中心迁移上云 本地数据中心物理机或者虚拟机快速迁移到天翼云弹性云主机上，从而帮助客户轻松把服务器上的应用和数据迁移到天翼云。 云上资源迁移 不同天翼云账号，不同资源池下的主机资源整合到一个天翼云账号下；其他公有云主机迁移到天翼云ECS。

本章节主要介绍导入数据的最佳实践。 从OBS并行导入数据 • 将导入数据拆分为多个文件 导入大数据量的数据时通常需要较长的时间及耗费较多的计算资源。 从OBS上导入数据时，如下方法可以提升导入性能：将数据文件存储到OBS前，尽可能均匀地将文件切分成多个，文件的数量以DN的整数倍更适合。 • 在导入前后验证数据文件 从OBS导入数据时，首先将您的文件上传到OBS存储桶中，我们建议您列出存储桶的内容，然后验证该存储桶是否包含所有正确的文件并且仅包含这些文件。 在完成导入操作后，请使用SELECT查询语句以验证所需文件是否已导入。 • OBS导入导出数据时，不支持中文路径。 使用GDS导入数据 • 数据倾斜会造成查询表性能下降。对于记录数超过千万条的表，建议在执行全量数据导入前，先导入部分数据，以进行数据倾斜检查和调整分布列，避免导入大量数据后发现数据倾斜，调整成本高。 • 为了优化导入速度，建议拆分文件，使用多GDS进行并行导入。另外，单个导入任务可以拆分成多个导入任务并发执行导入，多个导入任务使用同一GDS时可以使用t参数打开GDS多线程并发执行导入。GDS建议挂载在不同物理盘以及不同网卡上，避免物理IO以及网络可能出现的瓶颈。 • 在GDS IO与网卡未达到物理瓶颈前，可以考虑在数据仓库开启SMP进行加速。SMP开启之后会对对应的GDS产生成倍的压力。需要特别说明的是：SMP自适应衡量的标准是数据仓库的CPU压力，而不是GDS所承受的压力。 • GDS与数据仓库通信要求物理网络畅通，并且尽量使用万兆网。千兆网无法承载高速的数据传输压力，极易出现断连。即使用千兆网时数据仓库无法提供通信保障。满足万兆网的同时，数据磁盘组I/O性能大于GDS单核处理能力上限（约400MB/s）时，方可寻求单文件导入速率最大化。 • 并发导入场景，与单表导入相似，至少应保证I/O性能大于网络最大速率。 • GDS跟DN的数据比例建议在1:3至1:6之间。 • 为了优化列存分区表的批量插入效率，在批量插入过程中会对数据进行缓存后再批量写盘。通过GUC参数“partitionmembatch”和“partitionmaxcachesize”，可以设置缓存个数以及缓存区大小。这两个参数的值越小，列存分区表的批量插入越慢。当然，越大的缓存个数和缓存分区，会带来越多的内存消耗。

本章节主要介绍高质量数据集平台的数据集管理功能。 数据集管理用于对生产出来的数据集进行统一的管理。通过统一纳管多源数据集，构建可追溯的数据血缘、资产标签体系及资产目录，并联动发布管理的版本控制与权限策略，实现数据资产的全生命周期可控、可复用、可审计。

数据过滤 行过滤：用户可以自由拼接where条件完成行数据过滤。 列过滤：用户可以直接设置需要迁移的列。 DML和DDL清洗：支持选择增量迁移/同步的DDL或DML（INSERT/UPDATE/DELETE）操作筛选。 数据稽查 对象级对比 对源库和迁移/同步后的目标库，支持对索引、表、视图、存储过程和函数等对象在数量上进行对比，确保数据对象无缺失。 数据级对比 对源库和迁移/同步后的目标库，支持对迁移或同步的表的行数进行对比，确保用户数据完整性。 内容级对比 对源库和迁移/同步后的目标库，支持对迁移或同步的表的行数据设置对比的数据块大小，进行全量或抽样校验，确保用户数据的一致性。 迁移报告 迁移评估报告 当数据迁移完成时，自动为用户生成迁移评估报告，提供迁移前（预检查情况），迁移中（迁移过程中性能监控指标）和迁移后（数据稽查比对）的全视图，并提供WORD版本下载。 任务管理 开始任务 实例订购完成后，用户可以随时开始任务。如果是按需实例，在首次开始任务之前，不会产生任何费用。 暂停任务 用户可以随时暂停正在进行中的任务，被暂停的任务数据传输会临时中断，可以通过“开始任务”恢复运行。 编辑任务 用户可以随时调整任务当中的迁移对象，对迁移/同步对象进行新增、删除操作，重启任务后生效。 注意 在编辑任务之前，用户必须先将该任务暂停。

媒体存储产品优势 数据持久可用 具备多重冗余架构设计，保证数据持久性，服务可用性不低于99.99%，数据持久性不低于99.9999999999%。 服务稳定可靠 支持数据复制、数据迁移等自助备份能力，实现云上数据异地容灾。 安全合规保障 提供ACL、Policy授权和防盗链功能，保障访问安全可信；合规保留策略预防重要文件误删改。 按需弹性扩容 支持按需付费，存储容量可根据实际承载情况动态调整，提高业务灵活性。 视频流直存 深耕视频存储与应用场景，提供视频流直存和融合调度服务，实现视频就近接入/存储/分析/应用。 冷热分级存储 提供多档存储资源，生命周期策略实现不同热度数据的流动，有效节省存储开销。 大容量高性能 提供大容量、高吞吐的存储服务；采用高性能文件索引及缓存技术，支持千万级视频并发接入。 媒体服务集成 推荐搭配智能视图服务、云点播和CDN加速等云服务，轻松获得安防、视频转码和内容分发等能力。

使用须知 pikaport伪装成源端Pika的从节点，只读取全量和增量数据，无数据受损风险。 源端增加了和pikaport的主从同步流程，可能会影响源端性能。 全量和增量结合迁移可以不停服，业务切入GeminiDB Redis时短暂停服。 前提条件 部署迁移工具pikaport，确保源端Pika实例和目标端GeminiDB Redis实例网络互通。 操作步骤 如需进行Redis到GeminiDB Redis的迁移，您可以在管理控制台右上角，选择“工单 > 新建工单”，联系技术支持进行处理。 迁移性能参考 环境：Pika（单节点）和pikaport同时部署在8U32GB的弹性云服务器上，目标端为8U16GB，3节点GeminiDB Redis实例。 预置数据：使用memtierbenchmark工具预置200GB数据。 迁移性能：约50000qps。

本节为您介绍云迁移服务CMS数据迁移工具添加目标节点操作。 1. 进入“数据迁移工具”，点击“数据源管理”界面。 2. 点击 “添加数据源”按钮，进入“添加数据源”界面，选择“目标节点”。 3. 输入数据源名称，选择数据源类型，输入数据源对应的连接方式 。 4. 填写信息完成后，点击“添加数据源”按钮，完成添加，平台显示“添加成功”。

迁移组 用户或企业确认源端调研的信息无误后，可进行迁移组的创建。用户在资源列表选取相应的主机、数据库资源、对象存储组成自定义迁移组，为用户提供管理待迁移资源的全新方式，从而为迁移计划的执行提供强力支持与辅助。 迁移计划 用户或企业完成迁移组的创建后，可进行迁移计划的创建。用户选取相应的迁移组，确认包含的相关资源后，可全面评估待迁移资源的情况，并以此制定合理的迁移计划完，对迁移过程输出有效的管控。 资源匹配 用户或企业完成迁移组与迁移计划的创建后，可使用平台提供的资源匹配功能在资源明细中进行云主机、数据库、对象存储资源的源端目标端使用详情匹配做对比。 资源创建 用户或企业可以根据已制定的迁移计划进行批量的目标端资源创建，协同资源匹配功能，助力用户在云迁移服务中快速、灵活地创建和管理各类计算、网络、存储资源，并为后续执行各类迁移计划提供支持。 迁移管理 云迁移服务迁移管理旨在帮助企业顺利地完成迁移项目。它主要涵盖了以下几个方面： 工具管理、调度管理、进度大盘、迁移报告拓扑分析整理流程如图所示： 工具管理 资源规划完成后，用户可以进入工具管理模块，在这里根据源端待迁移资源的类型或者已制定的迁移计划，选择合适的迁移工具。这些工具包括服务器迁移服务、数据库迁移服务、数据迁移服务和华为提供的异构迁移工具。通过选择适当的工具，用户可以更加方便地进行迁移操作。

本页面介绍了如何从MySQL迁移数据。 前提条件 1. 创建了目标云数据库ClickHouse实例。详细的操作步骤，请参考创建实例。 2. 创建了用于目标云数据库ClickHouse集群的数据库账号和密码。详细的操作步骤，请参考创建账号。 详细示例 以下是一个详细的示例，演示如何将MySQL数据库中的数据迁移到云数据库ClickHouse。 1. 导出MySQL数据： 使用mysqldump命令导出MySQL数据库中的数据，并将其保存为SQL文件。 shell mysqldump u p > mysqldata.sql 2. 转换数据格式（可选）： 如果需要将导出的SQL文件转换为云数据库ClickHouse支持的格式（如CSV），您可以使用适当的工具或脚本进行转换。 3. 创建云数据库ClickHouse表结构： 使用云数据库ClickHouse客户端工具（如clickhouseclient）连接到ClickHouse服务器，并创建与MySQL表结构相匹配的表。 sql CREATE TABLE mytable ( id Int32, name String, age Int32 ) ENGINE MergeTree() ORDER BY id; 4. 导入数据到云数据库ClickHouse： 使用云数据库ClickHouse的导入工具（如clickhouseclient）将数据导入到云数据库ClickHouse表中。 shell clickhouseclient h port user password query"INSERT INTO mytable FORMAT CSV" port user password query"INSERT INTO mytable FORMAT CSV" filemysqldata.csv 5. 验证数据： 使用SELECT语句从云数据库ClickHouse表中检索数据，并与MySQL数据库中的数据进行比较，以确保数据的准确性和完整性。 sql SELECT COUNT() FROM mytable; 比较云数据库ClickHouse中的结果与MySQL中的数据，确保数据迁移成功。 请根据实际情况修改命令中的参数和表结构，以适应您的MySQL数据库和云数据库ClickHouse环境。同时，还可以根据需要对数据转换、导入过程进行进一步调整和优化。 MySQL和云数据库ClickHouse之间的数据类型映射如下： 整数类型 MySQL 数据类型 云数据库ClickHouse 数据类型 TINYINT Int8 SMALLINT Int16 MEDIUMINT Int32 INT Int32 BIGINT Int64 浮点数类型 MySQL 数据类型 云数据库ClickHouse 数据类型 FLOAT Float32 DOUBLE Float64 字符串类型 MySQL 数据类型 云数据库ClickHouse 数据类型 CHAR FixedString VARCHAR String TEXT String ENUM Enum8 或 Enum16 日期和时间类型 MySQL 数据类型 云数据库ClickHouse 数据类型 DATE Date TIME DateTime DATETIME DateTime TIMESTAMP DateTime 其他类型 MySQL 数据类型 云数据库ClickHouse 数据类型 BOOLEAN UInt8 或者 Nullable(UInt8) BINARY String 或者 FixedString 说明 这只是一般情况下的数据类型映射，具体映射可能会受到数据精度、长度和其他因素的影响。在进行数据迁移时，建议仔细检查源数据库和目标数据库之间的数据类型，并确保数据转换的准确性和一致性。

本节介绍了安装CloudInit工具的操作场景、前提条件、安装步骤说明等内容。 操作场景 为了保证使用私有镜像创建的新云主机可以通过“用户数据注入”功能注入初始化自定义信息（例如为云主机设置登录密码），请在创建私有镜像前安装CloudInit工具。 安装CloudInit工具时需要从官网下载并安装，因此，需要提前为云主机绑定弹性公网IP。 不安装CloudInit工具，将无法对云主机进行自定义配置，只能使用镜像原有密码登录云主机。 使用公共镜像创建的云主机，默认已经安装CloudInit，不需要执行安装及配置操作。 用户导入镜像创建的云主机，请按照指导安装及配置CloudInit。配置CloudInit操作请参考配置CloudInit工具章节。 前提条件 已为云主机绑定弹性公网IP。 已登录云主机。 云主机的网卡属性为DHCP方式。 安装步骤说明 1. 请先检查是否已安装CloudInit工具。 具体操作请参考下文“检查是否已经安装CloudInit工具”。 2. 安装CloudInit工具。 CloudInit安装方式分为：采用官方提供的包源安装CloudInit工具（优先推荐）、采用官方提供的CloudInit源码包通过pip方式安装CloudInit工具和采用源码编译安装方法，如下文。 检查是否已经安装CloudInit工具 请先执行如下步骤检查是否已安装CloudInit工具。 在不同的操作系统下，查看是否已经安装CloudInit工具的方法不同，以CentOS 6系列为例，执行以下命令查看是否安装CloudInit工具。 rpm qa grep cloudinit 回显类似如下，表示已经安装CloudInit工具，无需重复安装。 cloudinit0.7.510.el6.centos.2.x8664 如果已安装CloudInit工具，还需要执行以下操作： 请确认当前云主机操作系统中的证书是否继续使用。如果不再使用该证书，请删除证书。 − root用户对应目录下的文件（如 “/$path/$to/$root/.ssh/authorizedkeys”），执行以下命令： cd /root/.ssh rm authorizedkeys − 非root用户对应目录下的证书文件（如 “/$path/$to/$noneroot/.ssh/authorizedkeys”），执行以下命令： cd /home/centos/.ssh rm authorizedkeys 执行以下命令，清除CloudInit工具产生的缓存，确保使用该私有镜像创建的云主机可以使用证书方式登录。 sudo rm rf /var/lib/cloud/ 说明： 设置完成后请勿重启云主机，否则，需重新设置。

本节为您介绍数据迁移工具任务日志管理。 任务日志列表查看 数据库迁移工具可以获取当前用户发起的任务的日志信息，如日志关联的任务名、日志采集状态、日志时间等信息。 任务日志搜索 数据库迁移工具提供任务日志搜索功能，用户可根据任务名称、任务状态、日志时间筛选出想要采集或下载的任务日志。 任务日志采集 数据库迁移工具可以采集当前用户发起的任务的日志文件，采集后的日志文件才能下载到本地，进行查看。 操作步骤 1. 进入“数据库迁移工具”，点击“日志管理”展开菜单，点击“任务日志管理”。 2. 可以看到未采集的任务日志状态为“未采集”。 3. 单击要进行采集的任务的“采集”按钮，并点击“确定”。等待日志采集完成。 4. 当日志状态变为“采集完成”，可根据需要下载对应的日志文件。

本节介绍了云主机CloudInit及安装方法。 CloudInit介绍 CloudInit是开源的云初始化工具，使用安装了CloudInit的镜像创建云主机时可以通过“用户数据注入”功能，注入初始化自定义信息（例如为云主机设置登录密码）；还可以通过查询、使用元数据，对正在运行的云主机进行配置和管理。不安装CloudInit工具，将无法对云主机进行自定义配置，只能使用镜像原有密码登录云主机。 安装方法 建议您在创建私有镜像前先安装CloudInit/CloudbaseInit，安装方法如下： 如果是Windows操作系统，请下载并安装CloudbaseInit。 安装CloudbaseInit相关操作请参考安装并配置CloudbaseInit工具。 如果是Linux操作系统，请下载并安装CloudInit。 安装CloudInit相关操作请参考安装CloudInit工具。 配置CloudInit相关操作请参考配置CloudInit工具。