本节为您介绍云迁移服务CMS中数据迁移工具查看告警操作。 左侧导航栏单击“告警中心”后，可以查看告警列表。

本节包含通过全量备份文件恢复到自建PostgreSQL数据库的相关内容。 本章节介绍将下载的RDS for PostgreSQL全量备份文件恢复到自建PostgreSQL数据库的操作步骤。 如果您希望在本地重新建立一个同样体量PostgreSQL数据库，并且将RDS for PostgreSQL数据全部迁移，可以使用本章节操作将下载的.tar.gz文件在本地进行重建。 操作流程 1. 下载RDS for PostgreSQL实例中对应时间点的全备文件。 2. 将全备文件上传到本地用以重建数据库。 3. 使用tar解压工具将全备文件解压。 4. 保留自建数据库相关配置文件并通过os命令将解压的全备文件覆盖到自建数据库的data目录中。 5. 重启数据库，等待数据库恢复完成。 约束限制 本章节仅使用从RDS for PostgreSQL所有版本实例下载的全量备份文件在本地恢复到对应版本自建数据库，不包括增量备份的恢复操作。 自建PostgreSQL数据库内核小版本需与RDS for PostgreSQL版本号一致。 通过psql V或psql version命令，可以查看PostgreSQL内核版本。 仅支持恢复到本地为Linux操作系统的数据库，系统上需要安装tar解压工具。 通过sudo yum install tar命令安装tar解压工具。 在进行恢复阶段请勿在本地自建数据库运行其他业务或保留业务数据。 RDS for PostgreSQL有部分增强特性（如Failover Slot等），使用云上的物理备份恢复到开源自建数据库时执行部分SQL报错，需要将用到的增强特性删除，详见常见问题。 本地自建数据库的操作系统与云数据库的操作系统可能不一致，而PostgreSQL数据库部分索引的排序规则依赖操作系统，恢复到自建数据库后需要重建索引，需要重建的索引排查方法见官方文档。

本节为您介绍数据库迁移工具提供任务批量删除功能。 数据库迁移工具提供任务批量删除功能，用户可勾选要删除任务，再点击“批量删除”按钮，一次性删除多个迁移任务。 操作步骤 1. 进入“数据库迁移工具”，点击“数据传输”展开菜单，点击“迁移评估”。 2. 勾选要删除的任务，然后点击 “批量删除“按钮，再点击“确定”即可完成任务信息删除。

本节为您介绍数据迁移工具取消添加任务操作。 1. 点击取消，可以成功取消任务创建，返回任务管理主界面

本节介绍了安装并配置CloudbaseInit工具的操作场景、前提条件、安装CloudbaseInit工具、配置CloudbaseInit工具。 操作场景 为了保证使用私有镜像创建的新云主机可以通过“用户数据注入”功能注入初始化自定义信息（例如为云主机设置登录密码），建议您在创建私有镜像前安装CloudbaseInit工具。 不安装CloudbaseInit工具，将无法对云主机进行自定义配置，只能使用镜像原有密码登录云主机。 使用公共镜像创建的云主机，默认已经安装CloudbaseInit，不需要执行安装及配置操作。 使用外部镜像文件创建的云主机，请按照指导安装及配置CloudbaseInit。 前提条件 已为云主机绑定弹性公网IP。 已登录到云主机。 云主机的网卡属性为DHCP方式。 已安装一键式重置密码插件。 因为安装CloudbaseInit工具的操作步骤中如果有重启云主机的操作，可能导致密码被修改为一个随机密码，所以需要安装一键式重置密码插件重置密码。操作步骤请参考安装一键式重置密码插件。 安装CloudbaseInit工具 1. 在Windows操作系统中，单击“开始”，选择“控制面板 > 程序 > 程序和功能”查看是否安装CloudbaseInit。 − 是，无需重复安装，直接执行下文“配置CloudbaseInit工具”。 − 否，执行以下安装操作步骤。 2. 操作系统是否为Windows桌面版。 − 是，执行3。 − 否，若操作系统为Windows Server版本，请执行4。 3. 如果操作系统是Windows桌面版，如Windows 7或者Windows 10，那么需要在安装CloudbaseInit前确保Adminstrator账号未禁用。以Windows 7为例，具体操作请以实际为准。 a. 在操作系统中单击“开始”，选择的“控制面板 > 系统和安全 > 管理工具”。 b. 双击“计算机管理”。 c. 选择“系统工具 > 本地用户和组 > 用户”。 d. 右键单击“Administrator”，选择“属性”。 e. 确认已取消勾选“账户已禁用”选项。 4. 下载CloudbaseInit工具安装包。 根据Windows操作系统的不同位数，您需要下载不同版本的CloudbaseInit工具安装包。Cloudbase官网： CloudbaseInit分为稳定版本和Beta版本两种。 稳定版本获取路径： − 64位： − 32位： Beta版本获取路径： − 64位： − 32位： 5. 双击打开CloudbaseInit工具安装包开始安装。 6. 单击“Next”。 7. 勾选“I accept the terms in the License Agreement”，单击“Next”。 8. 使用CloudbaseInit默认安装路径进行安装，单击“Next”。 9. 在“Configuration options”窗口中，设置用户名为“Administrator”，日志输出串口选择“COM1”，且不勾选“Run CloudbaseInit service as LocalSystem”。如下图所示。 说明： 图片中的版本号仅供参考，请以实际情况为准。 设置参数 10. 单击“Next”。 11. 单击“Install”。 12. 在“Files in Use”窗口保留默认勾选“Close the application and attempt to restart them”，单击“OK”。 13. 操作系统是否为Windows桌面版。 − 是，执行15。 − 否，执行14。 14. 在“Completed the CloudbaseInit Setup Wizard ”窗口，请勿勾选“Run Sysprep to create a generalized Image. This is necessary if you plan to duplicate this instance, for example by creating a Glance image”及“Shutdown when Sysprep terminate”。如下图所示。 完成安装 说明： 图片中的版本号仅供参考，请以实际情况为准。 15. 单击“Finish”。

本文介绍如何使用云搜索Elasticsearch、Kibana、Logstash实例搭建日志分析平台。 使用ELK Stack（Elasticsearch、Logstash、Kibana、Beats）进行日志管理是一种流行的开源解决方案，用于集中式日志收集、存储、分析和可视化。ELK Stack可以从分布式系统中采集和聚合日志，帮助运维和开发人员更好地理解系统的运行状态、排查问题并监控关键业务指标。 本文将使用Filebeat、Logstash、Elasticsearch、Kibana搭建一个简单的日志分析平台，其中需要自行部署Filebeat并且打通和天翼云云搜索Elasticsearch、Kibana以及Logstash实例之间的网络。 ELK Stack组件 Elasticsearch 是一个分布式搜索引擎，作为ELK堆栈的核心，它负责存储和索引日志数据。Elasticsearch提供强大的全文搜索、过滤和分析功能，可以快速处理大规模数据并允许实时查询。 Logstash 是一个数据处理管道工具，负责从各种输入源收集数据，进行过滤、处理并将其输出到 Elasticsearch。Logstash 支持多种数据源（如文件、数据库、消息队列），并且能够通过过滤器对数据进行处理，比如解析、格式转换等。 Kibana 是一个数据可视化和分析工具，允许用户在浏览器中直观地查询和展示Elasticsearch 中存储的日志数据。Kibana提供多种图表、仪表盘和地图，可以帮助用户监控系统、分析日志、生成报表等。 Beats是一组轻量级数据收集器，用于将各种类型的数据发送到Elasticsearch或Logstash进行索引和分析。其中Filebeat是 ELK Stack 中的一个轻量级日志数据收集器，用于收集日志文件数据。它监视指定的日志文件或位置，并将其发送到Elasticsearch或Logstash以进行存储和分析。

数据同步 源库类型及版本 目标库类型及版本 同步类型 备注 RDS for MySQL、自建MySQL 5.6部分版本/5.7/8.0 RDS for MySQL 5.7/8.0 结构同步 全量同步 增量同步 整库同步 目标库版本建议不低于源库版本。 未选中全量同步的情况下，支持基于位点的同步。 支持分区表。 增量同步表必须有主键。 整库同步不支持库表名映射。 RDS for PostgreSQL 、自建 PostgreSQL 9.6/10/11/12/13/14/15/16/17 RDS for PostgreSQL 9.6/10/11/12/13/14/15/16/17 结构同步 全量同步 增量同步 整库同步 目标库版本建议不低于源库版本。 支持分区表。 增量同步表必须有主键。 整库同步不支持库表名映射。 DDS 3.4/4.0（副本集） 自建MongoDB 3.4/4.0/4.2/4.4/5.0/6.0（副本集） DDS 3.4/4.0（副本集） 结构同步 全量同步 增量同步 整库同步 目标库版本建议不低于源库版本。 支持集合级（指定集合对象）、库级（整库迁移）迁移。 支持索引的结构迁移。 库、集合支持做名称映射。 不支持迁移admin和local库中的数据。 数据迁移仅针对数据源中的用户数据库，而系统库confilg、local、admin会被自动过滤。 DDS 3.4/4.0（副本集） 自建MongoDB 3.4/4.0/4.2/4.4/5.0/6.0（副本集） DDS 3.4/4.0（分片集群） 结构同步 全量同步 增量同步 整库同步 目标库版本建议不低于源库版本。 支持集合级（指定集合对象）、库级（整库迁移）迁移。 支持索引的结构迁移。 库、集合支持做名称映射。 不支持迁移admin和local库中的数据。 数据迁移仅针对数据源中的用户数据库，而系统库confilg、local、admin会被自动过滤。 DDS 3.4/4.0（分片集群） 自建MongoDB 3.4/4.0/4.2/4.4/5.0/6.0（分片集群） DDS 3.4/4.0（分片集群） 结构同步 全量同步 增量同步 整库同步 目标库版本建议不低于源库版本。 支持集合级（指定集合对象）、库级（整库迁移）迁移。 支持索引的结构迁移。 库、集合支持做名称映射。 不支持迁移admin和local库中的数据。 数据迁移仅针对数据源中的用户数据库，而系统库confilg、local、admin会被自动过滤。

本文介绍弹性容器实例ECI的应用场景。 弹性流量业务 场景说明 根据业务流量自动对业务进行扩容，无需人工干预，避免流量激增扩容不及时而导致系统故障，以及平时大量闲置资源造成的浪费。 能够实现 Serverless计算：便捷获取计算资源，兼容 Kubernetes。 快速弹性：秒级启动Pod。 按需使用：容器实例按需创建释放，不需要预先准备底层资源。 持续交付集成 场景说明 支持自动化的持续交付流程，对接Devops平台，自动完成容器部署，加速测试用例的执行和测试环境的建立，并可随时创建销毁容器。 能够实现 自动化：无需创建和维护集群，提供自动化及弹性能力。 环境一致性：以容器镜像交付，支持不可变的基础设施。 深度整合 ：支持日志、告警、事件查询等集成服务。 大数据计算处理 场景说明 大批量的AI、大数据计算数据处理任务，根据业务数据处理需求，能够在短时间内快速创建大量处理节点，满足业务的大数据及 AI 在线处理诉求。 能够实现 共池混部统一调度 ：提供与云主机共池混部的调度能力。 灵活的任务规格 ：提供细粒度容器实例规格，满足上层应用和服务对计算能力的包装。 按需付费 ：容器实例根据资源规格及使用时长付费。 多种引擎统一调度

本页面介绍云数据库ClickHouse的实践教程。 本页面以UK property prices和Brown University Benchmark数据集为例，演示了如何将测试数据集导入云数据库ClickHouse并进行数据检索与分析。 准备工作 在开始测试之前，需要完成以下准备工作： 1. 创建了目标云数据库ClickHouse实例。详细的操作步骤，请参考创建实例。 2. 创建了用于目标云数据库ClickHouse集群的数据库账号和密码。详细的操作步骤，请参考创建账号。 3. 确保导入数据及执行命令的机器可以连接到云数据库ClickHouse实例。 4. 根据云数据库ClickHouse集群的版本，下载并安装相应版本的clickhouseclient工具。 步骤说明 1. 打开命令行终端，并进入clickhouseclient工具所在的目录。 2. 使用clickhouseclient连接到云数据库ClickHouse集群，使用先前创建的数据库账号进行身份验证。 3. 下载相应数据集，这些数据集可以从开源网站获取。 4. 将数据集导入到云数据库ClickHouse集群中，可以使用clickhouseclient的导入命令进行数据导入。 5. 进行数据分析与查询，可以执行各种查询语句，比较查询性能指标如查询时间、吞吐量等。 通过执行以上步骤，您可以将测试数据集导入到云数据库ClickHouse中，并进行性能测试以评估系统的查询性能和吞吐量。 UK property prices数据集 该数据集包含有关英格兰和威尔士的房地产交易价格的数据，从1995年开始提供，未压缩形式下数据集的大小约为4 GiB（在云数据库ClickHouse中仅占用约278 MiB）。

本节主要介绍LevelDB到GeminiDB Redis的迁移方案。 LevelDB是一个开源的持久化KV单机数据库引擎，具有很高的随机写，顺序读/写性能，适合应用在写多读少的场景。其内部没有设计成C/S网络结构，使用时必须和服务部署在同一台服务器，对于服务的部署、使用有较大的限制。相比于在LevelDB基础上开发的RocksDB, LevelDB存在较多缺点，如无法很好的使用多核服务器的计算性能，无法支撑TB级数据存储，不支持从HDFS读取数据等。 GeminiDB Redis采用RocksDB作为存储引擎，兼容Redis协议，具有丰富的数据类型，可以满足LevelDB的使用需求。同时GeminiDB Redis对RocksDB进行深度定制，实现秒级分裂弹性扩容，扩缩容无需搬迁数据，快速而平滑，为LevelDB业务转到Redis生态提供了便利。 迁移原理 使用自研迁移工具leveldbport，和LevelDB部署在相同机器上，准备好配置文件，启动迁移即可自动完成全量与增量的迁移。 全量迁移对LevelDB数据进行快照，然后扫描整个数据库，将数据打包成GeminiDB Redis识别的格式，发送到GeminiDB Redis ，具有很高的迁移效率。 增量迁移解析LevelDB的wal文件，将LevelDB的操作解析出来，然后对其中的key进行分片，多线程进行发送。 使用须知 迁移工具需要部署在源端，对性能有一定消耗，可通过修改配置文件进行一定的控制。 迁移过程读取LevelDB的源数据文件，只读操作，理论上不会有数据受损风险。 迁移过程不需要停服。 若迁移过程出现故障，需要清理GeminiDB Redis实例，重新启动迁移。

本文为您介绍密钥管理服务的定义及产品架构。 密钥管理服务（Key Management Service，KMS）是一站式密钥管理和数据加密服务平台，提供安全合规、可靠易用的资源托管及密码运算服务。同时与天翼云云硬盘、对象存储、弹性文件、关系型数据库MYSQL等云产品无缝集成，实现云上原生数据的加密保护。 产品架构 业务组件 业务组件 说明 参考文档 密钥管理 密钥管理组件提供密钥安全托管存储、生命周期管理以及密码运算能力。您可以在自建应用程序中，通过KMS提供的云原生接口实现数据加解密、签名验签等运算，同时KMS已对接天翼云云硬盘、对象存储、弹性文件、关系数据库MySQL版，为云服务提供服务端加密能力。 密钥管理概述 证书管理 证书管理组件提供高可用、高安全的密钥和证书托管能力，您可以通过KMS提供的云原生接口实现签名验签运算。 证书管理概述

本页简要介绍了分布式融合数据库HTAP的产品定义。 分布式融合数据库HTAP是既支持在线事务处理 (OLTP) 又支持在线分析处理 (OLAP) 的融合型云原生分布式数据库，具有兼容MySQL协议、高性能、实时分析的特点，适用于数据规模大、高可用、高吞吐等业务场景。 分布式融合数据库HTAP主要由管理节点、计算节点和存储节点组成，整体技术架构如下： 管理节点：整个集群的元信息管理模块，负责存储集群元信息（包括整体拓扑结构和节点实时的数据分布情况），为分布式事务分配事务 ID，同时还会根据存储节点实时上报的数据分布状态，下发数据调度命令给具体的存储节点。管理节点集群由 3 个管理节点构成，具备高可用能力。 计算节点：SQL 层，支持 MySQL 协议，负责接收客户端的连接，执行 SQL 解析和优化，最终生成分布式执行计划，将实际的数据读取请求转发给底层的存储节点。计算节点本身是无状态的，多个计算节点构成计算节点集群，通过负载均衡组件（如 LVS、HAProxy 或 F5）对外提供统一的接入地址。 存储节点 行存节点：一个支持事务的分布式KeyValue存储引擎，负责存储数据。数据按范围分片存储，每个数据分片负责存储一段 Key 范围（从 StartKey 到 EndKey 的左闭右开区间）的数据，每个行存节点会负责多个数据分片。行存节点 API 原生支持分布式事务，默认提供了 SI (Snapshot Isolation) 的隔离级别，是SQL 层支持分布式事务的核心基础。SQL 层做完 SQL 解析后，会将 SQL 的执行计划转换为对行存节点 API 的实际调用。另外，行存节点中的数据都会自动维护多副本（默认为三副本），天然支持高可用和自动故障转移。 列存节点：一类可选的存储节点，其内部以列式的形式存储数据，主要的功能是为分析型的场景加速。

本文介绍如何使用AOne创建同步任务,将飞书的组织机构数据同步至AOne平台。 功能介绍 飞书是字节跳动打造的企业级协同办公平台，集成组织架构管理、员工管理、角色权限管理等核心功能。 在AOne平台配置飞书同步任务，可实现将飞书中的核心数据无缝同步至AOne平台的用户与组织模块，其中飞书与AOne的数据对应关系如下表所示： 飞书 AOne平台 说明 成员 用户 飞书中的成员信息（姓名、手机号、邮箱等），同步至AOne平台后对应单个用户账号，包含用户基础信息 部门 组织 飞书中的部门层级结构，同步至AOne平台后对应组织架构，用于划分用户层级。 前置准备 1、创建飞书企业自建应用 请提前开通飞书企业管理员权限，登录飞书开发者后台：< 按以下步骤创建及配置飞书企业自建应用。 步骤1：创建应用 登录 飞书开发者后台，创建企业自建应用，建议： 应用名称：AOne同步身份源 应用描述：用于AOne同步飞书的用户与组织数据

本节为您介绍使用海量文件服务时四种常见的数据迁移场景。 文件系统需要挂载到计算服务后可被共享访问，可通过将文件系统挂载至一台可访问公网的弹性云主机后借助迁移工具实现数据迁移。常见的数据迁移场景有以下四种： 非天翼云数据迁移至海量文件服务 对象存数据迁移至海量文件服务 同账号不同资源池间的数据迁移 文件系统之间的数据迁移

本节主要介绍产品功能 云迁移工具RDA主要有以下功能： 信息收集 填写凭证后一键式收集平台、主机等的资源信息 目的端配置推荐 根据发现的资源信息，推荐天翼云配置 数据迁移 主机，对象存储迁移

资源 资源说明 成本说明 VirtualBox工具 VirtualBox是一款开源免费跨平台的虚拟机软件。 VirtualBox官方下载地址： 免费 ISO镜像文件 用于为新创建的空虚拟机安装操作系统，需要用户自行提供。 可从Ubuntu官网下载： CloudInit工具（可选） 为了保证使用私有镜像创建的新云主机可以通过“用户数据注入”功能注入初始化自定义信息（例如为云主机设置登录密码）， 请在创建私有镜像前安装CloudInit工具。 获取方式：各操作系统获取方式不同，详见 免费 一键式重置密码插件（可选） 为了保证使用生成的镜像创建的新云主机可以实现一键式重置密码功能，建议您安装密码重置插件CloudResetPwdAgent， 可以应用一键式重置密码功能，给云主机设置新密码。 获取方式：32位操作系统下载地址： 64位操作系统下载地址： 免费

Windows操作系统制作私有镜像为什么要执行Sysprep操作？ 对于需要将 Windows 操作系统加入域并使用域帐号登录的用户，在创建私有镜像之前，需要执行 Sysprep 操作。否则，镜像可能会保留与原始云主机相关的信息，尤其是 SID 信息。多个具有相同 SID 的云主机尝试加入域时可能会失败。如果您的 Windows 系统不需要进行域加入等操作，您可以选择不执行 Sysprep 操作。 Windows操作系统如何执行Sysprep? 操作场景 在 Windows 操作系统中，Sysprep（System Preparation）是一个用于系统准备和系统复制的工具，通常用于在创建镜像或部署操作系统时。 注意事项 Sysprep 的操作可能会因不同的 Windows 版本而略有差异，本文步骤适用于较新版本的 Windows 操作系统。 在执行 Sysprep 后，系统将返回初始状态，所以确保备份了重要数据。 Sysprep 后的系统镜像可以在不同的硬件上进行部署，但可能需要重新激活 Windows。 请根据您的需求和环境，仔细选择 Sysprep 的选项。 在进行 Sysprep 时，建议在操作前先进行备份，以避免意外丢失数据或系统不稳定。 操作步骤 下面是在 Windows 操作系统中执行 Sysprep 的步骤： 1. 打开 Sysprep 工具： 在 Windows 操作系统中，可以通过以下方式打开 Sysprep 工具： 按下Win+R组合键来打开“运行”窗口，然后输入sysprep并按Enter键。 转到C:WindowsSystem32Sysprep目录，找到并双击运行sysprep.exe。 2. 选择准备类型： Sysprep工具会打开一个对话框，询问您要执行的操作。在这里，选择以下选项： System Cleanup Action（系统清理操作）：选择"Enter System OutofBox Experience (OOBE)"，这会将系统还原为初始状态，以供用户设置。 Shutdown Options（关闭选项）：选择"Shutdown"，Sysprep完成后将关机。 3. 勾选其他选项： 在Sysprep对话框的下方，可以选择一些其他选项，如勾选"Generalize"以移除系统特定信息、勾选 "Shutdown" 以在 Sysprep 完成后关机等。确保选择适合您需求的选项。 4. 运行 Sysprep： 点击 "OK" 开始运行 Sysprep。系统会执行一系列操作来准备系统。 5. 系统复制： 系统准备完成后，系统将关机。您可以使用磁盘复制工具（如镜像软件）来创建基于准备好的系统的镜像，以便在其他计算机上进行部署。

本节为您介绍云迁移服务CMS中数据库工具迁移模块节点管理相关操作。 节点列表查看 数据库迁移工具可以查看当前用户的子节点信息，如子节点的地址、状态、类型等信息。 节点搜索 数据库迁移工具提供节点搜索功能，用户可节点名称、节点地址筛选出想要查看或操作的节点。 节点添加 数据库迁移工具提供节点信息添加功能，当用户完成新节点开通后，可通过添加节点，让节点投入使用。 操作步骤 1. 进入“数据库迁移工具”，点击“节点管理”。 2. 点击“添加节点”按钮，并填写相关信息后，点击“保存按钮”，即可完成节点添加。 节点上线/下线 数据库迁移工具提供节点上线/下线功能，用于控制节点在任务过程中的使用。当用户想停用节点时，可点击“下线”按钮，后续的迁移任务将不再发送到该节点执行；当用户想重新启用节点时，可点击“上线”按钮。

为助力企业客户能更方便快捷的将已有业务迁移至天翼云分布式数据库或基于天翼云分布式数据库打造全新的应用，TeleDB不仅努力提升内核性能和管控资源全生命周期管理平台的易用性，还不断丰富周边的生态。目前已实现如下功能：如支持强大的GIS地理信息系统、支持异构数据复制能力、支持集群负载均衡能力和支持JSON数据类型等。 支持强大的GIS地理信息系统 GIS地理信息系统是指一个空间数据库，它通过SQL语言高效的进行空间数据管理、数量测量与几何拓扑分析对地球表层（包括大气层）空间中的地理分布数据进行采集、储存、管理、运算、分析、显示和描述。TeleDB透过集群化的PostGis插件，使其更好的支持强大的GIS地理信息系统。 说明 PostGIS插件不仅实现了Open Geospatial Consortium 所提出的基本要素类（点、线、面、多点、多线、多面等）的SQL实现参考。PostGIS还能使用wellknown text与wellknown binary在数据库中存储空间对象。wellknown text是一种用文本表示空间对象的注记方法，wellknown是一种用二进制流表示空间对象的存储方法。 GIS地理信息系统目前支持提供了如下的空间特性： 定义了一些基本的集合实体类型。 定义了一系列的函数和操作符来实现几何类型的操作和运算。 引入空间数据索引。 异构数据复制能力 在实际业务中，会涉及到非常多的TeleDB同其他数据库，包括PostgreSQL，MySQL，Oracle等的数据同步的需求。为了满足TeleDB和其它数据库包括PostgreSQL，MySQL，Oracle等实现数据同步，TeleDB开发了一款性能高效，安全可靠，功能完善的异构数据库复制工具。通过异构数据复制工具，让数据能够很好的在多个数据库中实现共享。 异构数据复制逻辑图如下： 异构数据复制原理主要通过数据实时同步、数据一致性同步和多种不同的数据同步方式组成。 数据实时同步 ： 同步数据需准实时的（分钟级）由源库同步到目标库。 数据一致性同步：异构数据库同步具备高可靠性，当发生断网、服务器重启、服务器宕机一段时间恢复后等场景下，保障同步数据的最终一致性。 数据同步方式：TeleDB支持对所有数据的全量同步和对变化数据的增量同步，以及配置同步任务。 全量同步：一般在系统迁移中，有历史数据的迁移，一次需要支持高效快速的将历史数据迁移到新系统的能力，称为全量同步。一般在全量同步完成后，会切换为下文提到的增量同步模式。 增量同步：同步工具实时跟踪数据改变情况，并及时将增量数据同步到目标库。 定时同步：支持配置类似定时任务，支持周期性向目标进行数据同步。

本章节主要介绍数据治理中心 DataArts Studio 常用的术语及解释。 数据治理中心DataArts Studio实例 DataArts Studio实例是数据治理中心给用户提供的最小计算资源单位。数据治理中心以DataArts Studio实例的方式提供给用户，用户可以同时创建多个DataArts Studio实例，并分别管理和访问每个DataArts Studio实例。每个DataArts Studio实例具有用户指定的基础计算资源，包含管理中心、规范设计、数据集成、数据开发、数据质量、数据资产和数据服务七个模块。用户可根据业务需要申请相应规格的DataArts Studio实例。 工作空间 工作空间是从系统层面为管理者提供对使用DataArts Studio的用户（成员）权限、资源、DataArts Studio底层计算引擎配置的管理能力。 工作空间作为成员管理、角色和权限分配的基本单元，每个团队都可具有独立的工作空间。 您只有在加入工作空间并被分配权限后，才可具备管理中心、数据资产、数据质量、业务指标、数据规范、数据服务、数据开发、数据迁移和数据接入模块的系列操作权限。 成员和角色 成员是被授予工作空间访问或使用权限的云账号。在添加工作空间成员时，您需要同时为添加的成员设置相应的角色。 角色是一组操作权限的集合。不同的角色拥有不同的操作权限，把角色授予成员后，成员即具有了角色的所有权限。每位成员至少要拥有一个角色，并且可以同时拥有多种角色。 工作空间有四种角色，包括：管理员、开发者、运维者和访客。

本章节为您介绍数据源管理的相关内容。 本模块主要用于数据源管理。您可以在本模块手动添加或导入数据源，或者利用主动嗅探资产 和被动发现资产功能，待系统自动发现数据源后，再对数据源执行添加操作。 查看数据源列表 1.使用安全管理员账号登录数据分类分级实例。 2.在左侧导航栏选择“数据资产管理 > 数据源管理”即可进入“数据源管理”页面查看数据源列表。 数据源列表的展示字段包括：数据源名称、数据源类型、主机:端口、业务系统、部门、责任人、创建用户、创建时间、最近同步时间、最近分类分级时间、发现结果、同步状态、同步标识、分类分级状态、同步进度、操作。由于页面宽度的限制，部分字段需要拉动页面下方水平滚动条进行查看。其中： 同步状态：分为待同步、已同步、同步中、失败四种； 同步标识：分为已更新、建议重配两种；同步状态为待同步或失败的数据源，其同步标识为空； 分类分级状态：分为待执行、执行中、暂停、完成、失败五种，执行分类分级任务见“分类分级管理 > 结构化数据”页面； 发现结果：显示最近一次分类分级中发现的新增字段数和减少字段数。 新增数据源 1.使用安全管理员账号登录数据分类分级实例。 2.在左侧导航栏选择“数据资产管理 > 数据源管理”，进入“数据源管理”页面。 3.单击页面左上角的“新增”即可开始新增数据源。 参数 参数说明 填写示例 数据源类型 支持选择以下类型： StructFile类型：METADATE、FTP、SFTP、LOCAL DB类型：MYSQL、ORACLE、POSTGRESQL、UXDB、MSSQL、MARIADB、INFORMIX、SYBASE、DM、DB2、GBASE、CACHEDB、KINGBASE、OSCAR、OCEANBASE、GOLDENDB、TIDB、MYCAT、DBLE、DRDS、TELEDB、TDSQLFORMYSQL、TELEPG、REDIS、XUGUDB BigData类型：HIVE、INCEPTOR、IMPALA、MONGODB、ELASTICSEARCH、CLICKHOUSE、GREENPLUM、HBASE、ODPS、POLARDB、TERADATA、VERTICA、GAUSS100、GAUSS200、HANA、HUAWEIDLI、Doris DAM类型：DAM 说明 新增DAM类型数据源需预使用系统管理员账号在“系统管理高级配置”页面，启用“接受三方数据资产信息”。 仅MySQL、PG数据源支持IPv6 DB：MySQL 数据源名称 自定义新增的数据源名称 Test 行业模板 选择需要使用的行业模板，如何新增行业模板可参考：行业模板章节。 金融 驱动 选择当前数据源的数据库驱动版本 主机 填写数据源的主机地址，一般可填写IP地址 192.168.0.1 端口 填写数据源的主机端口 8080 库名/实例名 填写数据源的库名或实例名 Test 版本号 填写数据源的版本号 v1 账号 填写可正常访问数据源的账号 admin 密码 填写正确的密码 4.填写完毕后，单击“保存”，系统会弹出提示“是否自动同步”，根据您自身需求选择。 若选择“确定”，系统会自动同步当前数据源，获取其中数据表的表名、表注释、字段名、字段注释等信息，为后续分类分级扫描做准备；该过程不涉及字段内容的抽样。 若选择“取消”，则关闭弹框，不执行任何其他操作，用户界面停留在当前页面，新增数据源需要后续手动点击“操作”列“同步”。 说明 若您添加的为非METADATA类型的数据源，可以对数据库账号进行“获取扫描配置”。 若获取扫描配置成功，提示“测试成功”； 若获取扫描配置失败，提示“测试失败”，并且鼠标悬浮时提示具体错误信息。

常见问题：如何将持久化数据也一起迁移 如果需要将原Kafka的已消费数据也迁移到Kafka实例，可以使用Smart Connect工具，模拟成原Kafka的消费客户端，以及新Kafka实例的生产客户端，将Kafka所有消息数据迁移到新的Kafka实例，具体步骤请参考配置Kafka间的数据复制。 需要注意的是，云上Kafka实例为3副本存储，因此建议实例存储空间为原业务的单副本消息存储的3倍。

本节主要介绍RocksDB到GeminiDB Redis的迁移方案。 RocksDB是FaceBook基于LevelDB开发的一个持久化KV单机数据库引擎，具有强大的顺序读写及随机写性能。相对于LevelDB，RocksDB做了许多优化，性能有了很大提升， 而且解决了LevelDB主动限制写的问题。作为一个数据库引擎，RocksDB没有设计成C/S网络结构，直接使用需要和服务部署在同一台服务器，对于服务的部署、使用有较大的限制。 GeminiDB Redis采用RocksDB作为存储引擎，兼容Redis协议具有丰富的数据类型，可以满足RocksDB的使用需求。同时GeminiDB Redis对RocksDB进行深度定制，实现秒级分裂弹性扩容，扩缩容无需搬迁数据，快速而平滑，为RocksDB业务转到Redis生态提供了便利。 迁移原理 使用自研迁移工具rocksdbport，和RocksDB部署在相同机器上，准备好配置文件，启动迁移即可自动完成全量与增量的迁移。 全量迁移对RocksDB数据进行快照，然后扫描整个数据库，将数据打包成GeminiDB Redis识别的格式，发送到GeminiDB Redis，具有很高的迁移效率。 增量迁移解析RocksDB的wal文件，将RocksDB的操作解析出来，然后对其中的key进行分片，多线程进行发送。 使用须知 迁移工具需要部署在源端，对性能有一定消耗，可通过修改配置文件进行一定的控制。 迁移过程读取RocksDB的源数据文件，只读操作，理论上不会有数据受损风险。 迁移过程不需要停服。 若迁移过程出现故障，需要清理GeminiDB Redis实例，重新启动迁移。

本章节主要介绍创建并提交Spark Jar作业 。 操作场景 DLI可以查询存储在OBS中的数据，本节操作介绍使用DLI提交Spark Jar进行实时计算的操作步骤。 操作流程 使用DLI提交Spark作业进行实时计算。基本流程如下： 1.上传数据至OBS 2.创建队列 3.创建程序包 4.提交Spark作业 上传数据至OBS 开发Spark Jar作业程序，编译并打包为“sparkexamples.jar”。参考以下操作步骤上传该作业程序。 提交Spark作业之前，需要在OBS中上传数据文件。 1.登录管理控制台 2.在服务列表中，单击“存储”中的“对象存储服务OBS”，进入OBS管理控制台页面。 3.创建桶，这里以桶名“dlitestobs01”为例。 a. 单击“创建桶”。 b. 进入“创建桶”页面，输入“桶名称”。其他参数保持默认值或根据需要选择。 说明 创建OBS桶时，需要选择与DLI管理控制台相同的区域，不可跨区域执行操作。 c. 单击“立即创建”。 4.单击所建桶“dlitestobs01”，进入“对象”页面。 5.选择左侧列表中的“对象”，选择“上传对象”，将需要上传的文件，例如“sparkexamples.jar”上传到指定目录，单击“确定”。 例如，文件上传成功后，待分析的文件路径为“obs://dlitestobs01/sparkexamples.jar”。 说明 关于OBS管理控制台更多操作请参考《 OBS上传文件指导，请参见《 针对大文件场景，由于OBS管理控制台对文件大小和数量限制较多，所以推荐使用OBS工具上传大文件，如OBS Browser+上传。 OBS Browser+是一个比较常用的图形化工具，，支持完善的桶管理和对象管理操作。推荐使用此工具创建桶或上传对象。

本小节介绍安全专区产品优势。 快速合规方案 产品套餐依据等级保护要求针对云上各种应用场景进行合规设计，产品自动交付，一次购买可满足云用户多个系统的等保合规技术要求，快速解决云上合规整改问题。 平台紧密集成 自动识别所有云资产，关联安全组件能力自动评估云用户资产安全态势，用户使用云平台账号即可登录安全专区实施所有安全管理工作。 网端管三层防护 提供覆盖网络安全、终端安全、应用安全、数据安全各层面的安全能力，网端管联动分析，为云上应用系统安全运行提供全面保障。 集中管理全管控 集中管理用户云上资产安全，集中管理云上安全设备，集中管理云网边界、虚机系统、业务系统的漏洞、告警、用户行为等安全运行数据，提供全覆盖的安全态势管理能力。

本页将介绍数据库的基本使用问题以及解决方法。 MySQL 8.0是否支持全文索引 MySQL 8.0版支持全文检索，全文索引主要用于对文本类型的数据进行搜索，其关键字为FULLTEXT。以下是使用全文索引的一个示例： 1.创建表 CREATE TABLE test ( id bigint unsigned AUTOINCREMENT PRIMARY KEY, name varchar(255) NOT NULL, info varchar(255) NOT NULL, FULLTEXT (name) ) ENGINEInnoDB CHARSETutf8mb4; 2.在现有表上添加全文索引 ALTER TABLE test ADD FULLTEXT (info); 3.查看索引 SHOW INDEX FROM TEST; 4.使用索引 SELECT id,name,info FROM test WHERE MATCH(info) AGAINST('keyword'); 如何通过数据管理服务(DAS)执行SQL语句 数据管理服务（Data Admin Service,简称DAS），是一种基于管理控制台提供数据管理、结构管理、会话以及用户管理的服务，方便用户高效管理和安全使用数据。通过DAS执行SQL语句可以参考查询指引。 mysqlbinlog工具使用方法介绍 mysqlbinlog是MySQL的一个命令行工具，用于解析和显示二进制日志文件（binary log）。它提供了查看和分析二进制日志的功能，可用于恢复数据、数据复制、故障排除等场景。以下是mysqlbinlog工具的使用方法介绍： 基本语法： mysqlbinlog [options] [logfile [base64]roweventslogfile startpositionN [stoppositionN]] [options] 常用选项： u, userusername: 连接MySQL服务器的用户名。 p, password[password]: 连接MySQL服务器的密码。 h, hosthostname: 连接MySQL服务器的主机名。 P, portportnum: 连接MySQL服务器的端口号。 d, databasedatabasename: 指定要解析的特定数据库。 t, startdatetimedatetime: 指定要解析的起始日期时间。 R, rowevents: 显示基于行的事件。 v, verbose: 输出详细的解析信息。 使用示例： 1. 显示二进制日志文件的内容。 mysqlbinlog binlog.000001 2. 解析特定数据库的二进制日志文件。 mysqlbinlog databasemydb binlog.000001 3. 解析特定时间范围内的二进制日志文件。 mysqlbinlog startdatetime"20230601 00:00:00" stopdatetime"20230602 00:00:00" binlog.000001 4. 解析特定位置范围内的二进制日志文件。 mysqlbinlog startposition123456 stopposition123789 binlog.000001 5. 显示基于行的事件（适用于ROW格式的二进制日志）。 mysqlbinlog rowevents binlog.000001

本节介绍数据加密服务的基本概念，帮助您正确理解和使用DEW。 产品定义 数据是企业的核心资产，每个企业都有自己的核心敏感数据。这些数据都需要被加密，从而保护它们不会被他人窃取。 数据加密服务（Data Encryption Workshop, DEW）是一个综合的云上数据加密服务。它提供密钥管理（KMS）、专属加密(DHSM），安全可靠的为您解决数据安全、密钥安全、密钥管理复杂等问题。其密钥由硬件安全模块（Hardware Security Module，HSM） 保护，并与多个云服务集成。您也可以借此服务开发自己的加密应用。 服务介绍 数据加密包含密钥管理服务和专属加密两个服务模块。 名称 定义 密钥管理服务（Key Management Service, KMS） 密钥管理是一种安全、可靠、简单易用的密钥托管服务，帮助您轻松创建和管理密钥，保护密钥的安全。KMS通过使用硬件安全模块（Hardware Security Module，HSM）保护密钥安全，帮助用户轻松创建和管理密钥，所有的用户密钥都由HSM中的根密钥保护，避免密钥泄露。 专属加密（Dedicated Hardware Security Module，Dedicated HSM） 专属加密是一种云上数据加密的服务，可处理加解密、签名、验签、产生密钥和密钥安全存储等操作。Dedicated HSM为您提供经国家密码管理局检测认证的加密硬件，帮助您保护弹性云服务器上数据的安全性和完整性，满足监管合规要求。同时，用户能够对专属加密实例生成的密钥进行安全可靠的管理，也能使用多种加密算法来对数据进行可靠的加解密运算。

为什么Windows系统迁移完成后，目的端只能看到系统盘？ 当源端服务器的磁盘策略为共享磁盘脱机或者离线模式时，迁移后会导致数据盘处于离线状态。 解决方案 迁移完成后，如果后续不再进行同步操作，请直接在目的端服务器进行修改。 迁移完成后，如果还需要进行同步操作，请在源端服务器进行修改，修改后进行同步操作。 Windows迁移后无法上网 问题描述 Windows迁移成功后无法连接网络，提示“sms.5603Windows迁移后无法上网”。 问题分析 该问题可能是如下原因导致： 网络适配器驱动存在异常。 网络配置错误。 解决方案 网络适配器驱动存在异常。 1. 在设备管理器中寻找是否有异常的网络设备，使用自动搜索更新驱动程序软件更新驱动 , 然后重启目的端服务器。 2. 如果自动更新之后仍然不能上网，尝试先禁用该驱动，再重新启用该驱动，然后重启目的端服务器。 3. 如果进行上述操作后仍然不能上网，请找一台和目的端服务器在同一可用区可以上网的临时服务器，以挂载的方式将目的端服务器的一块数据盘挂载到临时服务器上。 1. 在临时服务器，下载vmtools工具安装包到目的端数据盘中（不要安装）。 2. 将该数据盘挂载回目的端服务器，然后登录目的端服务器找到该数据盘中的vmtools工具安装包进行安装。 3. 最后重启目的端服务器。 网络配置错误。 1.在 cmd中执行 ipconfig，查看内网IP与ECS控制台的内网IP是否一致，如果不一致，可能设置了静态IP，请修改为DHCP方式获取IP地址。 2.ping EIP可以ping通，外网域名无法ping通。请调整DNS配置。

迁移时长 因迁移速度受网络带宽，磁盘IO，CPU和内存占用率，文件大小、数量等因素影响，主机迁移服务无法准确的评估出迁移时长，迁移任务中“剩余迁移时间预测”仅供参考。 建议30天内完成数据迁移和业务割接。 由于增量同步受源端文件数目，有效簇连续性以及源端增量数据大小等多方面因素影响，因此主机迁移服务无法评估和保障同步时长。 迁移过程操作须知 迁移过程中，禁止对目的端服务器的系统、磁盘进行操作，包括但不限于切换操作系统、重装系统等。 迁移过程中，会对目的端服务器的磁盘进行格式化并重新分区，请迁移前做好数据备份以及确认目的端服务器磁盘可被格式化。 迁移过程中，Windows迁移和Linux块级迁移禁止重启SMSAgent。 迁移过程中，Linux文件级迁移重启SMSAgent支持断点续传，但仍然有出现异常的风险，非必要，建议不要重启SMSAgent。 如果迁移过程中出现报错，请及时收集迁移日志，以供技术人员定位问题。 迁移后须知 主机迁移服务属于系统迁移，可以保证迁移前后数据一致性，但无法确保迁移后业务能正常运行。应用能否成功部署，需要用户根据实际情况进行调整，SMS只负责数据迁移，不负责用户的业务调整。 主机迁移服务暂时不提供数据一致性校验工具，如果需要对数据进行校验，请自行选择第三方工具进行校验。

本文为您介绍zosfs的使用方式和参数信息。 使用说明 zosfs是一个轻量化工具，无需安装直接执行操作命令即可，以下说明介绍挂载bucket、卸载已挂载bucket等操作。 使用限制 zosfs为特定挂载场景优化，因此存在一定的使用限制，请使用前仔细阅读zosfs使用限制章节，了解工具的限制条件。 注意 我们建议您在使用zosfs工具前，了解工具的使用限制，并对工具进行使用测试，避免对您的业务产生影响。 挂载bucket 1.创建 ~/.aws/credentials 文件，内容如下，需填入AccessKey与SecretKey。 [default] awsaccesskeyid awssecretaccesskey 2.通过zosfs将您的ZOS bucket挂载到指定目录。 zosfs profile {akskgroupname} logfile {logfilepath} endpoint {endpoint} {bucketname} {mountpoint} {akskgroupname}: ~/.aws/credentials中所使用的aksk组名，默认为default {logfilepath}: 日志文件的保存路径 {endpoint}: 服务端点地址 {bucketname}: 如果挂载桶，则为“存储桶名称”；如果挂载桶下某目录，则为“存储桶名称:/桶内目录路径” {mountpoint}: 挂载点（需指定已存在的目录） 示例： zosfs profile default logfile /var/log/zosfs.log endpoint mybucket /mnt/mymountpoint zosfs profile default logfile /var/log/zosfs.log endpoint mybucket:/mydir /mnt/mymountpoint 卸载已挂载bucket 1.卸载 zosfs，可以使用以下命令，若由于device busy卸载失败，建议稍后重试，避免数据丢失。 umount {mountpoint} 2.执行以下命令可以强制卸载挂载目录。 umount l {mountpoint}

场景 描述 数据湖 数据湖分析 提供更灵活、可靠、高效的管理集群，更快的运行大数据计算引擎并提供出色的数据分析能力。 数据分析 数据分析 Apache Doris:开源的MPP架构的OLAP分析引擎，支持亚秒级的数据查询和多表join。 数据服务 数据服务 提供更灵活、可靠、高效的数据服务集群。 实时数据流 实时数据流 提供流式计算、消息队列等服务，主要用于实时数据ETL和日志采集分析等场景。 自定义 自定义 提供丰富灵活的服务搭配，支持自行选择业务所需服务。

本章节主要提供工具指南的预览和下载。 点此预览、下载：《数据仓库服务工具指南》