本页面介绍云数据库ClickHouse的实践教程。 本页面以UK property prices和Brown University Benchmark数据集为例，演示了如何将测试数据集导入云数据库ClickHouse并进行数据检索与分析。 准备工作 在开始测试之前，需要完成以下准备工作： 1. 创建了目标云数据库ClickHouse实例。详细的操作步骤，请参考创建实例。 2. 创建了用于目标云数据库ClickHouse集群的数据库账号和密码。详细的操作步骤，请参考创建账号。 3. 确保导入数据及执行命令的机器可以连接到云数据库ClickHouse实例。 4. 根据云数据库ClickHouse集群的版本，下载并安装相应版本的clickhouseclient工具。 步骤说明 1. 打开命令行终端，并进入clickhouseclient工具所在的目录。 2. 使用clickhouseclient连接到云数据库ClickHouse集群，使用先前创建的数据库账号进行身份验证。 3. 下载相应数据集，这些数据集可以从开源网站获取。 4. 将数据集导入到云数据库ClickHouse集群中，可以使用clickhouseclient的导入命令进行数据导入。 5. 进行数据分析与查询，可以执行各种查询语句，比较查询性能指标如查询时间、吞吐量等。 通过执行以上步骤，您可以将测试数据集导入到云数据库ClickHouse中，并进行性能测试以评估系统的查询性能和吞吐量。 UK property prices数据集 该数据集包含有关英格兰和威尔士的房地产交易价格的数据，从1995年开始提供，未压缩形式下数据集的大小约为4 GiB（在云数据库ClickHouse中仅占用约278 MiB）。

本页将介绍数据库的基本使用问题以及解决方法。 MySQL 8.0是否支持全文索引 MySQL 8.0版支持全文检索，全文索引主要用于对文本类型的数据进行搜索，其关键字为FULLTEXT。以下是使用全文索引的一个示例： 1.创建表 CREATE TABLE test ( id bigint unsigned AUTOINCREMENT PRIMARY KEY, name varchar(255) NOT NULL, info varchar(255) NOT NULL, FULLTEXT (name) ) ENGINEInnoDB CHARSETutf8mb4; 2.在现有表上添加全文索引 ALTER TABLE test ADD FULLTEXT (info); 3.查看索引 SHOW INDEX FROM TEST; 4.使用索引 SELECT id,name,info FROM test WHERE MATCH(info) AGAINST('keyword'); 如何通过数据管理服务(DAS)执行SQL语句 数据管理服务（Data Admin Service,简称DAS），是一种基于管理控制台提供数据管理、结构管理、会话以及用户管理的服务，方便用户高效管理和安全使用数据。通过DAS执行SQL语句可以参考查询指引。 mysqlbinlog工具使用方法介绍 mysqlbinlog是MySQL的一个命令行工具，用于解析和显示二进制日志文件（binary log）。它提供了查看和分析二进制日志的功能，可用于恢复数据、数据复制、故障排除等场景。以下是mysqlbinlog工具的使用方法介绍： 基本语法： mysqlbinlog [options] [logfile [base64]roweventslogfile startpositionN [stoppositionN]] [options] 常用选项： u, userusername: 连接MySQL服务器的用户名。 p, password[password]: 连接MySQL服务器的密码。 h, hosthostname: 连接MySQL服务器的主机名。 P, portportnum: 连接MySQL服务器的端口号。 d, databasedatabasename: 指定要解析的特定数据库。 t, startdatetimedatetime: 指定要解析的起始日期时间。 R, rowevents: 显示基于行的事件。 v, verbose: 输出详细的解析信息。 使用示例： 1. 显示二进制日志文件的内容。 mysqlbinlog binlog.000001 2. 解析特定数据库的二进制日志文件。 mysqlbinlog databasemydb binlog.000001 3. 解析特定时间范围内的二进制日志文件。 mysqlbinlog startdatetime"20230601 00:00:00" stopdatetime"20230602 00:00:00" binlog.000001 4. 解析特定位置范围内的二进制日志文件。 mysqlbinlog startposition123456 stopposition123789 binlog.000001 5. 显示基于行的事件（适用于ROW格式的二进制日志）。 mysqlbinlog rowevents binlog.000001

本节为您介绍云迁移服务CMS中数据库迁移工具数据迁移快速配置,包括注意事项及操作步骤。 注意事项 本文仅简单介绍数据迁移的通用配置流程，不同迁移类型在配置时略有不同。具体配置步骤请阅读数据迁移任务创建。 操作步骤 1. 进入数据迁移的任务列表界面。 2. 单击“创建任务”按钮，进入迁移任务配置界面。 数据库ip地址可以填写私有地址，只要安装迁移工具的节点能访问到即可，需要数据库开通白名单。 如果数据库部署在安装迁移agent的同一节点，填写数据库ip时不可填写127.0.0.1而要用本机的ip地址，因为迁移agent安装在docker中，使用127.0.0.1无法访问本地其他服务端口。 3. 填写好任务参数和源端以及目标数据库信息后，单击源端和目标端测试连接按钮。 4. 通过连接测试后点击“下一步：迁移对象”，勾选要迁移的对象。 5. 选中要迁移的表后，点击高级配置，进行表对象配置。 6. 如不需进行配置或配置完成，则点击“下一步：启动迁移”，即可查看迁移进度。

本节介绍了容器镜像服务的产品优势。 简单易用 使用控制台对镜像操作，简单易用，支持镜像的全生命周期管理。 安全保障 支持容器镜像安全扫描，识别镜像中所有已知的漏洞信息。 开放兼容 全面支持社区Registry V2协议，支持使用CLI以及原生API方式管理镜像。 无缝集成 与云容器引擎无缝集成，构建云原生一站式解决方案。

该任务用于指导用户完成数据管理服务的安装部署。 前提条件 本服务部署需要的全部组件按安装顺序排列如下： Docker MySQL Redis 部署规划 1. 先安装基础组件Docker、MySQL、Redis。 2. 安装dmsconsole、dmsgateway、dmsresource、dasconsole服务。 操作步骤 1. 安装docker，arm64版本。 将dockercompose二进制文件/usr/bin文件目录，重命名为dockercompose。 2. 以/data目录为例，在/data目录创建dms/，上传DMS部署工具包dms0109.tar.gz至/dms并解压到当前目录。 1. cd /data 2. mkdir dms/ 3. cd /dms 4. tar xzvf dms1225.tar 3. 加载基础组件镜像：执行脚本dockerload.sh。 1. cd /data 2. sh ./dms/images/dockerload.sh 前提条件：armjdk11、armmysql820、armredis7alpine镜像压缩包已经放置/dms/images目录下。 4. 通过dockercompose拉起基础组件。 1. cd /data 2. dockercompose f ./dms/dmsdeploy/dockercomposebase.yml up d 5. 构建dms服务镜像，共四个服务，分别是dmsconsole、dmsgateway、dmsresourceintensive、dasconsole。 1. cd /data/dms/dmsdocker 2. sh ./dockerbuild.sh 前提条件： dmsconsole的jar包已上传至./dms/dmsdocker/dmsconsole目录下 dmsgateway的jar包已上传至./dms/dmsdocker/dmsgateway目录下 dmsresourceintensive的jar包已上传至./dms/dmsdocker/dmsresourceintensive目录下 dasconsole的jar包已上传至./dms/dmsdocker/dasconsole目录下 6. 修改服务的配置文件。 1. 修改dmsconsole的服务配置 1. cd /data 2. vi ./dms/dmsdeploy/configs/dmsconfig/dmsconsole/applicationtestgc.yml 需要修改的配置项如红框所示： 2. 修改dmsgateway的服务配置 1. 编辑applicationtestgc.yml文件 1. cd /data 2. vi ./dms/dmsdeploy/configs/dmsconfig/dmsgateway/applicationtestgc.yml 需要修改的配置如红框所示： 2. 编辑bootstrap.yml 1. cd /data 2. vi ./dms/dmsdeploy/configs/dmsconfig/dmsgateway/bootstrap.yml 需要修改的配置如红框所示： 3. 修改dmsresourceintensive服务配置 1. cd /data 2. vi ./dms/dmsdeploy/configs/dmsconfig/dmsresourceintensive/applicationtestgc.yml 需要修改的配置内容如红框所示： 4. 修改dasconsole服务配置 1. cd /data 2. vi ./dms/dmsdeploy/configs/dmsconfig/dasconsole/applicationdevkp.yml 需要修改的配置内容如红框所示： zk与mysql地址（沿用dmsconsole），redis地址修改（沿用dmsconsole） DCP网关地址： 7. 编辑dms后端服务的dockercomposeservice.yml配置，将各服务启动参数中的服务注册地址改为dcp的zk地址，共需要修改4处，如下所示： 1. cd /data 2. vi ./dms/dmsdeploy/dockercomposeservice.yml 8. 部署dms后端服务，执行服务部署脚本 1. cd /data/dms/dmsdeploy 2. sh ./redeployservice.sh

本章介绍使用同一VPC内弹性云主机ECS上的Jedis连接Redis实例的方法。 介绍使用同一VPC内弹性云主机ECS上的Jedis连接Redis实例的方法。更多的客户端的使用方法请参考Redis客户端。 在springboot类型的项目中，springdataredis中已提供了对jedis、lettuce的集成适配。另外，在springboot1.x中默认集成的是jedis，springboot2.x中改为了lettuce，因此在springboot2.x及更高版本中想集成使用jedis，需要对已集成的lettuce组件依赖进行排包 前提条件 已成功申请Redis实例，且状态为“运行中”。 查看并获取待连接Redis实例的IP地址和端口。 具体步骤请参见查看实例信息。 已创建弹性云主机，创建弹性云主机的方法，请参见《弹性云主机用户指南》。 如果弹性云主机为Linux系统，该弹性云主机必须已经安装java编译环境。 Pom配置 org.springframework.boot springbootstarterdataredis io.lettuce lettucecore redis.clients jedis 3.6.0

本节主要介绍RocksDB到GeminiDB Redis的迁移方案。 RocksDB是FaceBook基于LevelDB开发的一个持久化KV单机数据库引擎，具有强大的顺序读写及随机写性能。相对于LevelDB，RocksDB做了许多优化，性能有了很大提升， 而且解决了LevelDB主动限制写的问题。作为一个数据库引擎，RocksDB没有设计成C/S网络结构，直接使用需要和服务部署在同一台服务器，对于服务的部署、使用有较大的限制。 GeminiDB Redis采用RocksDB作为存储引擎，兼容Redis协议具有丰富的数据类型，可以满足RocksDB的使用需求。同时GeminiDB Redis对RocksDB进行深度定制，实现秒级分裂弹性扩容，扩缩容无需搬迁数据，快速而平滑，为RocksDB业务转到Redis生态提供了便利。 迁移原理 使用自研迁移工具rocksdbport，和RocksDB部署在相同机器上，准备好配置文件，启动迁移即可自动完成全量与增量的迁移。 全量迁移对RocksDB数据进行快照，然后扫描整个数据库，将数据打包成GeminiDB Redis识别的格式，发送到GeminiDB Redis，具有很高的迁移效率。 增量迁移解析RocksDB的wal文件，将RocksDB的操作解析出来，然后对其中的key进行分片，多线程进行发送。 使用须知 迁移工具需要部署在源端，对性能有一定消耗，可通过修改配置文件进行一定的控制。 迁移过程读取RocksDB的源数据文件，只读操作，理论上不会有数据受损风险。 迁移过程不需要停服。 若迁移过程出现故障，需要清理GeminiDB Redis实例，重新启动迁移。

本节为您介绍云迁移服务CMS中数据库迁移工具数据同步快速配置,包括注意事项及操作步骤。 注意事项 本文仅简单介绍数据同步的通用配置流程，不同同步类型在配置时略有不同。具体配置步骤请阅读数据同步任务创建。 操作步骤 1. 进入数据同步的任务列表界面。 2. 单击“创建任务”按钮，进入任务配置界面。 数据库地址可以填写私有地址，只要安装迁移工具的节点能访问到即可，需要数据库开通白名单。 如果数据库部署在安装迁移agent的同一节点，填写数据库ip时不可填写127.0.0.1而要用本机的ip地址，因为迁移agent安装在docker中，使用127.0.0.1无法访问本地其他服务端口。 3. 填写好信息配置和源数据库信息，单击测试连接按钮。 4. 通过连接测试后点击“下一步：启选择同步对象”。 5. 从可选对象列表中选择需要同步的表添加到已选对象后点击“下一步：转换规则配置”，对选择好的同步对象进行转换规则配置。 6. 规则配置好之后，点击“下一步：启动同步”，则可以看到同步进度界面

资源 资源说明 成本说明 VirtualBox工具 VirtualBox是一款开源免费跨平台的虚拟机软件。 VirtualBox官方下载地址： 免费 ISO镜像文件 用于为新创建的空虚拟机安装操作系统，需要用户自行提供。 可从Ubuntu官网下载： CloudInit工具（可选） 为了保证使用私有镜像创建的新云主机可以通过“用户数据注入”功能注入初始化自定义信息（例如为云主机设置登录密码）， 请在创建私有镜像前安装CloudInit工具。 获取方式：各操作系统获取方式不同，详见 免费 一键式重置密码插件（可选） 为了保证使用生成的镜像创建的新云主机可以实现一键式重置密码功能，建议您安装密码重置插件CloudResetPwdAgent， 可以应用一键式重置密码功能，给云主机设置新密码。 获取方式：32位操作系统下载地址： 64位操作系统下载地址： 免费

Windows操作系统制作私有镜像为什么要执行Sysprep操作？ 对于需要将 Windows 操作系统加入域并使用域帐号登录的用户，在创建私有镜像之前，需要执行 Sysprep 操作。否则，镜像可能会保留与原始云主机相关的信息，尤其是 SID 信息。多个具有相同 SID 的云主机尝试加入域时可能会失败。如果您的 Windows 系统不需要进行域加入等操作，您可以选择不执行 Sysprep 操作。 Windows操作系统如何执行Sysprep? 操作场景 在 Windows 操作系统中，Sysprep（System Preparation）是一个用于系统准备和系统复制的工具，通常用于在创建镜像或部署操作系统时。 注意事项 Sysprep 的操作可能会因不同的 Windows 版本而略有差异，本文步骤适用于较新版本的 Windows 操作系统。 在执行 Sysprep 后，系统将返回初始状态，所以确保备份了重要数据。 Sysprep 后的系统镜像可以在不同的硬件上进行部署，但可能需要重新激活 Windows。 请根据您的需求和环境，仔细选择 Sysprep 的选项。 在进行 Sysprep 时，建议在操作前先进行备份，以避免意外丢失数据或系统不稳定。 操作步骤 下面是在 Windows 操作系统中执行 Sysprep 的步骤： 1. 打开 Sysprep 工具： 在 Windows 操作系统中，可以通过以下方式打开 Sysprep 工具： 按下Win+R组合键来打开“运行”窗口，然后输入sysprep并按Enter键。 转到C:WindowsSystem32Sysprep目录，找到并双击运行sysprep.exe。 2. 选择准备类型： Sysprep工具会打开一个对话框，询问您要执行的操作。在这里，选择以下选项： System Cleanup Action（系统清理操作）：选择"Enter System OutofBox Experience (OOBE)"，这会将系统还原为初始状态，以供用户设置。 Shutdown Options（关闭选项）：选择"Shutdown"，Sysprep完成后将关机。 3. 勾选其他选项： 在Sysprep对话框的下方，可以选择一些其他选项，如勾选"Generalize"以移除系统特定信息、勾选 "Shutdown" 以在 Sysprep 完成后关机等。确保选择适合您需求的选项。 4. 运行 Sysprep： 点击 "OK" 开始运行 Sysprep。系统会执行一系列操作来准备系统。 5. 系统复制： 系统准备完成后，系统将关机。您可以使用磁盘复制工具（如镜像软件）来创建基于准备好的系统的镜像，以便在其他计算机上进行部署。

常见问题：如何将持久化数据也一起迁移 如果需要将原Kafka的已消费数据也迁移到Kafka实例，可以使用Smart Connect工具，模拟成原Kafka的消费客户端，以及新Kafka实例的生产客户端，将Kafka所有消息数据迁移到新的Kafka实例，具体步骤请参考配置Kafka间的数据复制。 需要注意的是，云上Kafka实例为3副本存储，因此建议实例存储空间为原业务的单副本消息存储的3倍。

本章节主要介绍创建并提交Spark Jar作业 。 操作场景 DLI可以查询存储在OBS中的数据，本节操作介绍使用DLI提交Spark Jar进行实时计算的操作步骤。 操作流程 使用DLI提交Spark作业进行实时计算。基本流程如下： 1.上传数据至OBS 2.创建队列 3.创建程序包 4.提交Spark作业 上传数据至OBS 开发Spark Jar作业程序，编译并打包为“sparkexamples.jar”。参考以下操作步骤上传该作业程序。 提交Spark作业之前，需要在OBS中上传数据文件。 1.登录管理控制台 2.在服务列表中，单击“存储”中的“对象存储服务OBS”，进入OBS管理控制台页面。 3.创建桶，这里以桶名“dlitestobs01”为例。 a. 单击“创建桶”。 b. 进入“创建桶”页面，输入“桶名称”。其他参数保持默认值或根据需要选择。 说明 创建OBS桶时，需要选择与DLI管理控制台相同的区域，不可跨区域执行操作。 c. 单击“立即创建”。 4.单击所建桶“dlitestobs01”，进入“对象”页面。 5.选择左侧列表中的“对象”，选择“上传对象”，将需要上传的文件，例如“sparkexamples.jar”上传到指定目录，单击“确定”。 例如，文件上传成功后，待分析的文件路径为“obs://dlitestobs01/sparkexamples.jar”。 说明 关于OBS管理控制台更多操作请参考《 OBS上传文件指导，请参见《 针对大文件场景，由于OBS管理控制台对文件大小和数量限制较多，所以推荐使用OBS工具上传大文件，如OBS Browser+上传。 OBS Browser+是一个比较常用的图形化工具，，支持完善的桶管理和对象管理操作。推荐使用此工具创建桶或上传对象。

本节为您介绍使用海量文件服务时四种常见的数据迁移场景。 文件系统需要挂载到计算服务后可被共享访问，可通过将文件系统挂载至一台可访问公网的弹性云主机后借助迁移工具实现数据迁移。常见的数据迁移场景有以下四种： 非天翼云数据迁移至海量文件服务 对象存数据迁移至海量文件服务 同账号不同资源池间的数据迁移 文件系统之间的数据迁移

本节为您介绍云迁移服务CMS中对象春春迁移工具查看任务记录。 数据迁移工具可以展示用户所有历史任务信息；当用户迁移任务完成后，会生成相应的历史任务，包括历史任务的任务名称、源节点、目标、创建日期、任务状态、进度等。 历史任务 左侧导航栏单击“任务管理”后，可以查看历史任务列表。 任务搜索 进入“任务管理”界面。 点击“输入任务名称/集群名称”文本框，并输入任务名称/集群名称，点击搜索。 可以查看对应名称的任务。

为什么Windows系统迁移完成后，目的端只能看到系统盘？ 当源端服务器的磁盘策略为共享磁盘脱机或者离线模式时，迁移后会导致数据盘处于离线状态。 解决方案 迁移完成后，如果后续不再进行同步操作，请直接在目的端服务器进行修改。 迁移完成后，如果还需要进行同步操作，请在源端服务器进行修改，修改后进行同步操作。 Windows迁移后无法上网 问题描述 Windows迁移成功后无法连接网络，提示“sms.5603Windows迁移后无法上网”。 问题分析 该问题可能是如下原因导致： 网络适配器驱动存在异常。 网络配置错误。 解决方案 网络适配器驱动存在异常。 1. 在设备管理器中寻找是否有异常的网络设备，使用自动搜索更新驱动程序软件更新驱动 , 然后重启目的端服务器。 2. 如果自动更新之后仍然不能上网，尝试先禁用该驱动，再重新启用该驱动，然后重启目的端服务器。 3. 如果进行上述操作后仍然不能上网，请找一台和目的端服务器在同一可用区可以上网的临时服务器，以挂载的方式将目的端服务器的一块数据盘挂载到临时服务器上。 1. 在临时服务器，下载vmtools工具安装包到目的端数据盘中（不要安装）。 2. 将该数据盘挂载回目的端服务器，然后登录目的端服务器找到该数据盘中的vmtools工具安装包进行安装。 3. 最后重启目的端服务器。 网络配置错误。 1.在 cmd中执行 ipconfig，查看内网IP与ECS控制台的内网IP是否一致，如果不一致，可能设置了静态IP，请修改为DHCP方式获取IP地址。 2.ping EIP可以ping通，外网域名无法ping通。请调整DNS配置。

本文介绍如何将数据从其它云迁移到海量文件服务。 应用场景 在第三方云厂商存储大量数据的用户，如果想要将数据迁移至天翼云海量文件服务（后文简称OceanFS），传统方法需要先将存储在第三方云厂商上的数据下载到本地，再通过客户端手动上传到OceanFS，整个过程耗时又耗力，容易存在漏传、误传等问题。因此本文推荐您配置一个弹性云主机实例挂载OceanFS作为数据传输的中转节点，然后通过迁移工具将数据从本地至天翼云OceanFS。 FileZilla Client是一款强大且易用的跨平台FTP客户端软件，能帮助用户高效、稳定地进行多种协议的文件传输。本文基于FileZilla作为SFTP客户端，用户可根据需求选择合适的版本下载安装该客户端工具。 前提条件 已拥有一个NFS协议OceanFS文件系统。 准备一台与海量文件系统在同一VPC网络下的Linux弹性云主机（须配置弹性IP）。 同时保证该文件系统可挂载至弹性云主机上，即二者之间网络通畅。 准备工作 分别创建一个海量文件系统和一台弹性云主机，具体操作请参考创建海量文件系统、创建弹性云主机。 下载安装迁移客户端工具。 操作步骤 将第三方数据迁移至海量文件系统可以分为几个关键步骤：将第三方数据下载至本地 > 挂载海量文件系统 > 本地安装SFTP客户端并与挂载海量文件系统的弹性云主机建立连接 > 迁移本地数据到海量文件系统 。具体操作步骤如下： 1. 将第三方数据下载至本地目录。 2. 将海量文件系统挂载到云主机 。将海量文件系统挂载至Linux云主机中“/mnt/OceanFS”目录下，具体操作请参考挂载文件系统。 3. 本地安装SFTP客户端并与挂载海量文件系统的弹性云主机建立连接。 1）本地安装SFTP客户端，根据页面提示进行下载安装。 2）安装完成后输入主机、用户名、密码和端口，参数说明见下表。配置完成后，点击“快速连接”建立连接。 3）配置完成，点击“快速连接”，建立连接。 参数 说明 主机 弹性云主机绑定的公网IP，即弹性IP。 用户名 弹性云主机的用户名，例如root（注意：需要保证建立连接的用户拥有读写海量文件系统目录的权限）。 密码 弹性云主机用户登陆密码，例如root用户登陆密码。 端口 SFTP端口号，默认为22。 4）建立连接后，页面左侧为要迁移数据的目录，右侧为OceanFS文件目录路径（/mnt/OceanFS)。 4. 迁移数据 。在左侧区域想要迁移的文件或者目录上点击右键，然后点击“上传”即可完成迁移数据到海量文件系统上。

本小节介绍数据加密云服务使用KMS加解密数据最佳实践。 概述 数据加密服务中的密钥管理服务（Key Management Service，KMS），是一种安全、可靠、简单易用的密钥托管服务，帮助您轻松创建和管理密钥，保护密钥的安全。 云服务与KMS集成后，您只需在决定加密云服务数据时，选择一个KMS管理的用户主密钥，就可以轻松使用您选择的用户主密钥加解密您存储在这些云服务内的数据。 您可以选择云服务自动通过KMS创建的默认密钥，也可以选择您通过KMS自行创建或导入的自定义密钥。 原理介绍 云服务基于信封加密技术，通过调用KMS接口来加密云服务资源。由用户管理自己的用户主密钥，云服务在拥有用户授权的情况下，使用用户指定的用户主密钥对数据进行加密。 加密流程说明如下： 1.用户需要在KMS中创建一个用户主密钥。 2.云服务调用KMS的“createdatakey”接口创建数据加密密钥。得到一个明文的数据加密密钥和一个密文的数据加密密钥。 说明 密文的数据加密密钥是由指定的用户主密钥加密明文的数据加密密钥生成的。 3.云服务使用明文的数据加密密钥来加密明文文件，得到密文文件。 4.云服务将密文的数据加密密钥和密文文件一同存储到持久化存储设备或服务中。 说明 用户通过云服务下载数据时，云服务通过KMS指定的用户主密钥对密文的数据加密密钥进行解密，并使用解密得到的明文的数据加密密钥来解密密文数据，然后将解密后的明文数据提供给用户下载。 OBS服务端加密

优势： 超强写入： 相比于其他NoSQL服务，拥有超强写入性能。 大数据分析： 结合Spark等工具，可以用于实时推荐等大数据场景。 金融行业 云数据库 GeminiDB结合Spark等大数据分析工具，可应用于金融行业的风控体系，构建反欺诈系统。 优势： 大数据分析： 结合Spark等工具，可以进行实时的反欺诈检测。

本文介绍云工作流如何通过集成云工作流来触发工作流执行。使用Operation状态，functionRef.type配置为cloudflow:executeWorkflow。 基本概念 参数配置 返回值与模式 示例代码与解析 请求响应（RequestComplete）示例 等待任务令牌（WaitForTaskToken）示例 等待系统回调（WaitForSystemCallback）示例 基本概念 参数配置 参数名称 是否必选 参数说明 示例值 workflowName 是 被调用工作流名称 demo1 workflowType 是 被调用工作流类型 express standard express executionName 否 工作流执行名称 test1 workflowInput 是 工作流执行输入，JSON格式 plaintext { "key": "hello word" } regionId 是 被调用工作流所属地域。 bb9fdb42056f11eda1610242ac11000 返回值与模式 返回值 工作流的执行输出详细数据，示例如下： plaintext { "workflowExecuteID": "wifbf0ec8218b84f229349d07b685067b5", "workflowExecuteInput": { "k1": "v1" }, "workflowExecuteName": "test1", "workflowExecuteOutput": { "k1": "v1" }, "workflowExecuteStartTime": "20250612T07:36:18.714089503Z", "workflowExecuteStatus": "completed", "workflowExecuteStopTime": "20250612T07:36:18.733828607Z", "workflowName": "expressdemo" }

本节主要介绍产品功能 云迁移工具RDA主要有以下功能： 信息收集 填写凭证后一键式收集平台、主机等的资源信息 目的端配置推荐 根据发现的资源信息，推荐天翼云配置 数据迁移 主机，对象存储迁移

云硬盘备份 云硬盘备份（CTVBS，Volume Backup Service）是针对云主机的系统盘、数据盘提供的备份服务。用户可对存储重要数据的云硬盘进行备份，并在云硬盘故障、用户误删数据、遭到黑客攻击等情况下，使用备份快速恢复数据，最大限度保证用户数据的安全性。 更多内容请参见云硬盘备份。 云硬盘加密概述 使用 KMS 加密数据密钥管理服务（Key Management Service，KMS）是一站式密钥管理和数据加密服务平台，提供安全合规、可靠易用的资源托管及密码运算服务。同时与天翼云云硬盘、对象存储、弹性文件、关系型数据库MYSQL等云产品无缝集成，实现云上原生数据的加密保护。 更多内容请参见云硬盘加密概述。 云硬盘快照策略 使用云硬盘快照策略对云硬盘进行周期性备份天翼云云硬盘快照是一种数据备份方式，云硬盘快照服务可以备份或者恢复整个云硬盘的数据，常用于数据备份、制作镜像、应用容灾等。 更多内容请参见云硬盘快照策略。 云主机访问控制 当您的云主机需要访问公网或被公网访问时您可以使用安全组和网络ACL对主机进行访问控制设置，屏蔽不使用的端口，尽可能减少暴露在公网的端口数量。可以有效提高云主机的安全性。

迁移时长 因迁移速度受网络带宽，磁盘IO，CPU和内存占用率，文件大小、数量等因素影响，主机迁移服务无法准确的评估出迁移时长，迁移任务中“剩余迁移时间预测”仅供参考。 建议30天内完成数据迁移和业务割接。 由于增量同步受源端文件数目，有效簇连续性以及源端增量数据大小等多方面因素影响，因此主机迁移服务无法评估和保障同步时长。 迁移过程操作须知 迁移过程中，禁止对目的端服务器的系统、磁盘进行操作，包括但不限于切换操作系统、重装系统等。 迁移过程中，会对目的端服务器的磁盘进行格式化并重新分区，请迁移前做好数据备份以及确认目的端服务器磁盘可被格式化。 迁移过程中，Windows迁移和Linux块级迁移禁止重启SMSAgent。 迁移过程中，Linux文件级迁移重启SMSAgent支持断点续传，但仍然有出现异常的风险，非必要，建议不要重启SMSAgent。 如果迁移过程中出现报错，请及时收集迁移日志，以供技术人员定位问题。 迁移后须知 主机迁移服务属于系统迁移，可以保证迁移前后数据一致性，但无法确保迁移后业务能正常运行。应用能否成功部署，需要用户根据实际情况进行调整，SMS只负责数据迁移，不负责用户的业务调整。 主机迁移服务暂时不提供数据一致性校验工具，如果需要对数据进行校验，请自行选择第三方工具进行校验。

本小节介绍日志审计(原生版)产品功能类常见问题。 日志审计（原生版）采用何种接入方案？ windows设备通过agent采集，优点在于能够快速地集成现有数据，形成数据能力。 其他设备通过syslog采集snmptrap方式采集，优点在于不侵入应用系统，相关数据的准备由数据源系统自行准备，有利于数据源系统开展数据责任授权及控制扩散范围。 日志审计（原生版）采集日志需要做哪些操作？ 进入日志审计后，您需要先配置采集资产，针对采集日志样式进行配置，以及配置对应告警规则。配置完成后，触发日志，可在平台中检索采集到的日志和告警结果。涉及配置流程如下： 日志审计（原生版）如何实现自适应采集解析能力？ 通过数据自适应，将采集到多种类型、多种格式的原始事件信息根据预先配置的解析规则进行解析，支持正则解析，分隔符解析，json解析，keyvalue形式解析，实现新增日志类型无需开发能力。且日志解析结果已内置支持80+个字段，并支持动态扩展。 日志审计（原生版）如何实现检索分析？ 检索分析功能底层基于elasticsearch索引支持检索功能，为用户提供日志检索及分析能力，支持字段高级逻辑搜索和全文检索，提供丰富的字段用于索引、检索，字段可由用户自定义添加配置，可支持用户自定义时间范围内检索数据，并支持对检索数据进行导出。

本文为您介绍天翼云云搜索服务的向量检索能力及使用方法。 功能简介 支持向量检索（Vector Search）是搜索引擎的一个高级功能，它允许用户在高维向量空间中进行相似性搜索，而不仅仅是基于传统的关键词匹配。 向量检索的核心在于，它通过将文本、图像或其他数据转换为向量（即一组多维的数值表示），基于这些向量之间的距离来查找相似的项目。与传统的基于关键字的检索方法相比，向量检索更适合处理复杂的数据类型，如自然语言处理、推荐系统和计算机视觉等场景。 在搜索引擎中，支持向量检索的功能通过集成高效的向量索引结构（如近似最近邻搜索算法）实现。这使得搜索引擎能够在处理大规模数据集时，依然保持高效的查询速度和准确性。通过向量检索，用户可以在海量数据中快速找到与查询向量最相似的结果，从而提升搜索体验和应用的智能化水平。 天翼云云搜索服务提供的OpenSearch和Elasticsearch都可以支持向量检索能力。OpenSearch在向量检索能力上相比Elasticsearch 7.10.2（搭配早期OpenDistro插件）有明显提升。其内置的KNN插件持续演进，升级集成了更高版本的FAISS库，在构建索引速度、内存管理、查询性能等方面有较大优化。这些改进使得OpenSearch更适用于大规模、高并发的向量检索场景。 使用示例 以下是OpenSearch支持向量检索示例。 创建索引： plaintext PUT myknnindex1 { "settings": { "index": { "knn": true, "knn.algoparam.efsearch": 100 } }, "mappings": { "properties": { "category": { "type": "keyword" }, "brand": { "type": "keyword" }, "style": { "type": "keyword" }, "myvector": { "type": "knnvector", "dimension": 3 } } } } 插入3条数据： plaintext PUT myknnindex1/doc/1 { "category": "electronics", "brand": "brandA", "style": "modern", "myvector": [0.5, 0.8, 0.3] } PUT myknnindex1/doc/2 { "category": "furniture", "brand": "brandB", "style": "vintage", "myvector": [0.2, 0.4, 0.7] } PUT myknnindex1/doc/3 { "category": "clothing", "brand": "brandC", "style": "casual", "myvector": [0.9, 0.1, 0.6] } 查询： plaintext POST myknnindex1/search { "size": 10, "query": { "knn": { "myvector": { "vector": [0.5, 0.8, 0.3], "k": 2 } } } } 返回结果： plaintext { "took" : 4, "timedout" : false, "shards" : { "total" : 1, "successful" : 1, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "value" : 2, "relation" : "eq" }, "maxscore" : 1.0, "hits" : [ { "index" : "myknnindex1", "id" : "1", "score" : 1.0, "source" : { "category" : "electronics", "brand" : "brandA", "style" : "modern", "myvector" : [ 0.5, 0.8, 0.3 ] } }, { "index" : "myknnindex1", "id" : "2", "score" : 0.7092199, "source" : { "category" : "furniture", "brand" : "brandB", "style" : "vintage", "myvector" : [ 0.2, 0.4, 0.7 ] } } ] } }

本章节主要介绍天翼云大数据平台 翼MapReduce产品的安全增强特性。 天翼云大数据平台 翼MapReduce支持海量数据存储、海量数据分析、实时处理等行业应用，平台具备高安全性。该产品主要从以下几个方面保障用户可以安全地存储、使用数据以及运行业务。 网络隔离 系统部署在用户在公有云上专享的虚拟私有云中，提供安全隔离的网络环境，保证用户大数据集群的业务、管理的安全性。通过结合虚拟私有云的子网划分、路由控制、安全组等功能，可以为用户提供高安全、高可靠的网络隔离环境。 资源隔离 翼MR服务目前支持用户在天翼云4.0资源池内专属化部署，服务使用到的云主机在IaaS层保证资源隔离，资源组合上确保专属计算资源+专属存储资源。 主机安全 翼MR支持与天翼云官网安全服务集成，支持漏洞扫描、安全防护、应用防火墙、云堡垒机、网页防篡改等。针对云主机，提供如下安全措施： 操作系统内核安全加固 更新操作系统最新补丁 操作系统权限控制 操作系统端口管理 操作系统协议与端口防攻击 云主机监控 防DDoS攻击 定期备份数据 增加登录密码强度 应用安全 通过如下措施保证大数据业务正常运行： 身份鉴别与认证 Web应用安全 访问控制 审计安全 密码安全

本节为您介绍云迁移服务CMS中数据库工具迁移模块节点管理相关操作。 节点列表查看 数据库迁移工具可以查看当前用户的子节点信息，如子节点的地址、状态、类型等信息。 节点搜索 数据库迁移工具提供节点搜索功能，用户可节点名称、节点地址筛选出想要查看或操作的节点。 节点添加 数据库迁移工具提供节点信息添加功能，当用户完成新节点开通后，可通过添加节点，让节点投入使用。 操作步骤 1. 进入“数据库迁移工具”，点击“节点管理”。 2. 点击“添加节点”按钮，并填写相关信息后，点击“保存按钮”，即可完成节点添加。 节点上线/下线 数据库迁移工具提供节点上线/下线功能，用于控制节点在任务过程中的使用。当用户想停用节点时，可点击“下线”按钮，后续的迁移任务将不再发送到该节点执行；当用户想重新启用节点时，可点击“上线”按钮。

本章节主要介绍统计大盘模块。 助手运营看板用于查看平台内各智能助手的整体运行情况，包括任务量、成功率、活跃度、趋势变化以及场景分布等内容。本页面支持按时间范围查看，适用于平台管理员与业务负责人进行运行监控和效果分析。 进入方式 登录系统后，在左侧导航栏点击 「统计大盘」，页面将默认展示近 7 天的数据概览，可通过顶部切换 最近 7 天 / 15 天 / 30 天 / 自定义日期区间 来筛选数据范围。 全局概览 页面顶部展示当前时间范围内的整体运行数据，用于快速了解助手运行的总体情况，包括： 指标 说明 总任务数 所有助手在所选时间范围内产生的任务数量 成功率 成功任务占总任务的比例 活跃助手数 时间范围内至少执行过 1 次任务的助手数量 活跃场景数 时间范围内发生过任务的业务场景数量 最近 7 天助手运行总结 该区域以摘要文字方式展示智能助手在过去 7 天内的关键变化，便于快速掌握近期趋势变化，辅助后续分析，包括： 新增助手、工具或场景数量 调用次数最多的助手 使用最多的工具 成功率最低的场景提示

本章节主要介绍解绑/绑定集群的EIP。 操作场景 CDM集群创建完成后，支持解绑或绑定EIP。 如果CDM需要访问本地数据源、Internet的数据源，或者跨VPC的云服务，则必须要为CDM集群绑定一个弹性IP，或者使用NAT网关让CDM集群与其他弹性云主机共享弹性IP访问Internet。 EIP的异常通知，需要先在IAM控制台创建对应Region的VPC策略委托才能生效。也可以在CDM集群管理界面选择“弹性IP检测授权 > 创建委托”来创建。 说明 如果用户对本地数据源的访问通道做了SSL加密，则CDM无法通过弹性IP连接数据源。 前提条件 已创建CDM集群。 已拥有EIP配额，才能绑定EIP。 操作步骤 1.登录CDM管理控制台。单击左侧导航上的“集群管理”，进入集群管理界面。集群列表详见下图 说明 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 2.对相应需要操作的集群可以进行绑定EIP或解绑EIP的操作。 绑定EIP：单击集群操作列中的“绑定弹性IP”，进入EIP选择界面。 解绑EIP：选择“更多 > 解绑弹性IP”。 3.单击“确定”绑定或解绑EIP。

本文为您介绍如何通过OpenSearch Dashboards向天翼云云搜索服务OpenSearch实例导入数据。 OpenSearch Dashboards可视化界面提供的Dev Tools控制台允许直接在浏览器中通过REST API向OpenSearch实例发出查询和数据操作请求。 OpenSearch Dashboards可视化界面提供了简单的数据导入功能，适用于小规模数据的手动导入场景，特别是在测试和快速验证场景中非常实用。 适用场景 快速测试与调试：适用于开发阶段测试查询语句、创建索引、插入和更新数据等操作。 简单数据管理：如果只是少量数据操作，如插入、更新、删除数据或查看结果，OpenSearch Dashboards提供了方便的Web界面操作。 无需编程环境：不需要安装额外的客户端工具，只要能访问OpenSearch Dashboards即可操作OpenSearch。 前提条件 已经开通天翼云云搜索OpenSearch实例。 查看OpenSearch Dashboards的终端可以访问到云搜索实例，设置好5601端口的网络安全策略。 实际操作 点击OpenSearch Dashboards输入用户名登录后，进入首页。 右上角可以点击开发工具进入开发工具界面。 如果没有索引，可以创建一个测试索引名为testindex： PUT /testindex { "mappings": { "properties": { "mytest": { "type": "text" } } } } 执行创建索引操作会返回如下信息： { "acknowledged": true, "shardsacknowledged": true, "index": "testindex" } 如果有索引可以使用已有的索引。 往索引中写入数据，以上面创建的索引为例。

本文主要介绍基于天翼云海量文件服务,如何在不同资源池之间实现海量文件系统之间的数据迁移。 应用场景 本文适用于在不同地域（资源池）不同VPC的海量文件系统之间的数据迁移。例如当您需要将业务从A省迁移至B省的资源池，以提高访问效率。 前提条件 已拥有两个NFS协议的海量文件系统。两个资源池的海量文件系统分别作为源文件系统和目标文件系统，源文件系统指含业务数据的源文件系统，目标文件系统指即将投入使用的新文件系统。 准备一台与源文件系统在同一VPC网络下的弹性云主机和一台与目标文件系统在同一VPC网络下的弹性云主机，并为这两台弹性云主机配置弹性IP，以实现基于公网的数据迁移。 准备工作 在两个资源池分别创建一个海量文件系统和一台弹性云主机，具体操作请参考创建海量文件系统、创建弹性云主机。 将文件系统分别挂载海量文件系统至弹性云主机，具体操作请参考使用弹性云主机挂载海量文件系统。 操作步骤 不同资源池的两个海量文件系统之间的数据迁移可以分为几个关键步骤： 挂载文件系统 > 安装迁移工具 >迁移存量数据> 迁移增量数据源> 迁移结果检查 。具体操作步骤如下： 1. 将两个资源池的海量文件系统分别挂载到对应云主机。 将海量文件系统挂载至云主机中，这里设定资源池1为源文件系统，将其挂载到同一资源池弹性云主机的“/mnt/localpath/”目录上，资源池2为目标文件系统，同样将其挂载到同一资源池的弹性云主机的 “/mnt/localpath/”目录上。 2. 安装迁移工具。 执行以下命令安装rsync命令工具： plaintext yum install y rsync 3. 迁移存量数据。 执行以下命令，将资源池1海量文件系统中的数据迁移到资源池2中： plaintext rsync avP /mnt/localpath/ root@IP:/mnt/localpath/ 我们还可以利用rsync并发拷贝迁移数据，由于并发操作，每个ssh连接操作均要求输入密码，因此在并发迁移数据过程中会要求多次输入密码，这里我们配置无需密码通过ssh执行rsync来迁移文件。在资源池1中的弹性云主机中执行 sshkeygen命令生成密钥，之后使用sshcopyid将公钥拷贝至资源池2的弹性云主机，执行以下命令： plaintext sshkeygensshcopyid i ~/.ssh/idrsa.pub IP 执行以下命令，实现并发数据迁移： plaintext threads ; src ; dest ; rsync av f"+ /" f" " $src $dest && (cd $src && find . type f print0 xargs 0 n1 P$threads I% rsync av % $dest/%) 4. 迁移增量数据。 执行以下命令，实现增量数据的迁移： plaintext rsync avP delete /mnt/localpath/ root@IP:/mnt/localpath/ 5. 检查迁移结果。 在完成数据迁移后，执行以下命令： plaintext rsync rvn /mnt/localpath/ root@IP:/mnt/localpath/ 如果源文件系统与目标文件系统数据一致，则应显示上面信息，中间不包含任何文件路径。

本节为您介绍数据库迁移工具提供任务批量删除功能。 数据库迁移工具提供任务批量删除功能，用户可勾选要删除任务，再点击“批量删除”按钮，一次性删除多个迁移任务。 操作步骤 1. 进入“数据库迁移工具”，点击“数据传输”展开菜单，点击“迁移评估”。 2. 勾选要删除的任务，然后点击 “批量删除“按钮，再点击“确定”即可完成任务信息删除。

本节主要介绍Bookinfo应用分析 Bookinfo是一个模仿在线书店的应用，页面上会显示一本书籍的描述，书籍的细节（如页数），以及关于书籍的一些评论。 Bookinfo应用由四个单独的服务构成，几个服务是由不同的语言编写的。这些服务对应用服务网格ASM并无依赖，但是构成了一个有代表性的服务网格的例子，即由多个服务、多个语言构成，且reviews服务具有多个版本。这四个服务的说明如下： productpage：会调用details和reviews两个服务，用来生成页面。 details：包含了书籍的信息。 reviews：包含了书籍相关的评论，同时会调用ratings服务。 ratings：包含了由书籍评价组成的评级信息。 其中，reviews服务有3个版本： v1（1.5.1）版本会调用ratings服务，并使用1到5个黑色星形图标来显示评分信息。 v2（1.5.0）版本不会调用ratings服务。 v3（1.5.2）版本会调用ratings服务，并使用1到5个红色星形图标来显示评分信息。 说明 为了直观的展示灰度版本之间流量切换情况，本教程以reviews服务的v1版本（黑星形）、v3版本（红星形）为例进行说明。 图 Bookinfo应用的端到端架构 在ASM中运行Bookinfo应用，无需对应用自身做出任何改变，只需简单的在ASM环境中对服务进行配置和运行，即把Envoy Sidecar注入到每个服务之中。最终的部署结果如下图所示。 图 Envoy Sidecar注入之后的Bookinfo应用 所有的服务都和Envoy Sidecar集成在一起，被集成服务的所有出入流量都被Sidecar所劫持，这样就可以利用ASM为应用提供服务路由、遥测数据收集以及策略实施等功能。