本章节主要介绍节点参考的节点概述。 节点定义对数据执行的操作。数据开发模块提供数据集成、计算&分析、数据库操作、资源管理等类型的节点，您可以根据业务模型选择所需的节点。 节点的参数支持使用EL表达式，EL表达式的使用方法详见表达式概述。 节点间的连接方式支持串行和并行。 串行连接：按顺序逐个执行节点，当A节点执行完成后，再执行B节点。 并行连接：A节点和B节点同时执行。 详见下图：连接示意图

本文主要介绍使用RedisShake工具迁移自建Redis Cluster集群 RedisShake是一款开源的Redis迁移工具，支持Cluster集群的在线迁移与离线迁移（备份文件导入）。DCS Cluster集群与Redis Cluster集群设计一致，数据可平滑迁移。 本文以Linux系统环境为例，介绍如何使用RedisShake工具进行Cluster集群数据迁移。 约束与限制 使用RedisShake工具将自建的Redis Cluster在线迁移到DCS Cluster集群，需要源Redis与目标Redis网络连通，或者通过一台中转云主机连通两端的Cluster集群实例。 前提条件 如果您还没有目标Redis，请先创建目标Redis，具体操作请参考创建实例。 如果您已有目标Redis，则不需要重复创建，为了对比迁移前后数据及预留足够的内存空间，建议在数据迁移之前清空目标实例数据，清空操作请参考清空实例数据。如果没有清空实例数据，数据迁移后，目标Redis与源Redis实例重复的数据迁移后会被覆盖，源Redis没有、目标Redis有的数据会保留。 已创建弹性云主机ECS。 ECS请选择与DCS Cluster集群实例相同虚拟私有云、子网和安全组，并且需要绑定弹性公网IP。 自建的源Redis Cluster集群如果是在本地或者其他云厂商的服务器上自建，需要允许被公网访问。 获取源Redis和目标Redis节点信息 1. 分别连接源端和目标端Redis。连接Redis的方法请参考使用rediscli连接Redis实例。 2. 在线迁移Cluster集群时需要将Cluster集群各个节点数据分别迁移。执行如下命令分别查询源端和目标Cluster集群的所有节点的IP地址与端口： rediscli h {redisaddress} p {redisport} a {redispassword} cluster nodes {redisaddress}为Redis的连接地址，{redisport}为Redis的端口，{redispassword}为Redis的连接密码。 在命令返回的结果中，获取所有master节点的IP端口。

本章节主要介绍数据治理中心DataArts Studio产品的优势。 一站式数据运营平台 贯穿数据全流程的一站式治理运营平台，提供全域数据集成、标准规范设计、连接并萃取数据价值、全流程数据质量监控、统一数据资产管理、数据开发服务等，帮助企业构建完整的数据中台解决方案。 丰富的数据开发类型 支持多人在线协作开发，脚本开发可支持SQL、Shell在线编辑、实时查询；作业开发可支持CDM、SQL、MR、Shell、MLS、Spark等多种数据处理节点，提供丰富的调度配置策略与海量的作业调度能力。 统一调度和运维 全面托管的调度，支持按时间、事件触发的任务触发机制，支持分钟、小时、天、周和月等多种调度周期。 可视化的任务运维中心，监控所有任务的运行，支持配置各类报警通知，便于责任人实时获取任务的情况，保证业务正常运行。

本节主要介绍如何将数据从本地迁移到OOS中。 应用场景 将数据从本地迁移到天翼云OOS的Bucket。 注意 在线迁移会占用网络资源。若您的业务比较重要，建议您对迁移任务设置限速（设置system.conf中的maxThroughput），或在空闲时间启动迁移任务。 前提条件 Windows7 及以上版本或 Linux CentOS 7.x 及以上版本。 Java 1.8 及以上版本。 迁移工具所在的服务器可以访问OOS资源池。 具体操作 确定目标Bucket 在天翼云OOS中创建目标Bucket，具体操作请参见创建存储桶（Bucket）或PUT Bucket，用于存放迁移的数据。也可以使用已存在的Bucket。 下载安装迁移工具 1. 下载数据迁移工具。 2. 解压缩安装包 对于Windows客户端，直接解压缩迁移工具zip 包即可。 对于Linux客户端，执行 unzip 解压缩安装包。 迁移工具解压后的目录结果如下： CTYUNOOSImportversionid config log4j2.xml migrate.conf system.conf lib import.sh import.bat 修改配置文件 更新迁移任务配置文件 migrate.conf，配置源和目的资源池信息、迁移配置项。您可根据需要配置system.conf和 log4j2.xml文件，具体参数介绍参见常用工具OOS数据迁移工具迁移步骤。其中： srcType需填写为：LOCAL，代表本地。 localFolderPath需要填写待迁移文件所在的本地目录，且操作用户需要对该目录及文件有读权限。 OOS的AccessKeyID和SecretAccessKey需要至少拥有目的Bucket的写权限。 migrate.conf配置示例如下： { "srcType":"LOCAL", 从LOCAL迁移文件（Object） "localFolderPath":"F:/test/test1/",本地目录，请根据实际填写 "destEndpoint":"ooscn.ctyunapi.cn", OOS的Endpoint "destAccessKey":"AccessKeyID", OOS的AccessKeyID "destSecretKey":"SecretAccessKey", OOS的SecretAccessKey "destBucket":"BucketName", OOS的Bucket名称 "isSkipExistFile":false 是否跳过目标资源池中已有的文件 }

本节介绍了初始化容量大于2TB的Linux数据盘(parted)的操作场景、前提条件、划分分区并挂载磁盘、设置开机自动挂载磁盘分区等内容。 操作场景 本文以云主机的操作系统为“CentOS 7.4 64位”、磁盘容量为3 TB举例，采用Parted分区工具为容量大于2 TB的数据盘设置分区。 MBR支持的磁盘最大容量为2 TB，GPT最大支持的磁盘容量为18 EB，因此当您初始化容量大于2 TB的磁盘时，分区形式请采用GPT。对于Linux操作系统而言，当磁盘分区形式选用GPT时，fdisk分区工具将无法使用，需要采用parted工具。关于磁盘分区形式的更多介绍，请参见场景及磁盘分区形式介绍。 不同云主机的操作系统的格式化操作可能不同，本文仅供参考，具体操作步骤和差异请参考对应的云主机操作系统的产品文档。 前提条件 已挂载数据盘至云主机，且该数据盘未初始化。 已登录云主机。 划分分区并挂载磁盘 本操作以该场景为例，当云主机挂载了一块新的数据盘时，采用parted分区工具为数据盘设置分区，分区形式设置为GPT，文件系统设为ext4格式，挂载在“/mnt/sdc”下，并设置开机启动自动挂载。 步骤 1 执行以下命令，查看新增数据盘。 lsblk 回显类似如下信息： [root@ecscentos74 ~]

安装NC工具模拟数据流量 本文使用NC工具模拟数据流量，NC工具是一个通过TCP/UDP协议在网络中读写数据的工具，常用于网络端口测试等，需要在ECSsource和ECStest中安装NC工具。 1. 在ECSsource中安装NC工具。 1. 下载NC工具需要连接公网，将EIP绑定至ECSsource。 2. 远程登录ECSsource。 3. 依次执行以下命令，安装NC工具。 sudo yum update 回显类似如下信息： shell [root@ecssource ~] sudo yum update HCE 2.0 base 55 MB/s 6.1 MB 00:00 HCE 2.0 updates 98 MB/s 14 MB 00:00 Last metadata expiration check: 0:00:01 ago on Tue 10 Sep 2024 05:54:28 PM CST. Dependencies resolved. Nothing to do. Complete! sudo yum install nc 回显类似如下信息，请根据回显提示输入y，并按回车。 shell [root@ecssource ~] sudo yum install nc Last metadata expiration check: 0:00:12 ago on Tue 10 Sep 2024 05:54:28 PM CST. Dependencies resolved. ... Install 2 Packages Total download size: 6.1 M Installed size: 25 M Is this ok [y/N]: y Downloading Packages: ... Importing GPG key 0xA8DEF926: Userid : "XXX" Fingerprint: C1BA 9CD4 9D03 A206 E241 F176 28DA 5B77 A8DE F926 From : Is this ok [y/N]: y ... Installed: libssh21.10.02.r10.hce2.x8664 nmap2:7.922.r4.hce2.x8664 Complete! 4. ECSsource的NC工具安装完成后，解绑EIP。 2. 参考1.a~1.d，在ECStest中安装NC工具，并解绑EIP。 3. EIP解绑后，删除EIP。 本示例中不再需要使用EIP，因此删除EIP。如果不删除EIP，则EIP会持续计费。

执行迁移 对于Windows客户端，执行import.bat启动迁移，步骤如下： 1. 打开“开始”菜单，搜索“cmd”，打开命令提示符窗口。 2. cd到压缩工具所在的目录下，例如 cd c:CTYUNOOSImport1.3.2。 3. 执行import.bat。 对于Linux客户端，执行import.sh启动迁移，步骤如下： 1. 为import.sh增加执行权限，执行命令：chmod +x import.sh。 2. 运行import.sh，执行命令：./import.sh。 断点续传 数据迁移工具支持断点续传，如果迁移过程中程序被终止了，可以重新启动迁移任务，从之前中断的位置继续开始迁移。继续迁移的步骤如下： 1. 保留上次迁移执行过程中产生的backup文件。如果是在另外一台服务器上重新开始迁移任务，需要将backup文件拷贝到新服务器的迁移工具所在目录下。 2. （可选）查看nextMarker.txt文件中记录的上次数据迁移位置。修改migrate.conf，设置srcMarker为上次迁移位置。 日志 数据迁移工具执行过程中，会生成一个migratelog文件夹，用于记录迁移情况。日志类型分为异常日志、成功日志、跳过文件（Object）日志、其他日志。 运行日志生成在logs/migrate文件夹下，根据log4j2.xml配置可生成server.log、error.log、dubug.log等。

该工具提供将其他对象存储迁移至对象存储ZOS的迁移服务。 工具介绍： 对象存储（CTZOS，Zettabyte Object Storage）数据迁移工具是一款用于将存储在其他对象存储服务中的数据，迁移至天翼云 ZOS 的命令行迁移工具。 主要功能： 适配多源端：支持多种数据源端，包括：亚马逊 S3、阿里云 OSS、华为云 OBS（包含合营的OBS）、腾讯云 COS、天翼云 ZOS、天翼云 OOS 和 其他遵循标准 S3 协议的对象存储服务。 源端配置 源端整桶迁移：支持整桶文件迁移。 源端过滤规则：支持指定源端文件夹、文件、前缀进行迁移；支持通过对象列表文件（.txt格式）指定源端迁移对象。 源端指定时间区间：支持迁移源桶内指定时间区间内的文件。 目的端配置 目的端指定前缀：支持指定迁移至目的端的对象统一新增前缀，若为目录前缀则会将数据迁移至该目录下。 目的端存储类型及访问控制：支持设置迁移至目的端的对象的存储类型和访问控制；支持设置对象迁移到ZOS为归档存储。 高级配置 同名文件处理策略：支持处理同名文件的策略配置。 流量控制：支持对任务进行限流。 自定义分片：支持自定义分片大小。 数据一致性校验：支持迁移过程中的一致性校验（按最后修改时间和 size）。 失败记录及重试：支持记录迁移失败对象以及重试失败对象的迁移；支持记录对象迁移失败原因。 并行传输和续传：支持对象并行下载和上传，支持断点续传。 迁移进度与日志：支持实时查询迁移进度，支持日志记录。 多任务迁移：支持自动按序执行迁移任务。您可一次创建多个任务配置文件，让工具自动执行这些任务。 注意 各源端厂商可能基于标准S3协议进行定制化改动，而非完全遵循标准S3协议，因此，非以上厂商的对象存储服务，请您以实际支持情况为准。 为避免您的损失，迁移前我们建议您尝试进行小部分数据迁移进行测试。

在事件列表页面，可以筛选并查看所有告警事件。 功能入口 1. 登录【应用性能监控控制台】。 2. 在左侧导航栏选择告警管理>告警事件历史。 事件列表 事件列表页面显示了未恢复告警和已恢复告警的事件名称、通知策略、创建时间、事件数量、事件状态、事件对象。 在事件列表页面，您可以执行以下操作： 设置筛选字段，然后单击搜索，可以查看对应的告警事件。 字段 说明应用性能监控 事件名称 创建的告警规则的名称。 事件状态 告警事件的状态，共有以下3种状态： 告警中：告警事件持续被触发。 静默：命中静默条件的告警。 已恢复：在设置的时间内，告警事件不再触发。 事件对象 监控任务名称或集群名称。 集成类型 告警事件对应的集成类型。 单击事件名称，查看目标事件的详细信息。更多信息，请参见下方【事件详情】。 事件详情 事件详情面板显示了事件的基本信息、监控数据和扩展字段。

是否支持Memcached和Redis之间实例数据的迁移？ 不支持，Memcached和Redis属于不同的缓存数据库， Memcached 和 Redis 在协议和数据格式上存在明显差异，无法兼容。 使用RedisShake工具迁移数据，执行出错 RedisShake工具的使用问题，请参考RedisShake官网。 创建迁移任务失败的原因？ 1. 源Redis与目标Redis网络不通或者网络不稳定。 2. 源Redis或者目标Redis实例为主备架构时，发生了主从切换。 3. 源Redis或者目标Redis的账号密码错误。 4. 源Redis或者目标Redis的账号无DBA管理员权限。 5. 高版本Redis迁移数据至低版本Redis，出现了命令不兼容问题。 是否支持低版本Redis迁移到高版本Redis？ 支持，高版本Redis命令兼容低版本Redis命令。 一个Redis能同时迁移至多个目标Redis么？ 不能，建议创建多个迁移任务。 DCS实例迁移下云 推荐方案： 使用DCS控制台在线迁移功能；操作参考： 使用在线迁移自建Redis，目标Redis填写实例连接地址。 使用RDB进行数据迁移；通过Rediscli导出DCS的RDB文件> 通过RedisShake工具导入RDB文件至新集群；操作参考：使用RedisShake工具迁移自建Redis Cluster集群。

本章介绍初始化Linux数据盘(fdisk)。 操作场景 本文以物理机的操作系统为“CentOS 7.0 64位”为例，采用fdisk分区工具为数据盘设置分区。 MBR格式分区支持的磁盘最大容量为2 TB，GPT分区表最大支持的磁盘容量为18 EB，因此当为容量大于2 TB的磁盘分区时，请采用GPT分区方式。对于Linux操作系统而言，当磁盘分区形式选用GPT时，fdisk分区工具将无法使用，需要采用parted工具。关于磁盘分区形式的更多介绍，请参见初始化数据盘场景及磁盘分区形式介绍。 不同服务器的操作系统的格式化操作可能不同，本文仅供参考，具体操作步骤和差异请参考对应的服务器操作系统的产品文档。 前提条件 已登录物理机。 已挂载数据盘至物理机，且该数据盘未初始化。 划分分区并挂载磁盘 本操作以该场景为例，当物理机挂载了一块新的数据盘时，使用fdisk分区工具将该数据盘设为主分区，分区形式默认设置为MBR，文件系统设为ext4格式，挂载在“/mnt/sdc”下，并设置开机启动自动挂载。 1. 执行以下命令，查看新增数据盘。 plaintext fdisk l 回显类似如下信息： plaintext [root@bmsb656 test] fdisk l Disk /dev/sda: 42.9 GB, 42949672960 bytes, 83886080 sectors Units sectors of 1 512 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk label type: dos Disk identifier: 0x000cc4ad Device Boot Start End Blocks Id System /dev/xvda1 2048 2050047 1024000 83 Linux /dev/xvda2 2050048 22530047 10240000 83 Linux /dev/xvda3 22530048 24578047 1024000 83 Linux /dev/xvda4 24578048 83886079 29654016 5 Extended /dev/xvda5 24580096 26628095 1024000 82 Linux swap / Solaris Disk /dev/sdb: 10.7 GB, 10737418240 bytes, 20971520 sectors Units sectors of 1 512 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes 表示当前的服务器有两块磁盘，“/dev/sda”是系统盘，“/dev/sdb”是新增数据盘。 2. 执行以下命令，进入fdisk分区工具，开始对新增数据盘执行分区操作。 plaintext fdisk 新增数据盘 以新挂载的数据盘“/dev/sdb”为例： plaintext fdisk /dev/sdb 回显类似如下信息： plaintext [root@ecsb656 test]

本文介绍如何快速入门实时云渲染产品。 接入前的准备 1. WebRTC兼容性测试 操作云渲染应用的前提是您的 浏览器兼容WebRTC ，接入云渲染前建议您通过工具检测设备浏览器是否能正常运行 WebRTC 应用。 2. 接入前须知 应用接入相关 iOS浏览器保护策略 微信 WebView 限制，需要有 User Action 才会播放音视频，小程序接入JS SDK前您需要做如下操作： iOS 15.4以下版本暂不支持自动播放，若通过Safari或微信内置浏览器打开应用，需要在用户进入推流页面时监听> WeixinJSBridgeReady，引导客户交互页面（通过点击弹窗、按钮）。 待收到用户交互后回调 init SDK。 低电量模式容易自动播放失败，需要有用户交互的同时调用replay接口。 云渲染通信原理说明 云渲染已集成了一套实时通信流程，您可以联系您的客户经理获取云渲染SDK，即可实现H5和应用端的实时网络通信，如需了解更多，请联系客户经理。 实时云渲染平台接入 1. 开通云渲染服务 接入平台前需要您注册天翼云账号，并通过天翼云账号开通云渲染服务。开通云渲染服务后，进入控制台，开始使用云渲染平台功能。 实时云渲染服务暂未对外开放试用功能，若需试用体验云渲染产品，可联系客户经理申请。

星辰MaaS模型服务平台集成了模型体验、模型服务、数据管理、模型调优、模型管理、服务部署、模型量化等核心功能,为用户提供功能全面、安全可靠且具有价格优势的模型调用服务以及从数据准备、模型训练到服务上线的全流程支持。平台致力于降低AI开发门槛,使不具备深厚技术背景的用户也能快速完成模型的调优、部署与应用。

本节介绍了初始化容量大于2TB的Linux数据盘（parted）的相关内容。 操作场景 本文以云主机的操作系统为“CentOS 7.4 64位”、磁盘容量为3 TB举例，采用Parted分区工具为容量大于2 TB的数据盘设置分区。 MBR支持的磁盘最大容量为2 TB，GPT最大支持的磁盘容量为18 EB，因此当您初始化容量大于2 TB的磁盘时，分区形式请采用GPT。对于Linux操作系统而言，当磁盘分区形式选用GPT时，fdisk分区工具将无法使用，需要采用parted工具。关于磁盘分区形式的更多介绍，请参见“初始化数据盘场景及磁盘分区形式介绍”。 不同云主机的操作系统的格式化操作可能不同，本文仅供参考，具体操作步骤和差异请参考对应的云主机操作系统的产品文档。 注意 首次使用磁盘时，如果您未参考本章节对磁盘执行初始化操作，主要包括创建分区和文件系统等操作，那么当后续扩容磁盘时，新增容量部分的磁盘可能无法正常使用。 前提条件 已挂载数据盘至云主机，且该数据盘未初始化。 已登录云主机。 弹性云主机请参见《弹性云主机用户指南》。 物理机服务器请参见《物理机用户指南》。 划分分区并挂载磁盘 本操作以该场景为例，当云主机挂载了一块新的数据盘时，采用parted分区工具为数据盘设置分区，分区形式设置为GPT，文件系统设为ext4格式，挂载在“/mnt/sdc”下，并设置开机启动自动挂载。 1.执行以下命令，查看新增数据盘。 lsblk 回显类似如下信息： [root@ecscentos74 ~]

Milvus产品使用手册 一、 产品概述 1.1 产品介绍 Milvus 作为一款开源的高性能向量数据库，具有出色的向量检索性能、高扩展性和易用性，在人工智能、机器学习、计算机视觉、自然语言处理等领域展现出了巨大的应用潜力。目标市场可以根据应用领域细分为自然语言处理、计算机视觉、推荐系统等多个市场。其客户群体主要包括互联网、电商、金融、医疗、安防等行业的企业，以及科研机构和高校等。 1.2 产品核心能力 Milvus 的核心能力是作为一个高性能、高扩展性的云原生向量数据库，专门为处理大规模非结构化数据和支持人工智能应用而设计。 它的能力主要围绕高效的向量相似性搜索展开，具体体现在以下几个方面： 1. 高效的向量搜索与检索 (1) 大规模相似性搜索（ANN）: 能够从数十亿甚至千亿级的高维向量数据集中，快速、准确地找到与查询向量最相似的 K 个向量（K近邻搜索）。 (2) 异构计算支持 (Knowhere): Milvus 的核心向量执行引擎Knowhere 能够集成并优化各种流行的向量相似性搜索库（如 Faiss, Hnswlib, Annoy），并能控制在 CPU 或 GPU 上执行索引构建和搜索请求，以充分利用硬件能力。 (3) 多样化的搜索模式: 除了基础的 ANN 搜索，还支持过滤搜索（基于标量字段的条件过滤）、范围搜索和混合搜索（结合向量和标量数据），极大地满足了复杂的业务检索需求。 2. 高性能与底层优化 (1) C++ 搜索引擎: 使用 C++ 语言实现核心搜索引擎组件，以实现高性能、底层优化和高效的资源管理。 (2) 硬件感知优化: 集成了汇编级向量操作、多线程并行化和调度等优化，最大限度地利用硬件性能。 (3) 面向列的存储 (ColumnOriented): 采用面向列的数据库系统，在执行查询时只读取涉及的特定字段，大大减少了数据访问量，并有利于向量化操作。 3. 灵活的功能与应用支撑 (1) 多模态检索: 结合 AI 推理和 Embedding 模型，高效索引和检索图片、视频、文本、声纹等多种非结构化数据。 (2) 数据导入与管理: 支持高通量数据导入，并提供数据分片、分区键、可调一致性模型等管理功能。

本节介绍了自定义可自动扩容root分区的Linux私有镜像的方法。 约束条件 根分区文件系统为xfs的镜像不支持自动扩容。 有LVM分区的镜像不支持自动扩容。 推荐使用文件系统为ext3、ext4的单分区镜像。 说明： 版本太老的OS分区扩容成功后需要重启，文件系统才能刷新。 不同OS的growpart安装方式 为了支持私有镜像自动扩容root分区，需要安装growpart工具，不同操作系统的安装方式如下。 不同操作系统growpart安装包 操作系统 工具包 :: Debian/Ubuntu cloudinit、cloudutils、cloudinitramfsgrowroot Fedora/CentOS cloudinit、cloudutils、cloudutilsgrowpart SUSE/openSUSE cloudinit、growpart 说明： Debian 9请优先使用“方法一”安装growpart，如安装失败，请参考“方法二”的操作步骤完成安装。 方法一： Debian 9请执行如下命令安装growpart工具。 aptget install y f cloudinit cloudutils cloudinitramfsgrowroot 方法二： 如使用“方法一”安装失败，可能是由于Debian 9.0.0的安装源有问题，故需自行下载依赖包cloudutils和cloudinitramfsgrowroot后安装。 1. 执行以下命令下载依赖包： wget 包下载地址 可从如下地址获取依赖包： < 2. 执行以下命令修复依赖： apt fixbroken install 3. 执行以下命令进行安装： dpkg i cloudutils包路径 cloudinitramfsgrowroot包路径 例如：dpkg i /root/cloudutils0.291all.deb /root/cloudinitramfsgrowroot0.18.debian5all.deb Debian其他系列请执行以下命令安装： aptget update;aptget install cloudutils cloudinitramfsgrowroot 操作步骤 私有镜像磁盘分区方式以如下两种场景为例： 当root分区在最末尾分区的情况请参考root分区在末尾分区。 当root分区在非末尾分区的情况请参考root分区在非末尾分区。 说明： parted命令无法使用时，请确保OS已经安装parted工具，请按照如下方式安装： CentOS系列，请执行以下命令： yum install parted Debian系列，请执行以下命令： aptget install parted root 分区在末尾分区（例如：/dev/xvda1: swap ，/dev/xvda2: root ） 以CentOS 6.5 64bit系统盘为40GB为例，介绍root分区在末尾分区时如何自定义可自动扩容root分区的Linux私有镜像的配置方法。 a. 执行如下命令查看/dev/xvda的磁盘分区。 parted l /dev/xvda 回显信息如下所示，此时root分区为第二分区，大小为38.7GB。 Model: Xen Virtual Block Device (xvd) Disk /dev/xvda: 42.7GB Sector size (logical/physical): 512B/512B Partition Table: msdos Number Start End Size Type File system Flags 1 1049kB 4296MB 4295MB primary linuxswap(v1) 2 4296MB 42.9GB 38.7GB primary ext4 boot b. 为了支持镜像自动扩容到root分区，请安装growpart工具。 执行以下命令完成growpart安装。 yum install cloud 说明： growpart可能集成在cloudutilsgrowpart/cloudutils/cloudinitramfstools/cloudinit包里，可以直接执行上述命令并确保growpart命令可用。 c. 执行如下命令，获取文件系统类型和UUID。 blkid 回显信息如下所示。 /dev/xvda1: UUID"25ec3bdbba244561bcdc802edf42b85f" TYPE"swap" /dev/xvda2: UUID"1a1ce4dee56a4e1f864d31b7d9dfb547" TYPE"ext4" d. 关闭云主机转成私有镜像。 [root@sluoecse6dcresizefs ~]

工具/命令/服务 特点 说明 DCS控制台数据迁移功能 操作简单，同时支持全量同步+增量同步 数据迁移涉及到SYNC/PSYNC命令，当源Redis实例开放了SYNC/PSYNC命令时， 支持全量同步+增量同步，否则仅支持全量同步 Rediscli Redis自带命令行工具，支持将RDB文件、AOF文件整库导入 RedisShake 在线迁移和离线迁移均支持的一款开源工具。 自行开发迁移脚本 灵活，可根据实际场景进行定制化适配

本章节主要介绍节点参考的ROMA FDI Job。 功能 通过ROMA FDI Job节点执行一个预先定义的ROMA Connect数据集成任务，实现源端到目标端的数据集成转换。 原理 该节点方便用户启动或者查询FDI任务是否正在运行。 参数 ROMA FDI Job的参数配置，请参考以下内容： 属性参数 参数 是否必选 说明 ROMA实例 是 选择一个已存在的ROMA实例。 FDI任务 是 选择一个已存在的ROMA FDI任务。 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“ ”等各类特殊字符，长度为1～128个字符。 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 − 最大重试次数 − 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。 失败策略 是 节点执行失败后的操作： 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划：暂停当前作业运行，当前作业实例状态显示为“等待运行”。 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。

低门槛容器化，全套微服务治理 CAE 让您免运维 K8s 基础设施，秒级完成从代码包、Docker 镜像部署任意语言的在线应用（如微服务、Web 服务），并自动弹性伸缩按量计费。平台内置免费 Nacos 注册中心，支持 Spring Cloud 无侵入迁移，开箱即用服务注册发现、限流降级、无损上下线及全链路灰度等全套微服务治理能力，极简助力业务容器化转型。 开放标准，自主无忧 基于标准容器与Kubernetes生态构建，避免厂商锁定。您的应用可平滑迁移至任意兼容K8s的平台，保障业务长期发展的灵活性与自主权。 安全可靠，专注业务 底层采用安全容器技术，网络层通过VPC实现租户级强隔离，为您的应用与数据提供从基础设施到网络的双重安全保障，让您安心专注于业务创新。 生态集成，开箱即用 深度集成天翼云负载均衡（ELB）、文件存储（SFS）、对象存储（ZOS）等IaaS服务，以及微服务引擎（MSE）、应用监控（ARMS）等PaaS生态，提供一站式、高内聚的完整解决方案，大幅提升开发和运维效率。

关于CMSSMS大型整机及数据库的迁移有何注意事项？ 1. 能否迁移 CMSSMS理论上具备迁移整机和数据库的能力。但对于大型整机（系统总待迁移量2T以上且存在大量大小文件）以及大型库（数据库+系统200G以上且增量大于500r/s），需提前对风险及预期效果进行预估和调整。其中，大型数据库不建议使用CMSSMS迁移，因其涉及数据量大、增量变化快、数据一致性要求高等复杂因素，CMSSMS可能难以满足性能和稳定性需求。 2. 专业迁移工具推荐 对于大型数据库迁移，建议使用数据库专业迁移工具。这些工具针对数据库迁移场景进行了优化，能更好地应对数据量大、增量变化快等问题，确保迁移过程高效且数据一致。 3. 若因特殊原因必须使用CMSSMS进行大型整机及数据库迁移，需特别注意以下事项： （1）停止相关应用进程：在“停止增量”步骤前，务必停止相关应用进程，避免迁移过程中数据发生变化，影响迁移结果。 （2）迁移测试与全流程预估： 迁移测试：提前测试迁移过程中可能出现的卡慢问题（如迁移准备遍历、全量过程遍历大小文件、增量传输数据变化等），评估迁移工具的性能和稳定性。 全流程预估：根据测试结果，实际预估全流程迁移时长，制定合理的迁移计划，避免影响迁移项目进程。 4. 总结 对于大型整机及数据库的迁移，不建议使用CMSSMS工具。若因特殊原因必须使用，需严格遵循上述注意事项，做好迁移测试和全流程预估，以降低迁移风险。

本节介绍了初始化Linux数据盘（parted）的相关内容。 操作场景 本文以云主机的操作系统为“CentOS 7.4 64位”为例，采用Parted分区工具为数据盘设置分区。 MBR支持的磁盘最大容量为2 TB，GPT最大支持的磁盘容量为18 EB，因此当您初始化容量大于2 TB的磁盘时，分区形式请采用GPT。对于Linux操作系统而言，当磁盘分区形式选用GPT时，fdisk分区工具将无法使用，需要采用parted工具。关于磁盘分区形式的更多介绍，请参见“初始化数据盘场景及磁盘分区形式介绍”。 不同云主机的操作系统的格式化操作可能不同，本文仅供参考，具体操作步骤和差异请参考对应的云主机操作系统的产品文档。 注意 首次使用磁盘时，如果您未参考本章节对磁盘执行初始化操作，主要包括创建分区和文件系统等操作，那么当后续扩容磁盘时，新增容量部分的磁盘可能无法正常使用。 前提条件 已挂载数据盘至云主机，且该数据盘未初始化。 已登录云主机。 弹性云主机请参见《弹性云主机用户指南》。 物理机服务器请参见《物理机用户指南》。 划分分区并挂载磁盘 本操作以该场景为例，当云主机挂载了一块新的数据盘时，采用parted分区工具为数据盘设置分区，分区形式设置为GPT，文件系统设为ext4格式，挂载在“/mnt/sdc”下，并设置开机启动自动挂载。 1.执行以下命令，查看新增数据盘。 lsblk 回显类似如下信息： root@ecstest0001 ~]

本节介绍了初始化Linux数据盘（fdisk）的相关内容。 操作场景 本文以云主机的操作系统为“CentOS 7.4 64位”为例，采用fdisk分区工具为数据盘设置分区。 MBR支持的磁盘最大容量为2 TB，GPT最大支持的磁盘容量为18 EB，因此当您初始化容量大于2 TB的磁盘时，分区形式请采用GPT。对于Linux操作系统而言，当磁盘分区形式选用GPT时，fdisk分区工具将无法使用，需要采用parted工具。关于磁盘分区形式的更多介绍，请参见“初始化数据盘场景及磁盘分区形式介绍”。 不同云主机的操作系统的格式化操作可能不同，本文仅供参考，具体操作步骤和差异请参考对应的云主机操作系统的产品文档。 注意 首次使用磁盘时，如果您未参考本章节对磁盘执行初始化操作，主要包括创建分区和文件系统等操作，那么当后续扩容磁盘时，新增容量部分的磁盘可能无法正常使用。 前提条件 已挂载数据盘至云主机，且该数据盘未初始化。 已登录云主机。 弹性云主机请参见《弹性云主机用户指南》 物理机服务器请参见《物理机用户指南》。 划分分区并挂载磁盘 本操作以该场景为例，当云主机挂载了一块新的数据盘时，使用fdisk分区工具将该数据盘设为主分区，分区形式默认设置为MBR，文件系统设为ext4格式，挂载在“/mnt/sdc”下，并设置开机启动自动挂载。 1.执行以下命令，查看新增数据盘。 fdisk l 回显类似如下信息： [root@ecstest0001 ~]

数据传输过程中的机密性、完整性保护 数据安全传输实现说明如下： 1. APP集成协同签名客户端SDK； 2. 用户首次使用APP时下载SM2软证书（密钥分片）到本地； 3. APP端上传重要数据时通过服务端公钥进行数据加密，服务端通过私钥进行解密； 4. 服务端下发重要数据时通过用户公钥进行数据加密，APP端通过软证书以及协同签名服务实现数据解密。 密文采用数字信封方式封装，加解密过程中自动通过SM3算法实现数据完整性保护。 协同签名客户端SDK为二级软件密码模块，可达到与硬件智能密码钥匙相同的密钥保护安全强度，认证过程中用户无需使用任何硬件介质，满足等保3级系统应用和数据层面数据传输机密性相关要求。

本章节介绍如何开启网关调用链配置 概述 云原生网关集成了天翼云链路追踪，提供链路数据采集上报、查询及分析能力。帮助您分析微服务调用拓扑，快速发现系统问题点和瓶颈。您可以根据需要配置观测能力，如下图所示： 监控分析 云原生网关集成了天翼云应用性能监控 ，提供系统、路由两个维度的QPS、成功率、延迟等监控能力。帮助您实时监控系统和路由的关键指标，快速发现系统问题点和瓶颈。 启用流程 1. 开通并进入网关实例的控制台； 2. 左侧导航栏点击基础信息 ； 3. 单击左上角功能设置按钮； 4. 若您还没有开通应用性能监控产品，需先点击功能设置面板上的提示链接前往开通； 5. 已开通应用性能监控产品，可在功能设置面板上，启用监控分析切换到启用，然后单击左下角确认按钮； 6. 页面会自动刷新，也可点击刷新按钮，查看启用情况； 停用流程 1. 左侧导航栏点击基础信息 ； 2. 单击左上角功能设置按钮； 3. 启用监控分析切换到不启用，然后单击左下角确认按钮； 4. 页面会自动刷新，也可点击刷新按钮，查看停用情况； 系统监控结果验证 1. 单击左侧导航栏 观测分析> 监控分析 ； 2. 页面能正常进入并显示数据，则说明开启成功；

数据类型 说明 采集和存储方式 数据用途 服务工单数据 技术类、业务类工单清单。 工单的编号、描述、问题分类、创建时间、解决时间等工单信息。 经自动化工具调用工单API查询结果，中途不存储数据，月报结果按照租户隔离存储。 自动化统计分析，生成月报“服务工单”内容。 云服务资源实例数据 客户创建的资源列表，各资源数量。 资源id、名称、状态、规格、创建时间、IP地址、使用量及服务资源相关的基本配置信息。 经自动化工具调用云服务API查询结果，中途不存储数据，月报结果按照租户隔离存储。 自动化统计分析，生成月报“资源概况”内容。 资源负载监控数据 CPU使用率、内存使用率、磁盘使用率、磁盘读写速率、 IP出口带宽、IP入口带宽、并发连接数、新建连接数、网络延迟、网络丢包率等资源监控指标。 经自动化工具调用云服务API查询结果，中途不存储数据，月报结果按照租户隔离存储。 自动化统计分析，生成月报“资源概况”内容。

前提条件 已获取“主机运维”模块管理权限。 已获取资源访问控制权限，即已被关联访问控制策略或访问授权工单已审批通过。 已在本地安装客户端工具。 资源主机网络连接正常，且资源账户登录帐号和密码无误。 操作步骤 1 登录云堡垒机系统。 2 选择“运维 > 主机运维”，进入主机运维列表页面。 3 选择数据库协议类型的主机，单击“登录”，弹出客户端工具选择窗口。 首次登录数据库资源，弹出SsoDBSettings下载窗口，可下载SsoDBSettings工具。 选择客户端工具 4 选择本地已安装客户端工具，单击“确定”。 自动调用本地数据库客户端工具。 5 登录数据库资源进行操作。 配置SSO单点客户端 以Navicat客户端为例，示例配置客户端路径。 1 打开本地SsoDBSettings单点登录工具。 单点登录工具界面 2 在“Navicat路径”栏后，单击路径配置。 3 根据本地Navicat客户端安装的绝对路径，选中Navicat工具的exe文件后，单击“打开”。 查找本地工具绝对路径 4 返回SsoDBSettings单点登录工具配置界面，可查看已选择的Navicat客户端路径。 确认配置路径 5 单击“保存”，返回云堡垒机“主机运维”列表页面，即可登录数据库资源。 批量登录主机进行运维 通过Web浏览器支持批量登录主机，提供“文件传输”、“文件管理”和“预置命令”等功能。用户在主机上执行的所有操作，被云堡垒机记录并生成审计数据。 本小节主要介绍如何通过Web浏览器批量登录主机。

本节为您介绍迁移前准备工作。 使用或注册天翼云账号，并完成 实名认证。 1. 打开天翼云门户网站，单击“免费注册”。 2. 在注册页面，请填写“邮箱地址”、“登录密码”、“手机号码”，并点击“同意协议并提交” 按钮，如1分钟内手机未收到验证码，请再次点击“免费获取短信验证码”按钮； 3. 注册成功后，可到邮箱激活您的账号，即可体验天翼云。 如需实名认证，请参考 会员服务 实名认证。 帐号余额不少于100元，避免迁移过程中欠费，导致迁移失败。主机迁移服务本身免费，但迁移过程中会创建按量付费资源并产生少量费用。具体请参见计费说明。 用户开通并使用数据迁移工具服务。 使用您的天翼云账号完成登录。 在云迁移中心产品主页，单击“立即开通”按钮进入控制中心。 4. 单击控制中心上方的，选择您目标机资源所在区域。此处示例我们选择的是福州4。 5. 点击迁移管理中的“工具中心”，可以看到数据迁移工具（CMCZMT），点击进入控制台。 确认迁移源是否满足要求 需对数据迁移工具支持迁移的对象存储做确认，具体请见兼容性列表。 迁移网络打通 数据源 需要数据迁移的源节点及迁移后数据存放的目标节点对象存储的endpoint需要对数据迁移工具放通网络，并提供接入需要的AK/SK。

本文为您介绍zosfs的主要功能和使用场景等信息。 工具简介 zosfs是一个通过FUSE技术，将天翼云对象存储ZOS的bucket（存储桶）挂载为本地目录的工具。 zosfs利用goroutine，通过异步的并发操作，实现对本地文件的高效上传、对云端对象的高效下载，同时，zosfs也优化了对目录列举的操作，提升目录列举的效率。 使用场景 zosfs主要支持模型训练、模型推理等计算密集型场景，解决密集计算对存储数据加载和写入的特殊需要。具体而言，这类场景对存储数据操作以顺序读取、随机读取、顺序（追加）写入为主。 主要功能 兼容基础的POSIX语义操作，能有效利用ZOS的服务端读写能力。 针对计算密集的数据读写需要，提供高效的大文件顺序读写能力。 适配环境 计算平台：X86计算平台、ARM计算平台 操作系统：ctyunOS 23.01、ctyunOS 2.0.1、ctyunOS 22.06 使用限制 zosfs为特定挂载场景优化，因此存在一定的使用限制，请使用前仔细阅读zosfs使用限制章节，了解工具的限制条件。 注意 我们建议您在使用zosfs工具前，了解工具的使用限制，并对工具进行使用测试，避免对您的业务产生影响。 获取zosfs 适配 X86 计算平台，点击下载工具：zosfsamd0.7.3.tar.gz 适配 ARM 计算平台，点击下载工具：zosfsarm0.7.3.tar.gz 说明 此处提供的zosfs工具包，解压后无需安装即可运行。

参数名称 说明 模型名称 只能包含中文、英文字母、数字和下划线。 数据连接类型 下拉选择数据连接类型。 数仓分层 下拉选择SDI或DWI分层。 SDI：Source Data Integration，又称贴源数据层。SDI是源系统数据的简单落地。 DWI：Data Warehouse Integration，又称数据整合层。DWI整合多个源系统数据，对源系统进来的数据进行整合、清洗，并基于三范式进行关系建模。 描述 描述信息。支持的长度0~600字符。

本文介绍非天翼云用户数据如何迁移至云上弹性文件服务。 应用场景 在第三方云厂商存储大量数据的用户，如果想要将数据迁移至天翼云弹性文件服务，若使用传统的方法，需要先将存储在第三方云厂商上的数据下载到本地，再手动将数据上传到弹性文件服务，整个过程耗时又耗力，容易存在漏传、误传等问题。 本文推荐您配置一个弹性云主机实例挂载文件系统作为数据传输的中转节点，然后通过迁移工具迁移数据至天翼云弹性文件服务，迁移工具可以选择SFTP客户端。仅需简单配置，即可把数据从第三方云厂商轻松、平滑地迁移至SFS。 工具介绍 本实践以FileZilla作为SFTP客户端作为指导示例。 迁移工具 特点 应用场景 SFTP客户端 支持众多操作系统平台，提供图形化操作界面。 少量文件需要一次性上传至NFS文件系统。 将NFS文件系统内的数据下载到本地。 前提条件 具备一个NFS协议弹性文件系统，且务必确认文件系统容量高于待迁移的数据总量。若此时未购买弹性文件服务，则需新购。 具备一台与文件系统在同一VPC网络下的Linux弹性云主机，上传下载文件数据需要占用弹性云主机公网带宽，因此需要为弹性云主机配置弹性IP。 准备工作 下载安装迁移客户端工具，根据页面提示安装即可。 文件系统为接收数据的目标文件系统，应根据实际需求选择容量规格，具体操作参考创建文件系统。 本次操作实践中，需要创建弹性云主机作为非天翼云数据迁移至天翼云弹性文件服务的中转节点。建议配置如下： 说明 本操作中的云主机仅作为数据迁移的“中转站”，而非用于业务实际使用，为节省成本，建议订购按量付费的弹性云主机和弹性IP进行数据中转，计费说明参见 高规格高带宽的云主机迁移速率更快，相应的费用也略高，请根据实际情况酌情选择。整体迁移速率同时受文件系统性能影响，详见 参数 说明 付费方式 按量付费。 规格 通用型。高规格的云主机迁移速率较快，例如4C8G的迁移速率大于1C1G的迁移速率，根据实际情况选择即可。 镜像 CentOS 7.8 弹性IP 自动分配 IP版本 IPv4 带宽 5M。高带宽的迁移速率较快，例如10M的迁移速率大于5M的迁移速率，根据实际情况选择即可。 登录方式 密码>立即创建

场景特点 用于海量大型数据或对性能敏感数据的加密保护，保证业务访问体验。 优势 高效易用：通过创建数据密钥，实现本地数据的离线加密，避免移动大量数据产生安全隐患。 双重加密：通过主密钥和数据密钥两级密钥结构，确保数据密钥的随机性和安全性，保证数据加密性能。 场景示意图 云产品透明加密 密钥管理服务（KMS）与多种云产品集成，提供服务端加密能能力，加密功能一键开启，加密过程透明无感知。 场景特点 为云上IT设施数据安全环境提供基础保障。 优势 服务端自动加密：无需用户自行实现复杂的加密能力，免改造。 安全保障：加密密钥通过KMS主密钥加密保护，满足安全合规要求。 场景示意图

本节主要介绍如何将数据从AWS S3迁移到OOS中。 应用场景 将数据从AWS S3的Bucket迁移到OOS的Bucket。 注意 在线迁移会占用源地址和目的地址的网络资源。若您的业务比较重要，建议您对迁移任务设置限速（设置system.conf中的maxThroughput），或在空闲时间启动迁移任务。 从AWS S3迁移到OOS的文件（Object），仅迁移当前可读取到的文件，不支持按object version Id 迁移。 前提条件 Windows7 及以上版本或 Linux CentOS 7.x 及以上版本。 Java 1.8 及以上版本。 迁移工具所在的服务器可以访问AWS S3资源池和OOS资源池。 具体操作 确定目标Bucket 在OOS中创建目标Bucket，具体操作请参见创建存储桶（Bucket）或PUT Bucket，用于存放迁移的数据。也可以使用已存在的Bucket。 下载安装迁移工具 1. 下载数据迁移工具。 2. 解压缩安装包 对于Windows客户端，直接解压缩迁移工具zip 包即可。 对于Linux客户端，执行 unzip 解压缩安装包。 迁移工具解压后的目录结果如下： CTYUNOOSImportversionid config log4j2.xml migrate.conf system.conf lib import.sh import.bat 修改配置文件 更新迁移任务配置文件migrate.conf，配置源和目的资源池信息、迁移配置项。您可根据需要配置system.conf和 log4j2.xml文件，具体参数介绍参见常用工具OOS数据迁移工具迁移步骤。其中： srcType需填写为：S3，代表AmazonS3。 srcEndpoint为s3.amazonaws.com。 S3的region可在S3控制台存储桶列表中查看源Bucket所在的区域。 S3 AccessKey和SecretKey需要至少拥有源Bucket的读权限，OOS的AccessKeyID和SecretAccessKey需要至少拥有目的Bucket的写权限。 migrate.conf配置示例如下： { "srcType":"S3", 从S3迁移文件 "srcEndpoint":"s3.amazonaws.com", S3的Endpoint "srcAccessKey":"your s3 accessKey", S3的AccessKey "srcSecretKey":"your s3 secretKey", S3的SecretKey "srcBucket":"s3bucket", S3的bucket "srcRegionName":"useast1",S3的region，请根据实际填写 "srcPrefix":"logs/", S3上要迁移文件的前缀，请根据实际填写 "srcMarker":"", 从第一个文件开始迁移 "srcStopObject":"", S3上要迁移的截止文件 "destEndpoint":"ooscn.ctyunapi.cn", OOS的Endpoint "destAccessKey":"AccessKeyID", OOS的AccessKeyID "destSecretKey":"SecretAccessKey", OOS的SecretAccessKey "destBucket":"BucketName", OOS的Bucket名称 "isSkipExistFile":false 是否跳过目标资源池中已有的文件 }