本文介绍使用RedisShake工具离线迁移其他云厂商Redis Cluster集群。 RedisShake基本介绍 RedisShake是一个开源的Redis迁移工具，可以用于在线迁移和离线迁移（通过备份文件导入）。 目前 RedisShake 有三种迁移模式：PSync、RDB 和 SCAN，分别对应 syncreader、rdbreader 和 scanreader。主要有以下三种数据迁移场景： 1. 对于从备份rdb中恢复数据的场景，可以使用 rdbreader。 2. 对于数据迁移场景，优先选择 syncreader。 3. 对于全量复制的场景下或者自研集群不支持 PSync 协议情况下，可以使用 scanreader。 当你需要迁移部署在其他云厂商上的 Redis 集群数据时，如果无法进行在线迁移，你可以选择离线迁移的方式。 离线迁移（备份文件导入） 与在线迁移相比，离线迁移适宜于源实例与目标实例的网络无法连通的场景。 1、在DCS控制台创建缓存实例。 注意新创建的Redis实例容量不能小于源端Redis实例的实际使用容量。 2、准备一台云服务器，并安装RedisShake。 RedisShake既能访问源端缓存实例，也能访问目标端DCS 缓存，需要绑定弹性公网IP 3、导出RDB文件。 使用如下命令导出RDB文件： ./rediscli h {redisaddress} p {redisport} a {password} rdb {output.rdb} 执行命令后回显"Transfer finished with success."，表示文件导出成功。 4、将导出的RDB文件（含多个）上传到云服务器上。 5、编辑RedisShake配置文件。 编辑redisshake工具配置文件shake.toml，补充迁移双方信息，及迁移模式。 [rdbreader] filepath "/tmp/dump.rdb" [rediswriter] cluster false

工具概述 EvalScope是一款专为大模型部署后性能评估设计的压力测试工具，支持多并发场景下的吞吐量、延迟、稳定性等核心指标测试。通过配置输入/输出Token长度、并发数等参数，可模拟真实业务负载，验证模型服务在不同上下文场景下的性能表现。工具基于Apptainer容器化部署，确保环境一致性，降低依赖冲突风险。 使用须知 网络配置 ：被测模型服务需暴露HTTP接口（如 资源要求：测试过程可能产生高I/O和网络负载，建议在独立测试环境中执行，避免影响生产服务。 应用场景 模型部署验证：确认模型服务在指定并发和上下文长度下的响应能力。 性能瓶颈定位：通过多并发和Token配置组合，识别吞吐量下降或延迟突增的临界点。 服务稳定性测试：长时间高负载下验证服务是否存在内存泄漏、连接超时等异常。 random数据模式： random 数据集模式需指定 tokenizerpath，按 prefixlength/min/maxpromptlength 随机生成 Prompt；DeepSeekV4 系列模型权重无内置chattemplate.jinja或chattemplate.json文件，不支持该模式。 物料准备 Evalscope高性能容器SIF文件获取 基于Apptainer（原 Singularity） 封装的Evalscope压测工具，已完成x86与arm架构适配，使用cthpc一键安装工具，秒级快速下发Apptainer高性能容器灌装，当前支持： 当前上线版本 v1.7.0，cthpc支持自动识别主机硬件架构，智能下发匹配当前架构的程序版本，无需人工区分架构、手动选择安装包，实现跨架构统一分发部署。 shell mkdir p /home/bench 使用 cthpc 工具极速下发 cthpc apptainer makecache cthpc apptainer install evalscopev1.7.0 dir /mnt/nvme0n1/apptainer/ 测试过程

本节介绍了云主机CloudInit及安装方法。 CloudInit介绍 CloudInit是开源的云初始化工具，使用安装了CloudInit的镜像创建云主机时可以通过“用户数据注入”功能，注入初始化自定义信息（例如为云主机设置登录密码）；还可以通过查询、使用元数据，对正在运行的云主机进行配置和管理。不安装CloudInit工具，将无法对云主机进行自定义配置，只能使用镜像原有密码登录云主机。 安装方法 建议您在创建私有镜像前先安装CloudInit/CloudbaseInit，安装方法如下： 如果是Windows操作系统，请下载并安装CloudbaseInit。 安装CloudbaseInit相关操作请参考安装并配置CloudbaseInit工具。 如果是Linux操作系统，请下载并安装CloudInit。 安装CloudInit相关操作请参考安装CloudInit工具。 配置CloudInit相关操作请参考配置CloudInit工具。

本节介绍了安装CloudInit工具的操作场景、前提条件、安装步骤说明等内容。 操作场景 为了保证使用私有镜像创建的新云主机可以通过“用户数据注入”功能注入初始化自定义信息（例如为云主机设置登录密码），请在创建私有镜像前安装CloudInit工具。 安装CloudInit工具时需要从官网下载并安装，因此，需要提前为云主机绑定弹性公网IP。 不安装CloudInit工具，将无法对云主机进行自定义配置，只能使用镜像原有密码登录云主机。 使用公共镜像创建的云主机，默认已经安装CloudInit，不需要执行安装及配置操作。 用户导入镜像创建的云主机，请按照指导安装及配置CloudInit。配置CloudInit操作请参考配置CloudInit工具章节。 前提条件 已为云主机绑定弹性公网IP。 已登录云主机。 云主机的网卡属性为DHCP方式。 安装步骤说明 1. 请先检查是否已安装CloudInit工具。 具体操作请参考下文“检查是否已经安装CloudInit工具”。 2. 安装CloudInit工具。 CloudInit安装方式分为：采用官方提供的包源安装CloudInit工具（优先推荐）、采用官方提供的CloudInit源码包通过pip方式安装CloudInit工具和采用源码编译安装方法，如下文。 检查是否已经安装CloudInit工具 请先执行如下步骤检查是否已安装CloudInit工具。 在不同的操作系统下，查看是否已经安装CloudInit工具的方法不同，以CentOS 6系列为例，执行以下命令查看是否安装CloudInit工具。 rpm qa grep cloudinit 回显类似如下，表示已经安装CloudInit工具，无需重复安装。 cloudinit0.7.510.el6.centos.2.x8664 如果已安装CloudInit工具，还需要执行以下操作： 请确认当前云主机操作系统中的证书是否继续使用。如果不再使用该证书，请删除证书。 − root用户对应目录下的文件（如 “/$path/$to/$root/.ssh/authorizedkeys”），执行以下命令： cd /root/.ssh rm authorizedkeys − 非root用户对应目录下的证书文件（如 “/$path/$to/$noneroot/.ssh/authorizedkeys”），执行以下命令： cd /home/centos/.ssh rm authorizedkeys 执行以下命令，清除CloudInit工具产生的缓存，确保使用该私有镜像创建的云主机可以使用证书方式登录。 sudo rm rf /var/lib/cloud/ 说明： 设置完成后请勿重启云主机，否则，需重新设置。

本文主要介绍 通过公网连接副本集实例 操作场景 本章节指导您使用MongoDB客户端和Robo 3T工具，通过公网连接副本集实例。 用户可以直接操作副本集主节点和备节点。主节点用于读写请求，您可以连接主节点对数据进行读写操作。备节点复制主节点数据，用于读请求，连接备节点仅可读取数据。 操作系统使用场景： 弹性云主机的操作系统以Linux为例，客户端本地使用的计算机系统以Windows为例。 前提条件 副本集实例绑定弹性公网IP，并设置安全组规则，确保可以通过弹性云主机或Robo 3T工具访问弹性IP。 安装MongoDB客户端或Robo 3T工具。 MongoDB客户端 创建并登录弹性云主机，请参见《弹性云主机用户指南》的内容。 在弹性云主机上，安装MongoDB客户端。 使用Robo 3T工具连接实例 步骤 1 打开Robo 3T工具，在连接信息页面，单击“Create”。 连接信息（非SSL方式） 在弹出的“Connection Settings”窗口，设置新建连接的参数。 在“Connection”页签，“Name”填写自定义的新建连接的名称，“Address”填写副本集实例绑定的弹性IP和实例的数据库端口。 Connection（非SSL方式） 在“Authentication”页签，“Database”填写admin，“User Name”填写rwuser，“Password”填写您创建副本集实例时设置的管理员密码。 Authentication（非SSL方式） 设置完成后，单击“Save”。 在连接信息页面，单击“Connect”，开始连接副本集实例。 副本集实例连接信息（非SSL方式） 成功连接副本集实例，工具界面显示如下图所示。 连接成功（非SSL方式）

本节为您介绍数据迁移工具任务日志管理。 任务日志列表查看 数据库迁移工具可以获取当前用户发起的任务的日志信息，如日志关联的任务名、日志采集状态、日志时间等信息。 任务日志搜索 数据库迁移工具提供任务日志搜索功能，用户可根据任务名称、任务状态、日志时间筛选出想要采集或下载的任务日志。 任务日志采集 数据库迁移工具可以采集当前用户发起的任务的日志文件，采集后的日志文件才能下载到本地，进行查看。 操作步骤 1. 进入“数据库迁移工具”，点击“日志管理”展开菜单，点击“任务日志管理”。 2. 可以看到未采集的任务日志状态为“未采集”。 3. 单击要进行采集的任务的“采集”按钮，并点击“确定”。等待日志采集完成。 4. 当日志状态变为“采集完成”，可根据需要下载对应的日志文件。

快速响应 配备高配GPU和CPU等硬件来支撑能力，这种高效的硬件配置可以大幅度缩短内容审核的时间，从而快速给出反馈结果。GPU的强大计算能力可以使得系统在短时间内处理大量的数据和特征，提高审核速度。除了硬件配置外，还采用算法和策略来优化审核速度。例如，采用多线程、分布式等技术实现并行处理和并发计算，进一步提高审核效率。 这种快速的反馈可以缩短用户等待时间，提升用户体验，同时也提供了更好的内容管理和监管能力。 支持跨平台部署 支持服务端和移动端，覆盖多种业务场景，可以对不同类型的内容进行审核，如文本、图片、视频等。 服务端部署：通过API接口或Web服务等方式提供内容审核服务。这种部署方式适用于需要对大量内容进行集中审核的场景，如社交媒体平台、新闻网站、视频分享网站等。 移动端部署：可以集成到移动应用程序中，提供实时内容审核功能。这种部署方式适用于需要快速审核内容的应用场景，如短视频平台、直播平台、聊天应用等。通过在移动端集成智能内容审核功能，可以提升用户体验，同时保障内容的安全和质量。

数据分类分级服务内容说明 名称 服务阶段 工作任务内容 交付物 数据分类分级服务方案 数据分类分级产品部署 数据分类分级工具的安装调试，系统联调与测试，保障平台工具正常运行 数据资产梳理过程交付件 《数据分类目录》 《数据分级清单》 《数据分类分级样表清单》 数据分类分级服务方案 数据资产调研方案制定 制定数据资产调研工作方案，内容包括调研范围、参与对象、工作目的、时间进度、配合分工等 数据资产梳理过程交付件 《数据分类目录》 《数据分级清单》 《数据分类分级样表清单》 数据分类分级服务方案 数据资产梳理 针对XX组织单位业务部门开展调研，梳理业务部门对应的关键业务流程以及业务活动，分析各业务流程涉及的关键敏感数据 数据资产梳理过程交付件 《数据分类目录》 《数据分级清单》 《数据分类分级样表清单》 数据分类分级服务方案 制定数据分类分级逻辑框架 根据数据安全标准和法律法规要求，调研梳理XX组织单位的业务条线，制定数据安全分类分级逻辑框架，为数据分类分级实施奠定基础 数据资产梳理过程交付件 《数据分类目录》 《数据分级清单》 《数据分类分级样表清单》 数据分类分级服务方案 数据分类分级实施 针对XX组织单位试点系统范围内的数据，协调系统业务管理部门，开展数据发现梳理盘点、数据分类分级、归类归级工作，数据分类分级结果讨论形成一致意见，通过自动化工具整理数据分类分级结果 数据资产梳理过程交付件 《数据分类目录》 《数据分级清单》 《数据分类分级样表清单》 数据分类分级服务方案 制定数据分类分级指南 基于数据分类分级逻辑框架基础以及数据分类分级工作持续实施的结果，优化数据分类分级工作流程及方法，输出数据分类分级指南 数据资产梳理过程交付件 《数据分类目录》 《数据分级清单》 《数据分类分级样表清单》

本章介绍使用同一VPC内弹性云主机ECS上的Lettuce连接Cluster集群的方法。 介绍使用同一VPC内弹性云主机ECS上的Lettuce连接Redis实例的方法。更多的客户端的使用方法请参考Redis客户端。 在springboot类型的项目中，springdataredis中已提供了对jedis、lettuce的集成适配。另外，在springboot1.x中默认集成的是jedis，springboot2.x中改为了lettuce，因此在springboot2.x及更高版本中想集成使用jedis，无需手动引入lettuce依赖包。 前提条件 已成功申请Redis实例，且状态为“运行中”。 查看并获取待连接Redis实例的IP地址和端口。 具体步骤请参见查看实例信息。 已创建弹性云主机，创建弹性云主机的方法，请参见《弹性云主机用户指南》。 如果弹性云主机为Linux系统，该弹性云主机必须已经安装java编译环境。 Pom配置 org.springframework.boot springbootstarterdataredis 基于application.properties配置 单机、主备、读写分离、Proxy集群实例配置 redis host spring.redis.host redis 端口号 spring.redis.port redis 数据库下标 spring.redis.database0

创建迁移任务失败的原因？ 创建迁移任务失败的可能原因： 1. 底层资源不足。 2. 迁移机ECS规格不足。 3. 迁移之前创建的目标redis内存小于源redis。 迁移或导入备份数据时，相同的Key会被覆盖吗？ 在迁移或导入备份数据时，源端与目标端重复的数据会被覆盖；源端没有，目标端有的数据会保留。 因此，如果在迁移后目标端与源端数据不一致，可能是目标端在迁移前有未清除的数据。 使用Rump在线迁移 背景说明 Rump是一款开源的Redis数据在线迁移工具，支持在同一个实例的不同数据库之间互相迁移，以及不同实例的数据库之间迁移。 迁移原理 Rump使用SCAN来获取keys，用DUMP/RESTORE来get/set值。 SCAN是一个时间复杂度O(1) 的命令，可以快速获得所有的key。DUMP/RESTORE使读/写值独立于关键工作。 以下是Rump的主要特性： 通过SCAN非阻塞的获取key，避免KEYS命令造成Redis服务阻塞。 支持所有数据类型的迁移。 把SCAN和DUMP/RESTORE操作放在同一个管道中，利用pipeline提升数据迁移过程中的网络效率。 不使用任何临时文件，不占用磁盘空间。 使用带缓冲区的channels，提升源服务器的性能。 说明 1. Rump工具不支持迁移到DCS集群实例。请改用其他工具，如redisport或Rediscli。 2. Redis实例的密码不能包含

本节为您介绍数据库迁移工具任务参数配置。 1. 进入“数据库迁移工具”，点击“数据传输”展开菜单，点击“数据同步”。 2. 点击“创建任务”按钮，跳转至任务参数配置界面。 任务名称 任务的名称，用于更好地识别同步任务 启动时间 同步任务的启动时间。配置后同步任务会在预定的时间开始运行 同步方式 可选择是否同步 全量并发数 全量同步时同时处理表的数量 增量并发数 增量同步时同时处理表的数量 允许自建表 允许用户在同步前自行建表。请确保建好的表中无数据，否则可能导致同步失败 单表数据延迟预警阈值 数据变更时间到被平台读取到的时间延迟超过阈值，平台界面会提示告警 增量同步失败策略 可选择同步失败时 ，继续同步数据或停止同步数据

从魔搭导入数据集 1、在魔搭社区官网复制需要导入的数据集名称 2、进行数据集导入配置，选择开源社区类型导入方式，社区名称选择ModelScope，开源数据集粘贴刚复制的数据集名称，若为私有数据集，则需要填写访问Token 3、当数据集导入状态为导入成功，即可进行数据集使用 从Hugging Face导入数据集 1、在 Hugging Face复制需要导入的数据集名称 2、进行数据集导入配置，选择开源社区类型导入方式，社区名称选择Hugging Face，开源数据集粘贴刚复制的数据集名称，若为私有数据集，则需要填写访问Token 3、当数据集导入状态为导入成功，即可进行数据集使用 二、本地上传 1、将本地数据集使用tar czvf 命令打包，文件名需为dataset.tar.gz。 2、点击虚线矩形框处，选择需要上传的数据集压缩文件 dataset.tar.gz，当进度条为100%，即上传成功，然后点击提交按钮。 3、当数据集导入状态为导入成功，即可进行数据集使用

修改集群配置 1.登录CDM管理控制台。单击左侧导航上的“集群管理”，进入集群管理界面。详见下图：集群列表 说明 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 2.单击集群名称后，选择“集群配置”页签，可修改消息通知、用户是否隔离的配置。详见下图：修改集群配置 3.修改完成后单击“保存”，返回集群管理界面。 4.如果是关闭用户隔离，需要重启集群VM才能生效，在集群列表处，选择操作列中的“更多 > 重启”。详见下图：重启集群 重启CDM服务进程：只重启CDM服务的进程，不会重启集群虚拟机。 重启集群VM：业务进程会中断，并重启集群的虚拟机。 5.选择“重启集群VM”后单击“确定”。 管理CDM集群标签 1.单击左侧导航上的“集群管理”，进入集群管理界面。详见下图：集群列表 说明 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 2.单击集群名称后，选择“标签”页签。详见下图：修改集群配置 3.单击“添加标签”，通过添加标签为CDM集群设置资源标识。详见下图：添加标签 说明 一个集群最多可添加10个标签。 标签键（key）的最大长度为36个字符，标签值（value）的最大长度为43个字符。 4.（可选）在标签列表中，单击标签操作列“编辑”或者“删除”，修改/删除CDM集群标签。 5.在标签管理服务中，选择资源搜索条件，单击“搜索”即可筛选出所设置标签的资源。

本节为您介绍云迁移服务CMS数据迁移工具添加目标节点操作。 1. 进入“数据迁移工具”，点击“数据源管理”界面。 2. 点击 “添加数据源”按钮，进入“添加数据源”界面，选择“目标节点”。 3. 输入数据源名称，选择数据源类型，输入数据源对应的连接方式 。 4. 填写信息完成后，点击“添加数据源”按钮，完成添加，平台显示“添加成功”。

迁移组 用户或企业确认源端调研的信息无误后，可进行迁移组的创建。用户在资源列表选取相应的主机、数据库资源、对象存储组成自定义迁移组，为用户提供管理待迁移资源的全新方式，从而为迁移计划的执行提供强力支持与辅助。 迁移计划 用户或企业完成迁移组的创建后，可进行迁移计划的创建。用户选取相应的迁移组，确认包含的相关资源后，可全面评估待迁移资源的情况，并以此制定合理的迁移计划完，对迁移过程输出有效的管控。 资源匹配 用户或企业完成迁移组与迁移计划的创建后，可使用平台提供的资源匹配功能在资源明细中进行云主机、数据库、对象存储资源的源端目标端使用详情匹配做对比。 资源创建 用户或企业可以根据已制定的迁移计划进行批量的目标端资源创建，协同资源匹配功能，助力用户在云迁移服务中快速、灵活地创建和管理各类计算、网络、存储资源，并为后续执行各类迁移计划提供支持。 迁移管理 云迁移服务迁移管理旨在帮助企业顺利地完成迁移项目。它主要涵盖了以下几个方面： 工具管理、调度管理、进度大盘、迁移报告拓扑分析整理流程如图所示： 工具管理 资源规划完成后，用户可以进入工具管理模块，在这里根据源端待迁移资源的类型或者已制定的迁移计划，选择合适的迁移工具。这些工具包括服务器迁移服务、数据库迁移服务、数据迁移服务和华为提供的异构迁移工具。通过选择适当的工具，用户可以更加方便地进行迁移操作。

前提条件 在GeminiDB Redis实例所在的VPC网络中创建ECS实例，部署迁移工具ssdbport，保证源端SSDB实例和目标端GeminiDB Redis实例网络互通。 操作步骤 如需进行Redis到GeminiDB Redis的迁移，您可以在管理控制台右上角，选择“工单 > 新建工单”，联系技术支持进行处理。 迁移性能参考 环境：源端SSDB和ssdbport同时部署在4U16GB的弹性云服务器上，目标端为8U16GB，3节点GeminiDB Redis实例。 预置数据：使用memtierbenchmark工具预置100GB数据。 迁移性能：约3000qps。

本文主要介绍如何安装CloudInit工具 操作场景 为了保证使用私有镜像创建的新云主机可以通过“用户数据注入”功能注入初始化自定义信息（例如为云主机设置登录密码），请在创建私有镜像前安装CloudInit工具。 安装CloudInit工具时需要从官网下载并安装，因此，需要提前为云主机绑定弹性公网IP。 不安装CloudInit工具，将无法对云主机进行自定义配置，只能使用镜像原有密码登录云主机。 使用公共镜像创建的云主机，默认已经安装CloudInit，不需要执行安装及配置操作。 用户导入镜像创建的云主机，请按照指导安装及配置CloudInit。配置CloudInit操作请参考配置CloudInit工具章节。 前提条件 已为云主机绑定弹性公网IP。 已登录云主机。 云主机的网卡属性为DHCP方式。 安装步骤说明 1.请先检查是否已安装CloudInit工具。 具体操作请参考检查是否已经安装CloudInit工具。 2.安装CloudInit工具。 CloudInit安装方式分为：采用官方提供的包源安装CloudInit工具（优先推荐）、采用官方提供的CloudInit源码包通过pip方式安装CloudInit工具和采用源码编译安装方法。 检查是否已经安装CloudInit工具 请先执行如下步骤检查是否已安装CloudInit工具。 在不同的操作系统下，查看是否已经安装CloudInit工具的方法不同，以CentOS 6系列为例，执行以下命令查看是否安装CloudInit工具。 rpm qa grep cloudinit 回显类似如下，表示已经安装CloudInit工具，无需重复安装。 cloudinit0.7.510.el6.centos.2.x8664 无回显信息表示未安装CloudInit工具。 说明： 由于CloudInit工具存在多种安装方法，如果无回显信息，请再次使用rpm qa grep cloudinit命令进行检查。which cloudinit和rpm qa grep cloudinit任何一个命令显示已安装，表示操作系统已安装CloudInit工具。 如果已安装CloudInit工具，还需要执行以下操作： 请确认当前云主机操作系统中的证书是否继续使用。如果不再使用该证书，请删除证书。 −root用户对应目录下的文件（如“/path/to/$root/.ssh/authorizedkeys”），执行以下命令： cd /root/.ssh rm authorizedkeys −非root用户对应目录下的证书文件（如“/path/to/$noneroot/.ssh/authorizedkeys”），执行以下命令： cd /home/centos/.ssh rm authorizedkeys 执行以下命令，清除CloudInit工具产生的缓存，确保使用该私有镜像创建的云主机可以使用证书方式登录。 sudo rm rf /var/lib/cloud/ 说明： 设置完成后请勿重启云主机，否则，需重新设置。

使用须知 pikaport伪装成源端Pika的从节点，只读取全量和增量数据，无数据受损风险。 源端增加了和pikaport的主从同步流程，可能会影响源端性能。 全量和增量结合迁移可以不停服，业务切入GeminiDB Redis时短暂停服。 前提条件 部署迁移工具pikaport，确保源端Pika实例和目标端GeminiDB Redis实例网络互通。 操作步骤 如需进行Redis到GeminiDB Redis的迁移，您可以在管理控制台右上角，选择“工单 > 新建工单”，联系技术支持进行处理。 迁移性能参考 环境：Pika（单节点）和pikaport同时部署在8U32GB的弹性云服务器上，目标端为8U16GB，3节点GeminiDB Redis实例。 预置数据：使用memtierbenchmark工具预置200GB数据。 迁移性能：约50000qps。

本页面介绍了如何从MySQL迁移数据。 前提条件 1. 创建了目标云数据库ClickHouse实例。详细的操作步骤，请参考创建实例。 2. 创建了用于目标云数据库ClickHouse集群的数据库账号和密码。详细的操作步骤，请参考创建账号。 详细示例 以下是一个详细的示例，演示如何将MySQL数据库中的数据迁移到云数据库ClickHouse。 1. 导出MySQL数据： 使用mysqldump命令导出MySQL数据库中的数据，并将其保存为SQL文件。 shell mysqldump u p > mysqldata.sql 2. 转换数据格式（可选）： 如果需要将导出的SQL文件转换为云数据库ClickHouse支持的格式（如CSV），您可以使用适当的工具或脚本进行转换。 3. 创建云数据库ClickHouse表结构： 使用云数据库ClickHouse客户端工具（如clickhouseclient）连接到ClickHouse服务器，并创建与MySQL表结构相匹配的表。 sql CREATE TABLE mytable ( id Int32, name String, age Int32 ) ENGINE MergeTree() ORDER BY id; 4. 导入数据到云数据库ClickHouse： 使用云数据库ClickHouse的导入工具（如clickhouseclient）将数据导入到云数据库ClickHouse表中。 shell clickhouseclient h port user password query"INSERT INTO mytable FORMAT CSV" port user password query"INSERT INTO mytable FORMAT CSV" filemysqldata.csv 5. 验证数据： 使用SELECT语句从云数据库ClickHouse表中检索数据，并与MySQL数据库中的数据进行比较，以确保数据的准确性和完整性。 sql SELECT COUNT() FROM mytable; 比较云数据库ClickHouse中的结果与MySQL中的数据，确保数据迁移成功。 请根据实际情况修改命令中的参数和表结构，以适应您的MySQL数据库和云数据库ClickHouse环境。同时，还可以根据需要对数据转换、导入过程进行进一步调整和优化。 MySQL和云数据库ClickHouse之间的数据类型映射如下： 整数类型 MySQL 数据类型 云数据库ClickHouse 数据类型 TINYINT Int8 SMALLINT Int16 MEDIUMINT Int32 INT Int32 BIGINT Int64 浮点数类型 MySQL 数据类型 云数据库ClickHouse 数据类型 FLOAT Float32 DOUBLE Float64 字符串类型 MySQL 数据类型 云数据库ClickHouse 数据类型 CHAR FixedString VARCHAR String TEXT String ENUM Enum8 或 Enum16 日期和时间类型 MySQL 数据类型 云数据库ClickHouse 数据类型 DATE Date TIME DateTime DATETIME DateTime TIMESTAMP DateTime 其他类型 MySQL 数据类型 云数据库ClickHouse 数据类型 BOOLEAN UInt8 或者 Nullable(UInt8) BINARY String 或者 FixedString 说明 这只是一般情况下的数据类型映射，具体映射可能会受到数据精度、长度和其他因素的影响。在进行数据迁移时，建议仔细检查源数据库和目标数据库之间的数据类型，并确保数据转换的准确性和一致性。

本章节主要介绍参考数据管理功能。 参考数据是数据的字典，是将组织内数据与组织外信息关联起来的代码表，定义了数据的值域；参考数据被用于字段标准的支撑，字段标准通过引用参考数据来确定具体的值域范围。 参考数据管理模块统一维护和管理参考数据，支持参考数据的分类、新增、导入、编辑、删除、发布、废止等操作。 参考数据目录 新建目录 支持标准目录新建，点击目录区域的加号【+】，可以选择从数据架构添加目录或自定义添加目录。 目录操作 针对现有目录，点击目录名右侧的按钮，可以实现对目录的管理和操作。 新增参考数据 点击【+新增参考数据】按钮，进入新增页面，填写参考数据信息。 基础信息 填写参考数据基础信息，包括参考数据名称（必填）、英文名称（必填）、所属目录（必填）及备注。 其中，关联字段所属目录有两种方式，一种通过在标准基础信息的所属目录下拉菜单中选择所属目录 另一种在字段标准界面首先选中目标目录，再点击【+新增字段标准】按钮，则进入新增页面后，在所属目录位置上可以自动关联已选目录。 代码值 支持添加代码项和批量导入两种方式录入参考数据代码值。代码值信息包括标识码、标识码说明、备注及操作。点击【添加代码项】按钮，手动输入代码值信息。 点击【批量导入】按钮，在弹窗中上传文件。数据导入支持下载模板，点击【下载模板】按钮下载参考模板，按照模板字段要求填充，点击或拖动文件至上传框进行文件上传。 点击【确定】按钮完成批量导入内容的上传。 完成新增 点击【保存】按钮完成参考数据的新增。

参数 是否必选 说明 数据连接名称 是 数据连接的名称，只能包含英文字母、数字、下划线和中划线，且长度为1~50个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。 说明 标签的名称，只能包含中文、英文字母、数字和下划线，不能以下划线开头。且长度不能超过100个字符。 IP 是 RDS的访问地址。 如果为RDS数据源，可以通过RDS管理控制台获取访问地址：1. 根据创建的帐号登录管理控制台。2. 单击“云数据库RDS”，从左侧列表选择实例管理。3. 单击某一个实例名称，进入实例基本信息页面。 在连接信息标签中可以获取到内网地址。 端口 是 RDS的访问端口。 如果为RDS数据源，可以通过RDS管理控制台获取访问端口：1. 根据的帐号登录管理控制台。2. 单击“云数据库RDS”，左侧列表选择实例管理。3. 单击某一个实例名称，进入实例基本信息页面。 在连接信息标签中可以获取到数据库端口。 驱动程序名称 是 驱动程序名称：com.mysql.jdbc.Driverorg.postgresql.Driver 驱动文件路径 是 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。MySQL驱动：获取地址 用户名 是 数据库的用户名，创建集群的时候，输入的用户名。 密码 是 数据库的访问密码，创建集群的时候，输入的密码。 KMS密钥 是 KMS密钥名称。 通过KMS管理控制台获取密钥名称：1. 根据的帐号登录管理控制台。2. 单击“密钥管理服务”，左侧列表选择密钥管理。 在密钥列表可以获取到密钥名称。 绑定Agent 是 RDS为非全托管服务，DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理，所以创建RDS的数据连接时，请选择一个CDM集群。如果没有可用的CDM集群，请先通过数据集成增量包进行创建。CDM集群作为网络代理，必须和RDS网络互通才可以成功创建MRS连接，为确保两者网络互通，CDM集群必须和RDS处于相同的区域、可用区、VPC和子网，安全组规则需允许两者网络互通。

救援模式 当AI云电脑故障无法登录AI云电脑时，使用救援模式提供临时访问通道，尝试登录及修复AI云电脑，或备份关键用户数据并重装系统。 注意 由于云电脑故障可能涉及底层虚拟化错误、存储损坏、网络基础设施故障等复杂原因，救援模式无法保证对所有故障都能成功救援。在极少数情况下，可能出现无法进入救援模式或无法恢复数据的情况。 报障 使用云电脑过程中，如遇到问题，选择“工具”，可点击“报障”，填写故障信息或者拨打服务热线：4008109889。 安全中心登录设备管理 在工具栏，选择“工具安全中心”，查看账号名称，登录设备，IP地址，登录时间以及下线时间。如需查看云电脑登录的设备或移除设备，点击“设备管理”。 电脑信息 工具栏，选择“工具”，偏好设置点击“电脑信息”，查看云电脑的配置信息。

第五步：登录云主机访问对象存储 您可以在登录云主机后安装兼容S3接口的客户端工具（常用工具列表）访问对象存储，本文以Windows系统下使用S3Browser工具为例，若您是其他操作系统，可以查看其他常用工具的文档获取支持。 1. 下载安装工具：可通过S3Browser工具官方网站下载： 2. 配置对象存储访问信息：打开S3Browser工具，点击左上角“Account > Add new account”。 3. 在弹出配置框中进行账户信息配置。 参数 说明 Display name 可自定义，在工具本地标识账户名称 Account type 选择“S3 Compatible Storage” REST Endpoint 填入之前获取的对象存储访问IP信息 Access Key ID 填入之前获取的对象存储访问鉴权AccessKey Secret Key ID 填入之前获取的对象存储访问鉴权SecretKey Use secure transfer(SSL/TLS) 您使用内网IP访问时，请勿勾选；当您使用公网域名访问时，请勾选 配置完成后点击“Add new account”。 4. 创建桶 账户创建完成后，可以点击工具左上角“New Bucket”按钮，创建一个新的桶。 5. 创建对象 桶创建完成后，可以在左上角窗口内选中，之后点击“Upload”按钮，上传本地文件数据到对象存储中。

本章节主要介绍下载集群日志。 操作场景 本章节指导用户获取集群的日志。集群的日志可用于查看作业运行记录，定位作业失败原因等。 前提条件 已创建CDM集群。 操作步骤 1.登录CDM管理控制台。单击左侧导航上的“集群管理”，进入集群管理界面。集群列表详见下图 说明 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 2.选择集群操作列中的“更多 > 下载日志”，选择下载日志类型。下载日志类型详见下图 3.确认后，即可下载日志到本地。

本章节主要介绍高质量数据集平台的数据源管理功能。 支持数据源的管理，支持对数据源进行团队共享公开，提供数据源的接入与管理能力。支持接入的数据源包括MySQL、Doris、Ceph、OSS、kafka 等主流数据源。

优势 多源数据分析免搬迁：关系型数据库RDS中存放车辆和车主基本信息，表格存储中存放实时的车辆位置和健康状态信息，数据仓库DWS中存放周期性统计的指标。通过DLI无需数据搬迁，对多数据源进行联邦分析。 数据分级存储：车企需要保留全量历史数据支撑审计类等业务，低频进行访问。温冷数据存放在低成本的对象存储服务OBS上，高频访问的热数据存放在数据引擎（DWS）中，降低整体存储成本。 告警快速敏捷触发服务器弹性伸缩：对CPU、内存、硬盘空间和带宽无特殊要求。 建议搭配以下服务使用： CDM、OBS、DWS。 大数据ETL处理 运营商大数据分析 运营商数据体量在PB~EB级，其数据种类多，有结构化的基站信息数据，非结构化的消息通信数据，同时对数据的时效性有很高的要求，DLI服务提供批处理、流处理等多模引擎，打破数据孤岛进行统一的数据分析。 优势 大数据ETL：具备TB~EB级运营商数据治理能力，能快速将海量运营商数据做ETL处理，为分布式批处理计算提供分布式数据集。 高吞吐低时延：采用Apache Flink的Dataflow模型，高性能计算资源，从用户自建的Kafka、MRSKafka、DMSKafka消费数据，单CU每秒吞吐1千~2万条消息。 建议搭配以下服务使用： OBS、DataArts Studio。

本章节主要介绍导入数据的最佳实践。 从OBS并行导入数据 • 将导入数据拆分为多个文件 导入大数据量的数据时通常需要较长的时间及耗费较多的计算资源。 从OBS上导入数据时，如下方法可以提升导入性能：将数据文件存储到OBS前，尽可能均匀地将文件切分成多个，文件的数量以DN的整数倍更适合。 • 在导入前后验证数据文件 从OBS导入数据时，首先将您的文件上传到OBS存储桶中，我们建议您列出存储桶的内容，然后验证该存储桶是否包含所有正确的文件并且仅包含这些文件。 在完成导入操作后，请使用SELECT查询语句以验证所需文件是否已导入。 • OBS导入导出数据时，不支持中文路径。 使用GDS导入数据 • 数据倾斜会造成查询表性能下降。对于记录数超过千万条的表，建议在执行全量数据导入前，先导入部分数据，以进行数据倾斜检查和调整分布列，避免导入大量数据后发现数据倾斜，调整成本高。 • 为了优化导入速度，建议拆分文件，使用多GDS进行并行导入。另外，单个导入任务可以拆分成多个导入任务并发执行导入，多个导入任务使用同一GDS时可以使用t参数打开GDS多线程并发执行导入。GDS建议挂载在不同物理盘以及不同网卡上，避免物理IO以及网络可能出现的瓶颈。 • 在GDS IO与网卡未达到物理瓶颈前，可以考虑在数据仓库开启SMP进行加速。SMP开启之后会对对应的GDS产生成倍的压力。需要特别说明的是：SMP自适应衡量的标准是数据仓库的CPU压力，而不是GDS所承受的压力。 • GDS与数据仓库通信要求物理网络畅通，并且尽量使用万兆网。千兆网无法承载高速的数据传输压力，极易出现断连。即使用千兆网时数据仓库无法提供通信保障。满足万兆网的同时，数据磁盘组I/O性能大于GDS单核处理能力上限（约400MB/s）时，方可寻求单文件导入速率最大化。 • 并发导入场景，与单表导入相似，至少应保证I/O性能大于网络最大速率。 • GDS跟DN的数据比例建议在1:3至1:6之间。 • 为了优化列存分区表的批量插入效率，在批量插入过程中会对数据进行缓存后再批量写盘。通过GUC参数“partitionmembatch”和“partitionmaxcachesize”，可以设置缓存个数以及缓存区大小。这两个参数的值越小，列存分区表的批量插入越慢。当然，越大的缓存个数和缓存分区，会带来越多的内存消耗。

Web应用防火墙对网站业务流量进行多维度检测和防护，降低数据被篡改、失窃的风险。 精准高效的威胁检测 采用规则和AI双引擎架构，默认集成最新的防护规则和优秀实践。 企业级用户策略定制，支持拦截页面自定义、多条件的CC防护策略配置、海量IP黑名单等，使网站防护更精准。 0day漏洞快速修复 专业安全团队724小时运营，实现紧急0day漏洞2小时内修复完成，帮助用户快速抵御最新威胁。 保护用户数据隐私 支持用户对攻击日志中的账号、密码等敏感信息进行脱敏。 支持PCIDSS标准的SSL安全配置。 支持TLS协议版本和加密套件的配置。

星辰MaaS智能体平台支持在日志模块查看当前智能体应用全部对话记录。支持通过时间、数据来源进行数据筛选，支持通过创建时间和更新时间进行日志排序，同时也支持使用关键词进行数据搜索。方便开发者快速进行日志数据的查询。 具体对话记录 日志数据中包含以下字段：标题、用户或账户名、对话消息数、用户反馈数、管理员反馈数、更新时间、创建时间。 点击某条对话记录，右侧打开详细历史对话信息可以关注到不同用户使用该应用产生的对话数据，同时当工作流编排应用增加工具时，会展示工具调用情况。 详细对话日志 在日志中的详细对话信息中，鼠标悬浮在某条对话上后点击查看日志，可以看到此轮对话具体调用信息，包括模型、工具或知识库的状态、输入输出数据、token消耗等调用信息。 执行流程 在查看日志中点击执行流程tab，可以以看到各节点的耗时和内容的输入输出情况。 日志下载 支持用户根据日志创建时间进行下载。 支持用户选择下载后的文件类型，类型包含：xls、xlsx。 支持用户选择具体的发布渠道对应的日志记录进行下载。

本文主要介绍云日志服务Logback SDK的使用方式。 Ctyun Logback Appender概述 Logback是由log4j的创始人设计的一款高性能、灵活配置的Java日志框架。它支持将日志输出到各种目标，如文件、控制台等，并允许通过简单的配置文件自定义日志级别、格式和输出目的地。Logback的特点在于其高效的日志处理能力和强大的配置灵活性，使得开发者能够轻松控制和管理日志，从而更好地监控和调试应用程序。同时，Logback也提供了与多种系统组件的集成支持，为Java应用提供了全面的日志解决方案。 通过Ctyun Logback Appender，您可以将生成的日志信息异步发送到ctyun云日志服务，其样式如下： plaintext useragent : logback level : INFO location : cn.ctyun.example.LogbackAppenderExample.main(LogbackAppenderExample.java:22) message : info log logback thread : main time : 20240606T14:33+0800 message : 20240606 14:33:15,203 INFO [main] LogbackAppenderExample: info log logback 其中： level：日志级别。 location：日志打印语句的代码位置 。 message：日志内容。 throwable：日志异常信息，只有当记录了异常信息，这个字段才会出现。 thread：线程名称。 time：日志打印时间（可以通过 timeFormat 或 timeZone 配置 time 字段呈现的格式和时区）。ts ：日志生成时的时间。 message ：日志信息。 useragent ： 日志来源 功能优势 日志实时传输： 实时性增强： 日志数据不再依赖传统的磁盘写入，而是实时通过网络通道发送至服务端，确保数据的即时性。 无侵入性集成： 无缝对接： 对于已采用logback作为日志框架的应用，我们提供了简洁的配置方案，无需对应用代码进行大幅度修改，即可实现日志的采集与传输。 高效异步处理： 高并发设计： 系统采用高并发架构，后台异步处理日志发送任务，即使在大量日志数据产生的情况下，也能保证系统的稳定运行和高效处理。

本小节介绍安全专区产品类常见问题。 安全专区相比传统安全组件有什么优势？ 与天翼云平台紧密集成，识别并管理云资产及安全状态； 集成多种满足等保合规的安全组件，单点登录，一键登录并管理所有安全组件； 提供全覆盖的安全态势管理能力，集中展现资产不同的安全状态信息； 集中管理云网边界、虚机、业务系统的漏洞、告警、用户行为和安全运行数据； 一键订购，产品自动交付，快速解决云上等保合规要求。 安全专区的防护功能是否就能满足等保合规需求？ 安全专区可满足等保二级、三级的安全技术合规要求。 一套安全专区的防护能服务于多少个系统？ 安全专区套餐可满足天翼云同个VPC甚至同数据节点的多个VPC的多个业务系统的安全防护要求； 根据资产数量的不同，可配置不同的安全组件授权及虚机资源，满足业务防护性能需求。 日志审计有没有整合在安全专区管理中心？ 有的，日志审计通过部署agent在主机进行管理。 安全专区在多个VPC场景下，资产是否能共同管理？ 多个VPC的情况下，通过VPC路由器进行对等连接打通安全专区VPC，安全专区VPC各功能组件对所有资产共同统一管理。 安全专区产品能否解耦订购？ 支持。 安全专区防火墙防护流量最大能支持多少，如果客户所需流量超过最大防火墙防护流量怎么办？ 目前防火墙最大防护流量能达到1.6G，如果客户所需流量超过1.6G，要先确认客户有多少个VPC，如果客户有多个VPC，可以采用防火墙下沉到各个VPC分别管理的解决方案，这种情况也要结合具体项目情况具体沟通。

管理系统工具 1 登录云堡垒机系统。 2 选择“系统 > 系统维护 > 系统管理”，进入系统管理页面。 系统管理 3 展开“系统工具”区域，可管理系统工具，包括重启、升级、恢复出厂设置。 非紧急特殊情况，请不要恢复出厂设置，否则将导致系统数据丢失。 系统配置备份与还原 为确保系统配置数据不丢失，可开启系统配置自动备份，或定期备份系统配置，维护系统配置。 本小节主要介绍如何备份系统配置、还原系统配置，以及如何管理备份列表。 约束限制 系统备份文件仅限于本云堡垒机系统使用，不能用于其他云堡垒机系统。 系统配置备份仅备份系统配置参数，不能备份运维产生的系统数据，更多系统数据备份说明，请参见数据维护。 前提条件 已获取“系统”模块管理权限。 备份系统配置 1 登录云堡垒机系统。 2 选择“系统 > 系统维护 > 配置备份与还原”，进入系统配置备份管理页面。 配置备份与还原 3 启动自动备份。 在“备份列表”区域，开启“自动备份”，系统将在每天零点自动对系统配置备份。 4 立即启动备份。 在“备份列表”区域，单击“+新建”，弹出新建备份弹窗。 输入备注信息来区分备份文件。 单击“确定”开始备份，备份成功后，可在备份列表查看已备份文件。