本文介绍如何快速入门实时云渲染产品。 接入前的准备 1. WebRTC兼容性测试 操作云渲染应用的前提是您的 浏览器兼容WebRTC ，接入云渲染前建议您通过工具检测设备浏览器是否能正常运行 WebRTC 应用。 2. 接入前须知 应用接入相关 iOS浏览器保护策略 微信 WebView 限制，需要有 User Action 才会播放音视频，小程序接入JS SDK前您需要做如下操作： iOS 15.4以下版本暂不支持自动播放，若通过Safari或微信内置浏览器打开应用，需要在用户进入推流页面时监听> WeixinJSBridgeReady，引导客户交互页面（通过点击弹窗、按钮）。 待收到用户交互后回调 init SDK。 低电量模式容易自动播放失败，需要有用户交互的同时调用replay接口。 云渲染通信原理说明 云渲染已集成了一套实时通信流程，您可以联系您的客户经理获取云渲染SDK，即可实现H5和应用端的实时网络通信，如需了解更多，请联系客户经理。 实时云渲染平台接入 1. 开通云渲染服务 接入平台前需要您注册天翼云账号，并通过天翼云账号开通云渲染服务。开通云渲染服务后，进入控制台，开始使用云渲染平台功能。 实时云渲染服务暂未对外开放试用功能，若需试用体验云渲染产品，可联系客户经理申请。

应用场景 适用于用户的数据存储在对象存储 ZOS 中，且需要准备迁移服务器可下载 ZOS 数据，并和HPFS网络互通，保证可挂载文件系统的场景下。 准备工作 创建迁移服务器，如果目标 HPFS 文件系统是 NFS 协议，迁移服务器可选择弹性云主机。如果目标 HPFS 文件系统是 HPFSPOSIX 协议，迁移服务器需要选择物理机（GPU 裸金属）。具体限制请参考操作系统限制。 迁移服务器需要能访问 ZOS 进行下载数据，能够将云上 ZOS 中的对象文件下载到 HPFS 的指定文件夹。 将 HPFS 文件系统挂载至物理机或弹性云主机，具体操作请参考挂载文件系统。 操作步骤 具体操作请参考对象存储文件上云迁移工具，参考文档中云上迁移到本地场景： 云上迁移到本地的操作的配置，只需要将 migrations.conf 中的 reverse 参数配置为 true。 迁移工具中 migrations.conf 中 srcpath 指的是将云上文件迁移到本地后存放的文件夹，需设置为 HPFS 文件系统的挂载目录。 注意 迁移工具将不会对该路径进行检测，如果指定的路径不存在，将会默认创建。

本文为您介绍zosfs的主要功能和使用场景等信息。 工具简介 zosfs是一个通过FUSE技术，将天翼云对象存储ZOS的bucket（存储桶）挂载为本地目录的工具。 zosfs利用gorountine，通过异步的并发操作，实现对本地文件的高效上传、对云端对象的高效下载，同时，zosfs也优化了对目录列举的操作，提升目录列举的效率。 使用场景 zosfs主要支持模型训练、模型推理等计算密集型场景，解决密集计算对存储数据加载和写入的特殊需要。具体而言，这类场景对存储数据操作以顺序读取、随机读取、顺序（追加）写入为主。 主要功能 兼容基础的POSIX语义操作，能有效利用ZOS的服务端读写能力。 针对计算密集的数据读写需要，提供高效的大文件顺序读写能力。 适配环境 计算平台：X86计算平台、ARM计算平台 操作系统：ctyunOS 23.01、ctyunOS 2.0.1、ctyunOS 22.06 使用限制 zosfs为特定挂载场景优化，因此存在一定的使用限制，请使用前仔细阅读zosfs使用限制章节，了解工具的限制条件。 注意 我们建议您在使用zosfs工具前，了解工具的使用限制，并对工具进行使用测试，避免对您的业务产生影响。 获取zosfs 适配 X86 计算平台，点击下载工具：zosfsamd0.7.3.tar.gz 适配 ARM 计算平台，点击下载工具：zosfsarm0.7.3.tar.gz 说明 此处提供的zosfs工具包，解压后无需安装即可运行。

本文为您介绍初始化Linux数据盘(parted)。 操作场景 本文以物理机的操作系统为“CentOS 7.6 64位”为例，采用parted分区工具为数据盘设置分区。 说明 物理机的不同操作系统的格式化操作可能不同，本文仅供参考，具体操作步骤和差异请参考对应操作系统的产品文档。 前提条件 已登录物理机。 挂载至物理机的云盘数据盘或者物理机的本地数据盘还没有被初始化。 划分分区并挂载磁盘 本操作以该场景为例，当物理机挂载了一块新的数据盘时，采用parted分区工具为数据盘设置分区，分区形式设置为GPT，文件系统设为ext4格式，挂载在“/mnt/sdc”下，并设置开机启动自动挂载。 操作步骤 1. 执行以下命令，查看新增数据盘。 lsblk 回显类似如下信息： [root@testsharedDisk ~] lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT vda 252:0 0 100G 0 disk ├─vda1 252:1 0 1G 0 part ├─vda2 252:2 0 3G 0 part /boot/efi ├─vda3 252:3 0 5G 0 part /boot ├─vda4 252:4 0 80G 0 part / └─vda5 252:5 0 10G 0 part vdc 252:32 0 30G 0 disk 表示当前的服务器有两块磁盘，“/dev/vda”是系统盘，“/dev/vdc”是新增数据盘。 2. 执行以下命令，进入fdisk分区工具，开始对新增数据盘执行分区操作。 parted新增数据盘 以新挂载的数据盘“/dev/vdc”为例： parted /dev/vdc 回显类似如下信息： [root@testsharedDisk ~]

Milvus产品使用手册 一、 产品概述 1.1 产品介绍 Milvus 作为一款开源的高性能向量数据库，具有出色的向量检索性能、高扩展性和易用性，在人工智能、机器学习、计算机视觉、自然语言处理等领域展现出了巨大的应用潜力。目标市场可以根据应用领域细分为自然语言处理、计算机视觉、推荐系统等多个市场。其客户群体主要包括互联网、电商、金融、医疗、安防等行业的企业，以及科研机构和高校等。 1.2 产品核心能力 Milvus 的核心能力是作为一个高性能、高扩展性的云原生向量数据库，专门为处理大规模非结构化数据和支持人工智能应用而设计。 它的能力主要围绕高效的向量相似性搜索展开，具体体现在以下几个方面： 1. 高效的向量搜索与检索 (1) 大规模相似性搜索（ANN）: 能够从数十亿甚至千亿级的高维向量数据集中，快速、准确地找到与查询向量最相似的 K 个向量（K近邻搜索）。 (2) 异构计算支持 (Knowhere): Milvus 的核心向量执行引擎Knowhere 能够集成并优化各种流行的向量相似性搜索库（如 Faiss, Hnswlib, Annoy），并能控制在 CPU 或 GPU 上执行索引构建和搜索请求，以充分利用硬件能力。 (3) 多样化的搜索模式: 除了基础的 ANN 搜索，还支持过滤搜索（基于标量字段的条件过滤）、范围搜索和混合搜索（结合向量和标量数据），极大地满足了复杂的业务检索需求。 2. 高性能与底层优化 (1) C++ 搜索引擎: 使用 C++ 语言实现核心搜索引擎组件，以实现高性能、底层优化和高效的资源管理。 (2) 硬件感知优化: 集成了汇编级向量操作、多线程并行化和调度等优化，最大限度地利用硬件性能。 (3) 面向列的存储 (ColumnOriented): 采用面向列的数据库系统，在执行查询时只读取涉及的特定字段，大大减少了数据访问量，并有利于向量化操作。 3. 灵活的功能与应用支撑 (1) 多模态检索: 结合 AI 推理和 Embedding 模型，高效索引和检索图片、视频、文本、声纹等多种非结构化数据。 (2) 数据导入与管理: 支持高通量数据导入，并提供数据分片、分区键、可调一致性模型等管理功能。

本章节介绍如何开启网关调用链配置 概述 云原生网关集成了天翼云链路追踪，提供链路数据采集上报、查询及分析能力。帮助您分析微服务调用拓扑，快速发现系统问题点和瓶颈。您可以根据需要配置观测能力，如下图所示： 监控分析 云原生网关集成了天翼云应用性能监控 ，提供系统、路由两个维度的QPS、成功率、延迟等监控能力。帮助您实时监控系统和路由的关键指标，快速发现系统问题点和瓶颈。 启用流程 1. 开通并进入网关实例的控制台； 2. 左侧导航栏点击基础信息 ； 3. 单击左上角功能设置按钮； 4. 若您还没有开通应用性能监控产品，需先点击功能设置面板上的提示链接前往开通； 5. 已开通应用性能监控产品，可在功能设置面板上，启用监控分析切换到启用，然后单击左下角确认按钮； 6. 页面会自动刷新，也可点击刷新按钮，查看启用情况； 停用流程 1. 左侧导航栏点击基础信息 ； 2. 单击左上角功能设置按钮； 3. 启用监控分析切换到不启用，然后单击左下角确认按钮； 4. 页面会自动刷新，也可点击刷新按钮，查看停用情况； 系统监控结果验证 1. 单击左侧导航栏 观测分析> 监控分析 ； 2. 页面能正常进入并显示数据，则说明开启成功；

低门槛容器化，全套微服务治理 CAE 让您免运维 K8s 基础设施，秒级完成从代码包、Docker 镜像部署任意语言的在线应用（如微服务、Web 服务），并自动弹性伸缩按量计费。平台内置免费 Nacos 注册中心，支持 Spring Cloud 无侵入迁移，开箱即用服务注册发现、限流降级、无损上下线及全链路灰度等全套微服务治理能力，极简助力业务容器化转型。 开放标准，自主无忧 基于标准容器与Kubernetes生态构建，避免厂商锁定。您的应用可平滑迁移至任意兼容K8s的平台，保障业务长期发展的灵活性与自主权。 安全可靠，专注业务 底层采用安全容器技术，网络层通过VPC实现租户级强隔离，为您的应用与数据提供从基础设施到网络的双重安全保障，让您安心专注于业务创新。 生态集成，开箱即用 深度集成天翼云负载均衡（ELB）、文件存储（SFS）、对象存储（ZOS）等IaaS服务，以及微服务引擎（MSE）、应用监控（ARMS）等PaaS生态，提供一站式、高内聚的完整解决方案，大幅提升开发和运维效率。

本章节主要介绍节点参考的ROMA FDI Job。 功能 通过ROMA FDI Job节点执行一个预先定义的ROMA Connect数据集成任务，实现源端到目标端的数据集成转换。 原理 该节点方便用户启动或者查询FDI任务是否正在运行。 参数 ROMA FDI Job的参数配置，请参考以下内容： 属性参数 参数 是否必选 说明 ROMA实例 是 选择一个已存在的ROMA实例。 FDI任务 是 选择一个已存在的ROMA FDI任务。 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“ ”等各类特殊字符，长度为1～128个字符。 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 − 最大重试次数 − 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。 失败策略 是 节点执行失败后的操作： 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划：暂停当前作业运行，当前作业实例状态显示为“等待运行”。 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。

前提条件 部署迁移工具drsredis。 保证迁移工具drsredis、源端Redis和目标端GeminiDB Redis网络互通。 操作步骤 如需进行Redis到GeminiDB Redis的迁移，您可以在管理控制台右上角，选择“工单 > 新建工单”，联系技术支持进行处理。 迁移性能参考 环境：源端单节点Redis和迁移工具drsredis部署在8U32GB的弹性云服务器上，目标端为4U16GB，3节点GeminiDB Redis实例。 场景一： 源端replication buffer采用默认值（slave 268435456 67108864 60），该默认值表示缓存积压数据超过268435456bytes(256MB)，或超过67108864bytes(64MB)且持续60s，源端会主动断开与从节点的连接。 源端写入速率5MB/s，迁移过程可持续进行，不会产生源端buffer满造成的同步失败。 迁移工具读取数据的速率和源端写入速率一致。 场景二： 源端replication buffer不做限制（config set "clientoutputbufferlimit" "slave 0 0 0"）。 源端写入速率10MB/s，容量充足的情况下，迁移持续进行。 迁移工具读取数据的速率和源端写入速率一致。 结论： 在环境上，使用8U32GB弹性云服务器部署迁移工具，若源端replication buffer采用默认值，迁移可在源端5MB/s的写入速率下进行；若源端对replication buffer不做限制，迁移可在源端10MB/s的写入速率下进行。

方式一：控制台操作解冻 您可以登录您源端云服务商的控制中心，通过对象存储的控制界面，对待迁移的源端数据直接进行解冻操作。 您可以登录您源端云服务商的控制中心，通过对象存储的控制界面，配置生命周期规则，对待迁移的数据修改存储类型实现解冻。该方式耗时较长，一般不推荐。 方式二：命令行工具操作解冻 若您的源端为其他云服务商，您可以使用源端云服务商的对象存储提供的命令行工具，例如：腾讯云COSCMD工具、华为云obsutil、阿里云ossutil等。 注意 若您设置对象存储的生命周期管理规则，请务必确保迁移数据期间源端数据不会再被转为归档存储。 后续操作 创建迁移任务 源端数据解冻完成后，您可以在迁移任务列表创建迁移任务。 具体操作，您可阅读不同的源端云服务商的迁移教程：各云服务商迁移至ZOS教程。 注意 迁移任务结束后，您可以手动在您的目的端对象存储的存储桶中查看已经迁移完成的数据。

本节为您介绍云迁移服务CMS数据迁移工具删除数据源操作。 进入“数据迁移工具”，点击“数据源管理管理”界面。 找到对应的源节点/目标节点，点击“删除”按钮。

不支持OOS Bucket重命名。若需要其他名称，建议您创建新的Bucket，将原Bucket的文件（Object）迁移到新创建的Bucket后，删除原文件（Object）和原存储桶（Bucket）即可。 若您原Bucket内的文件较少，您可以通过复制文件的方式迁移您的数据，详见复制文件或PUT Object Copy。 若您原Bucket内的文件较多，可以使用OOS数据迁移工具来迁移您的数据，详见OOS数据迁移工具。

参数名称 说明 模型名称 只能包含中文、英文字母、数字和下划线。 数据连接类型 下拉选择数据连接类型。 数仓分层 下拉选择SDI或DWI分层。 SDI：Source Data Integration，又称贴源数据层。SDI是源系统数据的简单落地。 DWI：Data Warehouse Integration，又称数据整合层。DWI整合多个源系统数据，对源系统进来的数据进行整合、清洗，并基于三范式进行关系建模。 描述 描述信息。支持的长度0~600字符。

为大于2TB数据盘创建GPT分区 MBR只支持处理不大于2 TB的容量，且只支持划分4个主区。如果您需要使用大于2 TB的数据盘，您必须采用GPT格式。 1. 通过控制台远程连接，运行以下命令安装Parted工具： yum install y parted 2. 查看实例上的数据盘信息。 运行以下命令： fdisk l 运行结果如下所示： 3. 使用Parted工具为数据盘进行分区。 运行以下命令开始分区： parted /dev/vdb 在Parted工具的交互式界面中，运行以下命令将默认的MBR分区格式转换为GPT分区格式： mklabel gpt 运行以下命令，划分一个主分区，并设置分区的开始位置和结束位置： mkpart primary 1 100% 运行以下命令，检查分区是否对齐： aligncheck optimal 1 运行结果如下所示： 1 aligned 说明 如果返回的是1 not aligned，说明分区未对齐，建议您运行以下命令 ，再根据（+）/的公式计算出最佳分区模式的起始扇区值。 cat /sys/block/vdb/queue/optimaliosize cat /sys/block/vdb/queue/minimumiosize cat /sys/block/vdb/alignmentoffset cat /sys/block/vdb/queue/physicalblocksize 假设1024为计算得出的推荐扇区值，则您可以运行mkpart primary 1024s 100%重新划分一个主分区。 运行以下命令，查看分区表： print 运行以下命令，退出Parted工具： quit Parted工具分区结果如下所示。 4. 运行以下命令，使系统重读分区表： partprobe

导入方式 适用场景 文档链接 OpenSearch客户端 适合开发者，处理复杂业务逻辑和批量数据操作。 使用OpenSearch客户端导入数据至OpenSearch实例 Beats 适合实时日志、指标的轻量级数据采集。 使用自建Beats导入数据至OpenSearch实例 Logstash 适合复杂的数据处理管道和多源数据整合。 使用自建Logstash导入数据至OpenSearch实例 OpenSearch Dashboards 适合快速测试、调试和简单数据管理。 使用OpenSearch Dashboards导入数据至OpenSearch实例 Curl命令行 适合轻量、临时和自动化脚本操作。 使用Curl命令导入数据至OpenSearch实例

本章节主要介绍删除集群。 操作场景 当您确认不再使用当前集群后，可以删除当前CDM集群。 删除CDM集群后集群以及数据都销毁且无法恢复，请您谨慎操作！ 删除集群前，请您确认如下注意事项： 待删除集群确认已不再使用，且其中的连接和作业数据您已通过批量管理作业章节中的 导出作业功能 进行备份。 前提条件 已创建CDM集群。 删除集群 1.登录CDM管理控制台。单击左侧导航上的“集群管理”，进入集群管理界面。 集群列表详见下图 说明 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 2.选择集群操作列中的“更多 > 删除”，进入删除集群确认界面。 删除集群详见下图 3.点击“确认”，即开始删除CDM集群。

场景特点 用于海量大型数据或对性能敏感数据的加密保护，保证业务访问体验。 优势 高效易用：通过创建数据密钥，实现本地数据的离线加密，避免移动大量数据产生安全隐患。 双重加密：通过主密钥和数据密钥两级密钥结构，确保数据密钥的随机性和安全性，保证数据加密性能。 场景示意图 云产品透明加密 密钥管理服务（KMS）与多种云产品集成，提供服务端加密能能力，加密功能一键开启，加密过程透明无感知。 场景特点 为云上IT设施数据安全环境提供基础保障。 优势 服务端自动加密：无需用户自行实现复杂的加密能力，免改造。 安全保障：加密密钥通过KMS主密钥加密保护，满足安全合规要求。 场景示意图

为什么写入文件系统的中文字符在客户端显示为乱码? 问题描述： 在跨平台的环境中，例如在Linux或Windows客户端向弹性文件系统写入中文字符（文件名、内容等），可能会导致在另一个平台的客户端上显示为乱码的问题。 问题原因： Windows客户端默认使用GBK字符集进行中文编解码，而Linux客户端默认使用UTF8字符集进行中文编解码。当数据写入弹性文件系统时，会以各自平台对应字符集编码后的内容进行存储。当在另一个平台上读取这些数据时，由于两个平台使用的字符集不兼容，无法正确解码，导致显示的内容变成了乱码。 解决方案： 建议您在Windows客户端上使用CIFS协议挂载弹性文件系统，在Linux客户端上使用NFS协议挂载文件系统。通过这种方式，可以避免平台不兼容的问题，确保中文字符能够正常显示和解码。 当弹性文件系统无法结束进程时，如何清理客户端泄露的句柄? 如果需要释放CIFS文件系统的所有连接并释放所有句柄，可以使用以下工具进行操作。 Windows客户端可使用tcpview工具来断开CIFS文件系统的所有连接，具体操作如下： 1. 下载并安装tcpview工具。 2. 打开tcpview工具。 3. 在工具中找到与CIFS文件系统相关的连接。 4. 右键点击连接，并选择"Close Connection"来断开连接。 Linux客户端可使用killcx工具来断开CIFS文件系统的所有连接，具体操作如下请参考

本节主要介绍使用Rump在线迁移 部分云厂商的Redis实例禁止客户端发起SLAVEOF、BGSAVE、PSYNC等命令，无法使用rediscli、或redisshake等工具快速导出数据。 使用KEYS命令容易造成服务端阻塞。 云厂商一般只提供备份文件下载，这种方式仅适宜离线迁移，且迁移过程对业务中断时间较长。 Rump是一款开源的Redis数据在线迁移工具，支持在同一个实例的不同数据库之间互相迁移，以及不同实例的数据库之间迁移。 迁移原理 Rump使用SCAN来获取keys，用DUMP/RESTORE来get/set值。 SCAN是一个时间复杂度O(1) 的命令，可以快速获得所有的key。DUMP/RESTORE使读/写值独立于关键工作。 以下是Rump的主要特性： 通过SCAN非阻塞的获取key，避免KEYS命令造成Redis服务阻塞。 支持所有数据类型的迁移。 把SCAN和DUMP/RESTORE操作放在同一个管道中，利用pipeline提升数据迁移过程中的网络效率。 不使用任何临时文件，不占用磁盘空间。 使用带缓冲区的channels，提升源服务器的性能。 约束与限制 使用Rump工具在线迁移，目标端不支持DCS集群类型实例。 Redis实例的密码不能包含 @:等特殊字符，避免迁移命令解析出错。 正式进行迁移操作前，建议先暂停业务。迁移过程中如果不断写入新的数据，可能会丢失少量Key。

本节为您介绍数据库迁移工具任务参数配置。 1. 进入“数据库迁移工具”，点击“数据传输”展开菜单，点击“数据订阅”。 2. 点击“创建订阅”按钮，跳转至任务参数配置界面。 名称 任务的名称，用于更好地识别订阅任务 启动时间 订阅任务的启动时间。配置后订阅任务会在预定的时间开始运行 迁移选择 可选择全量迁移、增量迁移和稽核修复中的一个或多个，根据需求组合 并发数 配置一组订阅线程中包含的表数量 单表数据延迟预警阈值 表数据从产生到被获取到的的时间延迟，超过这个值则产生告警 单表数据堆积预警阈值 表数据获取到后没有被消费，形成堆积，堆积数量超过这个阈值，则产生告警

本文介绍使用Rediscli迁移自建Redis(AOF文件) 迁移介绍 Rediscli 是 Redis 自带的命令行客户端工具，它允许用户通过命令行与 Redis 服务器进行交互。 在本章节中，我们将重点介绍如何使用 Rediscli 工具以 AOF 文件的方式，将自建的 Redis 数据迁移到 DCS 缓存实例。 说明 进行迁移操作前，建议暂停相关业务，以避免数据丢失或不完整。 建议业务空闲时间进行迁移操作。 步骤1：生成AOF文件 使用以下命令来开启缓存持久化并生成 AOF 持久化文件： ./rediscli h {redisaddress} p {redisport} a {password} config set appendonly yes 如果 AOF 文件的大小不再变化，说明AOF文件为全量缓存数据。 说明 使用 Rediscli 工具登录 Redis 实例，输入命令“config get dir”可以查找生成的AOF文件保存路径。 如果没有进行特殊指定，该文件的文件名默认为 appendonly.aof。 如果需要关闭同步，可以使用 Rediscli 工具登录 Redis 实例，并输入命令 “config set appendonly no” 来关闭同步。 步骤2：上传AOF文件至天翼云ECS 为节省传输时间，请先压缩AOF文件再传输。 将压缩文件（如以SFTP/SCP等方式）上传到天翼云ECS。 说明 ECS需保证有足够的磁盘空间，供数据文件存储，同时需要与缓存实例网络互通，通常要求相同VPC和相同子网，且安全组规则不限制访问端口。 步骤3：导入数据 ./rediscli h {redisaddress} p {redisport} a {password} pipe < appendonly.aof 步骤4：迁移后验证 数据导入成功后，连接DCS缓存实例，通过dbsize命令，确认数据是否导入成功 如果导入不成功，需要分析原因，修正导入语句，然后使用flushall或者flushdb命令清理实例中的缓存数据，并重新导入。

从魔搭导入数据集 1、在魔搭社区官网复制需要导入的数据集名称 2、进行数据集导入配置，选择开源社区类型导入方式，社区名称选择ModelScope，开源数据集粘贴刚复制的数据集名称，若为私有数据集，则需要填写访问Token 3、当数据集导入状态为导入成功，即可进行数据集使用 从Hugging Face导入数据集 1、在 Hugging Face复制需要导入的数据集名称 2、进行数据集导入配置，选择开源社区类型导入方式，社区名称选择Hugging Face，开源数据集粘贴刚复制的数据集名称，若为私有数据集，则需要填写访问Token 3、当数据集导入状态为导入成功，即可进行数据集使用 二、本地上传 1、将本地数据集使用tar czvf 命令打包，文件名需为dataset.tar.gz。 2、点击虚线矩形框处，选择需要上传的数据集压缩文件 dataset.tar.gz，当进度条为100%，即上传成功，然后点击提交按钮。 3、当数据集导入状态为导入成功，即可进行数据集使用

快速响应 配备高配GPU和CPU等硬件来支撑能力，这种高效的硬件配置可以大幅度缩短内容审核的时间，从而快速给出反馈结果。GPU的强大计算能力可以使得系统在短时间内处理大量的数据和特征，提高审核速度。除了硬件配置外，还采用算法和策略来优化审核速度。例如，采用多线程、分布式等技术实现并行处理和并发计算，进一步提高审核效率。 这种快速的反馈可以缩短用户等待时间，提升用户体验，同时也提供了更好的内容管理和监管能力。 支持跨平台部署 支持服务端和移动端，覆盖多种业务场景，可以对不同类型的内容进行审核，如文本、图片、视频等。 服务端部署：通过API接口或Web服务等方式提供内容审核服务。这种部署方式适用于需要对大量内容进行集中审核的场景，如社交媒体平台、新闻网站、视频分享网站等。 移动端部署：可以集成到移动应用程序中，提供实时内容审核功能。这种部署方式适用于需要快速审核内容的应用场景，如短视频平台、直播平台、聊天应用等。通过在移动端集成智能内容审核功能，可以提升用户体验，同时保障内容的安全和质量。

导入方式 适用场景 文档链接 Elasticsearch客户端 适合开发者，处理复杂业务逻辑和批量数据操作。 使用Elasticsearch客户端导入数据至Elasticsearch实例 Beats 适合实时日志、指标的轻量级数据采集。 使用自建Beats导入数据至Elasticsearch实例 Logstash 适合复杂的数据处理管道和多源数据整合。 使用自建Logstash导入数据至Elasticsearch实例 Kibana 适合快速测试、调试和简单数据管理。 使用Kibana导入数据至Elasticsearch实例 Curl命令行 适合轻量、临时和自动化脚本操作。 使用Curl命令导入数据至Elasticsearch实例

数据分类分级服务内容说明 名称 服务阶段 工作任务内容 交付物 数据分类分级服务方案 数据分类分级产品部署 数据分类分级工具的安装调试，系统联调与测试，保障平台工具正常运行 数据资产梳理过程交付件 《数据分类目录》 《数据分级清单》 《数据分类分级样表清单》 数据分类分级服务方案 数据资产调研方案制定 制定数据资产调研工作方案，内容包括调研范围、参与对象、工作目的、时间进度、配合分工等 数据资产梳理过程交付件 《数据分类目录》 《数据分级清单》 《数据分类分级样表清单》 数据分类分级服务方案 数据资产梳理 针对XX组织单位业务部门开展调研，梳理业务部门对应的关键业务流程以及业务活动，分析各业务流程涉及的关键敏感数据 数据资产梳理过程交付件 《数据分类目录》 《数据分级清单》 《数据分类分级样表清单》 数据分类分级服务方案 制定数据分类分级逻辑框架 根据数据安全标准和法律法规要求，调研梳理XX组织单位的业务条线，制定数据安全分类分级逻辑框架，为数据分类分级实施奠定基础 数据资产梳理过程交付件 《数据分类目录》 《数据分级清单》 《数据分类分级样表清单》 数据分类分级服务方案 数据分类分级实施 针对XX组织单位试点系统范围内的数据，协调系统业务管理部门，开展数据发现梳理盘点、数据分类分级、归类归级工作，数据分类分级结果讨论形成一致意见，通过自动化工具整理数据分类分级结果 数据资产梳理过程交付件 《数据分类目录》 《数据分级清单》 《数据分类分级样表清单》 数据分类分级服务方案 制定数据分类分级指南 基于数据分类分级逻辑框架基础以及数据分类分级工作持续实施的结果，优化数据分类分级工作流程及方法，输出数据分类分级指南 数据资产梳理过程交付件 《数据分类目录》 《数据分级清单》 《数据分类分级样表清单》

本文介绍数据导入的特点与应用场景。使用数据导入功能,可以让您的数据处理更加高效、灵活,发挥数据的最大价值。 前提条件 支持的数据库类型 关系型数据库： MySQL：关系数据库MySQL版，公网直连MySQL，其他来源MySQL。 PostgreSQL：分析型数据库PostgreSQL，公网直连PostgreSQL，其他来源PostgreSQL。 SQL Server：分析型数据库SQLServer，公网直连SQL Server，其他来源SQL Server。 DRDS：分布式关系型数据库DRDS，公网直连DRDS，其他来源DRDS。 ClickHouse：分析型数据库ClickHouse，公网直连ClickHouse，其他来源ClickHouse。 Oracle：公网直连Oracle，其他来源Oracle。 MariaDB：公网直连MariaDB，其他来源MariaDB。 OpenGauss：公网直连OpenGauss，其他来源OpenGauss。 Doris：公网直连Doris，其他来源Doris。 非关系型数据库： MongoDB：文档数据库MongoDB，公网直连MongoDB，其他来源MongoDB。 DDS：文档数据库服务DDS，公网直连DDS，其他来源DDS。 支持的数据格式 支持本地上传SQL文件、CSV文件（逗号分隔值）、TXT文件（逗号分隔值）、JSON文件、EXCEL文件，支持上传.zip文件。 支持的写入方式 注意 针对非MongoDB/DDS数据源。 INSERT INTO：插入数据，数据库会检查主键（PrimaryKey），如果出现重复会报错。 INSERT IGNORE INTO：插入数据，数据库会检查主键（PrimaryKey），如果表中已经存在相同的记录，则忽略当前新数据。 REPLACE INTO：插入替换数据，数据库会检查主键（PrimaryKey），如果数据库已经存在数据，则用新数据替换，如果没有数据效果则和INSERT INTO一样。 友好的用户界面 数据导入功能的用户界面简单直观，即使您不是技术专家，也能轻松上手使用。 应用场景 数据迁移： 在更换系统或平台时，数据导入可以帮助您将旧数据迁移到新系统中。 数据备份： 将源数据导出并导入到目标数据库，可以作为紧急备份，防止数据丢失。 注意事项 当前数据导入功能仅对单实例单个数据库/模式或单表实现变更操作，暂不支持同时对多个数据库或多表进行导入操作。 目前已支持批量导入SQL，支持的SQL类型有DDL和DML。用户可将建表SQL以及数据变更SQL导入以批量执行。每条SQL请以英文分号结束。 为了保证批量导入数据库的性能和速度，请使用SQL性能更好的方式，例如SQL语句采用INSERT，插入方式采用INSERT INTO。

修改集群配置 1.登录CDM管理控制台。单击左侧导航上的“集群管理”，进入集群管理界面。详见下图：集群列表 说明 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 2.单击集群名称后，选择“集群配置”页签，可修改消息通知、用户是否隔离的配置。详见下图：修改集群配置 3.修改完成后单击“保存”，返回集群管理界面。 4.如果是关闭用户隔离，需要重启集群VM才能生效，在集群列表处，选择操作列中的“更多 > 重启”。详见下图：重启集群 重启CDM服务进程：只重启CDM服务的进程，不会重启集群虚拟机。 重启集群VM：业务进程会中断，并重启集群的虚拟机。 5.选择“重启集群VM”后单击“确定”。 管理CDM集群标签 1.单击左侧导航上的“集群管理”，进入集群管理界面。详见下图：集群列表 说明 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 2.单击集群名称后，选择“标签”页签。详见下图：修改集群配置 3.单击“添加标签”，通过添加标签为CDM集群设置资源标识。详见下图：添加标签 说明 一个集群最多可添加10个标签。 标签键（key）的最大长度为36个字符，标签值（value）的最大长度为43个字符。 4.（可选）在标签列表中，单击标签操作列“编辑”或者“删除”，修改/删除CDM集群标签。 5.在标签管理服务中，选择资源搜索条件，单击“搜索”即可筛选出所设置标签的资源。

本章介绍使用同一VPC内弹性云主机ECS上的Lettuce连接Cluster集群的方法。 介绍使用同一VPC内弹性云主机ECS上的Lettuce连接Redis实例的方法。更多的客户端的使用方法请参考Redis客户端。 在springboot类型的项目中，springdataredis中已提供了对jedis、lettuce的集成适配。另外，在springboot1.x中默认集成的是jedis，springboot2.x中改为了lettuce，因此在springboot2.x及更高版本中想集成使用jedis，无需手动引入lettuce依赖包。 前提条件 已成功申请Redis实例，且状态为“运行中”。 查看并获取待连接Redis实例的IP地址和端口。 具体步骤请参见查看实例信息。 已创建弹性云主机，创建弹性云主机的方法，请参见《弹性云主机用户指南》。 如果弹性云主机为Linux系统，该弹性云主机必须已经安装java编译环境。 Pom配置 org.springframework.boot springbootstarterdataredis 基于application.properties配置 单机、主备、读写分离、Proxy集群实例配置 redis host spring.redis.host redis 端口号 spring.redis.port redis 数据库下标 spring.redis.database0

本文主要介绍 通过公网连接副本集实例 操作场景 本章节指导您使用MongoDB客户端和Robo 3T工具，通过公网连接副本集实例。 用户可以直接操作副本集主节点和备节点。主节点用于读写请求，您可以连接主节点对数据进行读写操作。备节点复制主节点数据，用于读请求，连接备节点仅可读取数据。 操作系统使用场景： 弹性云主机的操作系统以Linux为例，客户端本地使用的计算机系统以Windows为例。 前提条件 副本集实例绑定弹性公网IP，并设置安全组规则，确保可以通过弹性云主机或Robo 3T工具访问弹性IP。 安装MongoDB客户端或Robo 3T工具。 MongoDB客户端 创建并登录弹性云主机，请参见《弹性云主机用户指南》的内容。 在弹性云主机上，安装MongoDB客户端。 使用Robo 3T工具连接实例 步骤 1 打开Robo 3T工具，在连接信息页面，单击“Create”。 连接信息（非SSL方式） 在弹出的“Connection Settings”窗口，设置新建连接的参数。 在“Connection”页签，“Name”填写自定义的新建连接的名称，“Address”填写副本集实例绑定的弹性IP和实例的数据库端口。 Connection（非SSL方式） 在“Authentication”页签，“Database”填写admin，“User Name”填写rwuser，“Password”填写您创建副本集实例时设置的管理员密码。 Authentication（非SSL方式） 设置完成后，单击“Save”。 在连接信息页面，单击“Connect”，开始连接副本集实例。 副本集实例连接信息（非SSL方式） 成功连接副本集实例，工具界面显示如下图所示。 连接成功（非SSL方式）

本章节主要介绍参考数据管理功能。 参考数据是数据的字典，是将组织内数据与组织外信息关联起来的代码表，定义了数据的值域；参考数据被用于字段标准的支撑，字段标准通过引用参考数据来确定具体的值域范围。 参考数据管理模块统一维护和管理参考数据，支持参考数据的分类、新增、导入、编辑、删除、发布、废止等操作。 参考数据目录 新建目录 支持标准目录新建，点击目录区域的加号【+】，可以选择从数据架构添加目录或自定义添加目录。 目录操作 针对现有目录，点击目录名右侧的按钮，可以实现对目录的管理和操作。 新增参考数据 点击【+新增参考数据】按钮，进入新增页面，填写参考数据信息。 基础信息 填写参考数据基础信息，包括参考数据名称（必填）、英文名称（必填）、所属目录（必填）及备注。 其中，关联字段所属目录有两种方式，一种通过在标准基础信息的所属目录下拉菜单中选择所属目录 另一种在字段标准界面首先选中目标目录，再点击【+新增字段标准】按钮，则进入新增页面后，在所属目录位置上可以自动关联已选目录。 代码值 支持添加代码项和批量导入两种方式录入参考数据代码值。代码值信息包括标识码、标识码说明、备注及操作。点击【添加代码项】按钮，手动输入代码值信息。 点击【批量导入】按钮，在弹窗中上传文件。数据导入支持下载模板，点击【下载模板】按钮下载参考模板，按照模板字段要求填充，点击或拖动文件至上传框进行文件上传。 点击【确定】按钮完成批量导入内容的上传。 完成新增 点击【保存】按钮完成参考数据的新增。

创建迁移任务失败的原因？ 创建迁移任务失败的可能原因： 1. 底层资源不足。 2. 迁移机ECS规格不足。 3. 迁移之前创建的目标redis内存小于源redis。 迁移或导入备份数据时，相同的Key会被覆盖吗？ 在迁移或导入备份数据时，源端与目标端重复的数据会被覆盖；源端没有，目标端有的数据会保留。 因此，如果在迁移后目标端与源端数据不一致，可能是目标端在迁移前有未清除的数据。 使用Rump在线迁移 背景说明 Rump是一款开源的Redis数据在线迁移工具，支持在同一个实例的不同数据库之间互相迁移，以及不同实例的数据库之间迁移。 迁移原理 Rump使用SCAN来获取keys，用DUMP/RESTORE来get/set值。 SCAN是一个时间复杂度O(1) 的命令，可以快速获得所有的key。DUMP/RESTORE使读/写值独立于关键工作。 以下是Rump的主要特性： 通过SCAN非阻塞的获取key，避免KEYS命令造成Redis服务阻塞。 支持所有数据类型的迁移。 把SCAN和DUMP/RESTORE操作放在同一个管道中，利用pipeline提升数据迁移过程中的网络效率。 不使用任何临时文件，不占用磁盘空间。 使用带缓冲区的channels，提升源服务器的性能。 说明 1. Rump工具不支持迁移到DCS集群实例。请改用其他工具，如redisport或Rediscli。 2. Redis实例的密码不能包含

本节为您介绍数据库迁移工具任务参数配置。 1. 进入“数据库迁移工具”，点击“数据传输”展开菜单，点击“数据同步”。 2. 点击“创建任务”按钮，跳转至任务参数配置界面。 任务名称 任务的名称，用于更好地识别同步任务 启动时间 同步任务的启动时间。配置后同步任务会在预定的时间开始运行 同步方式 可选择是否同步 全量并发数 全量同步时同时处理表的数量 增量并发数 增量同步时同时处理表的数量 允许自建表 允许用户在同步前自行建表。请确保建好的表中无数据，否则可能导致同步失败 单表数据延迟预警阈值 数据变更时间到被平台读取到的时间延迟超过阈值，平台界面会提示告警 增量同步失败策略 可选择同步失败时 ，继续同步数据或停止同步数据