可视化工具 功能简述 Tabix Tabix是一款功能强大的Web界面工具，提供直观的数据查询和可视化功能。它支持图表、仪表盘、过滤器、导出数据等功能，使您能够轻松地探索和分析云数据库ClickHouse数据。 Metabase Metabase是一款开源的数据分析和可视化工具，可以与云数据库ClickHouse无缝集成。它提供直观的界面和丰富的可视化选项，使您能够创建仪表盘、查询数据、生成报表等。 Superset Superset是一款强大的数据探索和可视化平台，支持多种数据源，包括云数据库ClickHouse。它提供丰富的可视化图表选项、仪表盘和数据切片功能，让您可以轻松地分析和可视化云数据库ClickHouse数据。 Grafana Grafana是一款流行的开源数据可视化和监控工具，它支持多种数据源，包括云数据库ClickHouse。Grafana提供了丰富的图表和仪表盘选项，可帮助您实时监控和可视化云数据库ClickHouse数据。 Redash Redash是一款开源的数据查询和可视化工具，支持多种数据源，包括云数据库ClickHouse。它提供了直观的查询界面和灵活的可视化选项，使您能够以交互方式探索和展示云数据库ClickHouse数据。

Flume Flume组件是一个分布式、可靠且高可用的日志采集、聚合和传输系统，主要用于收集、缓存和传输大量的日志数据到集中存储器中，如HDFS、HBase等。它通过source、channel和sink三个核心组件协同工作，实现数据的高效流动和处理。 KafkaUI KafkaUI用于监控和管理Apache Kafka。它提供直观、轻量级的仪表板，帮助用户追踪Kafka集群的关键指标，如Brokers、Topics、Partitions等，并支持动态配置主题和多种认证方式。 SeaTunnel SeaTunnel组件是一个高性能、分布式的数据集成工具，支持实时数据流处理和离线批处理。它通过插件化的架构设计，可以方便地从多种数据源提取数据，进行清洗、转换后，加载到目标存储系统中，提供了丰富的数据转换功能和任务调度、监控能力。 Pushgateway Pushgateway组件是Prometheus监控系统的一个功能组件，它接收应用程序推送的监控指标数据，并保存这些数据供Prometheus抓取，适用于Prometheus无法直接拉取数据的场景。 TezUI TezUI是Apache Tez的可视化工具，用于监控和分析Hadoop数据处理任务的执行过程，展示任务DAG结构、资源消耗及进度，帮助用户优化性能、排查错误，提升大数据计算效率。 Amoro Amoro 是数据湖存储引擎和湖仓管理系统。它支持多种数据源、存储格式及文件系统，能无缝集成到大数据生态系统，提供元数据管理、查询优化、ACID 事务支持等功能，用于高效存储、管理和分析数据。

8. 推荐的商业智能(BI)工具 Tableau: Tableau是一款功能强大的可视化和分析工具，可以连接各种数据源进行数据分析和报表生成。它提供了交互式的数据可视化功能和直观的用户界面，适用于各种业务场景和数据分析需求。 Power BI: Power BI是微软推出的一款强大的数据分析和可视化工具，可以将数据转化为可视化报表和仪表盘。它支持多种数据源和灵活的数据处理功能，适用于企业级数据分析和决策支持。 QlikView/Qlik Sense: QlikView和Qlik Sense是Qlik推出的两款自助式数据分析和可视化工具。它们提供了强大的数据连接和关联功能，可以帮助用户快速发现数据中的关联和趋势，并进行交互式的数据探索和可视化展示。 Looker: Looker是一款基于云的数据分析平台，提供了灵活的数据连接和建模功能，以及丰富的可视化和报表工具。它可以与多种数据源集成，支持高度定制化的数据分析和共享。 这些BI工具都具有丰富的功能和可视化能力，可以帮助用户从数据中获取有价值的见解，并生成具有吸引力和易读性的报表和仪表盘。选择适合您的BI工具时，可以考虑您的数据源、预算、技术要求和用户体验等因素。 以上工具都是第三方开发的，并非云数据库ClickHouse官方提供。因此，在选择和使用工具时，请确保下载和使用可信的版本，并根据需要进行适当的配置和授权设置。 9. set global 语句报错 请检查是否在"SET GLOBAL ON CLUSTER default key value"语句中，未正确引用字符串类型的value值。 解决方案：确保在字符串类型的value值两侧添加引号，以正确表示字符串。例如： SET GLOBAL ON CLUSTER default key 'value'; 通过添加单引号或双引号，确保字符串值被正确解析和设置。

本章节主要介绍数据集成概述。 DataArts Studio数据集成是一种高效、易用的数据集成服务，围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。 数据集成即云数据迁移（Cloud Data Migration，后简称CDM）服务，本文中的“云数据迁移”、“CDM”均指“数据集成”。 您可以通过以下方式之一进入CDM主界面： 登录CDM控制台，单击“集群管理”，进入到CDM主界面。 登录DataArts Studio控制台。选择对应工作空间的“数据集成”模块，进入CDM主界面。 选择数据集成详见下图 云数据迁移简介 云数据迁移基于分布式计算框架，利用并行化处理技术，支持用户稳定高效地对海量数据进行移动，实现不停服数据迁移，快速构建所需的数据架构。 数据集成定位详见下图 产品功能 表/ 文件/ 整库迁移 支持批量迁移表或者文件，还支持同构/异构数据库之间整库迁移，一个作业即可迁移几百张表。 增量数据迁移 支持文件增量迁移、关系型数据库增量迁移、HBase/CloudTable增量迁移，以及使用Where条件配合时间变量函数实现增量数据迁移。 事务模式迁移 支持当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 字段转换 支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。 文件加密 在迁移文件到文件系统时，CDM支持对写入云端的文件进行加密。 MD5校验一致性 支持使用MD5校验，检查端到端文件的一致性，并输出校验结果。 脏数据归档 支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据单独归档到脏数据日志中，便于用户查看。并支持设置脏数据比例阈值，来决定任务是否成功。

本章节主要介绍数据仓库服务的产品优势。 DWS数据库内核使用自主研发的GaussDB数据库，兼容PostgreSQL 9.2.4的数据库内核引擎，从单机OLTP数据库改造为企业级MPP（大规模并行处理）架构的OLAP分布式数据库，其主要面向海量数据分析场景。 DWS与传统数据仓库相比，主要有以下特点与显著优势，可解决多行业超大规模数据处理与通用平台管理问题： 易使用 一站式可视化便捷管理 DWS让您能够轻松完成从项目概念到生产部署的整个过程。通过使用DWS 管理控制台，您不需要安装数据仓库软件，也不需要部署数据仓库服务器，就可以在几分钟之内获得高性能、高可靠的企业级数据仓库集群。 您只需点击几下鼠标，就可以轻松完成应用程序与数据仓库的连接、数据备份、数据恢复、数据仓库资源和性能监控等运维管理工作。 与大数据无缝集成 您可以使用标准SQL查询HDFS、对象存储服务（Object Storage Service，OBS）上的数据，数据无需搬迁。 提供一键式异构数据库迁移工具 DWS提供配套的迁移工具，可支持Oracle和Teradata的SQL脚本迁移到DWS 。 高性能 云化分布式架构 DWS采用全并行的MPP架构数据库，业务数据被分散存储在多个节点上，数据分析任务被推送到数据所在位置就近执行，并行地完成大规模的数据处理工作，实现对数据处理的快速响应。 查询高性能，万亿数据秒级响应 DWS后台还通过算子多线程并行执行、向量化计算引擎实现指令在寄存器并行执行，以及LLVM动态编译减少查询时冗余的条件逻辑判断，助力数据查询性能提升。 DWS支持行列混合存储，可以同时为用户提供更优的数据压缩比（列存）、更好的索引性能（列存）、更好的点更新和点查询（行存）性能。 数据加载快 DWS提供了GDS极速并行大规模数据加载工具。

智算一体机集成一站式智算服务平台，提供大模型训练、推理、应用等全栈AI工具链服务。包含数据管理、模型开发与训练、模型评估、模型管理、服务部署等模块。 序号 主要功能/性能 解决客户问题 1 数据集管理 实现创建数据集、导入数据、管理数据和数据标注功能，帮助用户操作管理数据。 2 模型开发与训练管理 & 模型精调 实现快速微调、模型开发管理、训练任务管理、开发环境管理功能。提供多种开发工具和开发环境，也支持用户上传开发环境。客户可根据自身情况，灵活选择模型开发方式，进行模型训练迭代。 3 模型管理 实现导入模型、管理模型、模型评估功能。帮助客户对模型进行版本管理，性能测评。 4 模型部署 实现模型服务的部署、管理和密钥的管理。解决客户在训练迭代大模型后，在线测试模型推理、上下文理解等性能。 5 模型广场 一站式智算服务平台支持多种主流开源大模型API调用，为客户提供在线试用体验。 6 模型服务 实现账户的模型服务开通、应用的模型服务权限管理，支持查看调用情况和告警信息。方便客户管理模型服务权限。 7 运营运维平台 实现用户运营、资源运营、监控调度、配额及权限设置功能。方便客户进行运营运维操作。 8 AI算力 解决AI应用中所需要的算力资源，包含昇腾、英伟达等多样算力。

本章节主要介绍DataArts Studio支持的数据源。 在使用DataArts Studio前，您需要根据业务场景选择符合需求的云服务或数据仓库作为数据湖，用于存储原始数据和数据治理过程中的数据，并进行数据开发、服务和运营。DataArts Studio集成了丰富的数据引擎，支持对接如DLI、DWS、MRS Hive等云上数据湖与数据库云服务，也支持对接企业传统数据库，例如MySQL、PostgreSQL等。 DataArts Studio支持的数据源 DataArts Studio支持的数据源可分为“数据集成组件支持的数据源”和“DataArts Studio其他组件支持的数据源”。 数据集成组件支持的数据源。数据集成组件需要集成源数据到数据湖中，因此支持的数据源范围更广。 数据集成支持的数据源请参见 支持的数据源。注意，如需在数据集成中使用这些数据源，请先在数据集成中创建对应的数据连接，这些数据连接仅限于在数据集成模块中使用。 DataArts Studio其他组件支持的数据源，即为DataArts Studio所支持的数据湖底座。 其他组件支持的数据源如下表所示，数据源的介绍请参见下方数据源简介。注意，如需在其他组件中使用这些数据源，请先前往DataArts Studio管理中心控制台创建数据连接，这些数据连接不能在数据集成模块中使用。 详见下表 DataArts Studio其他组件支持的数据源 数据源类型 管理中心 数据架构 数据开发 数据目录[1] 数据质量[2] 数据服务 数据仓库服务（DWS） √ √ √ √ √ √ 数据湖探索（DLI） √ √ √ √ √ √ MapReduce服务（MRS HBase） √ × × √ × × MapReduce服务（MRS Hive） √ √ √ √ √ × MapReduce服务（MRS Kafka） √ × √ × × × MapReduce服务（MRS Ranger） √ × × × × × MySQL √ × × × √ √ MapReduce服务（MRS Spark） √ × √ × √ × 云数据库RDS（MySQL） √ × √ √ √ √ 云数据库RDS（PostgreSQL） √ √ √ √ √ × 主机连接 √ × √ × × × MapReduce服务（MRS Presto） √ × √ × × × 注释 ： [1] 数据目录： 数据目录组件除了上表中列出的数据源外，还支持采集以下数据源的元数据： 1. 关系型数据库如MySQL/PostgreSQL/达梦数据库DM等（可使用RDS类型连接，采集其元数据） 2. 云搜索服务CSS 3. 图引擎服务GES 4. 对象存储服务OBS [2] 数据质量 ：数据质量组件中的质量作业和对账作业功能不支持对接MRS集群存算分离的场景。

功能模块 功能详情 数据集成 云内置采集系统，支持一键集成存储、管理与监管、安全等多种云产品的日志数据。集成后，可以检索并分析所有收集到的日志。

MapReduce服务 DataArts Studio支持将MapReduce服务（简称MRS）作为数据湖底座，进行数据集成、开发与治理。 云数据仓库服务 DataArts Studio支持将云数据仓库服务（GaussDB(DWS)，简称DWS）作为数据湖底座，进行数据集成、开发、治理与开放。 云数据库服务 DataArts Studio支持将云数据库服务（Relational Database Service，简称RDS）作为作为数据源，进行数据集成、开发与开放。

混合云一体机推理基础版集成一站式云管理平台，提供大模型推理、应用等AI工具链服务。包含Agent开发、模型纳管、知识库挂载、监控等模块。 序号 主要功能 解决客户问题 1 Agent开发 支持用户创建智能问答。 2 知识库 支持用户挂在个人知识库，同时支持管理员创建企业知识库共享给不同的用户组，实现知识库的分权分域。 3 模型纳管 实现多模纳管、模型切换。 4 监控 实现对底层硬件资源的监控及Agent监控。

本章节主要介绍数据治理中心 DataArts Studio主要应用场景。 云上数据平台快速搭建 快速将线下数据迁移上云，将数据集成到云上大数据服务中，并在DataArts Studio的界面中就可以进行快速的数据开发工作，让企业数据体系的建设变得如此简单。 优势 数据集成一键式操作 通过在服务界面配置化操作，可实现线上线下数据快速集成到云数据仓库。 支持多种数仓服务类型 根据需求，可以灵活选择数据服务类型，可以选择DWS服务建数仓，也可以选择MRS服务等数据平台。 安全稳定、降低成本 一站式的服务能力和稳定的数仓服务，让云上数据万无一失；免自建大数据集群、免运维，极大降低企业建设数仓成本。 详见下图：云上数据平台

启用产品集成，并接入安全产品数据后，您可以管理集成列表，并可查看从产品接收的统计结果数量。 查看产品集成列表 1. 登录管理控制台。 2. 在页面左上角单击，选择“安全 > 态势感知（专业版） > 安全产品集成”，进入产品集成管理页面。 3. 选择“集成类型”和“探测状态”。 集成类型分为“检测结果类产品集成”、“调查分析类产品集成”。 探测状态分为“探测正常”、“探测异常”、“从未探测”、“停止探测”。 4. 选择“产品名称”、“产品类型”或“公司名称”筛选条件。 5. 在搜索框输入关键字，单击搜索按钮，即可查看到满足条件的产品。 查看产品集成结果 1. 登录管理控制台。 2. 在页面左上角单击，选择“安全 > 态势感知（专业版） > 安全产品集成”，进入产品集成管理页面。 3. 查询目标产品。 选择“已集成”、集成类型和探测状态，查找符合条件的产品。更多查询方式请参见查看产品集成列表。 4. 查看接收结果数量。 在目标产品列框，可查看从该产品的接收的全部和近一小时接收的结果数量。 单击“查看”，可跳转到“全部结果”管理页面，呈现该产品的检测结果列表。更多检测结果说明，请参见查看全部检测结果。

文件加密 在迁移文件到文件系统时，批量数据迁移支持对写入云端的文件进行加密。 MD5校验一致性 支持使用MD5校验，检查端到端文件的一致性，并输出校验结果。 脏数据归档 支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据自动归档到脏数据日志中，方便用户分析异常数据。并支持设置脏数据比例阈值，来决定任务是否成功。 数据开发：一站式协同开发平台 DataArts Studio数据开发是一个一站式敏捷大数据开发平台，提供可视化的图形开发界面、丰富的数据开发类型（脚本开发和作业开发）、全托管的作业调度和运维监控能力，内置行业数据处理pipeline，一键式开发，全流程可视化，支持多人在线协同开发，支持管理多种大数据云服务，极大地降低了用户使用大数据的门槛，帮助用户快速构建大数据处理中心。 数据开发支持数据管理、数据集成、脚本开发、作业开发、资源管理、作业调度、运维监控等操作，帮助用户轻松完成整个数据的处理分析流程。 数据管理 支持管理DWS、MRS Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 数据集成 与批量数据迁移无缝集成，依托批量数据迁移的强力支撑，支持20多种异构数据源之间可靠高效的数据传输，轻松实现多数据源集成到数据仓库。

功能模块 功能详情 安全产品集成 通过集成安全防护产品，接入安全产品检测数据，管理检测结果的数据来源，支持查看传输数据量，管理数据上报健康状态。

本章节主要介绍如何创建数据治理中心DataArts Studio的增量包。 DataArts Studio采用基础包+增量包的模式。如果创建的基础包无法满足您的使用需求，您可以额外创建增量包。在创建增量包前，请确保您已创建DataArts Studio实例。 当前DataArts Studio支持如下增量包： 批量数据迁移增量包 批量数据迁移集群提供数据上云和数据入湖的集成能力，全向导式配置和管理，支持单表、整库、增量、周期性数据集成。DataArts Studio实例中不包含数据集成集群，如果您需要使用数据集成的功能，需要创建批量数据迁移增量包。 批量数据迁移增量包支持通过按需计费方式购买：按需计费方式比较灵活，可以即开即停，按实际使用时长计费。 数据服务专享集群增量包 数据服务定位于标准化的数据服务平台，提供一站式数据服务开发、测试部署能力，实现数据服务敏捷响应，降低数据获取难度，提升数据消费体验和效率，最终实现数据资产的变现。使用数据服务专享版需要在购买DataArts Studio基础包实例后，购买专享版集群增量包。 按需计费方式创建数据集成集群 购买“按需计费”增量包，系统会按照您所选规格自动创建一个数据集成CDM集群。 1. 单击已开通实例卡片上的“创建增量包”。 2. 进入创建DataArts Studio增量包页面，参见表1 进行配置。 表1 配置数据集成的增量包 参数 说明 增量包类型 选择批量数据迁移增量包。 计费方式 选择按需计费。 可用区 第一次DataArts Studio实例或增量包时，可用区无要求。 再次创建DataArts Studio实例或增量包时，是否将资源放在同一可用区内，主要取决于您对容灾能力和网络时延的要求。 l如果您的应用需要较高的容灾能力，建议您将资源部署在同一区域的不同可用区内。 l如果您的应用要求实例之间的网络延时较低，则建议您将资源创建在同一可用区内。 工作空间 选择需要使用批量数据迁移增量包的工作空间。只有在关联了工作空间后，才能在此工作空间中使用创建的CDM集群。 企业项目 当关联了多个工作空间后，需要为CDM集群指定一个企业项目。 集群名称 自定义数据集成集群名称。 实例类型 目前数据集成集群支持以下部分规格供用户选择： lcdm.large：8核CPU、16G内存的虚拟机，最大带宽/基准带宽为3/0.8 Gbps，集群作业并发数上限为16。 lcdm.xlarge：16核CPU、32G内存的虚拟机，最大带宽/基准带宽为10/4 Gbps，集群作业并发数上限为32，适合使用10GE高速带宽进行TB级以上的数据量迁移。 lcdm.xlarge.dec：16核CPU、32G内存的虚拟机，最大带宽/基准带宽为10/4 Gbps，集群作业并发数上限为32，适合使用10GE高速带宽进行TB级以上的数据量迁移。 l购买DataArts Studio赠送的4核CPU、8G内存的虚拟机，仅支持作业单并发运行。 虚拟私有云 DataArts Studio实例中的数据集成CDM集群所属的VPC。VPC即虚拟私有云，是通过逻辑方式进行网络隔离，提供安全、隔离的网络环境。 如果DataArts Studio实例或CDM集群需连接云上服务（如DWS、MRS、RDS等），则您需要确保CDM集群与该云服务网络互通。同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通，如果同虚拟私有云而子网或安全组不同，还需配置路由规则及安全组规则。 VPC、子网、安全组的详细操作，请参见《虚拟私有云用户指南》。 说明 目前CDM实例创建完成后不支持切换虚拟私有云，请谨慎选择所属虚拟私有云。 子网 DataArts Studio实例中的数据迁移CDM集群所属的子网。通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。 如果DataArts Studio实例或CDM集群需连接云上服务（如DWS、MRS、RDS等），则您需要确保CDM集群与该云服务网络互通。同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通，如果同虚拟私有云而子网或安全组不同，还需配置路由规则及安全组规则。 VPC、子网、安全组的详细操作，请参见《虚拟私有云用户指南》。 说明 目前CDM实例创建完成后不支持切换子网，请谨慎选择所属子网。 安全组 DataArts Studio实例中的数据集成CDM集群所属的安全组。安全组是一组对弹性云主机的访问规则的集合，为同一个VPC内具有相同安全保护需求并相互信任的弹性云主机提供访问策略。 如果DataArts Studio实例或CDM集群需连接云上服务（如DWS、MRS、RDS等），则您需要确保CDM集群与该云服务网络互通。同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通，如果同虚拟私有云而子网或安全组不同，还需配置路由规则及安全组规则。 VPC、子网、安全组的详细操作，请参见《虚拟私有云用户指南》。 说明 目前CDM实例创建完成后不支持切换安全组，请谨慎选择所属安全组。 IPv6双栈支持 当配置的子网支持IPv6后，可选择是否开启IPv6双栈支持。 IPv6双栈后，集群内网IP支持IPv4和IPv6，可通过IPv4或IPv6内网地址访问集群。 说明 开启IPv6双栈后，仅支持选择已开启IPv6网段的子网。如果待选择的子网未开启IPv6网段，则需要在虚拟私有云VPC服务中开启。 仅支持为内网IP启用IPv6双栈，暂不支持为公网IP启用IPv6双栈。 说明 集群创建好以后不支持修改规格，如果需要使用更高规格，需要重新创建。 3. 单击“立即创建”，确认规格后单击“创建”。 4. 创建成功后，即可返回对应的工作空间查看已创建的数据集成集群。

一站式智算服务平台为您提供优质的服务体验,本文带您了解平台产品优势。 全流程开发工具 提供训练数据管理、模型开发（代码式开发工具、预置大模型、预置开发环境）、模型训练、模型精调、模型管理、模型评估、服务部署到模型服务调用的全链路功能。集成分布式训练调度技术、多种训练加速方法和高性能存储，支撑大模型训练，并极大降低训练和应用模型成本、缩短训练时长。 兼顾各类用户需求 面向需要开发复杂模型的用户，提供完整的代码式开发工具、预置大模型、预置开发环境等，满足用户的各种复杂模型开发需求。面向希望能快速、便捷建模的用户，则充分利用大模型微调训练的特点，提供快速微调工具，只需选择数据、配置参数即可完成大模型微调，降低大模型训练的使用门槛。 部署快捷，适配广泛 集成分布式算力调度、模型并行推理和多种运算加速能力，提升模型推理性能，实现推理服务的快捷部署。同时，适配多种模型结构，灵活支持用户各类复杂推理应用需求。 集成多种AI框架 集成多种AI框架，包括国产AI框架，支持各种主流大模型。 安全可信 符合数据监管要求，不设置数据埋点，不收集存储用户的入参和出参数据，从根本上保证了用户的数据隐私安全。

支持多种数据库工具 DWS 提供了以下几款自研工具，用户可以在DWS 管理控制台下载相关的工具包。 gsql工具 它是一款运行在Linux操作系统的命令行SQL客户端工具，用于连接DWS 集群中的数据库，并对数据库进行操作和维护。 Data Studio工具 它是一款运行在Windows操作系统上的图形界面SQL客户端工具，用于连接DWS 集群中的数据库、管理数据库和数据库对象，编辑、运行、调试SQL脚本，查看执行计划等。 GDS工具 它是DWS 提供的数据服务工具，通过和外表机制的配合，实现数据的高速导入导出。 GDS工具包需要安装在数据源文件所在的服务器上，数据源文件所在的服务器称为数据服务器，也称为GDS服务器。 DSC SQL语法迁移工具 DSC（Database Schema Convertor）是一款运行在Linux或Windows操作系统上的命令行工具，致力于向客户提供简单、快速、可靠的应用程序SQL脚本迁移服务，通过内置的语法迁移逻辑解析源数据库应用程序SQL脚本，并迁移为适用于DWS 数据库的应用程序SQL脚本。 DSC支持迁移Teradata、Oracle、Netezza、MySQL和DB2数据库的SQL脚本。 gsdump和gsdumpall gsdump支持导出单个数据库或其内的对象，而gsdumpall支持导出集群中所有数据库或各库的公共全局对象。 通过导入工具将导出的元数据信息导入至需要的数据库，可以完成数据库信息的迁移。 gsrestore 在数据库迁移场景下，支持使用gsrestore工具将事先使用gsdump工具导出的文件格式，重新导入DWS集群，实现表定义、数据库对象定义等元数据的导入。

本节简要介绍OOS数据迁移工具。 OOS数据迁移工具是一款将数据迁移至OOS的工具。您可以将迁移工具部署在本地服务器或云主机上，将其它云存储（阿里云、腾讯云、华为云、AmazaonS3）的数据迁移到OOS、本地数据迁移到OOS、或者进行OOS各资源池间数据迁移。 OOS数据迁移工具具有以下特点： 支持断点续传。迁移过程中，如果出现中断，重新启动工具后，可以继续执行迁移工作。已经迁移完成的部分数据，根据isSkipExist参数设置进行上传或跳过。 支持流量控制。迁移过程中，可以动态调整从源端获取数据的速率。 支持迁移指定前缀的文件。 支持文件并行下载和上传。 支持根据迁移工具日志（迁移成功日志、迁移失败日志、迁移忽略日志）进行文件迁移。

集成类型 集成的服务名称 请求响应（RequestComplete） 等待系统回调（WaitForSystemCallback） 等待任务令牌（WaitForTaskToken） 优化集成 函数计算 yes no yes 优化集成 云工作流（CloudFlow） yes yes yes 优化集成 消息服务robotmsg yes no yes 优化集成 HTTP yes no yes 优化集成 对象存储 ZOS yes no no 普通集成 所有天翼云产品OpenAPI yes no no

DataArts Studio增量包数据集成资源组： 销售品名称 CPU核（V） 计费方式 标准资费（元/小时） :::: 数据集群资源组16CUs实例规格 16 按需 5.20 数据集群资源组64CUs实例规格 64 按需 20.78 数据集群资源组96CUs实例规格 96 按需 31.17 数据集群资源组128CUs实例规格 128 按需 41.56

云迁移服务CMS集成哪些工具？ 云迁移服务工具中心集成，服务器迁移服务（CMSSMS）、数据库迁移服务（CMSDMS）、 数据迁移工具（CMSZMS）以及异构迁移相关工具。 资源导入完成评估后，该如何创建资源？ 资源评估导入成功，您可以点击左侧导航栏选择资源规划点击【迁移组】按钮，进入[迁移组]界面，您需要依次创建迁移组与迁移计划，用户可通过计划详情页面点击【资源创建】按钮依次配置相应资源信息。 云迁移如何使用，有何流程指导？ 云迁移使用主要分为三步骤，迁移评估、资源规划、迁移管理。 迁移评估涉及迁移系统、成本评估、资源管理、拓扑分析整理关键流程如图所示： 云迁移资源规划是指在云迁移项目开始之前进行的一项综合性资源规划工作，它旨在帮助企业合理地分配和利用资源，辅助降低迁移使用门槛。它主要涵盖了以下几个方面： 创建迁移组、迁移计划、资源匹配、资源创建拓扑分析整理流程如图所示： 云迁移迁移管理是一项重要的工作内容，旨在帮助企业顺利地完成迁移项目。它主要涵盖了以下几个方面： 工具管理、调度管理、进度大盘、迁移报告拓扑分析整理流程如图所示：

普通集成是指云工作流通过天翼云开放平台OpenAPI直接调用云产品对外提供的服务接口，未经特殊处理或优化。云工作流可通过调用弹性计算、存储服务、数据库、容器等多个天翼云服务的接口，实现业务流程编排。本文介绍普通集成的操作步骤和支持普通集成的天翼云服务列表。 操作步骤 本文以集成天翼云对象存储（zos）的getOssServiceStatus API为例，说明普通集成的操作流程，具体步骤如下： 1. 登录云工作流控制台 打开云工作流控制台，在顶部菜单栏选择目标地域。 2. 创建工作流 在工作流列表页面，单击创建工作流。 3. 配置工作流 在弹出的创建工作流对话框中： 选择使用空白画布。 选择工作流模式（标准或快速）。 设置工作流名称和描述。 4. 设置流程参数 在云工作流设计器： 单击工作流配置，选择或设置流程执行角色。 若已创建IAM角色，可直接选择已有角色。 若首次使用，创建IAM角色并授权，详见创建执行角色。 5. 配置任务 在工作流设计器界面： 在任务浏览区的操作 页签找到目标API（如zos:getOssServiceStatus），拖曳至流程图。 在右侧基本配置区设置参数，填入Query变量。 保存工作流，生成的yaml示例代码如下： plaintext specVersion: "0.8" version: "1.0" name: "commonintergration" start: "getOssServiceStatus" states: name: "getOssServiceStatus" type: "Operation" actions: functionRef: type: "ctapi" arguments: statusType: "zos:getOssServiceStatus" ctapictrn: "zos:global:getOssServiceStatus:9262" capacityId: 9262 method: "GET" path: "/v4/oss/getossservicestatus" queryParameters: regionID: "bb9fdb42056f11eda1610242ac110002" body: {} actionExecuteMode: "RequestComplete" end: true 字段解析： type ：固定为ctapi，表示使用普通集成方式。 statusType ：调用的API名称，如zos:getOssServiceStatus，用于查询zos开通状态。 ctapictrn：自动生成字段，集成服务的标准ctrn。 method：调用的API方法。 path：调用的API路径。 actionExecuteMode ：集成模式，默认为RequestComplete，详见服务集成模式。 6. 执行工作流 单击右上角执行 ，然后单击启动执行 ，在执行工作流面板中填写执行名称和输入参数。 单击确定开始执行。 7. 查看执行结果 执行成功后，在执行记录进入执行详情，查看事件信息和执行结果。

SOC工具与技术 安全信息和事件管理（SIEM） SOC中最重要的工具之一是基于云的SIEM解决方案，它将来自多个安全解决方案和日志文件的数据聚合在一起。借助威胁情报和AI，这些工具帮助SOC检测不断演化的威胁、加快事件响应速度并先于攻击者行动。 安全编排、自动化和响应（Security Orchestration, Automation and Response，SOAR） SOAR可自动执行定期和可预测的扩充、响应和修正任务，从而空出时间和资源来进行更深入的调查和搜寻。 扩展检测和响应（Extended Detection and Response，XDR） XDR是一种服务型软件工具，它通过将安全产品和数据集成到简化的解决方案中来提供全面、更优的安全性。企业/组织使用这些解决方案在多云混合环境中主动有效地应对不断演化的威胁环境和复杂的安全挑战。与终端节点检测和响应 (EDR) 等系统相比，XDR扩大了安全范围，从而跨更广泛的产品集成了保护，包括企业/组织的终端节点、服务器、云应用程序和电子邮件等。在此基础中，XDR将预防、检测、调查和响应相结合，提供可见性、分析、相关事件警报和自动化响应来增强数据安全并对抗威胁。 防火墙 防火墙会监视进出网络的流量，根据SOC定义的安全规则允许或阻止流量。 日志管理 日志管理解决方案通常是SIEM的一部分，它会记录来自企业/组织中运行的每个软件、硬件和客户端的所有警报。这些日志提供了网络活动的相关信息。 漏洞管理 漏洞管理工具会扫描网络来帮助识别攻击者可能利用的任何薄弱点。 用户和实体行为分析（User and Entity Behavior Analytics，UEBA） 用户和实体行为分析构建在许多新式安全工具之中，它使用AI来分析从各种设备收集的数据，来为每个用户和实体建立正常活动的基线。当事件偏离基线时，会标记该事件供进一步分析。

兼容性与集成 搜索引擎的 SQL 支持可以与各种 BI 工具、数据可视化平台和 ETL 流程无缝集成。这意味着用户可以在现有的 SQL 工作流中直接利用搜索引擎，执行实时分析和报告生成。 实时分析 通过 SQL 查询，用户可以对实时索引的数据进行分析，从而在海量数据中快速提取有价值的信息。这对于需要实时监控和数据洞察的业务场景，显得尤为重要。 技术实现与应用 使用搜索引擎的 SQL 支持非常简单。用户可以通过 OpenSearch Dashboards / Kibana 提供的 SQL 工作台直接运行 SQL 查询，或通过 REST API 接口在应用程序中集成 SQL 查询。搜索引擎将这些 SQL 查询转换为原生的查询语句，并返回结果。 搜索引擎还支持 SQL 的多种格式输出，包括 JSON、CSV、TXT 等，方便用户在不同场景中使用查询结果。此外，用户可以使用 SQL 进行复杂的聚合查询和时间序列分析，充分利用搜索引擎强大的数据处理能力。 操作示例 我们以Elasticsearch为例。 创建索引： PUT employees { "mappings": { "properties": { "name": { "type": "text" }, "age": { "type": "integer" }, "position": { "type": "text" }, "department": { "type": "text" } } } } 插入数据： POST employees/doc { "name": "John Doe", "age": 30, "position": "Software Engineer", "department": "Engineering" } 使用SQL进行查询： POST opendistro/sql { "query": "SELECT FROM employees WHERE age > 25" } 返回结果： { "schema": [ { "name": "name", "type": "text" }, { "name": "position", "type": "text" }, { "name": "department", "type": "text" }, { "name": "age", "type": "integer" } ], "datarows": [ [ "John Doe", "Software Engineer", "Engineering", 30 ] ], "total": 1, "size": 1, "status": 200 } 通过支持 SQL，搜索引擎极大地扩展了其数据查询与分析的能力，使用户能够在一个平台上利用标准 SQL 语法处理大规模的非结构化数据。无论是在降低学习门槛、增强数据分析能力，还是在兼容现有 SQL 工作流与实时数据分析等方面，搜索引擎的 SQL 支持都为用户提供了一个强大而灵活的数据操作工具。

功能 标准版 企业版 高可用 Mirror HA Mirror HA 数据压缩 支持 支持 SQL Profiler 支持 支持 列式索引 支持 支持 表/索引分区 Microsoft SQL Server 2014支持 支持 变更数据捕获（Change Data Capture，简称CDC） 支持 支持 在线DDL 不支持 支持 并行检索操作 不支持 支持 分区表并行度调整 不支持 支持 透明数据加密（Transparent Data Encryption，简称TDE） 不支持 支持 高级R语言集成 不支持 支持

功能 自研向量检索引擎集成了暴力检索、图索引（HNSW）、乘积量化、IVFHNSW等多种向量索引，支持欧式、内积、余弦、汉明等多种相似度计算方式，召回率和检索性能均优于开源引擎。能够满足高性能、高精度、低成本、多模态等多种应用场景及需求。 向量检索支持原生Elasticsearch的所有能力，包括分布式、多副本、错误恢复、快照、权限控制等；兼容所有原生Elasticsearch生态，包括集群监测工具cerebro，可视化工具kibana，实时数据采集工具logstash等；提供Python/Java/Go/C++等多种客户端语言支持。 约束限制 仅7.6.2版本的集群支持向量检索。 向量检索插件涉及较高的内存计算，内存要求比普通索引高，建议集群规格配置为内存优化型的计算规格。

本文带您了解AI Store四大类服务的应用场景。 算力服务 智能算力 聚焦人工智能、大模型训练、科研仿真等“高并发、高浮点、高宽带”的需求，提供GPU/TPU/NPU等异构加速资源，助力AI创新从“可用”走向“好用”。 主要面向客户：大模型预训练、AIGC、多模态理解等AI企业与算法公司，高校与科研院所，自动驾驶团队以及医疗影像AI厂商等客户。 通用算力 面向Web服务、ERP、数据库、开发测试、办公协同等常规业务，以“按需付费、秒级开通”模式提供高性价比的基础算力。 主要面向客户：中小企业、初创团队、政府及事业单位（如一网通办、公共数据平台、政务云开发测试环境）等客户。 模型服务 模型推理 提供高性能的模型调用服务，可以通过标准的API接口将平台提供的大模型服务集成到自己的业务系统中，提供模型推理一站式部署服务。 主要面向用户：各种软件开发商，特别是行业软件开发商，以及科研院所、大专院校和教育机构、政府、金融机构、工业企业、科技单位、医院等行业客户。 模型应用 大模型与插件工具的结合能够有效拓展其在复杂任务中的实用性，支持接入私有知识库增强领域应答，集成联网搜索获取实时信息。 主要面向用户：需要组合模型和工具提供智能办公、智能客服、智能运维能力以及业务主要为知识密集型场景和特定内容生成的企业。 AI应用服务 搭建专属的智能体应用：基于应用广场筛选快速定位所需行业应用，一键部署，简化传统应用安装与配置的复杂流程。实现应用部署、运维和治理的全生命周期管理能力。 主要面向客户：需要快速集成AI能力形成垂直SaaS服务的行业服务集成商，电商/新媒体运营团队，初创公司与个人开发者等客户。 MCP服务 MCP（Model Context Protocol）即模型上下文协议，它为应用程序与大语言模型（LLM）之间的数据、工具和上下文交互提供了统一的接口和标准。 AI Store的MCP市场涵盖内容生成、网页搜索、效率工具等多种类型，全面支撑企业各类智能应用场景。以网页搜索为例，智能体可借助MCP网页搜索功能，通过自然语言提问，就能获取最新的网络信息。 主要面向客户：AI开发者、企业用户、科研人员和普通个人用户等，更有效的利用AI大模型完成各种任务。

产品架构 智算一体机产品架构包括算力层、平台层、模型层，内容囊括了硬件+训推工具+预置模型+典型应用。 算力层 采用先进的硬件架构，集成高性能计算服务器，支持多种AI芯片，如NVIDIA、昇腾等主流品牌。裸金属直接部署容器运行环境，无虚拟化开销，释放硬件最大效能。 平台层 内置端到端大模型“训推用”全链路工具平台，涵盖数据管理、模型开发与训练、模型评估、模型管理、服务部署等模块，为用户提供模型训练、推理、应用全套工具。 模型层 预置丰富的基座大模型和数据集，支持国产化算力，提供算子加速与模型加速，极大提升大模型训练推理效率。 产品计费 产品按照不同的规格型号进行收费，订购时长为3年～5年，更多信息请见计费模式。

训推服务为您提供优质的服务体验,本文带您了解平台产品优势。 简单易用 开通后无需额外的配置或调试，3步操作实现零代码多机多卡微调，减少安装组件、下载模型和数据的重复操作。 功能全面 集成多种加速及并行技术，满足模型训练推理业务需求。支持断点续训、优雅容错等管理功能。 性能优异 万卡算力集群纳管，训推综合性能提升30%。相对于裸机运行，稳定运行时长提升50%。 生态开放 引入20+生态大模型、闭源模型和电信大模型。专业团队开发模型及算子库，助力客户完成昇腾迁移适配。 全流程开发工具 提供训练数据管理、模型开发（代码式开发工具、预置大模型、预置开发环境）、模型训练、模型精调、模型管理、模型评估、服务部署到模型服务调用的全链路功能。集成分布式训练调度技术、多种训练加速方法和高性能存储，支撑大模型训练，并极大降低训练和应用模型成本、缩短训练时长。 兼顾各类用户需求 面向需要开发复杂模型的用户，提供完整的代码式开发工具、预置大模型、预置开发环境等，满足用户的各种复杂模型开发需求。面向希望能快速、便捷建模的用户，则充分利用大模型微调训练的特点，提供快速微调工具，只需选择数据、配置参数即可完成大模型微调，降低大模型训练的使用门槛。

资源类型 包月标准价格 按需标准价格 备注 容灾管理中心 6000元/月/个 9元/小时/个 1. 若购买故障演练包，须与容灾管理中心配套采购。 2. 一次故障演练：指用户可通过可视化编排界面构建完整演练流程，支持自定义预案阶段划分，每个阶段可集成脚本任务、系统内置任务、人工任务等多类型操作任务，形成端到端的自动化演练方案。 故障演练包 800元/月/个 1. 若购买故障演练包，须与容灾管理中心配套采购。 2. 一次故障演练：指用户可通过可视化编排界面构建完整演练流程，支持自定义预案阶段划分，每个阶段可集成脚本任务、系统内置任务、人工任务等多类型操作任务，形成端到端的自动化演练方案。 主机高可用 6800元/年/个 1. 所列资源（包括主机高可用、持续数据保护、数据定时灾备、数据库双活、文件存储数据灾备、对象存储数据灾备）均采用许可制收费模式。费用仅涵盖数据同步工具的使用权，不包含服务运行所需的基础设施资源（如计算实例、存储空间、网络配置等），该类资源需由用户根据业务需求自行准备。 持续数据保护 6900元/年/个 1. 所列资源（包括主机高可用、持续数据保护、数据定时灾备、数据库双活、文件存储数据灾备、对象存储数据灾备）均采用许可制收费模式。费用仅涵盖数据同步工具的使用权，不包含服务运行所需的基础设施资源（如计算实例、存储空间、网络配置等），该类资源需由用户根据业务需求自行准备。 数据定时备份 1700元/年/TB 1. 所列资源（包括主机高可用、持续数据保护、数据定时灾备、数据库双活、文件存储数据灾备、对象存储数据灾备）均采用许可制收费模式。费用仅涵盖数据同步工具的使用权，不包含服务运行所需的基础设施资源（如计算实例、存储空间、网络配置等），该类资源需由用户根据业务需求自行准备。 数据库双活 47000元/年/个 1. 所列资源（包括主机高可用、持续数据保护、数据定时灾备、数据库双活、文件存储数据灾备、对象存储数据灾备）均采用许可制收费模式。费用仅涵盖数据同步工具的使用权，不包含服务运行所需的基础设施资源（如计算实例、存储空间、网络配置等），该类资源需由用户根据业务需求自行准备。 文件存储数据灾备 14500元/年/个 1. 所列资源（包括主机高可用、持续数据保护、数据定时灾备、数据库双活、文件存储数据灾备、对象存储数据灾备）均采用许可制收费模式。费用仅涵盖数据同步工具的使用权，不包含服务运行所需的基础设施资源（如计算实例、存储空间、网络配置等），该类资源需由用户根据业务需求自行准备。 对象存储数据灾备 3700元/年/TB 1. 所列资源（包括主机高可用、持续数据保护、数据定时灾备、数据库双活、文件存储数据灾备、对象存储数据灾备）均采用许可制收费模式。费用仅涵盖数据同步工具的使用权，不包含服务运行所需的基础设施资源（如计算实例、存储空间、网络配置等），该类资源需由用户根据业务需求自行准备。

本文带您了解训推服务的功能特性。 简化训练和部署的复杂流程 在传统的AI模型研发流程中，科研人员需要经历一系列繁琐的环节，包括数据准备、模型构建、模型训练、模型评估、模型优化以及模型部署等。这些环节不仅涉及数据工程、模型框架、算法开发、模型加速等多个技术领域，还要求科研人员熟练使用数据治理工具、数据标注工具、数据管理工具、数据读取工具等一系列专业工具组件。同时，他们还需处理这些工具与硬件环境、操作系统环境的适配问题，以及管理众多的依赖环境包。这一复杂过程不仅耗时耗力，而且大大提高了模型研发的使用成本和复杂程度。 训推智算服务平台通过整合全链路的工具组件，实现了训练与部署流程的极大简化，为科研人员提供了一站式解决方案。用户无需再为繁杂的工具和环境配置而烦恼，只需专注于模型的核心研发工作。智算开发平台不仅降低了大模型开发的使用门槛，更让AI技术的普及和应用变得更加便捷和高效。 开箱即用，降低调优成本 大模型场景下训练数据处理和使用的过程尤为复杂。硬件层面，需确保编译环境、框架工具、依赖资源包等与硬件完美适配。软件层面，需保障操作系统、深度学习框架、编译器等软件工具的顺畅运行。针对大模型的训练和调优更是加剧了整个过程的复杂程度，同时伴随着大量的时间和算力资源的消耗。传统训练调优工具往往无法满足要求。 训推智算服务平台为用户带来了便利，通过平台，用户无需进行任何额外的配置或调试，开箱即用。平台预置了丰富的预训练模型和镜像环境，针对不同场景提供了多样化预置数据集，确保用户能够迅速投入工作。同时，平台集成了大模型微调训练工具，适用于专属大模型的快速训练。此外，平台还支持分布式训练和DeepSpeed加速框架，提供断点续训功能，支持小样本微调，使用户能够轻松定制专属模型，极大地降低了调优成本，提高了研发效率。

本文带您了解一站式智算服务平台的功能特性。 简化训练和部署的复杂流程 在传统的AI模型研发流程中，科研人员需要经历一系列繁琐的环节，包括数据准备、模型构建、模型训练、模型评估、模型优化以及模型部署等。这些环节不仅涉及数据工程、模型框架、算法开发、模型加速等多个技术领域，还要求科研人员熟练使用数据治理工具、数据标注工具、数据管理工具、数据读取工具等一系列专业工具组件。同时，他们还需处理这些工具与硬件环境、操作系统环境的适配问题，以及管理众多的依赖环境包。这一复杂过程不仅耗时耗力，而且大大提高了模型研发的使用成本和复杂程度。 一站式智算服务平台通过整合全链路的工具组件，实现了训练与部署流程的极大简化，为科研人员提供了一站式解决方案。用户无需再为繁杂的工具和环境配置而烦恼，只需专注于模型的核心研发工作。智算开发平台不仅降低了大模型开发的使用门槛，更让AI技术的普及和应用变得更加便捷和高效。 开箱即用，降低调优成本 大模型场景下训练数据处理和使用的过程尤为复杂。硬件层面，需确保编译环境、框架工具、依赖资源包等与硬件完美适配。软件层面，需保障操作系统、深度学习框架、编译器等软件工具的顺畅运行。针对大模型的训练和调优更是加剧了整个过程的复杂程度，同时伴随着大量的时间和算力资源的消耗。传统训练调优工具往往无法满足要求。 一站式智算服务平台为用户带来了便利，通过平台，用户无需进行任何额外的配置或调试，开箱即用。平台预置了丰富的预训练模型和镜像环境，针对不同场景提供了多样化预置数据集，确保用户能够迅速投入工作。同时，平台集成了大模型微调训练工具，适用于专属大模型的快速训练。此外，平台还支持分布式训练和DeepSpeed加速框架，提供断点续训功能，支持小样本微调，使用户能够轻松定制专属模型，极大地降低了调优成本，提高了研发效率。