本章节主要介绍MySQL数据迁移到MRS Hive分区表。 MapReduce服务（MapReduce Service，简称MRS）提供企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，适用于企业海量数据分析。 其中Hive提供类SQL查询语言，帮助用户对大规模的数据进行提取、转换和加载，即通常所称的ETL（Extraction，Transformation，and Loading）操作。对庞大的数据集查询需要耗费大量的时间去处理，在许多场景下，可以通过建立Hive分区方法减少每一次扫描的总数据量，这种做法可以显著地改善性能。 Hive的分区使用HDFS的子目录功能实现，每一个子目录包含了分区对应的列名和每一列的值。当分区很多时，会有很多HDFS子目录，如果不依赖工具，将外部数据加载到Hive表各分区不是一件容易的事情。云数据迁移服务（CDM）可以请轻松将外部数据源（关系数据库、对象存储服务、文件系统服务等）加载到Hive分区表。 下面使用CDM将MySQL数据导入到MRS Hive分区表为例进行介绍。 操作场景 假设MySQL上有一张表tripdata，保存了自行车骑行记录，里面有起始时间、结束时间，起始站点、结束站点、骑手ID等信息，tripdata表字段定义如下图“MySQL表字段”所示。 使用CDM将MySQL中的表tripdata导入到MRS Hive分区表，流程如下： 1.在MRS Hive上创建Hive分区表 2.创建CDM集群并绑定EIP 3.创建MySQL连接 4.创建Hive连接 5.创建迁移作业

本章节介绍服务发现范围 概述 应用服务网格默认发现所有命名空间的服务（即使服务没有注入sidecar），即集群内所有的服务信息都会全量推送到所有数据面，任何服务数据的变动也会触发集群范围的全量服务发现数据推送，控制面和数据面的资源消耗都会比较大；通过服务发现范围配置可以限定服务网格只发现指定范围的服务数据，减少不必要的资源消耗。 配置说明 通过服务发现范围配置规则匹配目标命名空间，服务网格将只发现目标命名空间下的服务。当前支持两种匹配方式： 标签选择器：通过标签选择器精确匹配目标命名空间的标签。 表达式匹配：通过标签值和目标表达式进行匹配，当前支持的匹配模式如下。 匹配操作 举例 说明 In key: appoperator: Invalues: cassandra spark app标签值为cassandra或spark时匹配。 NotIn key: appoperator: NotInvalues: cassandra spark app标签值不等于cassandra且不等于spark时匹配。 Exists key: appoperator: Exists app标签存在时匹配。 DoesNotExist key: appoperator: DoesNotExist app标签不存在时匹配。 配置服务发现范围 进入应用服务网格控制台网格实例详情页，选择网格优化中心> 服务发现范围 菜单，默认不存在服务发现范围配置，如下图： 点击新增规则可以创建一条匹配规则，每条规则由一组标签选择器和匹配表达式组成，必须同时满足一条规则内的标签选择器和匹配表达式才算匹配当前规则（AND关系），多条规则之间是OR关系，一个命名空间匹配一条规则即可被选中。 功能验证 默认情况下服务发现范围配置为空，我们通过envoy admin接口导出配置数据，可以看到cds数据如下： 更新服务发现范围配置，只发现demo命名空间下的服务，如下： 再次导出配置数据，可以看到cds数据只包含demo命名空间下的服务以及部分ServiceEntry产生的配置：

本章节主要介绍DataArts Studio的开发一个Hive SQL作业流程。 本章节介绍如何在数据开发模块上进行Hive SQL开发。 场景说明 数据开发模块作为一站式大数据开发平台，支持多种大数据工具的开发。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能；可以将SQL语句转换为MapReduce任务进行运行。 环境准备 已开通MapReduce服务MRS，并创建MRS集群，为Hive SQL提供运行环境。 MRS集群创建时，组件要包含Hive。 已开通数据集成CDM，并创建CDM集群，为数据开发模块提供数据开发模块与MRS通信的代理。 CDM集群创建时，需要注意：虚拟私有云、子网、安全组与MRS集群保持一致，确保网络互通。 建立Hive的数据连接 开发Hive SQL前，我们需要在“管理中心 > 数据连接”模块中建立一个到MRS Hive的连接，数据连接名称为“hive1009”。 关键参数说明： 集群名：已创建的MRS集群。 绑定Agent：已创建的CDM集群。 开发Hive SQL脚本 在“数据开发 > 脚本开发”模块中创建一个Hive SQL脚本，脚本名称为“hivesql”。在编辑器中输入SQL语句，通过SQL语句来实现业务需求。 开发脚本 关键说明： 上图中的脚本开发区为临时调试区，关闭脚本页签后，开发区的内容将丢失。您可以通过“提交”来保存并提交脚本版本。 数据连接：建立Hive的数据连接创建的连接。

云原生网关触发器能够让您网关的流量导去函数计算后端，能够支持更丰富的请求配置，如请求方法、请求头、请求参数等 前提条件 已创建函数。 已创建云原生网关。 已创建函数计算服务的终端节点（VPCE）。 创建步骤请查看创建VPCE，其中”虚拟私有云“选择云原生网关所属的VPC，”服务“选择函数计算服务cn.ctyun.cnhuadong1.faas 注意 函数计算服务在各资源池的名称（cn.ctyun.cnhuadong1.faas ）可能有差别，选择后缀为faas的即可，上述示例是在华东一资源池的名称 操作步骤 1. 登录函数计算控制台，点击目标函数，进入函数详情。 2. 选择详情下顶部的配置选项卡。 3. 在配置选项卡中，选择左边的触发器选项卡。 4. 点击创建触发器 ，在弹出的右抽屉中选择云原生网关触发器，配置参数解释如下 配置项 操作 示例 触发器类型 选择云原生触发器。 云原生触发器 名称 填写自定义的触发器名称。 cgwtrigger 版本或别名 默认值为LATEST，支持选择任意函数版本或函数别名。 LATEST 网关实例 选择已创建的云原生网关实例。 域名 选择网关实例已关联的域名。 mydomain.com 匹配路径 匹配请求的path（不含query参数），当前支持前缀匹配和精确匹配。末尾使用''代表使用前缀匹配。 /my/path 请求方法 匹配请求中的HTTP方法，可多选，不选则匹配所有HTTP方法 优先级 当多个路由同时匹配一个请求时，路径匹配深度较大的路由优先；路径匹配相同的情况下，路由优先级高（数字大）的优先匹配。 0 请求头 匹配请求中的HTTP header。 请求参数 匹配请求中的HTTP query参数。 触发器启用状态 创建触发器后是否立即启用。默认选择开启，即创建触发器后立即启用触发器。 启用

本节主要介绍数据迁移类问题 DRS上找不到GeminiDB Redis链路 当前DRS中GeminiDB Redis入云链路采用白名单机制，需要提工单联系DRS同事开通。 报错ERR the worker queue is full, and the request cannot be excecuted 迁移流量过大导致内部队列满，您可以在管理控制台右上角，选择“工单 > 新建工单”，联系技术支持进行处理。 报错ERR the request queue of io thread is full, and the request cannot be excecuted 迁移流量过大导致内部队列满，您可以在管理控制台右上角，选择“工单 > 新建工单”，联系技术支持进行处理。 报错read error, please check source redis log or network 源端发送缓冲区太小，需修改源端redis参数配置，该参数clientoutputbufferlimit可热生效。 报错slavepingthread.ccThreadMain90: error: Ping master error 执行pikaport时指定的IP填写了 127.0.0.1, 需要配置为其它IP，比如eth0的IP。 同步状态正向迁移速度太慢 修改redisshake参数source.rdb.parallel，可调整迁移并发度，默认为0，按db和分片数确定。 同步状态正向迁移速度太快，报错：ERR server reply timeout, some responses may lose, but requests have been executed 修改参数parallel，可调整全量过程传输RDB的并发度，默认为32。

容灾资源是否需要手动创建？ 云容灾会自动创建容灾中心所需的云资源，不需要用户手动进行创建。 创建的容灾中心云资源，需要按需收取所使用的云主机和云硬盘的费用。收费标准按照云主机标准资费和云硬盘标准资费收取。 云容灾支持哪些类型云资源或工作负载的容灾？ 支持云主机的容灾。 目前仅支持64位操作系统，建议运行容灾客户端的机器使用双核，并配备4GB以上的可用内存。 Linux系统的/boot分区和/分区必须在同一磁盘，若不满足同一磁盘要求，建议手动调整磁盘后，再注册受保护实例进行容灾。 支持的云主机操作系统版本请参见支持的操作系统版本。 云容灾复制是否支持断点续传？ 支持。 云容灾支持复制停止后，通过“重启复制”操作再次重启之前的复制过程，此过程是断点续传的过程。具体操作请参见重启容灾复制。 除此之外，复制过程中若发生断网等异常情况，云容灾也支持恢复后断点续传。 云容灾有配额限制吗？ 为避免资源浪费，服务供应商限定了各服务资源的配额，对用户可使用的资源数量和容量等做了限制。 云容灾的具体配额如下：单租户在一个地域内，默认最多可以创建20个容灾客户端。 如有更大需求可以提工单申请，最大支持200个。

本文介绍弹性文件服务的产品规格。 规格类型 参数 SFS Turbo标准型 SFS Turbo性能型 最大带宽 1.5GB/s 2GB/s 最高IOPS 5000 30000 时延 10ms 3ms 容量 500GB起步，默认32TB上限，可提交工单申请扩大上限至320TB。 500GB起步，默认32TB上限，可提交工单申请扩大上限至320TB。 扩容步长 1GB 1GB 优势 低成本 低时延 应用场景 适用于大容量、低时延的业务，如代码存储、日志存储、Web服务、虚拟桌面等。 适用于海量小文件、随机IO密集型以及时延敏感型业务，如高性能计算、文件共享、内容管理等。 说明 提交工单后，在资源余量和网关余量满足的情况下可为您扩大单文件系统配额。 提交工单时须同时申请扩大单用户弹性文件系统总容量和单文件系统容量上限 两个配额项至所需配额。 规格说明 多台云主机可达到上述最大带宽，测试时建议使用多台云主机。 最大IOPS、最大带宽两个参数的值均为读写总和。比如最大IOPSIOPS读+IOPS写。 带宽大小与容量相关，但是由于有缓存，所以容量和性能的比例不容易体现。 IOPS大小与容量非线性相关。容量越大，性能越好，取决于实际压力情况。 时延是指低负载情况下的最低延迟，非稳定时延。时延与容量无关。

操作场景 态势感知（专业版）支持将数据实时投递至其他管道或其他云产品中，便于您存储数据或联合其它系统消费数据。配置数据投递后，态势感知（专业版）将定时将采集到的数据投递至其他管道或对应的云产品。 分类 投递场景 场景说明 数据投递场景 投递日志数据至其他数据管道 投递日志数据到其他数据管道。 数据投递场景 投递日志数据至OBS桶 投递日志数据到对象存储服务（Object Storage Service，OBS）。 数据投递场景 投递日志数据至LTS 投递日志数据到云日志服务（Log Tank Service，LTS）。 管理数据投递任务 管理数据投递任务 包括查看数据投递任务、挂起投递任务、启动投递任务、删除投递任务。 查看数据投递任务：查看数据投递任务相关信息。 挂起投递任务：数据投递成功后，如需停止投递，可挂起目标投递任务。 启动投递任务：数据投递任务停止投递后，如需重启投递，可启动目标投递任务。 删除投递任务：如果不再需要某个投递任务，可删除投递任务。 功能优势 操作简单：只需要在控制台中完成简单的配置，即可将态势感知（专业版）的数据投递至OBS等云产品。 数据集中：态势感知（专业版）已完成不同服务中的数据集中化，只需要将采集到的数据投递到OBS等云产品中，即可完成数据集中管理。 分类管理：态势感知（专业版）的采集数据时，对数据进行了分类管理。可以利用此功能，将不同项目、不同类型的数据投递到不同的云产品中。

高性能计算集群（HCC） 大模型精简版 功能定位：包含Slurm调度系统、Apptainer高性能容器，实现大模型推理服务一键启停。 开通步骤： 1. 登录天翼云控制台，进入“弹性高性能计算”产品页面，选择“高性能计算集群”，点击进入集群控制台。 2. 点击“创建集群”，在集群类型中选择“大模型精简版”。 3. 依次配置各项参数，包括计费模式、地域、可用区、集群名称、虚拟私有云、安全组、共享存储（ SFS 或 OceanFS）、管理节点和计算节点的对应规格、镜像、磁盘、子网、登录密码。 4. 确认所有配置无误后，提交订单并完成集群创建，等待节点纳管完成，直至集群页面显示“可用”“配置完成”状态。 2. NVMe 磁盘挂载配置 昇腾910B物理机默认配备2×3.2T NVMe SSD，请格式化后用于存储模型文件，提升推理性能。 需将节点的nvme1n1和nvme0n1两块 NVMe 盘分别挂载至/mnt/nvme1n1和/mnt/nvme0n1目录。 可通过以下脚本实现自动化挂载及开机自动挂载的配置： shell !/bin/bash 设备列表 devices("/dev/nvme0n1" "/dev/nvme1n1") mountpoints("/mnt/nvme0n1" "/mnt/nvme1n1") fstype"xfs" 确保 root 权限 if [[ $EUID ne 0 ]]; then echo "请使用 root 运行此脚本！" exit 1 fi for i in "${!devices[@]}"; do device"${devices[$i]}" mountpoint"${mountpoints[$i]}"

本章节主要介绍使用Hive加载HDFS数据并分析图书评分的实践。 MRS离线处理集群，可对海量数据进行分析和处理，形成结果数据，供下一步数据应用使用。 离线处理对处理时间要求不高，但是所处理数据量较大，占用计算存储资源较多，通常通过Hive/SparkSQL引擎或者MapReduce/Spark2x实现。 本实践基于天翼云翼MapReduce服务，用于指导您创建MRS集群后，使用Hive对原始数据进行导入、分析等操作，展示了如何构建弹性、低成本的离线大数据分析。 基本内容如下所示： 1. 创建MRS离线查询集群。 2. 将本地数据导入到HDFS中。 3. 创建Hive表。 4. 将原始数据导入Hive并进行分析。 场景描述 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive Query Language语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 海量结构化数据分析汇总。 将复杂的MapReduce编写任务简化为SQL语句。 灵活的数据存储格式，支持JSON，CSV，TEXTFILE，RCFILE，SEQUENCEFILE，ORC（Optimized Row Columnar）这几种存储格式。 本实践以某图书网站后台用户的点评数据为原始数据，导入Hive表后通过SQL命令筛选出最受欢迎的畅销图书。

本文向您介绍如何在CTS事件列表查看云审计事件。 场景描述 云审计服务能够为您提供云服务资源的操作记录，记录的信息包括发起操作的用户身份、IP地址、具体的操作内容的信息，以及操作返回的响应信息。根据这些操作记录，您可以很方便地实现安全审计、问题跟踪、资源定位，帮助您更好地规划和利用已有资源、甄别违规或高危操作。 什么是事件 事件即云审计服务追踪并保存的云服务资源的操作日志，操作包括用户对云服务资源新增、修改、删除等操作。您可以通过“事件”了解到谁在什么时间对系统哪些资源做了什么操作。 约束与限制 用户通过云审计控制台只能查询最近7天的操作记录，过期自动删除，不支持人工删除。如果需要查询超过7天的操作记录，您必须配置转储到对象存储服务（OBS）或云日志服务（LTS），才可在OBS桶或LTS日志组里面查看历史事件信息。否则，您将无法追溯7天以前的操作记录。 用户对云服务资源做出创建、修改、删除等操作后，1分钟内可以通过云审计控制台查询管理类事件操作记录，5分钟后才可通过云审计控制台查询数据类事件操作记录。 CTS新版事件列表不显示数据类审计事件，您需要在旧版事件列表查看数据类审计事件。 查看审计事件 用户进入云审计服务创建管理类追踪器后，系统开始记录云服务资源的操作。在创建数据类追踪器后，系统开始记录用户对OBS桶中数据的操作。云审计服务管理控制台会保存最近7天的操作记录。 本节介绍如何在云审计服务管理控制台查看或导出最近7天的操作记录。

本环节为您介绍数据迁移服务迁移时长相关问题。 我如何能知道迁移任务的进度？ 一般情况，对象存储服务的迁移速度的参考值是1020TB每天。由于迁移速度受源端对象个数、大小以及公网传输距离影响，建议用户创建一个实际数据的迁移任务来测试实际迁移速度，实际最大迁移速度为单个任务平均速度的5倍（单个Region内并发任务数最大为5）。 单个迁移任务速度可以在“迁移任务”界面中查看实时任务迁移速度。 若您在创建迁移任务时选择使用SMN消息通知功能，迁移任务结果也将通过电子邮件、短信以及自定义URL等方式发送给您。 迁移带宽由什么决定？ 以下三点中最小带宽为准： 数据源出口带宽。 目标端入口带宽。 如何确定任务是否卡死 查看数据迁移工具当前阶段速率展示（迁移速率、核查个数）是否正常。 l 查看源端迁移日志，如果日志信息长时间未刷新，可能是任务异常。 为什么迁移速率有时远远低于带宽大小？ 出现这种现象的原因，一般但不限于以下场景： 大文件多 稀疏文件多

功能介绍 对于某些行业客户，在大模型训练时会涉及到保密数据的处理问题，比如需要避免用户下载到本地造成数据泄漏。针对这一问题，平台推出了特色的数据保密功能，以应对用户下载或拷贝保密数据的行为。 平台主要从数据集限制+操作审计两方面进行限制： 数据集限制：保密数据相关的实现依赖平台数据集功能，将需要保密的数据集打上保密标签，对此数据集进行限制。 容器外，根据用户身份严格限制平台的数据操作权限； 容器内，创造断外网的沙箱环境防止下载到本地，并严格限制读写，任务执行者仅可写入到管理员可控的安全存储中。 云审计：将用户的所有命令操作记录到云审计，并对可能涉及拷贝的敏感操作进行标识，给到客户主管人审核确认。 前置条件 1. 存储准备：已在天翼云开通对象存储或HPFS，并在本平台完成委托授权。 2. 其他限制：您是管理员用户（包括主账号、IAM管理员、工作空间管理员）。 操作说明 1. 创建仅管理员可控的安全存储 保密数据集可工作的一个重要前提是限制写操作仅写入到保密输出路径中，这就要求输出路径是智算平台管理员完全可控的存储。 管理员（需有存储控制台相应权限）首先登录存储控制台，根据所使用的存储类型（ZOS或HPFS），创建保密数据集与保密输出路径。保密数据集是指您含有保密信息的数据集；保密输出路径是指当用户使用保密数据时，您指定的写入路径，建议您创建一个空文件夹专用于输出，并对不同的任务创建不同的输出路径。 注意：主账号天然是各产品的管理员，拥有所有权限。但对于子账号，在本平台拥有管理员权限不代表在存储控制台拥有管理员权限，子账号如需存储控制台权限，需要主账号进入IAM授予相应的权限。建议您只给信任的用户授予存储控制台的操作权限，否则可能造成数据泄漏等事故。

对象存储 对象存储（CTZOS，Zettabyte Object Storage）是天翼云为客户提供的一种海量、弹性、高可靠、高性价比的存储产品，是专门针对云计算、大数据和非结构化数据的海量存储形态，通过S3协议和标准的服务接口，提供非结构化数据（图片、音视频、文本等格式文件）的云存储服务。更多信息请参见对象存储产品介绍。您可以将需要长期存储的日志转储至对象存储中，确保日志不丢失并实现数据持久化。

本章节主要介绍云搜索服务（ES）的产品组件。 CSS服务支持Kibana和Cerebro组件。 Kibana Kibana是一个开源的数据分析与可视化平台，与Elasticsearch搜索引擎一起使用。通过Kibana可以搜索、查看存放在Elasticsearch索引中的数据，也可以实现以图表、地图等方式展示数据。 云搜索服务的Elasticsearch集群默认提供Kibana，无需安装部署，即可一键访问Kibana。云搜索服务兼容了开源Kibana可视化展现和Elasticsearch统计分析能力。 支持10余种数据呈现方式。 支持近20种数据统计方式。 支持时间、标签等各种维度分类。 Cerebro Cerebro是使用Scala、Play Framework、AngularJS和Bootstrap构建的基于Elasticsearch Web的开源可视化管理工具。通过Cerebro可以对集群进行Web可视化管理，如执行Rest请求、修改Elasticsearch配置、监控实时的磁盘、集群负载、内存使用率等。 云搜索服务的Elasticsearch集群默认提供Cerebro，无需安装部署，即可一键访问Cerebro。云搜索服务完全兼容开源Cerebro，适配最新0.8.4版本。 支持Elasticsearch可视化实时负载监控。 支持Elasticsearch可视化数据管理。

数据库迁移服务 数据库迁移工具（CMSDMS，Database Migration Service）是云迁移(CMS)的数据库迁移工具，其具备高效、稳定、易用的特点；它提供了评估、数据迁移、数据同步和数据订阅四大核心能力,通过提供统一操作台、一站式迁移流程和高效的迁移性能，降低了企业同/异构数据库迁移技术门槛，实现企业数据快速上云。 数据迁移服务 数据迁移服务（CMSZMS，ZOS Migration Service）是云迁移(CMS)的数据迁移工具，其具备可视化、稳定、易用的特点；支持将来自亚马逊、阿里云、腾讯云、华为云、天翼云 OOS 和 XOS 的数据迁移到ZOS 进行存储，并提供了灵活的迁移策略,通过功能组合满足各类需求与场景，实现企业数据快速上云。

接口信息 API Path /aipaas/lm/v1/text/picture 请求协议 HTTP 请求方法 POST 请求头部： 头部标签 必填 说明 类型 数据字典 限制 头部内容 示例 ContentType 是 application/json [string] application/json application/json XAPPID 是 系统管理API Key，创建应用获取AppID 和AppKey，公网鉴权，公网调用时必传 [string] Authorization 是 公网鉴权，公网调用时必传 [string] DeviceUuid 否 设备管理设备uuid [string] 请求参数 Json Object 参数名 说明 必填 类型 数据字典 限制 示例 seqid 请求序列号，请求的唯一标识 是 [string] taskid 能力编号，当前能力编号为10001 是 [int] prompt 文本内容 是 [string] resolutionratio 分辨率 否 [array] [1,1]:分辨率1:1,[9,16]:分辨率9:16,[16,9]:分辨率16:9,[4,3]:分辨率4:3 style 生成风格 否 [int] 0:通用风格,1:写实风格,2:卡通风格,3:3D风格,4:素描风格,5:中国画风格,6:油画风格,7:水彩风格,8:彩铅风格,9:像素风格 batchsize 生成图片数量，默认4张，最大支持4张。 否 [int] callbackurl 接收回调结果的url地址，returnmode为0是必传 否 [string] returnmode 结果返回模式，0:push，1:pull，默认为0。push模式即提供callbackurl接收最终结果回调；pull模型即通过大模型异步调用结果回查接口查询最终调用结果，接口文档详见开发指南下的大模型异步调用结果回查。 否 [int] 响应内容： 返回结果 成功 (200) Json Object 参数名 说明 必填 类型 数据字典 限制 示例 code 状态响应码。参考错误编码规范 是 [string] msg 调用结果描述。参考错误编码规范 是 [string] requestId 请求ID，用于调用查询大模型生成结果信息接口 是 [string] 成功示例[Mock API]： plaintext { "code": "10000", "msg": "调用成功", "requestId": "test001" } 失败示例[Mock API]： plaintext { "code": "10903", "msg": "服务执行失败", "requestId": "test001" }

使用私钥文件获取登录密码失败时,可以参考本文。 可能原因 1.出现获取密码失败一般原因是弹性云主机 cloudinit 失败，没有通过 cloudinit 注入密码。 2.Cloudinit 注入密码失败原因有： 网络原因导致弹性云主机无法连接到 cloudinit 服务器； 镜像上 cloudinit 没有获取密码相关配置； 弹性云主机上其他问题导致弹性云主机 cloudinit 无法获取。 处理办法 1. 检查弹性云主机的网络配置，是否导致弹性云主机 cloudinit 失败，操作如下： 弹性云主机所在安全组 80 端口的“出方向”和“入方向”是否放通。 2. 检查镜像上 cloudinit 是否配置了获取密码，当前 HEC 环境中的所有公共镜像均已正确配 置 cloudinit。 如果客户使用公共镜像则无需检查此项。 如果客户使用私有镜像创建弹性云主机，则需要确认镜像中已正确配置了 cloudinit。 3. 其他方面：大规格弹性云主机的虚拟内存导致客户弹性云主机 cloudinit 执行失败。 4. 通过查看日志检查原因，cloudinit 日志查看步骤如下： 将无法获取密钥的弹性云主机关机后，将系统盘卸载。 使用公共镜像创建一个临时 windows 弹性云主机，将上一步骤中卸载的卷挂载在此弹性云主机上。 登录临时创建的弹性云主机主机，打开主机管理器，选择“文件和存储服务 > 卷 > 磁盘”，单击鼠标右键选择“脱机”状态的磁盘，单击“联机”。 打开新联机的磁盘，查看“/Program Files/Cloudbase Solution/CloudbaseInit/log”路径下的“cloudbaseinit”文件，通过日志查看原因。

本节主要介绍将MySQL分库分表迁移到DRDS 支持的源和目标数据库 表 支持的数据库 源数据库 目标数据库 :: DRDS实例 本地自建MyCAT中间件 ECS自建MyCAT中间件 DRDS实例 前提条件 已登录数据复制服务控制台。 满足实时迁移支持的数据库类型和版本，详情请参见 实时迁移。 使用建议 注意 DRS任务启动和全量数据迁移阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。 如果您使用的是全量迁移模式，确保源和目标数据库无业务写入，保证迁移前后数据一致。如果您使用的是全量+增量迁移模式，支持在源数据库有业务数据写入的情况下进行迁移。 数据库迁移与环境多样性和人为操作均有密切关系，为了确保迁移的平顺，建议您在进行正式的数据库迁移之前进行一次演练，可以帮助您提前发现问题并解决问题。 基于以下原因，建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，相对静止的数据可以有效提升一次性迁移成功率，避免迁移对业务造成性能影响。 在网络无瓶颈的情况下，全量迁移会对源数据库增加约50MB/s的查询压力，以及占用2~4个CPU。 正在迁移的数据被其他事务长时间锁死，可能导致读数据超时。 由于MySQL固有特点限制，CPU资源紧张时，存储引擎为Tokudb的表，读取速度可能下降至10%。 DRS并发读取数据库，会占用大约610个session连接数，需要考虑该连接数对业务的影响。 全量阶段读取表数据时，特别是大表的读取，可能会阻塞业务上对大表的独占锁操作。 数据对比 建议您结合数据对比的“稍后启动”功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。

云原生网关触发器能够让您网关的流量导去函数计算后端，能够支持更丰富的请求配置，如请求方法、请求头、请求参数等 前提条件 已创建函数。 已创建云原生网关。 已创建函数计算服务的终端节点（VPCE）。 创建步骤请查看创建VPCE，其中”虚拟私有云“选择云原生网关所属的VPC，”服务“选择函数计算服务cn.ctyun.cnhuadong1.faas 注意 函数计算服务在各资源池的名称（cn.ctyun.cnhuadong1.faas ）可能有差别，选择后缀为faas的即可，上述示例是在华东一资源池的名称 操作步骤 1. 登录函数计算控制台，点击目标函数，进入函数详情。 2. 选择详情下顶部的配置选项卡。 3. 在配置选项卡中，选择左边的触发器选项卡。 4. 点击创建触发器 ，在弹出的右抽屉中选择云原生网关触发器，配置参数解释如下 配置项 操作 示例 触发器类型 选择云原生触发器。 云原生触发器 名称 填写自定义的触发器名称。 cgwtrigger 版本或别名 默认值为LATEST，支持选择任意函数版本或函数别名。 LATEST 网关实例 选择已创建的云原生网关实例。 域名 选择网关实例已关联的域名。 mydomain.com 匹配路径 匹配请求的path（不含query参数），当前支持前缀匹配和精确匹配。末尾使用''代表使用前缀匹配。 /my/path 请求方法 匹配请求中的HTTP方法，可多选，不选则匹配所有HTTP方法 优先级 当多个路由同时匹配一个请求时，路径匹配深度较大的路由优先；路径匹配相同的情况下，路由优先级高（数字大）的优先匹配。 0 请求头 匹配请求中的HTTP header。 请求参数 匹配请求中的HTTP query参数。 触发器启用状态 创建触发器后是否立即启用。默认选择开启，即创建触发器后立即启用触发器。 启用

本节主要介绍Redis实例内存使用率高问题排查和解决 问题现象 Redis可提供高效的数据库服务，当内存不足时，可能导致Key频繁被逐出、响应时间上升、QPS（每秒访问次数）不稳定等问题，进而影响业务运行。由于Redis自身运行机制（主从同步、延迟释放等），内存占用率可能出现略微超过100%的情况，此为正常情况，此时内存已经写满，用户需要考虑扩容，或者清理一些无用的数据。通常情况下，当内存使用率超过95%时需要及时关注。 排查原因 1. 查询指定时段的内存使用率信息，具体操作请参见查看监控指标。“内存利用率”指标持续接近100%。 2. 查询内存使用率超过95%的时间段内，“已逐出的键数量”和“命令最大时延”，均呈现显著上升趋势，表明存在内存不足的问题。 建议客户登录控制台，参考缓存分析和查询Redis实例慢查询，执行大Key扫描和慢查询。如果实例没有设置过期时间，会导致存储数据太多，内存被占满。 2. Redis实例如果内存满了但是key不多，可能原因是客户端缓冲区（output buffer）占用过多的内存空间。 可以在Rediscli客户端连接实例后，执行大key扫描命令：rediscli bigkeys，然后执行info，查看output buffer占用情况。

本章节主要介绍MCP管理模块。 MCP管理模块是数据智能助理的底层能力支撑平台，支持对各类模型上下文协议（Model Context Protocol）服务的基础信息和连接地址进行统一管理。通过该模块，管理员可以配置和维护如数据分析、智能建模等核心插件服务，确保大模型能够通过标准化接口调用企业内部的数据能力。 系统目前已内置了多种核心MCP服务，默认展示在MCP管理页面。同时，系统支持管理员通过“新增MCP”接入自定义服务，具体操作步骤如下： 1. 新增MCP服务信息 点击“MCP管理” > “新增MCP”，在弹出的“MCP详情”窗口中填写以下关键参数： MCP服务名：设置服务的唯一英文标识符（如：dtservicemcpserver）。 中文名：设置服务的业务显示名称，便于在管理界面识别（如：数据服务mcp服务）。 baseurl：填写服务部署的基础访问地址（如： sseendpoint：填写服务器发送事件（ServerSent Events）的端点路径（如：/dtservice/sse），用于实现服务与模型间的实时双向交互。 描述：简要说明该MCP服务的功能定位、覆盖的业务范围或适用场景。 2. 服务维护与管理 在MCP管理主列表中，管理员可以对已接入的服务进行日常维护： 查看详情：点击“查看详情”可调出详情浮窗，核对当前服务的连接地址及配置参数。 编辑服务：点击“编辑”可修改自定义MCP服务的名称、URL地址或描述信息。 删除服务：对于不再需要的自定义服务，可点击“删除”进行移除（注：带有“内置”标签的服务通常由系统预设，不支持删除）。

HPFS 通过协议服务功能实现 HPFSPOSIX 和 NFS 多协议互访,一份数据多种业务平台同时访问。本文介绍协议服务的功能介绍、适用场景、使用限制和整体流程。 功能介绍 协议服务提供标准 NFS 协议访问 HPFS 文件系统的能力，满足以下需求： 无缝集成弹性云主机与物理机：支持在弹性云主机 ECS 或物理机（通过 VPC/VPCE），直接挂载并访问 HPFS 文件系统。 多协议互访：通过 HPFSPOSIX 直接挂载，与通过协议服务功能（NFS 协议）挂载，是两个独立的访问通道。无论使用 HPFSPOSIX 客户端还是协议服务的 NFS 客户端，均可同时访问同一份文件数据。在一端创建或修改的文件，在另一端可见。 注意 如需确认资源池/集群对 NFS 协议的支持情况，请前往产品能力地图中的【协议服务 NFS 挂载云主机】列进行查询。 适用场景 高效数据上云与训练准备 在智算模型训练场景中，用户需提前将海量数据集上传至 HPFS。如使用高性能物理机仅作数据传输，资源利用率低且费用高昂。又由于数据集体量庞大传输时间长，训练前期准备效率降低。 协议服务功能满足将 HPFS 直接挂载到云主机上，实现将本地数据通过弹性云主机（配置弹性 IP）高效上传至 HPFS，利用按需付费的弹性云主机作为传输节点，显著节省成本。 数据上传完成后，再将 HPFS 挂载至 GPU 物理机集群进行模型训练，实现资源按需切换。 灵活经济的模型推理部署 模型推理对延迟和吞吐量敏感，但计算强度通常低于训练阶段。DeepSeek 等模型的开放推动了轻量化 AI 应用的爆发式增长，越来越多的中小企业及个人开发者倾向于使用弹性云主机部署和运行其 AI 推理应用。 用户可根据模型规模和实时推理需求，灵活选择性价比最优的弹性云主机实例类型。然后通过协议服务功能在弹性云主机上挂载 HPFS，进行敏捷开发与发布。

本节主要介绍免责声明 源端服务器数据收集声明。 主机迁移过程中，会在源端服务器上安装和配置迁移Agent，迁移Agent会把源端服务器信息发送给主机迁移服务校验，收集的源端服务器的详细信息请参见这些数据只用于迁移可行性判断，不做其他用途。若您使用主机迁移服务，表示您同意主机迁移服务对这些信息的收集。 License失效声明。 源端服务器的系统、应用、文件等数据迁移到目的端服务器后，服务器的SID、网卡MAC地址等信息发生改变，导致OS、应用等License失效。此类问题，主机迁移服务概不负责。对于Windows License可以使用天翼云License服务器获取新License，应用License用户自行解决。 目的端服务器磁盘格式化说明。 迁移过程中，目的端服务器的磁盘会被格式化并重新进行分区，导致目的端服务器上所有数据丢失。请迁移前做好数据备份以及确认目的端服务器磁盘可被格式化。否则造成数据丢失，主机迁移服务概不负责。 源端服务器导致的迁移问题免责申明。 因源端服务器的硬件(如磁盘、网卡）、软件(如OS、应用)、数据（文件）等损坏/配置不当/不兼容/业务量大/网络慢等因素引发的迁移问题，非主机迁移服务的问题，包括但不限于下面列举的问题。您可自行解决，若自行解决无果，您可以向天翼云提出咨询或请求天翼云协助解决，但天翼云不承诺解决问题。 源端服务器系统本身有问题，如：Windows的启动文件损坏或缺失。 源端服务器系统配置错乱，如：Linux的grub配置错乱缺失，fstab配置错乱。 网络问题，如：访问不了公网，网速慢，ssh问题，防火墙等。 IO读写慢，增量数据多，Windows有效簇分散，Linux小文件多导致的迁移慢，同步慢，同步时间比较久的问题。 源端平台服务或软件与天翼云不兼容。 源端平台服务或软件把Agent关闭，或杀毒软件把IO监控关闭。

本章节介绍如何将MySQL同步到DWS。 支持的源和目标数据库 表 支持的数据库 源数据库 目标数据库 本地自建MySQL数据库 ECS自建MySQL数据库 其他云上MySQL数据库 RDS for MySQL DWS集群 8.1.3版本 前提条件 已登录数据复制服务控制台。 满足实时同步支持的数据库类型和版本，详情请参见实时同步。 使用建议 注意 DRS任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。 为保证同步前后数据一致性，确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题。 基于以下原因，建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，相对静止的数据可以有效提升一次性同步成功率，避免同步对业务造成性能影响。 在网络无瓶颈的情况下，全量同步会对源数据库增加约50MB/s的查询压力，以及占用2~4个CPU。 同步无主键表时，为了确保数据一致性，会存在3s以内的单表级锁定。 正在同步的数据被其他事务长时间锁死，可能导致读数据超时。 由于MySQL固有特点限制，CPU资源紧张时，存储引擎为Tokudb的表，读取速度可能下降至10%。 DRS并发读取数据库，会占用大约610个session连接数，需要考虑该连接数对业务的影响。 全量阶段读取表数据时，特别是大表的读取，可能会阻塞业务上对大表的独占锁操作。 数据对比 建议您结合对比同步项的“稍后启动”功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。

SFT（Supervised FineTuning）简介 监督微调（Supervised FineTuning，SFT） 是大模型训练流程中的关键环节，其目标是通过高质量的人工标注数据（通常为问答对，包含输入的prompt和预期输出的 response），将通用预训练大模型（如Llama、Qwen等）适配到特定的下游任务或专业领域，使其生成更符合人类期望且有一定偏好格式的输出。 SFT的必要条件 何时需要启动SFT 当通过prompt工程，大模型也无法将用户所想看到的回答呈现出来（即指令跟随失败）时； 当大模型生成内容存在事实错误或专业度不足时，比如某些领域的词汇未在预训练模型的前置知识里； 当用户对大模型输出内容有格式要求时，比如某些专业领域（客服）需要格式化输出，而模型仍有部分回答不符合格式要求。 SFT的前期准备 当用户确定要使用大模型SFT时，请确保已经做好了以下准备： 用户已经使用prompt工程等方式，将基础模型的潜力发挥到极致，并且针对垂直领域的测试集，仍然存在一定数量的badcase，且数量是不可接受（一般业界定义专业领域知识测试准确率<75%即为不可接受）的； 针对该垂直领域，用户已经标注了至少1K的高质量数据集。如何评判一个数据集是否是高质量数据集请见下一节。 何为高质量数据集 高质量数据集一般存在以下特征： 针对某一领域，该数据集覆盖一定量的badcase或者与badcase特征相似的数据； 该数据集有着多样的prompt类型（即提问方式非单一）以增加模型的泛化性； 该数据集针对同类型prompt的回答方式统一或结构差异较小； 该数据集不存在模棱两可的问题以及答案； 该数据集不存在答案重复输出的数据； （如需要）该数据集会添加510%的通用数据以防止微调后的模型出现灾难性遗忘。

本章节主要介绍ALM45178 OBS数据写操作接口调用成功率低于阈值的告警。 告警解释 系统每30秒周期性检测OBS数写操作接口调用成功率是否小于阈值，当检测到小于所设置阈值时就会产生该告警 。 当OBS数据写操作接口调用成功率大于阈值时，该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除 45178 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS数据写操作接口调用成功率小于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。 可能原因 OBS服务端出现执行异常或严重超时。 处理步骤 检查堆内存使用率 在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > OBS数据写操作接口调用成功率低于阈值”，查看“定位信息”中的角色名并确定实例的IP地址。 1. 选择“集群 > 待操作集群的名称 > 服务 > meta > 实例 > meta（对应上报告警实例IP地址）”。单击图表区域右上角的下拉菜单，选择“定制”，在“OBS数据写操作”中勾选“OBS数据写操作接口调用成功率”，单击“确定”，查看OBS数据写操作接口调用成功率，确定是否有接口调用成功率低于阈值。 是，执行步骤3。 否，执行步骤5。 2. 选择“集群 > 待操作集群的名称 > 运维 > 告警 > 阈值设置 > meta > OBS数据写操作接口调用成功率”，将阈值或平滑次数参数的值根据实际情况调小。 3. 观察界面告警是否清除。 是，处理完毕。 否，执行步骤5。

本文带您了解如何使用云服务监控。 操作场景 云监控会自动获取您当前账号下云产品的资源并关联相应监测指标，帮助您实时了解云产品的性能指标，及时掌握各项资源的运行状态。 注意 重要信息：因产品升级迭代，自 2025 年 08 月 13 日 00:00:00起，新用户在云监控>云服务监控中不再提供“云容器引擎”（ccse）监控能力，存量已开通云容器引擎实例资源将可继续使用云监控服务监控告警能力。为保证您的服务稳定，建议您统一使用云容器引擎控制台监控告警服务！ 前提条件 注册天翼云账号，并完成实名认证。具体操作，请参见天翼云账号注册流程。 您已经完成云产品的订购。 查看监控数据 1. 登录控制中心。 2. 在控制中心页面左上角点击，选择区域，本文我们选择华东1。 3. 依次选择“迁移与管理”，单击“云监控服务”，进入监控概览页面。 4. 单击“云服务监控”下拉菜单，选择“云硬盘监控”、“弹性伸缩监控”或“负载均衡监控”等选项，进入对应云产品的监控页面，本文我们选择云硬盘监控。 5. 单击待查看的云服务资源所在行的“查看监控图表”，可查看该云产品中指定资源的监控图表。 6. 云监控支持近两天实时监控数据的导出。在云产品监控页面的右上角，单击“导出监控数据”按钮，添加需要导出的监控项，单击“确定”按钮，可导出数据。

高性能计算集群（HCC） 大模型精简版 功能定位：包含Slurm调度系统、Apptainer高性能容器，实现Deepseek服务一键启停。 开通步骤： 1. 登录天翼云控制台，进入“弹性高性能计算”产品页面，选择“高性能计算集群”，点击进入集群控制台。 2. 点击“创建集群”，在集群类型中选择“大模型精简版”。 3. 依次配置各项参数，包括计费模式、地域、可用区、集群名称、虚拟私有云、安全组、共享存储（ SFS 或 OceanFS）、管理节点和计算节点的对应规格、镜像、磁盘、子网、登录密码。（注：当前 大模型精简版 暂不支持无计算节点的集群创建，需至少配置1台计算节点） 4. 确认所有配置无误后，提交订单并完成集群创建，等待节点纳管完成，直至集群页面显示“可用”“配置完成”状态。 5. 点击已创建的集群，选择左侧“节点”栏，删除配置的计算节点，仅保留管理节点即可。 2.NVMe 磁盘挂载配置 昇腾910B物理机默认配备2×3.2T NVMe SSD，请格式化后用于存储模型文件，提升推理性能。 需将节点的nvme1n1和nvme0n1两块 NVMe 盘分别挂载至/mnt/nvme1n1和/mnt/nvme0n1目录。 可通过以下脚本实现自动化挂载及开机自动挂载的配置： shell !/bin/bash 设备列表 devices("/dev/nvme0n1" "/dev/nvme1n1") mountpoints("/mnt/nvme0n1" "/mnt/nvme1n1") fstype"xfs"

高性能计算集群（HCC） 大模型精简版 功能定位：包含Slurm调度系统、Apptainer高性能容器，实现DeepSeek服务一键启停。 开通步骤： 1. 登录天翼云控制台，进入“弹性高性能计算”产品页面，选择“高性能计算集群”，点击进入集群控制台。 2. 点击“创建集群”，在集群类型中选择“大模型精简版”。 3. 依次配置各项参数，包括计费模式、地域、可用区、集群名称、虚拟私有云、安全组、共享存储（ SFS 或 OceanFS）、管理节点和计算节点的对应规格、镜像、磁盘、子网、登录密码。（注：当前 大模型精简版 暂不支持无计算节点的集群创建，需至少配置1台计算节点） 4. 确认所有配置无误后，提交订单并完成集群创建，等待节点纳管完成，直至集群页面显示“可用”“配置完成”状态。 5. 点击已创建的集群，选择左侧“节点”栏，删除配置的计算节点，仅保留管理节点即可。 2.NVMe 磁盘挂载配置 昇腾910B物理机默认配备2×3.2T NVMe SSD，请格式化后用于存储模型文件，提升推理性能。 需将节点的nvme1n1和nvme0n1两块 NVMe 盘分别挂载至/mnt/nvme1n1和/mnt/nvme0n1目录。 可通过以下脚本实现自动化挂载及开机自动挂载的配置： shell !/bin/bash 设备列表 devices("/dev/nvme0n1" "/dev/nvme1n1") mountpoints("/mnt/nvme0n1" "/mnt/nvme1n1") fstype"xfs"

切分原则 分表分库虽然能解决大表对数据库系统的压力，但它并不是万能的，也有一些不利之处，因此首要问题为：分不分库，分哪些库，什么规则分，分多少分片。 原则一 分片数量尽量少，分片尽量均匀分布在多个DataHost 上，因为一个查询SQL 跨分片越多，则总体性能越差，虽然要好于所有数据在一个分片的结果，只在必要的时候进行扩容，增加分片数量。 原则二 能不分片就不分片，800万以内的表，不建议分片，通过合适的索引，读写分离等方式，可以很好的解决性能问题。 原则三 不到800 万但跟大表（超800 万的表）有关联查询的表也要拆分，在此称为大表关联表。大表关联表如何拆：小于100 万的使用全局表；大于100 万小于800 万跟大表使用同样的拆分策略；无法跟大表使用相同规则的，可以考虑从java 代码上分步骤查询，不用关联查询，或者破例使用全局表。 原则四 破例的全局表（例如itemsku 表250万行数据），跟大表关联了，又无法跟大表使用相同拆分策略，也做成了全局表。破例的全局表必须满足的条件：没有太激烈的并发update，如多线程同时update 同一条id1 的记录。虽有多线程update，但不是操作同一行记录的不在此列。多线程update 全局表的同一行记录会死锁，批量insert 没问题。 原则五 拆分字段只能是一个字段，如果想按照两个字段拆分，必须新建一个冗余字段，冗余字段的值使用两个字段的值拼接而成（如大区+年月拼成zoneyyyymm 字段）。 原则六 分片规则需要慎重选择，分片规则的选择，需要考虑数据的增长模式，数据的访问模式，分片关联性问题，分片扩容问题以及数据热点问题。 原则七 分片规则的选择问题，如果某个表的数据有明显的时间特征，比如订单、交易记录等，则他们通常比较合适用时间范围分片，因为具有时效性的数据，我们往往关注其近期的数据，查询条件中往往带有时间字段进行过滤，比较好的方案是，当前活跃的数据，采用跨度比较短的时间段进行分片，而历史性的数据，则采用比较长的跨度存储。总体上来说，分片的选择是取决于最频繁查询SQL 的条件。

云资源监控 天翼云的云监控服务为用户提供了一站式的云资源监控解决方案，帮助用户全面掌握云资源的运行状态，确保业务的稳定运行。 云主机与云盘监控 ：通过云监控服务，用户可以实时查看云主机实例及云盘的详细性能指标，包括 CPU 使用率、内存使用情况、磁盘 I/O 性能、网络流量等。这些关键指标的实时数据，使用户能够及时了解资源的负载情况，提前进行资源调整，避免因资源不足而导致的业务卡顿或中断。 健康状态监控 ：云监控服务还提供云资源的健康状态监控功能。用户能够实时了解云资源是否存在异常，提前发现潜在的故障风险，以便快速采取措施，确保业务的稳定运行。 基础云监控 ：天翼云的基础云监控服务支持一键开启关键监控项，用户可以快速设置对重要指标的监控。同时，用户还可以自定义监控项报警规则，当指标超过设定阈值时，系统将及时通知用户，以便用户能够迅速响应，处理可能出现的问题。 可视化与数据分析 ：云监控服务提供了丰富的可视化功能，用户可以通过控制台查看实时监控数据的图表和报表，直观地了解资源的运行状态。此外，云监控还提供了数据分析功能，帮助用户对历史数据进行分析，发现潜在问题，优化资源配置。 集成与扩展 ：云监控服务可以与其他云服务和第三方工具集成。用户可以将监控数据导出到日志服务、数据分析平台等，进行进一步的分析和处理。这种集成和扩展能力为用户提供了更全面的监控解决方案，满足复杂业务场景的需求。 详细介绍，请参见++云监控服务++