本文主要介绍如何同步数据库的元数据信息。 前提条件 已登录数据管理服务。 登录用户对该实例具有查看或者更高权限。 操作步骤 1. 点击 数据资产 >实例管理 ，进入实例列表界面。 2. 在列表中找到目标实例，在操作栏中找到 更多 > 同步元数据。 3. 点击 确认 按钮后，开始对当前实例的元数据同步。 注意 同步元数据将会异步执行，需要消耗一定的计算资源，请稍等片刻，如出现短暂的卡顿属正常情况。

本节为您介绍迁移评估相关问题。 成本评估中什么是TCO分析表？ TCO分析图表，全称为"总拥有成本（Total Cost of Ownership）"分析图表，是用来评估和比较不同产品或服务在整个生命周期中的总成本的工具。TCO分析考虑了购买成本、运营成本、维护成本和终止成本等多个方面。 资源映射表支持几种组件？ 支持数据库映射组件、计算资源映射组件、对象存储映射组件。 资源模板分为几种购买方式？ 2种。 第一种：包年/包月； 第二种：按需计费；

查看子网 查看已创建的子网信息，请参考查看虚拟私有云的操作指南。 删除子网 1. 登录ECX控制台。 2. 单击左侧导航栏的【边缘网络>虚拟私有云>VPC和子网】，选择对应的地域，查看当前地域下已创建的虚拟私有云和对应子网的信息。 3. 选择所要删除的虚拟私有云下的子网，点击子网操作栏中的【删除】，在确认删除弹框中点击【确认】执行删除，确保该子网下的计算资源已经全部释放后，才能删除子网。

本文介绍了科研助手一种先付费再使用的包年包月计费模式。 适用场景 包周期计费模式需要用户预先支付一定时长的费用，适用于长期、稳定的业务需求。以下是一些适用于包周期计费模式的业务场景： 稳定业务需求：对于长期运行且资源需求相对稳定的业务，例如大模型训练单任务运行时间较长的场景，包周期计费模式能提供较高的成本效益。 长期项目：对于周期较长的项目，例如科研类的模型训练，包周期计费模式可以确保在整个项目周期内资源的稳定使用。 约束限制 包周期的资源不能关机，不能更换资源规格，关机即退订。 适用计费项 计算资源（vCPU、GPU和NPU）支持包周期。 计费周期 包周期资源的计费周期是根据您购买的时长来确定的（以北京时间为准）。一个计费周期的起点是您开通或续费资源的时间（精确到秒），终点则是到期日的对应时间点。 例如，如果您在2024/04/06 15:50:04购买了一个时长为一个月的专属资源池，那么其计费周期为：2024/04/06 15:50:04 ~ 2024/05/06 15:50:04。 到期影响 购买后，在计费周期内资源正常运行；资源到期而未续费时，则进入冻结期。 到期预警 包周期资源在到期前7天内，用户将会收到系统推送的预警消息，消息将通过邮件和短信通知用户。 到期后影响 当您的包周期资源到期未释放且未续费，则包周期的资源将进入冻结状态，冻结期间无法删除资源，您可以选择续费解冻。若长时间未续费，那么计算资源（vCPU、GPU和和MEM）将被释放，数据无法恢复。

](.Port )./ 1$2222/g" /etc/ssh/sshconfig && sed i "s/ (StrictModes )./1no/g" /etc/ssh/sshdconfig && sed i "s/ (Port )./1$2222/g" /etc/ssh/sshdconfig echo "Port 2222" >> /home/batchcom/.sshdconfig 配置免密 sshkeygen t rsa N '' f /home/batchcom/.ssh/idrsa cat ~/.ssh/idrsa.pub >> ~/.ssh/authorizedkeys 用于解析多实例hostname的IP地址 sudo apt install y dnsutils MPI框架+IB网络 在使用 MPI 进行多机多卡并行计算时，建议优先采用 InfiniBand（IB）网络以提升多机协同的加速比。尤其对于涉及大量跨节点数据交换的任务，若未使用 IB 网络，其通信瓶颈可能导致多机集群的性能反而不及单机，无法充分发挥并行计算的优势。 MPI（如 OpenMPI、MPICH 等实现）支持 IB 网络的方式多样，以下以 UCX 作为通信后端为例，说明相关依赖的安装步骤： python 安装IBverbs相关依赖（提供IB硬件访问支持） sudo apt update && sudo apt install y ibverbsproviders libibumad3 libibverbs1 libnl3200 libnlroute3200 librdmacm1 安装UCX（高性能通信框架，适配IB与MPI） wget && sudo dpkg i ucx1.18.1rc3.deb 注意：以上仅为 MPI 基于 UCX+IB 的依赖安装流程，需确保 MPI 本身已编译并集成 UCX 和 OpenIB 模块（例如 OpenMPI 可通过以下命令检查）： python ompiinfo grep ucx ompiinfo grep openib 若返回空内容，说明未编译相关模块，需重新编译MPI并启用对应功能 此外，也可直接使用研助手预置的 OpenMPI+UCX+IB 网络运行环境镜像，简化配置流程: python ehub.ctcdn.cn/esxbatchcom/openmpiib:v1

通过控制台登录弹性云主机时提示1006或1000怎么办？ 问题描述 VNC方式远程登录弹性云主机时，系统报错误码“1006”，如下图所示。 图 VNC远程登录报错 可能原因 弹性云主机状态异常 其他用户正在登录 长时间未操作弹性云主机，系统自动断开 排查方法 1. 再次使用VNC方式登录弹性云主机，重试登录操作。 − 登录成功，结束。 − 登录报错，执行2。 2. 检查弹性云主机的状态是否正常。 关机、删除、主机迁移、重启、系统超时的弹性云主机，都会引起登录报错1006。 3. 确认是否有其他用户正在登录当前弹性云主机。 如果有，必须等前一用户退出登录后，后一用户才能登录成功。 VNC方式登录后，播放音频文件没有声音 问题描述 使用MSTSC方式登录Windows云主机，可以正常播放音频文件。但是，使用VNC方式登录Windows云主机时，播放音频文件没有声音。 可能原因 VNC方式不具备音频调用能力。 处理方案 通过本地PC播放Windows弹性云主机上的音频文件。以Windows 7的本地PC为例，具体操作如下： 1. 打开本地计算机。 说明 不是登录Windows弹性云主机。 2. 通过快捷键“Win+R”，打开“运行”窗口。 3. 输入“mstsc”，并单击“确定”。 系统打开“远程桌面连接”窗口。 图 远程桌面连接 4. 单击左下角的“选项”，并选择“本地资源”页签。 图 远程桌面连接本地资源 5. 在“远程音频”栏，单击“设置”，配置远程音频设置。 图 远程音频播放设置 6. 在“远程音频播放”栏，选择“在此计算机上播放”。

导入Windows操作系统 1. 单击“开始”，运行框输入“MMC”，回车。 2. 在MMC控制台菜单栏中单击“文件”，选择“添加/删除管理单元”。 3. 在“添加或删除管理单元”对话框，选择“可用管理单元”区域的“证书”。单击“添加”添加证书。 4. 在“证书管理”对话框，选择“计算机账户”，单击“下一步”。 5. 在“选择计算机”对话框，单击“完成”。 6. 在“添加或删除管理单元”对话框，单击“确定”。 7. 在MMC控制台，双击“证书”。 8. 右键单击“受信任的根证书颁发机构”，选择“所有任务”，单击“导入”。 9. 单击“下一步”。 10. 单击“浏览”，将文件类型更改为“所有文件 ( . )”。 11. 找到下载的根证书ca.pem文件，单击“打开”，然后在向导中单击“下一步”。 注意 您必须在浏览窗口中将文件类型更改为“所有文件 ( . )”才能执行此操作，因为“.pem”不是标准证书扩展名。 12. 单击“下一步”。 13. 单击“完成”。 14. 单击“确定”，完成根证书导入。 导入Linux操作系统 您可以使用任何终端连接工具（如WinSCP、PuTTY等工具）将证书上传至Linux系统任一目录下。 示例： 图 导入证书 如何管理TaurusDB安全性 若要避免安全性问题，切勿使用用户账户的主天翼云用户名和密码。推荐您使用您的主天翼云账户来创建IAM用户，并将这些用户分配给数据库用户账户。如有必要，您还可使用您的主账户创建其他用户账户。 创建账户过程中出错，可能是因为您的账户缺少权限，或者您的账户未正确设置。示例： 您的访问策略中可能缺少执行特定操作的权限，如创建数据库实例。要修复该问题，您的IAM管理员需要为您的账户提供必要的角色。

本章节主要介绍翼MapReduce服务的操作类常见问题。 如何使用组件客户端？ 1. 以root用户登录任意一个Master节点。 2. 执行su omm命令，切换到omm用户。 3. 执行cd 客户端安装目录 ，切换到客户端。 4. 执行source bigdataenv命令，配置环境变量。如果当前集群已启用Kerberos认证，执行kinit 组件业务用户认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 5. 环境变量配置成功后，即可执行组件的客户端命令。例如查看组件的相关信息，可执行HDFS客户端命令hdfs dfs ls /查看HDFS根目录文件。 集群支持提交哪些形式的Spark作业？ 在翼MR后台中，集群支持提交Spark、Spark Script和Spark SQL形式的Spark作业。 翼MR集群的计算资源最大值为0后，还可以跑Spark任务吗？ 翼MR集群的租户计算资源最大值改为0后，不可以跑Spark任务。 Spark作业的Client模式和Cluster模式有什么区别？ 理解YARNClient和YARNCluster深层次的区别之前先清楚一个概念：Application Master。 在YARN中，每个Application实例都有一个ApplicationMaster进程，它是Application启动的第一个容器。它负责和ResourceManager打交道并请求资源，获取资源之后告诉NodeManager为其启动Container。从深层次的含义讲YARNCluster和YARNClient模式的区别其实就是ApplicationMaster进程的区别。 YARNCluster模式下，Driver运行在AM(Application Master)中，它负责向YARN申请资源，并监督作业的运行状况。当用户提交了作业之后，就可以关掉Client，作业会继续在YARN上运行，因而YARNCluster模式不适合运行交互类型的作业。 YARNClient模式下，Application Master仅仅向YARN请求Executor，Client会和请求的Container通信来调度工作，也就是说Client不能离开。

禁止使用云产品向违法违规活动提供支持和帮助 禁止使用云产品（包括但不限于云主机、物理机、对象存储、CDN加速、域名等）搭建服务后，从事违法违规活动（如违法有害APP、网站等）或向违法违规活动提供技术支持和帮助。 禁止使用云产品从事虚拟货币相关活动 禁止使用云产品（包括但不限于云主机、物理机、云电脑等）运行恶意挖矿程序。 禁止使用云产品进行攻击 禁止利用云服务资源（包括但不限于ECS、CDN等云计算产品）用于发起网络攻击活动，或为上述攻击行为提供技术支持或服务协助。所涉违规行为包含且不限于：DDoS攻击、CC攻击、Web渗透攻击、密码暴力破解、DDoS控制服务运维、僵尸网络构建/操控、木马病毒传播、恶意文件分发等网络攻击相关活动。 禁止使用云产品搭建DDoS防御服务 禁止使用或利用云产品（产品包括但不限于OSS，DNS，ECS，SLB，EIP等）在云上搭建提供DDoS防御服务。 禁止未经报备的扫描、渗透测试等探测行为 禁止未经用户授权及天翼云报备对云产品及云上用户资产（包括但不限于各类云产品）进行扫描，渗透测试等探测行为（包括但不限于漏洞扫描，端口扫描，系统弱点探测，漏洞测试及验证、渗透测试等）。 禁止未经授权报备将云产品用作邮箱服务器或用于连接第三方邮箱服务器的行为 未经天翼云授权报备，不得将云产品（包括但不限于ECS，弹性Web托管等云计算产品）用作邮箱服务器或用于连接第三方邮箱服务器。 因客户使用天翼云产品导致天翼云IP被封禁，或影响天翼云平台和其他用户云上业务稳定运行，天翼云有权暂停、终止服务或限制账户、冻结资源等。

本章节主要介绍如何变更集群规格。 相比于扩容节点而言，变更规格功能更适合阶段性峰值或只对计算能力变化有诉求的业务场景，在业务峰值来临之前您可以通过变更规格快速提升集群计算能力，在业务峰值过后再快速的将集群配置降低，做到最大程度的节约成本。 说明 变更规格功能仅8.1.3.110及以上版本支持，历史版本需要联系技术支持人员升级Agent为8.1.3.110版本后支持。 当前仅支持离线变更规格，变更时间大约需要10分钟左右。 变更规格目前仅支持ECS+EVS形态的云数仓集群。 操作步骤 1.登录DWS 管理控制台。 2.单击“集群管理”。默认显示用户所有的集群列表。 3.集群列表中，在需要变更的集群所在行的 “操作” 列，选择“更多>规格变更”，系统将显示“规格变更”页面。 4.在“规格变更”页面，选择需要变更的项目。 a.弹性变更规格 选择目标规格，您可根据需求选择是否打开自动备份开关。 注意 降配变更即选择比集群当前规格低的目标规格，进行此操作可能会影响集群性能，请谨慎评估业务后进行操作。 b.弹性磁盘扩容 选择目标存储量。 5.单击"下一步：确认"按钮，提交集群变更规格任务。 6.返回集群列表，集群将显示“规格变更中”，请耐心等待10分钟左右。

本节主要介绍存储桶的生命周期规则。 在“存储桶列表”页面点击“属性”>“生命周期”，进入“生命周期”页面。在该页面，用户可以配置生命周期规则。 通过设置存储桶（Bucket）的生命周期规则，可以： 删除与生命周期规则匹配的文件。当文件的生命周期到期时，OOS会异步删除它们。生命周期中配置的到期时间和实际删除时间之间可能会有一段延迟。文件到期被删除后，用户将不需要为到期的文件付费。OOS删除到期文件后，会在Bucket log中记录一条日志，操作项是"OOS.EXPIRE.OBJECT"。 注意 如果文件的生命周期规则设置的是到期后删除，文件到期后将被永久删除，无法恢复。 将与生命周期规则匹配的文件由标准存储转换为低频访问存储，可以根据需要设置生命周期规则从文件最后一次修改生效，还是从文件最后一次访问时间生效。OOS转换存储类型为低频访问存储后，会在Bucket log中记录一条日志，操作项是"OOS.TRANSITIONSIA.OBJECT"。 项目 描述 :: 规则名称 生命周期规则名称。 适用范围 生命周期规则适用的范围。 规则 生命周期规则详情。 状态 生命周期规则的状态： 启用。 禁用。 操作 可以启用/禁用、编辑、删除指定的生命周期规则。 点击“添加规则”后，在弹窗中添加新的生命周期规则。 添加规则描述 项目 描述 :: 规则名称 生命周期规则名称。 文件转换策略 文件按生命周期规则转换的策略： 天数：生命周期规则在匹配文件最后一次修改时间或最后一次访问时间多少天后生效。 日期：生命周期规则生效日期，对于最后一次修改时间在此日期之前的文件执行生命周期规则。 适用范围 生命规则适用的范围： 按前缀匹配：输入生命周期规则匹配前缀，符合该前缀的文件执行生命周期规则。不符合的不执行生命周期规则。 整个存储桶：创建的生命周期规则适用该Bucket内的所有文件。 前缀 输入生命周期规则要匹配的文件名字的前缀。 前缀设置为example，表示匹配名字以example开头的所有文件，如example1.txt、example/test.png等。 前缀设置为example/，表示匹配名字以example/开头的所有文件，如example/test.png、example/abc/1.txt等。 转换到低频访问型文件 匹配生命周期规则的文件，到期后转换成低频访问型文件。 如果“文件转换策略”为“天数”，可以选择文件： 最后一次修改时间：指定在文件最后一次修改后多少天，根据生命周期规则，文件转为低频访问存储。 最后一次访问时间：指定在文件最后一次访问后多少天，根据生命周期规则，文件转为低频访问存储。 如果“文件转换策略”为“日期”，则在此日期之前修改的文件，将在此日期转换为低频访问存储。 删除文件 匹配生命周期规则的文件，到期后删除。 如果“文件转换策略”为“天数”，指定在文件最后一次修改后多少天，文件被删除。 如果“文件转换策略”为“日期”，则在此日期之前修改的文件，将在此日期被删除。 注意 如果存储桶没有配置过生命周期规则，执行该操作将创建新的生命周期规则。 如果存储桶内的生命周期规则正在执行时被修改配置，则修改后的配置并不立即生效，需等原生命周期规则执行完成后才能生效。 每个存储桶最多创建1000条生命周期规则。 同一存储桶，同一类型（到期删除或者到期转成低频访问存储）的生命周期规则不能存在叠加前缀，例如已创建到期删除文件的生命周期规则的前缀是ABC，则无法再创建前缀为ABCD或AB或A的到期删除文件的生命周期规则。 当用户为存储桶设置了生命周期规则，这些规则将同时应用于已有文件和后续新创建的文件。例如，用户今天增加了一个生命周期，指定过期时间为30天，那么OOS将会将最后修改时间在30天前的文件都加入到待删除队列中。 OOS通过将文件的最后一次修改时间或者最后一次访问时间加上生命周期时间来计算到期时间，并且将时间近似到下一天的GMT零点时间。例如，一个文件的最后修改时间为GMT 2016年1月15日10:30，生命周期为3天，那么文件的到期时间是GMT 2016年1月19日00:00。如果文件在上传之后没有修改过，则最后修改时间为该文件的上传时间。

监控项 单位 含义 指标名称 采集周期 GPU使用率 % 评估负载所消耗的计算能力，非空闲状态百分比 gpuutilongpu 1分钟 GPU显存使用量 可选KB、MB、GB，默认展示MB。 评估负载对显存的占用 memusageongpu 1分钟 GPU显存使用率 % 评估负载对显存的占用的百分比 memusageongpu 1分钟 GPU温度 ℃ 评估GPU散热情况 npuchipinfotemperature 1分钟 GPU功耗 W 评估GPU耗电情况 npuchipinfopower 1分钟

对象存储 对象存储（CTZOS，Zettabyte Object Storage）是天翼云为客户提供的一种海量、弹性、高可靠、高性价比的存储产品，是专门针对云计算、大数据和非结构化数据的海量存储形态，通过S3协议和标准的服务接口，提供非结构化数据（图片、音视频、文本等格式文件）的云存储服务。更多信息请参见对象存储产品介绍。您可以将需要长期存储的日志转储至对象存储中，确保日志不丢失并实现数据持久化。

限制项 限制说明 创建专有宿主机的用户限制 完成天翼云账号注册与实名认证。 专有宿主机及其上云主机的计费方式 专有宿主机：支持包年包月与按量两种计费方式。 其上云主机：专有宿主机上云主机的计算资源（vCPU和内存）不计费，与云主机一同创建的云盘、IP等资源按量计费。 专有宿主机上云主机的配额 专有宿主机上云主机的配额与共享宿主机上云主机的配额均占用“云主机服务配额”，若云主机服务配额不足，请前往服务配额中心申请扩大配额。

息壤科研助手致力于打造一站式高性能科研服务云平台,操作简易, 安全高效。平台融合算力、智能、应用,打造"开发机算力+科研智能体"一体化方案,它能解决企业、高校及科研单位诸多痛点,如找算力难、自建成本高、算力分配与数据共享难,还有科研软件部署维护难题。科研助手预置90 多个科研应用,涵盖 20 多个学科领域,支撑科研任务、教学实训、生物信息、工业仿真、具身智能、自动驾驶等场景。平台接入多种计算资源,支持一键部署、按需计费,让用户开箱即用,助力科研工作高效开展 。

本地使用Linux操作系统 如果您本地使用Linux操作系统登录Linux物理机，可以按照下面方式登录。下面步骤以私钥文件是“KeyPairee55”为例进行介绍。 1.在您的linux计算机的命令行中执行如下命令，变更权限。 chmod 600 /path/KeyPairee55 说明： 上述命令的path为密钥文件的存放路径。 2.执行如下命令登录物理机。 ssh i /path/KeyPairee55 xxx@ 物理机弹性IP地址 说明： path为密钥文件的存放路径。 xxx为物理机下发过程中默认创建的，如果创建物理机时使用Red Hat操作系统，则用户名为rhel。

本章节主要介绍数据治理中心DataArts Studio的产品定义。 数据治理中心 DataArts Studio，是为了应对企业数据管理问题、针对企业数字化运营诉求提供的数据全生命周期管理、具有智能数据管理能力的一站式治理运营平台。 数据治理中心 DataArts Studio包含数据集成、数据开发等功能，支持行业知识库智能化建设，支持大数据存储、大数据计算分析引擎等数据底座，帮助企业快速构建从数据接入到数据分析的端到端智能数据系统，消除数据孤岛，统一数据标准，加快数据变现，实现数字化转型。

本文为您介绍轻量型云主机的套餐规格。 轻量型云主机服务套餐 主机套餐是您在创建轻量型云主机时选择的云资源配置，它包括 CPU、内存、云硬盘（系统盘）和公网带宽。主机套餐分为两大类： 固定套餐： 这些套餐具有固定的 CPU、内存、系统盘和公网带宽大小。它们适用于用户对资源需求有明确要求的场景，不需要太多的灵活性。 随心购套餐： 这些套餐具有固定的 CPU 和内存的比例，但允许您根据需要自由选择系统盘和公网带宽的大小。这种套餐灵活性更高，可以满足不同应用程序需求的场景, 适合具有更高资源规格要求的用户。 主机实例 主机实例是指在宿主机上创建和运行的虚拟机实例。它们是物理服务器的虚拟化副本，为用户提供了灵活、可扩展和按需使用的计算资源。您可以选择适合您需求的主机套餐来创建主机实例，从而获得所需的计算能力和存储空间。 带宽 轻量型云主机的带宽是指与弹性 IP 地址关联的带宽。带宽决定了数据传输速度，较高的带宽意味着更快的数据传输。每个套餐内的带宽都是独享的，您不必与其他用户共享带宽资源，确保了网络性能的稳定性。 轻量型云主机的套餐规格 套餐类型 vCPU（核） 内存(GB ） 系统盘 带宽 固定套餐 基础型 2 4 40GB 2Mbits 固定套餐 进阶型 2 8 60GB 5Mbits 搭配套餐 随心购 4 8 40GB 60GB 80GB 1Mbits 2Mbits 5Mbits 10Mbits 15Mbits 搭配套餐 随心购 4 16 40GB 60GB 80GB 1Mbits 2Mbits 5Mbits 10Mbits 15Mbits 搭配套餐 随心购 8 16 40GB 60GB 80GB 1Mbits 2Mbits 5Mbits 10Mbits 15Mbits 搭配套餐 随心购 8 32 40GB 60GB 80GB 1Mbits 2Mbits 5Mbits 10Mbits 15Mbits

本小节介绍终端杀毒山东省税务局最佳实践。 项目背景介绍 山东省国家税务局现有16个市局，1所税务干部学校，126个县（市、区）局和34个开发区局，共有内网终端50000+。做为全国人口数量排名前三的省份，税务信息化建设对山东省税务局来说显的尤其重要，2013年，“金税三期”率先在山东等省份试点，借助互联网+、云计算、大数据等技术的逐步部署应用，为全省搭建了统一的纳税服务平台，实现了全省税收数据大集中。 近两年随着《网络安全法》及等保2.0政策的出台，税务行业对信息安全建设重视程度日益提高，在税务总局制定的《税务系统云计算安全规范》（征求意见稿）中对虚拟机访问控制、入侵及恶意代码防范规范中进行了明确要求，各地陆续开展虚拟化安全建设。 客户痛点及需求分析 山东省税务局项目需求主要为针对虚拟化主机、云桌面终端以及物理服务器的病毒防护，结合客户业务场景及当前现状，需求分析如下： 异构平台统一管理：客户当前具有Vmware5.16.0、深信服虚拟化平台、华为云桌面以及物理服务器，分开运维管理难度大、成本高，需要具备异构环境统一管理、集中运维的能力。 大规模部署：内外网虚拟化环境近900个CPU（无代理）、以及约2000客户端（轻代理），要求能够批量导入，统一策略，减少部署及调试工作量。 稳定性高：所部署的系统运行的是山东税务核心征税业务，不容有失，对产品性能及稳定性要求高，需要有大规模部署应用案例。 资源占用率低：云桌面向大量的内部人员提供高效的日常办公处理，对资源占用敏感，杀毒产品不能影响正常办公，传统杀毒软件因资源占用较大不适用。

SnapCheckpoint(Snapckpt)是由息壤训推智算服务平台提供的针对大模型训练场景提供的高性能checkpoint框架。Snapckpt提供了高效便捷的断点存储、加载机制。 Snapckpt加速包 SnapCheckpoint（Snapckpt）是由息壤一体化智算服务平台 训推智算服务平台提供的针对大模型训练场景提供的高性能checkpoint框架。Snapckpt提供了高效便捷的断点存储、加载机制。 Snapckpt介绍 Snapckpt是一种为大模型训练打造的易用、可拓展、高性能的断点解决方案。Snapckpt提供了高效便捷的断点存储、加载机制，其主要有以下几大优势： 1. 异步断点保存：通过优化断点保存流程，使得断点保存过程异步化，尽可能减小断点保存过程对于训练的中断，减少训练阶段耗时。 2. 分布式断点存储：对模型机优化器参数进行分布式存储，避免集中式存储带来的额外通信开销，大幅降低存储与加载断点的耗时。 3. 多框架支持：支持MegatronLM、Deepspeed两大主流大模型训练框架。 4. 简单易用：安装及使用方式简单，用户仅需简单步骤即可使用，提升使用效率。 背景信息 在大规模分布式模型训练过程中，系统可能因硬件故障或软件异常导致训练中断。为确保训练进度可恢复，业界普遍采用周期性保存检查点(Checkpoint)的方案。值得注意的是，检查点操作耗时与模型参数量呈正相关关系，当面对参数量达百亿甚至千亿级别的大模型时，每次检查点保存往往需要耗费数分钟至十余分钟不等。特别是在使用MegatronLM框架或原生PyTorch进行训练时，检查点保存过程会强制暂停训练任务，导致宝贵的计算资源被闲置。因此，开发高效的检查点机制以降低时间成本和资源浪费，已成为当前大规模模型训练亟待解决的关键问题。 Snapckpt采用多阶段异步断点存储机制，降低断点存储耗时，减少训练中断带来的影响，从而提升训练速度，提升计算资源有效利用率。

训练任务多机训练 多节点训练是提升模型训练效率、实现大规模分布式计算的关键方式。借助平台提供的训练任务工具，通过动态分配计算资源、自动化参数配置和高效的资源管理，能够快速完成大规模模型的分布式训练。以下是多节点训练的详细操作指南。 训练脚本准备 多节点训练的脚本与单节点训练脚本基本一致，仅需针对分布式参数部分进行相应调整。 复制单节点训练脚本。 python 参考单机训练脚本拷贝出一份多机训练脚本 cpexamples/llama2/pretrainllama27bptd.shexamples/llama2/pretrainllama27bmultinodes.sh 修改分布式参数，在脚本中，调整以下配置： python examples/llama2/pretrainllama27bmultinodes.sh GPUSPERNODE8 DISTRIBUTEDARGS" nprocpernode $GPUSPERNODE nnodes $PETNNODES noderank $PETNODERANK masteraddr $PETMASTERADDR masterport $PETMASTERPORT " 参数说明 $GPUSPERNODE：每个节点的 GPU 数量，由用户自行配置。 $NNODES：总节点数，由用户自行配置。 $PETNNODES、$PETNODERANK、$PETMASTERADDR、$PETMASTERPORT：由平台提供的系统变量自动配置。 创建任务 多节点集群训练可使用训练任务工具创建多机多卡训练任务，创建任务可通过以下两种方式创建。 方法一：通过开发机任务创建 在开发机任务页面中创建训练任务，系统会自动选择与开发机一致的镜像版本，保证环境一致性。 方法二：通过训练任务工具创建 打开平台左侧“训练任务”选项卡，点击“新建任务”按钮。

本文主要介绍弹性文件服务的基本概念。 什么是NFS？ NFS（Network File System），即网络文件系统。一种使用于分散式文件系统的协议，通过网络让不同的机器、不同的操作系统能够彼此分享数据。 Linux系统建议使用NFS协议类型的文件系统。 什么是CIFS？ CIFS（Common Internet File System），通用Internet文件系统，是一种网络文件系统访问协议。CIFS是公共的或开放的SMB协议版本，由微软公司使用，它使程序可以访问远程Internet计算机上的文件并要求此计算机提供服务。通过CIFS协议，可实现Windows系统主机之间的网络文件共享。 CIFS类型的文件系统不支持使用Linux操作系统的云主机进行挂载。 Windows系统建议使用CIFS协议类型的文件系统。 文件系统 文件系统通过标准的NFS协议和CIFS协议为客户提供文件存储服务，用于网络文件远程访问，用户通过管理控制台创建挂载地址后，即可在多个云主机上进行挂载，并通过标准的POSIX接口对文件系统进行访问。 POSIX 可移植操作系统接口（Portable Operating System Interface，POSIX），是IEEE为要在各种UNIX操作系统上运行软件而定义API的一系列互相关联的标准的总称。POSIX标准意在期望获得源代码级别的软件可移植性。也就是为一个POSIX兼容的操作系统编写的程序，可以在任何其它的POSIX操作系统上编译执行。 DHCP 动态主机配置协议（Dynamic Host Configuration Protocol，DHCP）是一个局域网的网络协议。指的是由服务器控制一段IP地址范围，客户机登录服务器时就可以自动获得服务器分配的IP地址和子网掩码。默认情况下，DHCP作为Windows Server的一个服务组件不会被系统自动安装，还需要管理员手动安装并进行必要的配置。

本节介绍在Windows操作系统环境下安装天翼云电脑客户端遇到补丁缺失等问题时的解决方法。 Windows安装运行问题 在Windows操作系统环境下安装云电脑时，为确保云电脑客户端及相关组件正常安装， 需确保Windows installer服务正常运行，系统盘剩余容量大于600M。 Win7系统需提前安装SP1补丁(KB976932)、KB3033929、KB2999226补丁，否则将导致登录客户端报异常退出、桌面不能连接、模块加载失败等问题。用户可参考以下指引完成补丁安装。 Windows7操作系统缺少SP1补丁的解决办法 ●请根据本地计算机操作系统版本，到以下地址下载对应安装包运行安装： ●查看补丁安装情况 第1步 启动Windows 7操作系统，点击任务栏"开始"按钮。选择"所有程序控制面板"项。 第2步 打开"控制面板"程序窗口，点击下侧"程序"图标。 第3步 打开"程序"选项界面，点击上侧"程序和功能"图标。 第4步 打开"程序和功能"选项界面，点击左侧"查看已安装的更新"图标。 KB3033929补丁缺失解决办法 ●请根据本地计算机操作系统版本，到以下地址下载对应安装包运行安装： 32位地址： 64位地址： ●查看补丁安装情况 第1步 启动Windows 7操作系统，点击任务栏"开始"按钮。选择"所有程序控制面板"项。 第2步 打开"控制面板"程序窗口，点击下侧"程序"图标。

简述存储能力常用术语。 块存储 块存储主要为云服务器提供的块设备产品，具有高性能和低时延的特点，支持随机读写。用户可以像使用物理硬盘一样格式化并建立文件系统来使用块存储，可满足大部分通用业务场景下的数据存储需求。 文件存储 文件存储也称为文件级存储或基于文件的存储，数据会以单条信息的形式存储在文件夹中。当用户需要访问该数据时，用户的计算机需要知道相应的查找路径。存储在文件中的数据会根据数量有限的元数据来进行整理和检索，这些元数据会告诉计算机文件所在的确切位置。 对象存储 对象存储，也称为基于对象的存储，是一种扁平结构，其中的文件被拆分成多个部分并散布在多个硬件间。在对象存储中，数据会被分解为称为“对象”的离散单元，并保存在单个存储库中，而不是作为文件夹中的文件或服务器上的块来保存。 访问密钥（AK/SK） 媒体存储对象存储协议通过AK/SK认证方式进行认证鉴权，即使用Access Key（AK）/ Secret access Key（SK）加密的方法来验证某个请求发送者身份。 当用户使用媒体存储提供的SDK或API进行二次开发时，需通过AK/SK认证方式完成认证鉴权。 媒体存储中的对象存储支持密钥管理功能，用户可通过控制台进行相关操作。 Access Key(AK)：访问密钥ID，与私有访问密钥关联的唯一标识符；一个访问密钥ID对应一个用户，一个用户可以同时拥有5个访问密钥ID。访问密钥ID和私有访问密钥一起使用，对请求进行加密签名。 Secret access Key(SK)：私有访问密钥, 与访问密钥ID结合使用，对请求进行加密签名，标识发送方，防止请求信息被篡改。

匿名访问ftp的根目录为Linux系统的/var/ftp/目录。 5. ftp> ls 查看当前目录。 6. 打开客户端的计算机，在路径栏输入“ftp://FTP服务器IP地址:FTP端口”(如果不填端口则默认访问21端口)。弹出输入用户名和密码的对话框表示配置成功，正确的输入用户名和密码后，即可对FTP文件进行相应权限的操作。 在linux云主机上文件目录下一致。

本文主要介绍搭建可自动伸缩的web服务解决方案。 弹性伸缩可以实现计算资源随业务峰谷自动伸缩，无需您提前预估和手动干预即可确保应用可用性。尤其针对双十一等大促活动，弹性伸缩具备几分钟内交付上千台ECS实例的能力，自动及时地应对突增流量，提升业务的可靠性。 您可以采用以下方案： 针对日常业务流量，购买包年包月ECS实例。 针对计划外突增流量，通过弹性伸缩监控负载变化并实现自动创建ECS实例。 示意图如下：

本文将为您介绍如何使用新规格创建伸缩配置。 操作场景 伸缩配置用于定义伸缩组资源扩展时云主机的规格，包括云主机的类型、vCPU、内存等。自动扩容时，伸缩组根据伸缩配置来创建弹性云主机实例，并将创建的云主机实例添加到伸缩组。 若您需要定义全新的云主机类型、规格、镜像作为伸缩组扩容云主机模板，可在创建伸缩配置时，可选择“使用新规格”。 约束与限制 单个资源池最大可创建100个伸缩配置。 单个伸缩组可关联1个0伸缩配置。 若单个资源池伸缩配置配额不足，可提交工单提升配额值。 操作步骤 创建伸缩配置有两个进入窗口： 在弹性伸缩管理控制台，进入“伸缩配置”页签，点击右上角“创建伸缩配置”按钮进行创建。本文将重点介绍此方式。 创建伸缩组时，在“配置来源”页面，即可创建新的伸缩配置。具体操作请参见“快速入门>快速扩缩容弹性云主机>创建伸缩配置”。 1. 登录控制中心。 2. 单击控制中心左上角的，选择弹性伸缩组所在地域。 3. 单击“计算>弹性伸缩服务”，进入弹性伸缩管理控制台。 4. 单击“伸缩配置”，进入“伸缩配置”页签，点击右上角“创建伸缩配置”按钮，进入“创建伸缩配置”页面。 5. 在 “创建伸缩配置”页面，用户可以配置伸缩配置相关参数，具体参数配置如下表所示： 参数 是否必选 参数说明 名称 是 创建伸缩配置的名称。 可用区 是 多可用区资源池可选择伸缩组绑定的伸缩配置，在指定可用区扩缩容。当伸缩配置绑定的伸缩组使用优先级扩容策略时，可用区选择顺序将决定优先级。 配置规格 是 配置规格有两种选择，使用新规格与使用现有云主机规格： 选择“使用现有云主机规格 > 请选择云主机“快速创建伸缩配置。创建配置时，云主机类型、 vCPU、内存、镜像、云硬盘数据、安全组信息将默认与选择的云主机规格保持一致。 选择“使用新规格”，根据实际业务需求配置云主机类型、vCPU、内存、镜像（支持公共镜像、私有镜像或共享镜像）、云硬盘参数、安全组信息。 弹性IP 是 弹性IP可以实现虚拟私有云中的云资源通过固定的公网IP 地址对外提供访问服务。您可以根据实际需求选择以下两种方式： 不使用：弹性云主机不能与互联网互通，仅可在虚拟私有云内部使用。 自动分配：自动为每台弹性云主机分配独享带宽的弹性IP，带宽大小可以根据您的业务需要设定。 登录方式 是 天翼云提供两种登录方式供您选择，密钥对和密码。 密钥对：指使用密钥作为弹性云主机的鉴权方式进行登录。选择此方式，请您在密钥对配置项中导入密钥对。如果您直接从下拉列表中选择已有的密钥，请确保您已在本地获取该文件，否则，将影响您正常登录弹性云主机。 密码：指使用设置 root 用户（Linux 操作系统）和 Administrator 用户（Windows操作系统）的初始密码方式作为弹性云主机的鉴权方式，如果选择此方式，您可以通过用户名密码方式登录弹性云主机。您需要为您的用户设置密码用于登录云主机。 云监控 否 是否开启详细监控。若开启，在云主机创建成功后35分钟将自动执行详细监控Agent安装，可获取云服务器CPU、内存、网络、磁盘、进程等指标详细监控；若不开启，则通过该伸缩配置创建的云主机无任何监控数据。 是否编辑标签 否 是否启用标签。若启用，通过该伸缩配置创建的云主机默认绑定标签；若不启用，则通过该伸缩配置创建的云主机无标签。 用户数据 否 用于创建云主机时向云主机注入实例自定义数据。伸缩配置支持以文本形式输入用户数据内容，配置后，云主机首次启动时会自行注入数据信息。 例如：您可以通过注入一段脚本，激活待创建云主机的root用户权限，注入成功后，您可以使用root用户登录弹性云主机。 说明 创建伸缩配置时选择“使用新规格”可完成伸缩配置的创建。 6. 配置完成之后，点击右下角的“确定”，即可创建成功。创建成功的伸缩配置可在伸缩配置列表中查看。

训练任务多机训练 多节点训练是提升模型训练效率、实现大规模分布式计算的关键方式。借助平台提供的训练任务工具，通过动态分配计算资源、自动化参数配置和高效的资源管理，能够快速完成大规模模型的分布式训练。以下是多节点训练的详细操作指南。 1.训练脚本准备 多节点训练的脚本与单节点训练脚本基本一致，仅需针对分布式参数部分进行相应调整。 复制单节点训练脚本。 plaintext 参考单机训练脚本拷贝出一份多机训练脚本 cpexamples/llama2/pretrainllama27bptd.shexamples/llama2/pretrainllama27bmultinodes.sh 修改分布式参数，在脚本中，调整以下配置： plaintext examples/llama2/pretrainllama27bmultinodes.sh GPUSPERNODE8 DISTRIBUTEDARGS" nprocpernode $GPUSPERNODE nnodes $PETNNODES noderank $PETNODERANK masteraddr $PETMASTERADDR masterport $PETMASTERPORT " 参数说明 $GPUSPERNODE：每个节点的 GPU 数量，由用户自行配置。 $NNODES：总节点数，由用户自行配置。 $PETNNODES、$PETNODERANK、$PETMASTERADDR、$PETMASTERPORT：由平台提供的系统变量自动配置。 2.创建任务 多节点集群训练可使用训练任务工具创建多机多卡训练任务，创建任务可通过以下两种方式创建。 方法一：通过模型开发任务创建 在模型开发任务页面中创建训练任务，系统会自动选择与开发机一致的镜像版本，保证环境一致性。 方法二：通过训练任务工具创建 打开平台左侧“训练任务”选项卡，点击“新建任务”按钮。

本节介绍了弹性云主机远程连接类相关问题。 MSTSC方式登录Windows 2012的弹性云主机，登录失败怎么办？ 问题描述 对于密码鉴权方式创建的Windows 2012弹性云主机，使用初始密码以MSTSC方式登录时，登录失败，系统显示“第一次登录之前，你必须更改密码。请更新密码，或者与系统管理员或技术支持联系”。 可能原因 用户本地使用的计算机（即客户机）操作系统为Windows 10。 由于Windows 10操作系统的自身限制，不能以初始密码直接远程连接操作系统为Windows 2012的弹性云主机。 处理方法 方法一 更换使用Windows 7操作系统的计算机作为客户机，远程连接操作系统为Windows 2012的弹性云主机。 方法二 继续使用Windows 10 客户机远程登录，但是，需先修改弹性云主机的初始密码。 a. 首次登录，以VNC方式登录操作系统为Windows 2012的弹性云主机。 b. 登录成功后，按照界面提示修改弹性云主机的密码。 c. 使用修改后的密码，以MSTSC方式远程登录。 方法三 继续使用Windows 10 客户机，并以初始密码远程登录。 a. 单击“开始”菜单，在“搜索程序和文件”中，输入“mstsc”。 系统进入“远程桌面连接”界面。 b. 依次输入弹性IP、用户名“administrator”以及创建弹性云主机时设置的登录密码进行连接。 连接失败，系统提示“第一次登录之前，你必须更改密码。请更新密码，或者与系统管理员或技术支持联系”。 c. 单击“远程桌面连接”页面左下角的“选项”。 d. 在“常规”页签，单击“连接设置”栏的“另存为”，保存“.rdp”格式的远程桌面文件。 e. 使用Notepad++打开d中保存的远程桌面文件。 f. 编辑远程桌面文件，在文件的最后一行，添加如下语句并保存。 enablecredsspsupport:i:0 g. 双击更新后的“.rdp”文件，打开远程桌面连接。 h. 单击“连接”，重新连接操作系统为Windows 2012的弹性云主机。

本节介绍在Windows操作系统环境下安装天翼云电脑遇到补丁缺失等问题时的解决方法。 Windows安装运行问题 在Windows操作系统环境下安装天翼AI云电脑时，为确保AI云电脑客户端及相关组件正常安装， 需确保Windows installer服务正常运行，系统盘剩余容量大于600M。 Win7系统需提前安装SP1补丁(KB976932)、KB3033929、KB2999226补丁，否则将导致登录客户端报异常退出、桌面不能连接、模块加载失败等问题。用户可参考以下指引完成补丁安装。 Windows7操作系统缺少SP1补丁的解决办法 ●请根据本地计算机操作系统版本，到以下地址下载对应安装包运行安装： ●查看补丁安装情况 第1步 启动Windows 7操作系统，点击任务栏"开始"按钮。选择"所有程序控制面板"项。 第2步 打开"控制面板"程序窗口，点击下侧"程序"图标。 第3步 打开"程序"选项界面，点击上侧"程序和功能"图标。 第4步 打开"程序和功能"选项界面，点击左侧"查看已安装的更新"图标。 KB3033929补丁缺失解决办法 ●请根据本地计算机操作系统版本，到以下地址下载对应安装包运行安装： 32位地址： 64位地址： ●查看补丁安装情况 第1步 启动Windows 7操作系统，点击任务栏"开始"按钮。选择"所有程序控制面板"项。 第2步 打开"控制面板"程序窗口，点击下侧"程序"图标。

本文带您了解什么是内网DNS产品。 内网DNS（Intranet Domain Name Service，CTIDNS）提供高可用，高扩展的DNS服务和DNS管理服务，帮助客户将域名或应用资源转换成用于计算机连接的IP地址，从而将最终用户路由到相应的应用资源上，实现应用资源的访问和内网服务的连接。内网DNS可提供VPC内安全、全面、高性能的域名解析功能，可直接响应内网域名的解析请求，快速高效，有效防护劫持，避免安全风险。 内网域名解析过程 当VPC内云服务器访问内网域名时，内网DNS直接对内网域名进行解析，向云服务器返回对应被访问的云服务器的私网IP地址。 当VPC内云服务器访问Internet上的公网域名时，内网DNS会将对公网域名的解析请求转发至公共DNS进行解析，待收到公共DNS返回的公网IP地址后，再将公网IP返回云服务器。 系统架构 内网DNS（Intranet Domain Name Service，CTIDNS）由两个关键组成部分构成，分别是管控层和解析层： 管控层：管控层通过控制台和OpenAPI对外提供服务，主要职能如下： 管理域名解析数据：管控层负责处理域名解析数据的增删改查操作，确保域名与IP地址的映射准确性。 配置数据管理：管控层管理配置数据，保障DNS服务的可靠性和可用性。 日志数据管理：管控层记录和管理日志数据，支持用户监测和故障排除。 存储功能：管控层存储域名解析数据、配置数据和日志数据，确保数据的安全性和可靠性。 解析层：解析层通过部署解析服务器集群向外提供服务，主要职能为： 域名解析：解析层接收来自管控层的域名解析记录数据，并对解析请求进行响应，将域名解析为对应的IP地址，实现计算机之间的连接。

本文主要介绍安全容器与普通容器。 安全容器和普通容器相比，它最主要的区别是每个容器（准确地说是pod）都运行在一个单独的微型虚拟机中，拥有独立的操作系统内核，以及虚拟化层的安全隔离。因为云容器引擎CCE的容器安全隔离比独立拥有私有Kubernetes集群有更严格的要求。通过安全容器，不同容器之间的内核、计算资源、网络都是隔离开的，保护了Pod的资源和数据不被其他Pod抢占和窃取。 CCE Turbo集群下单节点支持普通容器和安全容器，您可以根据业务需求选择使用，两者的区别如下： 分类 安全容器 Docker普通容器 Containerd普通容器 容器所在节点类型 物理机 虚拟机 虚拟机 容器引擎 Containerd Docker Containerd 容器运行时 Kata runC runC 容器内核 独占内核 与宿主机共享内核 与宿主机共享内核 容器隔离方式 轻量虚拟机 Cgroups和Namespace Cgroups和Namespace 容器引擎存储驱动 Device Mapper OverlayFS2 OverlayFS Pod Overhead 内存：100MiBCPU：0.1CorePod Overhead为安全容器本身资源占用。比如Pod申请的limits.cpu 0.5Core和limits.memory 256MiB，那么该Pod最终会申请0.6Core的CPU和356MiB的内存。 无 无 最小规格 内存：256MiBCPU：0.25Core安全容器的CPU核数（单位为Core）与内存（单位为GiB）配比建议在1:1至1:8之间。例如CPU为0.5Core，则内存范围建议在512MiB4GiB间。 无 无 容器引擎命令行 crictl docker crictl Pod的计算资源 CPU和内存的request和limit必须一致 CPU和内存的request和limit可以不一致 CPU和内存的request和limit可以不一致 hostnetwork 不支持 支持 支持