维度 子维度 CCE Turbo集群 CCE集群 集群 定位 面向云原生2.0的新一代容器集群产品，计算、网络、调度全面加速 标准版本集群，提供商用级的容器集群服务 集群 节点形态 支持虚拟机和物理机混合 支持虚拟机和物理机混合 网络 网络模型 云原生网络2.0 ：面向大规模和高性能的场景。 组网规模最大支持2000节点 云原生网络1.0 ：面向性能和规模要求不高的场景。 容器隧道网络模式 VPC网络模式 网络 网络性能 VPC网络和容器网络融合，性能无损耗 VPC网络叠加容器网络，性能有一定损耗 网络 容器网络隔离 Pod可直接关联安全组，基于安全组的隔离策略，支持集群内外部统一的安全隔离。 隧道网络模式：集群内部网络隔离策略，支持Networkpolicy。 VPC网络模式：不支持 安全 隔离性 物理机：安全容器，支持虚机级别的隔离 虚拟机：普通容器 普通容器，Cgroups隔离

第三方云站点 第三方云站点单路由接入方式资费，如下表所示。 带宽速率（bps） 标准价格（元/月） 2M 3035 4M 4310 6M 6008 8M 7695 10M 9311 20M 16642 30M 23313 40M 29734 50M 35988 60M 42243 70M 48497 80M 54751 90M 61006 100M 67260 200M 113785 300M 134460 400M 155135 500M 175810 600M 196485 700M 217160 800M 237835 900M 258510 1G 283996 2G 485265 3G 688114 4G 892540 5G 1096967 6G 1301394 7G 1505820 8G 1710247 9G 1914674 10G 2119100 价格说明 1. 对于标准价格中未提及的非标准带宽速率价格，可参考价格折算公式进行计算，公式为：假设速率为X，收费标准为 F，其相邻的低速率为 X1，资费标准为 F1，高速率为 X2，资费标准为 F2，则速率 X 的收费标准 F 应为： 2. 以上资费标准适用于使用中国电信大陆境内（不包括台湾、香港、澳门地区）业务的政企客户。

本小节介绍安全专区云防火墙配置的VPC环境调整。 云防火墙需要实现IP地址转换功能，所以需要关闭云主机的网络接口IP地址检查，同时放通相关网络端口。 关闭云防火墙虚机网络检查 1.在【天翼云控制中心】页面中的【控制中心】→【计算】→【弹性云主机】，找到承载云防火墙（AQZQAF）的云主机（表示主机名称）。 点击该云主机名称，选择网卡，确认该云主机下有两个网卡。 2.将所有网卡的【源/目的检查】选项设置关闭。 3.确认网卡的安全组是否放通业务流量端口（必须放通TCP/443端口）。 4.进入【控制中心】→【网络】→【虚拟私有云】，检查安全专区所在VPC子网，详情如图所示，记录子网“IPv4网络”与“网关”。

DeepSeek简介 DeepSeek 是一个基于 Transformer 架构的大型语言模型（LLM），由深度求索（DeepSeek）公司开发。它能够处理自然语言理解、生成、翻译、问答等多种任务。DeepSeekR1 在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大提升了模型推理能力。在数学、代码、自然语言推理等任务上，性能比肩 OpenAI o1 正式版。 DeepSeek公司在开源 DeepSeekR1Zero 和 DeepSeekR1 两个参数量超过660B 模型的同时，通过 DeepSeekR1 的输出，蒸馏了 6 个小模型开源给社区，其中32B和70B模型在多项能力上实现了对标 OpenAI o1mini 的效果。 模型微调简介 大语言模型微调技术通过调整预训练模型参数，使其适应特定任务需求。其核心价值在于让通用的人工智能工具变得更“专业”和“实用”，就像把一个会做各种菜的厨师培训成专精川菜的大厨。它能让企业用较低成本获得适合自身需求的AI能力，例如： 1. 降低成本：无需从头训练昂贵的大模型，只需在现有通用模型基础上“补充学习”企业内部的业务知识、行业术语，就能快速打造专属AI助手，成本大幅降低。 2. 精准解决问题：通用AI可能懂诗词绘画，但不懂医疗诊断或法律合同。通过微调，AI能深度掌握特定领域的专业知识，例如快速分析病历、自动生成符合行业规范的报告。 3. 保护数据隐私：企业可将内部数据安全地用于微调，既让AI掌握核心业务知识，又避免敏感数据直接暴露在公共模型中。 4. 推动普惠应用：中小型企业也能通过这项技术享受AI红利，例如教育机构定制学习辅导AI，工厂打造设备维护专家系统，真正让AI进入百行千业。 在下文中，我们将采用两个具体实践案例来说明模型微调的实际效果： 1. 基于天翼云文档数据的微调 。利用企业自身的文档数据构建微调数据集，仅使用单台多GPU卡的云主机即可完成模型微调训练。经过微调后的模型能够在企业内部知识领域提供准确的回答。 2. 基于医学计算数据的微调 。利用医学领域的专业知识数据构建微调数据集，仅使用单台多GPU卡的云主机即可完成模型微调训练。经过微调后的模型能够在识别与分析病例时取得更高的计算准确度。

本节主要介绍PUT Bucket Lifecycle。 此操作用来设置Bucket生命周期规则。只有根用户和具有PUT Bucket Lifecycle权限的子用户才能执行此操作。 通过设置存储桶的生命周期规则，可以： 删除与生命周期规则匹配的文件：当文件的生命周期到期时，OOS会异步删除它们。生命周期中配置的到期时间和实际删除时间之间可能会有一段延迟。但文件到期被删除后，用户将不需要为到期的文件付费。OOS删除到期文件后，会在Bucket log中记录一条日志，操作项是"OOS.EXPIRE.OBJECT"。 将与生命周期规则匹配的文件由标准存储转换为低频访问存储：可以根据需要设置生命周期规则从文件最后一次修改时间生效，还是从文件最后一次访问时间生效。OOS转换存储类型为低频访问存储后，会在Bucket log中记录一条日志，操作项是"OOS.TRANSITIONSIA.OBJECT"。 注意 如果文件的生命周期规则设置的是到期后删除，文件到期后将被永久删除，无法恢复。 如果Bucket内的生命周期规则正在执行时被修改配置，则修改后的配置并不立即生效，需等原生命周期规则执行完成后才能生效。 如果Bucket没有配置过生命周期规则，执行该操作将创建新的生命周期规则。如果Bucket已存在生命周期规则，则执行此操作将覆盖原有规则。 每个Bucket最多创建1000条生命周期规则。 同一Bucket，同一类型（到期删除或者到期转成低频访问存储）的生命周期规则不能存在叠加前缀，例如已创建到期删除文件的生命周期规则的前缀是ABC，则无法再创建前缀为ABCD或AB或A的到期删除文件的生命周期规则。 当用户为Bucket设置了生命周期规则，这些规则将同时应用于已有文件和后续新创建的文件。例如，用户今天增加了一个生命周期，指定某些前缀的文件30天后过期，那么OOS将会将满足条件的30天前创建的文件都加入到待删除队列中。 OOS通过将文件的最后一次修改时间或最后一次访问时间，加上生命周期时间来计算到期时间，并且将时间近似到下一天的GMT零点时间。例如基于创建时间设置生命周期：一个文件于GMT 2016年1月15日10:30创建，生命周期为3天，那么文件的到期时间是GMT 2016年1月19日00:00。当重写一个文件时，OOS将以最后更新时间为准，来重新计算该文件的到期时间。 可以通过GET Object、HEAD Object查询文件的到期时间。

数据脱敏是否支持原地脱敏？ 数据脱敏支持原地脱敏功能，请您先打开“系统配置管理>全局配置”的“数据流向”开关。然后在'脱敏/水印任务→结构化任务'下新增任务中的“数据流向”配置项下，就会出现相关选项。 数据脱敏是否支持非结构化脱敏？ 数据脱敏支持非结构化脱敏（包括XML、JSON、TXT、WORD、DICOM等），具体请先登录SysAdmin用户，查看'脱敏/水印任务→非结构化任务'。 数据脱敏数据是否会落地？ 数据脱敏系统保证敏感数据全程不落地，所有敏感数据全部在内存中处理，避免产品本身成为数据泄漏的一个风险点。 实现原理：代码用Java语言实现，脱敏步骤在JVM内存中进行，脱敏结束后，方法自动出栈，堆内存中的数据对象会被自动清理，不会落地到磁盘。 数据脱敏支持哪些脱敏算法？ 支持24大类200多种系统内置脱敏算法，适用各种业务场景主要算法支持情况如下： 置空：直接将待脱敏的信息以填充空字符或者删除的形式抹除。 乱序：在结构化数据（例如数据库）中颇为常用，对于待脱敏的列，不对列的内容进行修改，仅对数据的顺序进行随机打乱。 遮蔽：保留数据一些位置上的信息，对于敏感位置的信息使用指定的字符进行替换。 分割：保留数据一些位置上的信息，对于敏感位置的信息进行删除。 替换：使用固定值或字典映射表对敏感数据进行替换。 取整：对数值类型和日期时间类型的数据进行取整操作。 哈希：将哈希（或哈希加盐）编码后的数据作为脱敏结果输出。 仿真（保留业务含义）：考虑到业务含义，则生成的数据需符合核验规则，主要包括长度、取值范围以及校验规则和校验位的计算等。 密码学：根据所选参数指定的密码学加密算法对数据进行加密。支持的加密算法有：RSA/AES/SM2/SM4。 编码：根据所选参数指定的编码方式对数据进行编码。 保留类别频次特征：主要指的是反映事物类别的数据类型，具有有限个无序的值，或枚举类型，脱敏后各个类型出现的频次可保持不变。 保留数值统计特征：支持分布重建、平均、区间、标准化、归一化、添加噪声、一致性等算法：对数值型数据在脱敏后可保留数据中的高阶统计特征及数据分布特征，仍满足趋势分析要求。 关联关系保留：支持计算关系保留、乱序关联保留、身份信息关联保留等算法：对数据在脱敏后可保留其原始的字段间关联关系。 保留原数据：对指定的列的数据不做脱敏处理。 溯源算法:对数据本身添加仿真水印，做到精准溯源。

数据源简介 数据源简介 数据源类型 简介 数据仓库服务（DWS） DWS是基于Sharednothing分布式架构，具备MPP大规模并行处理引擎，兼容标准ANSI SQL 99和SQL 2003，同时兼容PostgreSQL/Oracle数据库生态，为各行业PB级海量大数据分析提供有竞争力的解决方案。 数据湖探索（DLI） DLI是完全兼容Apache Spark和Apache Flink生态，实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎，企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等，挖掘和探索数据价值。 MapReduce服务（MRS HBase） HBase是一个开源的、面向列（ColumnOriented）、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。 使用MRS HBase可实现海量数据存储，并实现毫秒级数据查询。选择MRS HBase可以实现物流数据毫秒级实时入库更新，并支持百万级时序数据查询分析。 MapReduce服务（MRS Hive） Hive是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HiveQL，它允许熟悉SQL的用户查询数据。 使用MRS Hive可实现TB/PB级的数据分析，快速将线下Hadoop大数据平台（CDH、HDP等）迁移上云，业务迁移 “0”中断，业务代码 “0”改动。 MapReduce服务（MRS Kafka） MapReduce服务可提供专属MRS Kafka集群。Kafka是一个分布式的、分区的、多副本的消息发布订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。 MapReduce服务（MRS Ranger） Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限。 MySQL MySQL是目前最受欢迎的开源数据库之一，其性能卓越，架构成熟稳定，支持流行应用程序，适用于多领域多行业，支持各种WEB应用，成本低，中小企业首选。 MapReduce服务（MRS Spark） Spark是一个开源的，并行数据处理框架，能够帮助用户简单的开发快速、统一的大数据应用，对数据进行协处理、流式处理、交互式分析等等。 Spark提供了一个快速的计算、写入以及交互式查询的框架。相比于Hadoop，Spark拥有明显的性能优势。Spark提供类似SQL的Spark SQL语言操作结构化数据。 云数据库RDS RDS是一种基于云计算平台的即开即用、稳定可靠、弹性伸缩、便捷管理的在线关系型数据库服务。 注意，DataArts Studio平台目前仅支持RDS中的MySQL和PostgreSQL数据库。 主机连接 通过主机连接，用户可以在DataArts Studio数据开发中连接到指定的主机，通过脚本开发和作业开发在主机上执行Shell或Python脚本。主机连接保存连接某个主机的连接信息，当主机的连接信息有变化时，只需在主机连接管理中编辑修改，而不需要到具体的脚本或作业中逐一修改。 MapReduce服务（MRS Presto） Presto是一个开源的用户交互式分析查询的SQL查询引擎，用于针对各种大小的数据源进行交互式分析查询。其主要应用于海量结构化数据/半结构化数据分析、海量多维数据聚合/报表、ETL、AdHoc查询等场景。 Presto允许查询的数据源包括Hadoop分布式文件系统（HDFS），Hive，HBase，Cassandra，关系数据库甚至专有数据存储。一个Presto查询可以组合不同数据源，执行跨数据源的数据分析。

本文主要介绍使用私网NAT网关为VPC内计算实例实现线上线下互通添加SNAT规则 操作场景 私网NAT网关创建成功后，您需要创建SNAT规则。通过创建SNAT规则，VPC子网中全部或部分云主机可以通过共享中转IP访问用户本地数据中心（IDC）或其他VPC。 操作步骤 1. 登录管理控制台。 2. 在管理控制台左上角单击，选择区域和项目。 3. 在系统首页，单击“网络 > NAT网关 > 私网NAT网关”。进入私网NAT网关页面。 4. 在私网NAT网关页面，单击需要添加SNAT规则的私网NAT网关名称。 5. 在SNAT规则页签中，单击“添加SNAT规则”。 6. 根据界面提示，配置添加SNAT规则参数，详情请参见下表。 表参数说明 参数 参数说明 示例 子网 SNAT规则的子网类型，选择“使用已有”或“自定义”。 选择业务VPC中需要做地址映射的子网。 使用已有 监控 可以为SNAT连接数设置告警，实时监控运行状态。 中转IP 中转IP选择步骤4创建的中转IP。 描述 SNAT规则信息描述。最大支持255个字符，且不能包含“ ”。 无需配置 7. 配置完成后，单击确定，完成“SNAT规则”创建。 8. 在SNAT规则列表中查看详情，若“状态”为“运行中”，表示创建成功。

本文主要介绍压测工程管理类问题 性能测试中思考时间和持续时间有什么区别？ 性能测试服务里面会涉及到2个时间的概念： 思考时间（单位为ms）：是指您在执行两个连续操作期间的等待时间。 压测时长（单位为min）：即测试任务阶段的持续时间，压测执行的时间。 思考时间并不会影响并发总的时长，它只会影响到您并发请求的个数。下面以一个例子来解释说明。 思考时间设置为1000ms，压测时长为10min，并发用户为10个。并发请求个数的计算公式为：压测时长并发用户/思考时间，根据公式得到的并发请求数为6000个（600s10/1s），那么此压测任务并发的总时长是10min，向服务端发送6000次查询请求。 说明 有的时候测试结果会发现并发请求数不到6000，会有一些小差距，这样也是正确的。因为请求过程中消息的响应如果不是立即的，则会有0.1秒的等待回执时间。 并发用户数是什么？ 压测是需要模拟用户实际业务操作的真实使用场景，并发用户数是模拟一定数量用户操作的一个配置。 例如，游戏网站某个时间点进行竞技活动，那么这个时候对设备的要求肯定是最高的。并发用户数就是模拟成千上万的用户在同一个时间点进行各种操作的配置数。 将并发用户数，同时结合并发时间和思考时间来进行计算并发请求的数量，压测出服务器最终饱和数据是多少，结合期望的最大值是多少来进行判断是否满足客户的需求。

本文向您介绍新增节点,帮助您了解节点的基本情况。 节点即计算节点，新增节点在指定裸金属集群详情中，新建裸金属节点并自动加入集群，通过本平台可以对节点进行生命周期管理。 使用前提 已创建息壤智算集群。 操作步骤 1. 登录公共算力服务控制台，单击左侧导航栏中的【息壤智算集群】，进入集群列表页。选择具体集群进入集群详情页。 2. 选择【业务节点】栏，点击【创建节点】，跳转至创建裸金属页面。 3. 在创建节点页面填写开通参数信息。 参数 说明 可用区 选择可用区。 付费类型 选择付费类型，目前支持包年包月。 购买时长 配置购买时长，111月。 实例规格 选择裸金属的实例规格。 操作系统 选择裸金属的操作系统。 网络配置 选择VPC和子网，支持创建新的VPC。 系统配置 填写实例名称，实例名称会自动生成，可支持修改；填写登录的密码，需按照密码的校验规则，密码支持自动生成。 4. 确认配置等费用，点击【立即创建】跳转至官网支付，支付成功后即可完成节点创建。

本文介绍如何查看计费详情数据，可以了解安全加速的套餐详情和资源包使用情况。 CDN部分计费按照1000进制从Byte换算到Gbps。 套餐详情管理 安全加速的计费方式、WAF防护的套餐与计费、抗D服务的套餐与计费。 图 计费详情 资源包管理 资源包购买成功后次日00:00时生效，自动抵扣所覆盖产品产生的数据，有效期为一年； 资源包购买后不支持退款，到期后未用完的资源将清零，不支持转移到其他资源包； 购买多个资源包时，当某个资源包用尽后默认自动开启下一个临近到期的相同类别的资源包； 当资源包用尽或者过期后，默认转为按需计费。 1.订购安全加速产品后，可支持订购安全加速的资源包，并根据所开功能对资源包进行抵扣。 使用条件： 1）计费方式为“流量“：开通安全加速和WAF防护的用户，可抵扣“安全加速流量包“、“防护请求数包”和”静态https请求数包“；开通安全加速和抗D服务的用户，可抵扣”安全加速流量包“和“静态https请求数包”。 2）计费方式为“日带宽“：开通安全加速和WAF防护的用户，可抵扣“防护请求数包”和“静态https请求数包”；开通安全加速和抗D服务的用户，可抵扣“静态https请求数包”；计费方式为“日带宽”不能抵扣流量包，需要变更计费方式为“流量”。 2.资源包可叠加购买，购买多个相同类型的资源包，抵扣顺序依据资源包的到期时间先后排序，有效期不叠加计算。 3.资源包不支持退订，资源包订购成功后，不支持退订退款；资源包到期后，未用完的资源自动清零，不支持结转。 4.资源包的有效期为自购买成功后一年内有效；“任一资源包用尽”或“有效期结束”，将自动转按量计费。 5.资源包中的”安全加速流量包“是供边缘节点上行和下行总流量使用；“日带宽”计费客户，如需使用“安全加速流量包”，需将计费方式变更为“流量”。可叠加购买：购买多个相同类型的资源包，抵扣顺序依据资源包的到期时间先后排序，有效期不叠加计算。 不支持退订：资源包订购成功后，不支持退订退款；资源包到期后，未用完的资源自动清零，不支持结转。 有效期：自购买成功后一年内有效；“任一资源包用尽”或“有效期结束”，将自动转按量计费。 图 资源包管理

监控数据出现实例已使用内存略大于实例可使用内存是什么原因？ DCS单机和主备实例已使用内存为redisserver进程统计的已使用内存。集群是基于分片机制实现的，集群的已使用内存为各个分片redisserver的已使用内存的总和。 由于开源redisserver内部机制的原因，有时会出现DCS缓存实例已使用内存略大于可使用内存的情况，此为正常现象。 Redis的usedmemory超过maxmemory的原因 Redis通过zmalloc分配内存，不会在每一次分配内存时都检查是否会超过maxmemory，而是在周期任务以及命令处理的开头处等地方，判断一次当前的usedmemory是否超过maxmemory，如果超过就触发逐出操作。所以，对于maxmemory策略的限制实施并不是实时、刚性的，会出现某个时间usedmemory大于maxmemory的情形。 为什么带宽使用率指标会超过100% 带宽使用率基本信息如下: 指标ID 指标名称 含义 取值范围 测量对象&维度 监控周期（原始指标） bandwidthusage 带宽使用率 当前流量带宽与最大带宽限制的百分比 0200% 测量对象：Redis 4.0/5.0主备实例数据节点Redis 4.0/5.0 Cluster集群实例数据节点测量维度：dcsclusternode 1分钟 其中带宽使用率的计算公式为，带宽使用率（网络瞬时输入流量+网络瞬时输出流量）/（2最大带宽限制） 100% 从计算公式可知，同时计算了网络瞬时输入流量和网络瞬时输出流量，这两个指标值是有统计主从同步的流量的。所以统计的总流量使用量会比正常的业务流量大一些。 判断当前是否被限流，请使用流控次数这个指标，这个指标值大于0时，表示当前已经被使用带宽超过最大限制被流控。 限流时，流控次数指标是不统计主从同步流量的，所以有时候会出现带宽使用率指标超过100%，但流控次数为0的情况。

需要连接的database user'dbadmin', password'password') 数据库用户密码 except psycopg2.DatabaseError as ex: print(ex) print("Connect database failed") else: print("Opened database successfully") createtable(conn) insertdata(conn) selectdata(conn) updatedata(conn) deletedata(conn) conn.close() 3.按照实际集群信息，修改pythondws.py文件中的集群公网访问地址、集群端口号、数据库名称、数据库用户名、数据库密码。 conn psycopg2.connect(host'10.154.70.231', port'8000', database'gaussdb', 需要连接的database user'dbadmin', password'password') 数据库用户密码 4.在命令提示符窗口中，执行以下命令，使用psycopg第三方库连接集群。 python pythondws.py psycopg2连接集群不支持CN Retry特性的问题说明 DWS支持在SQL语句执行出错时的自动重试功能（简称CN Retry）。CN Retry对于客户端和驱动发送的SQL语句在执行失败时可以自动识别错误类型，并进行重试。但使用psycopg2默认连接方式创建的连接在语句执行失败时没有自动重试，会直接报错退出。如常见的主备切换场景下，未自动重试会报如下错误，但在自动重试期间完成主备切换，则会返回正确结果。 psycopg2.errors.ConnectionFailure: pooler: failed to create 1 connections, Error Message: remote node dn60036004, detail: could not connect to server: Operation now in progress 报错原因： 1.psycopg2在发送SQL语句前先发送了BEGIN语句开启事务。 2.CN Retry不支持事务块中的语句是特性约束。 解决方案： 在同步方式连接时，可以通过主动结束驱动开启的事务。 cursor conn.cursor() 增加end语句主动结束驱动开启的事务 cursor.execute("end; select from test order by 1;") rows cursor.fetchall() 使用异步连接方式主动开启事务，异步连接介绍具体请参见pyscopg官网。 !/usr/bin/env python3 encodingutf8 import psycopg2 import select psycopg2官方提供的异步连接方式时的wait函数 def wait(conn): while True: state conn.poll() if state psycopg2.extensions.POLLOK: break elif state psycopg2.extensions.POLLWRITE: select.select([], [conn.fileno()], []) elif state psycopg2.extensions.POLLREAD: select.select([conn.fileno()], [], []) else: raise psycopg2.OperationalError("poll() returned %s" % state) def psycopg2cnretrysync(): 创建连接 conn psycopg2.connect(host'10.154.70.231', port'8000', database'gaussdb', 需要连接的database user'dbadmin', password'password', 数据库用户密码 async1) 使用异步方式连接 wait(conn) 执行查询 cursor conn.cursor() cursor.execute("select from test order by 1;") wait(conn) rows cursor.fetchall() for row in rows: print(row[0], row[1]) 关闭连接 conn.close() if name 'main': psycopg2cnretryasync()

上传数据 选择刚刚创建好的科研文件，点击【查看】，进入文件管理界面。 新建一个目录，本示例命名为mnist。进入目录上传准备好的训练脚本、训练数据。 【注意】 数据上传过程中，请保持网络畅通 数据上传过程中，不要刷新页面，否则会导致上传文件丢失 MNIST 手写识别模型训练 准备工作做完后，进入【并行计算】页面，点击【创建计算任务】按钮，进入任务配置页面。 【注意】并行计算内置了一些可以直接使用的模板，您可以按需使用。 在任务配置页面，本示例的配置如下： 选择 PyTorch 训练框架 镜像地址：本示例使用科研助手公共的 PyTorch 镜像（该镜像需要使用本示例启动脚本对应的 python 命令），地址为：ehubbc.ctcdn.cn/esxbatchcom/jupyterpytorch2.3.1cuda12.1cudnn8 启动执行命令：sh /storage/mnist/start.sh 可用区：需要与科研文件在同一个可用区：厦门4，请按照实际选择 实例规格：可以按照实际需求选择 容器挂载路径，需要与训练脚本中使用的路径相对应：/storage 配置后，点【立即创建】 可以点击右侧的【详情】按钮查看任务运行情况。 并行计算提供多种能力来跟踪任务运行情况，包括： 作业日志：可以查看任务运行过程中产生的训练日志 实例终端：可以登录任务运行容器查看训练过程中产生的中间数据 运行监控：可以查看任务运行过程的资源占用情况 实例事件：可以查看任务运行过程中所产生的事件列表 作业日志如下： 实例终端如下： 运行监控如下： 实例事件如下： 最终运行效果，模型成功训练，将模型保存到科研文件。通过保存的模型文件，能够正确识别手写识别数字。效果如下： 保存到科研文件的模型文件如下：

fromcollapselimit (integer) 如果生成的FROM列表不超过这么多项，规划器将把子查询融合到上层查询。较小的值可以减少规划时间，但是可能 会生成较差的查询计划。默认值是 8。将这个值设置为geqothreshold或更大，可能触发使用 GEQO 规划器，从而产生非最优计划。 joincollapselimit (integer) 如果得出的列表中不超过这么多项，那么规划器将把显式JOIN（除了FULL JOIN）结构重写到 FROM项列表中。较小的值可减少规划时间，但是可能会生成差些的查询计划。默认情况下，这个变量被设置成和fromcollapselimit相同，这样适合大多数使用。把它设置为 1 可避免任何显式JOIN的重排序。因此查询中指定的显式连接顺序就是关系被连接的实际顺序。因为查询规划器并不是总能 选取最优的连接顺序，高级用户可以选择暂时把这个变量设置为 1，然后显式地指定他们想要的连接顺序。将这个值设置为geqothreshold或更大，可能触发使用 GEQO 规划器，从而产生非最优计划。 forceparallelmode (enum) 允许为测试目的使用并行查询，即便是并不期望在性能上得到效益。forceparallelmode的允许值是off （只在期望改进性能时才使用并行模式）、on （只要查询被认为是安全的，就强制使用并行查询）以及 regress（和on相似， 但是有如下文所解释的额外行为改变）。更具体地说，把这个值设置为on 会在任何一个对于并行查询安全的查询计划顶端增加一个 Gather节点，这样查询会在一个并行工作者中运行。即便当一个并行工作者不可用或者不能被使用时，诸如开始一个子事务等在并行查询环境中会被禁止的操作将会被禁止，除非规划器相信这样做会导致查询失败。 当这个选项被设置时如果出现失败或者意料之外的结果， 查询使用的某些函数可能需要被标记为PARALLEL UNSAFE （或者可能是PARALLEL RESTRICTED）。把这个值设置为regress具有设置成on 所有相同的效果，外加一些有助于自动回归测试的额外的效果。一般来说，来自于一个并行工作者的消息会包括一个上下文行指出这一点，但是设置为regress会消除这一行，这样输出就和非并行执行完全一样。同样，被这个设置加到计划上的 Gather节点在EXPLAIN输出终会被隐藏起来，这样产生的输出匹配设置为off时产生的输出。

您可以使用预留实例模式，允许您预先分配一定数量的实例，这些实例将持续运行，随时准备响应函数调用，从而确保了更快的启动速度和更高的可用性。详细请参考 预留实例模式。

本文为您介绍GPU云主机的功能特性。 GPU云主机作为弹性云主机的一类实例规格，保持了部分与弹性云主机实例相同的功能特性，同时也新增了部分独有特性。 全面监控及告警机制，保障云主机正常运行 云资源池提供包括CPU、内存、磁盘和网络使用情况的几十项云主机性能监控指标，并支持查看一段时间内的云主机监控信息，帮助用户了解云主机实例的历史运行情况，还可根据用户预设规则提供及时的告警通知。 通过虚拟私有云（VPC）实现网络的灵活规划 VPC可为云服务器、云容器、云数据库等云上资源构建隔离、 私密的虚拟网络环境。通过VPC可灵活管理云上网络， 包括创建子网、设置安全组和网络ACL、管理路由表、申请弹性公网IP和带宽等。 多种存储类型随意选择，满足不同I/O性能要求 提供普通IO、高IO、通用型SSD和超高IO等多个类型的云硬盘，满足不同业务对IO性能的不同需求。购买方式分为两种，在购买云主机同时购买云硬盘或后期根据需要单独购买云硬盘挂载至云主机上。 可视化管理平台，操作便捷 通过天翼云控制中心对云主机进行管理，可对云主机进行开机、关机、重置密码、重装系统等操作。 规格丰富，满足不同应用场景需求 提供多种实例规格，满足视频解码、图形渲染、深度学习、科学计算等多种场景下不同用户对于GPU的性能需求。配备业界超强算力的GPU显卡，结合高性能CPU平台，单卡最高提供31.2 TFLOPS单精度和9.7 TFLOPS双精度计算，同时支持单机多卡，性能翻倍。

本节介绍了:弹性伸缩概述的用户指南。 弹性伸缩概述 弹性伸缩是根据业务需求和策略，经济地自动调整弹性计算资源的管理服务。本文介绍弹性伸缩的背景信息和弹性伸缩涉及的组件。 背景介绍 弹性伸缩是容器被广泛采用的功能，典型的场景包含在线业务弹性、大规模计算训练、深度学习GPU或共享GPU的训练与推理、定时周期性负载变化等。弹性伸缩分为两个维度： 调度层弹性，主要是负责修改负载的调度容量变化。例如，HPA是典型的调度层弹性组件，通过HPA可以调整应用的副本数，调整的副本数会改变当前负载占用的调度容量，从而实现调度层的伸缩。 资源层弹性，主要是集群的容量规划不能满足集群调度容量时，会通过弹出ECS等资源的方式进行调度容量的补充。 两层的弹性组件与能力可以分开使用，也可以结合在一起使用，并且两者之间是通过调度层面的容量状态进行解耦。 伸缩组件介绍 调度层弹性组件介绍 组件名称 组件介绍 适用场景 使用限制 HPA Kubernetes内置组件，主要面向在线业务。 在线业务 适用于Deployment、StatefulSet等实现scale接口的对象。 cubeverticalpodautoscaler（alpha） 开源社区组件，主要面向大型单体应用。 大型单体应用 适用于无法水平扩展的应用，通常是在Pod出现异常恢复时生效。 cubecronhpa 开源社区组件，在固定时间段对应用扩缩容，且可以和HPA策略共同作用，定时调整HPA伸缩范围，实现复杂场景下的工作负载伸缩。 周期性负载业务 适用于Deployment、StatefulSet等，实现了scale接口的对象。

适用场景 超高IO型云主机： 超高I/O型云主机适用于高性能关系型数据库 NoSQL数据库(Cassandra、MongoDB等)以及ElasticSearch搜索等场景 磁盘增强型云主机： 互联网行业、金融行业等有大数据计算与存储分析需求的行业客户，进行海量数据存储和计算的业务场景 ElasticSearch、日志等 规格特点 规格名称 磁盘类型 超高IO型本地盘ip3云主机 普通IO 高IO 通用型SSD 超高IO 超高IO型本地盘ir3云主机 普通IO 高IO 通用型SSD 超高IO 磁盘增强型本地盘d3云主机 普通IO 高IO 通用型SSD 超高IO 超高IO型本地盘 ip3云主机 Ip3云主机搭载NVMe SSD本地盘，采用第三代英特尔® 至强® 可扩展处理器（Ice Lake），主频3.0GHz。Ip3云主机为CPU独享型的x86架构云主机。满足I/O密集型应用对块存储的低时延和高I/O性能需求。在提供高达数十万随机I/O读写能力的同时，时延水平保持在μs级别。本地盘来自单台物理机，数据可靠性取决于物理机的可靠性，存在单点故障风险，建议用户在应用层做数据冗余，保证数据的可用性，用户可以做软raid的形式实现数据冗余。 规格名称 vCPU 内存（GB） 本地盘（GB） 最大带宽/基准带宽(Gbps) 最大收发包能力(万pps) 网卡多队列数 4KB随机读最大IOPS ip3.2xlarge.8 8 64 1 3200 8/4.5 100 4 500000 ip3.4xlarge.8 16 128 2 3200 15/9 240 4 1000000 ip3.8xlarge.8 32 256 4 3200 30/17 500 8 2000000 ip3.10xlarge.8 40 320 5 3200 40/20 600 8 2500000 ip3.16xlarge.8 64 512 8 3200 45/33 1000 16 4000000

本章节主要介绍ALM45176 OBS元数据接口调用成功率低于阈值的告警。 告警解释 系统每30秒周期性检测OBS元数据接口调用成功率是否小于阈值，当检测到小于所设置阈值时就会产生该告警 。 当OBS元数据接口调用成功率大于阈值时，该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除 45176 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS元数据接口调用成功率小于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。 可能原因 OBS服务端出现执行异常或严重超时。 处理步骤 检查堆内存使用率 在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > OBS元数据接口调用成功率低于阈值”，查看“定位信息”中的角色名并确定实例的IP地址。 1. 选择“集群 > 待操作集群的名称 > 服务 > meta > 实例 > meta（对应上报告警实例IP地址）”。单击图表区域右上角的下拉菜单，选择“定制”，在“OBS元数据操作”中勾选“OBS接口调用成功率”，单击“确定”，查看OBS元数据接口调用成功率，确定是否有接口调用成功率低于阈值。 是，执行步骤3。 否，执行步骤5。 2. 选择“集群 > 待操作集群的名称 > 运维 > 告警 > 阈值设置 > meta > OBS元数据接口调用成功率”，将阈值或平滑次数参数的值根据实际情况调小。 3. 观察界面告警是否清除。 是，处理完毕。 否，执行步骤5。

本章节主要介绍ALM45177 OBS数据读操作接口调用成功率低于阈值的告警。 告警解释 系统每30秒周期性检测OBS数据读操作接口调用成功率是否小于阈值，当检测到小于所设置阈值时就会产生该告警 。 当OBS数据读操作接口调用成功率大于阈值时，该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除 45177 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS数据读操作接口调用成功率小于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。 可能原因 OBS服务端出现执行异常或严重超时。 处理步骤 检查堆内存使用率 在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > OBS数据读操作接口调用成功率低于阈值”，查看“定位信息”中的角色名并确定实例的IP地址。 1. 选择“集群 > 待操作集群的名称 > 服务 > meta > 实例 > meta（对应上报告警实例IP地址）”。单击图表区域右上角的下拉菜单，选择“定制”，在“OBS数据读操作”中勾选“OBS数据读操作接口调用成功率”，单击“确定”，查看OBS数据读操作接口调用成功率，确定是否有接口调用成功率低于阈值。 是，执行步骤3。 否，执行步骤5。 2. 选择“集群 > 待操作集群的名称 > 运维 > 告警 > 阈值设置 > meta > OBS数据读操作接口调用成功率”，将阈值或平滑次数参数的值根据实际情况调小。 3. 观察界面告警是否清除。 是，处理完毕。 否，执行步骤5。

no python env in /usr/bin. clearlogs failed ! " fi 清空历史记录。 rm f /root/.pythonhistory rm f /root/.bashhistory rm f /root/.wgethsts 使用大模型镜像进行模型快速部署 步骤一：创建GPU云主机 登录天翼云控制台，进入弹性云主机主机订购页，选择计算加速型GPU云主机，在公共镜像中选择大模型镜像 LLaMA27BChat。 大模型镜像 LLaMA27BChat最低规格推荐：p2v.2xlarge.4 8vCPU 32GB内存 单张v100 GPU。 步骤二：在线推理 登录GPU云主机，根据如下步骤执行推理任务。 plaintext 进入/opt/llama目录并执行sh run.sh命令 cd /opt/llama && sh run.sh 根据提示在 ”please input your question :” 后输入推理问题 注意 大模型推理场景下不同模型多于显卡显存和云盘的大小都有一定要求。

对系统的影响 不影响云硬盘的正常读写操作，可能会影响云硬盘的性能，请避开业务高峰期。 计费说明 云硬盘变配后，计费变化情况如下： 按需计费云硬盘：按照变更后的类型计费。 包年/包月云硬盘：变更后云硬盘到期时间不变，会根据新旧配置的价格差和剩余天数计算差价。 前提条件 云硬盘变配前，建议您为云硬盘创建快照备份数据 操作步骤 1. 登云硬盘控制台。 2. 在云硬盘列表中，找到待变更类型的云硬盘，在云硬盘所在行的操作列下选择“更多 > 磁盘变配”。进入磁盘变配页面。 3. 通过下拉列表选择“磁盘类型”。 4. 系统会根据您的选择显示您变更后的收费情况。 5. 选择完成后，单击“提交”。 6. 返回云硬盘列表页面，此时云硬盘状态为“正在变更磁盘类型”，表示云硬盘处于正在变更云硬盘类型的过程中。当云硬盘类型变为目标类型后，表示变更成功。

使用条件 仅未被容灾管理中心关联的云主机允许删除。 操作步骤 1. 登录天翼云，进入控制中心。 2. 单击管理控制台左上角的，选择区域。 3. 在服务列表选择“计算”“多活容灾服务”，进入多活容灾服务控制台。 4. 点击左侧菜单栏“资源管理”“云主机”，进入天翼云云主机列表页。 5. 在列表上方下拉菜单中选择需要进行同步云主机操作的命名空间。 6. 选中天翼云云主机列表中需删除的云主机，点击列表上方“删除”按钮，弹出删除云主机弹窗。 7. 确认需删除的云主机和相关信息后，若存在不可进行删除操作的云主机实例时，可点击“点击查看”按钮查看实例及不可删除原因。点击“确认”按钮，完成云主机实例删除操作。

本节介绍智算套件产品优势。 高效管理 控制面全托管，统一纳管GPU、NPU、RDMA等异构智算资源，提供完善的监控、运维能力，解决企业在异构算力管理、资源效率、成本控制等方面的核心痛点。 智能调度 支持共享GPU、算力切分、拓扑感知、故障感知、优先级等调度策略，满足不同场景下客户对算力的细粒度把控。 断点续训 CheckPoint 秒级读写，主动感知故障事件和潜在风险，自动重调度和优雅容错，解决传统系统 “故障恢复慢、数据易丢失、人工干预成本高” 的痛点。 弹性伸缩 工作节点弹性伸缩，支持集群HPA与VPA，轻松应对业务负载波动，避免资源闲置，提升集群资源的利用率及调度能力。 推理加速 通过AI网关优化流量分配、KVCache减少重复计算、PD分离匹配阶段特性，大幅提升推理效率。 可观测 可视化GPU资源监控大盘，一键集群巡检，全链路日志监测，724告警策略，为AI业务的持续运营提供“全天候、无死角”的保障。

本文带您了解并行文件服务 HPFS 的功能特性。 多协议配置 支持 NFS、HPFSPOSIX 协议类型，通过标准 POSIX 接口访问数据，无缝适配主流应用程序进行数据读写。 通过协议服务功能实现 HPFSPOSIX 和 NFS 多协议互访，实现一份数据多种业务平台同时访问。 文件系统管理 支持创建、挂载、搜索、查看、扩容、删除、子目录挂载、子目录配额等基本文件系统管理操作，支持上千台客户端挂载同一文件系统，满足高性能计算场景需求。 文件系统在线扩容 分钟级别快速扩容，用户可根据实际需要对文件系统进行在线扩容，扩容过程 I/O 不中断，保障业务连续性。 权限与安全 HPFSPOSIX 协议访问文件系统,可以通过 seckey 实现租户隔离，每个租户有唯一的 seckey，通过 seckey 挂载到服务器，保障用户数据独立性。 NFS 协议访问文件系统，通过 VPC 保证租户间数据隔离，且支持跨 VPC 访问文件系统。 数据监控 提供基础性能指标监控和容量指标监控，了解文件系统运行情况，并可根据业务要求配置相关告警。

使用大模型进行推理计算 1. 文本对话大模型（LLaMA2/LLaMA3） 首先需要在Model标签页点击LLaMA2/LLaMA3大模型，然后点击Load按钮进行加载。 稍等一会，提示“Successfully loaded”，即可点击左上角的“chat”按钮，体验使用文本对话大模型（LLaMA2/LLaMA3）啦！ 注意 在加载时参数默认以fp16精度进行加载, Pi2和s7.2xlarge.4规格需要勾选load in 8 bit，否则会因显存/内存不足而加载失败。 使用文本多轮对话页面: 文章生成页面: 2. AI图片生成大模型（Stable Diffusion）： AI图片生成大模型登录后可以直接使用，以下为图片生成页面。

本节为您介绍如何通过云主机创建 Windows 私有镜像。 操作场景 本节将为您详细介绍如何通过云主机创建 Windows 私有镜像的步骤和方法。通过本节您将了解到如何在弹性云主机上创建您自己的 Windows 私有镜像，以满足您特定的应用需求和个性化配置。 前提条件 已有安装 Windows 操作系统的云主机。 确保创建私有镜像所使用的云主机网卡设置为 DHCP 的方式动态获取网络地址，系统默认满足。 操作步骤 1. 登录控制中心，切换到相应节点。 2. 单击“左侧导航栏>服务列表”，选择“计算>镜像服务”。 3. 单击“创建私有镜像”。 4. 从弹出的云主机列表中选择相应的Windows云主机。 5. 输入“镜像名称”，单击“下一步”按钮。 6. 检查确认创建私有镜像参数，确认无误后勾选“我已阅读”，单击“确认下单”。 7. 镜像创建时间与镜像文件本身大小有关可能稍慢，当镜像的状态为“正常”时，表示创建完成。

本文介绍公共算力服务的产品定义。 公共算力服务是统一资源调度平台，提供多维度的核心调度能力，支持多方算力，包括裸算力统一接入，实现跨服务商、跨地域、跨架构的统一管理、统一调度，为业务匹配最优算网资源。 产品架构 平台架构分为算网基础设施、算网编排管理和算网运营服务三个层次： 算网基础设施 算网基础设施包括算力基础设施和网络基础设施，算力包括泛在算力，第三方算力等。具备算力并网接入和协同管理能力。 算网编排管理层 算网编排管理层是算网调度的关键，具备统一编排和跨域调度能力，包括算力标识度量、算网感知、算网调度，业务调度等多项技术。 算网运营服务层 运营服务层是面向场景化的算力交易的入口，面向业务高质量服务需求的计算、存储、网络等资源实现一体化供给。

本文主要介绍如何修改伸缩组信息。 操作场景： 在使用伸缩组的过程中，您可以根据需要修改伸缩组。伸缩组可以修改的参数有：名称、最大实例数、最小实例数、期望实例数、健康检查方式、健康检查间隔、实例移除策略和通知方式等。 说明 当修改“期望实例数”时，会触发弹性伸缩活动。系统自动增加或减少实例以达到期望实例数。 伸缩组为非启用状态、实例数为0且没有正在进行的伸缩活动时，可以修改伸缩组的子网和负载均衡配置。 操作步骤： 1. 登录管理控制台。 2. 选择“计算 > 弹性伸缩服务”。 3. 在伸缩组列表中，在待修改的伸缩组所在行的“操作”列下，单击“更多 > 修改伸缩组”。或单击待修改的伸缩组的名称，进入该伸缩组概览页面，单击页面右上方“修改伸缩组”。 4. 在弹出的“修改伸缩组”对话框中，修改相关数据，例如修改期望实例数。 5. 修改完成后单击“确定”。

本节介绍了优化系统盘镜像使其支持实例快速发放的方法。 操作场景 系统盘镜像支持快速发放特性，可有效缩短云主机实例的下发时间。存量系统盘镜像可能不支持快速发放，建议您使用镜像复制功能进行优化。 假设A镜像不支持快速发放，复制为copyA镜像后，就可以使用copyA镜像快速发放云主机实例了。 查看镜像是否支持快速发放 1. 登录管理控制台。 2. 选择“计算 > 镜像服务”。 进入镜像服务页面。 3. 单击“私有镜像”页签，进入私有镜像列表。 4. 单击待查看的镜像名称，进入镜像详情页面。 5. 查看“是否支持快速发放”的值，即可确定当前镜像是否支持快速发放。 优化方法 1. 在待优化的系统盘镜像所在行，单击“更多 > 复制”。 弹出“复制镜像”对话框。 2. 按照复制镜像的指导填写参数，无特殊要求。 3. 待镜像复制成功后，新的镜像就支持快速发放功能了，优化完成。

本文主要介绍 产品定义。 Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 分布式消息服务Kafka是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。使用分布式消息服务Kafka，资源按需申请，即买即用，您将有更多精力专注于业务快速开发，不用考虑部署和运维。 关于Kafka的帮助手册阅读指引 受限于篇幅，我们提供的Kafka帮助手册重点描述产品相关的内容，以及与开源社区版Kafka的差异部分，例如Kafka的产品规格、控制台操作、客户端对接等。 如果您需要了解Kafka入门知识或消息生产、消费等方面的技术细节，请查阅Kafka官网资料。