- 大模型训练动辄要动用成百上千张加速卡,这些卡怎么分工协作,直接决定了训练能不能跑起来、跑得快不快。并行策略选得不合适,要么显存不够任务起不来,要么卡与卡之间互相等待,算力大量空转。许多工程师刚接触大规模训练时,面对数据并行、张量并行、流水线并行这些名词,常常不知道从何下手。其实这些策略并不神秘,它们分别回答了三个问题:数据怎么拆、单层算子怎么拆、模型层怎么拆。在息壤上做训练,理解这三层拆分的逻辑,比背下一堆配置参数有用得多。下面用通俗的方式把三者的原理讲清楚,再说说实际工程里怎么依据模型规模和集群条件,把它们组合出一套合适的方案。搭配本身也有章可循,先看显存够不够,再看通信划不划算,两步走下来,方案基本就定了。c****i2026-09-0300
- 不少团队在建设自己的算力环境时,会把目光投向智算一体机:机柜里预装了算力卡、网络设备、存储和管理软件,到场即用,省去了逐项选配和组装的麻烦。围绕一体机,两个问题被问得最多:里面的加速卡有哪些类型,除了跑训练之外能不能直接承担推理?这两个问题背后是同一个关切:一套设备能不能把训练和推理两类任务都接住,让投入发挥更大价值。下面从一体机的形态讲起,聊聊常见加速卡的类型、训推同机的可行性、软硬件怎么配合,以及选型和使用上的实际建议。把这两个问题弄明白,一体机的投入决策就有了扎实的依据,后续使用也能少走弯路。c****i2026-09-0300
- 任何云服务都设有配额与并发限制,定时任务也不例外。任务数量、触发器数量、并发实例数,每一项都有默认上限。配额的存在是为了保障租户之间资源分配有序、服务整体稳定,但对业务方来说,一旦在业务高峰撞上限额,急于弄清的就是两件事:限额到底是多少?超限之后,新任务是排队等待,还是直接丢弃?答案直接决定任务的可靠性设计。本文依据官方文档,把与定时任务相关的默认配额逐一列出,并分析超限后的系统行为。c****i2026-08-3100
- 企业官网是机构在互联网上的门面,承载着品牌形象、产品介绍与客户触达的多重使命。在安全建设上,为官网配备SSL证书早已是共识——它既保证访客与服务器之间的数据传输加密,也向外界传递“这是一家经过审核的正规机构”的信号。但打开证书服务页面,域名验证型、机构验证型、扩展验证型一字排开,价格逐级走高,很多负责人随即陷入纠结:企业官网到底选哪一档?经常被提到的OV与EV,在浏览器地址栏里的展示差异究竟是什么?这种差异值不值得为之付出更高的费用与更长的审核周期?本文从需求画像入手,把类型选择与展示差异讲透。c****i2026-08-2850
- 小程序已经成为大量业务触达用户的主要形态。与普通网页不同,小程序与服务端的每一次数据通信,都要经过运行环境的统一校验,这对传输安全提出了更细致的要求,也直接决定了证书怎么选。不少开发者踩过这样的坑:证书部署到服务器后,浏览器访问一切正常,小程序端却始终通信失败,排查许久才发现是TLS版本或加密套件不满足小程序服务体系的硬性要求。本文围绕小程序证书的选择,把这些硬性要求逐条讲透,并给出一次配通的完整思路。c****i2026-08-2810
- 大模型从训练到推理,要经历多轮实验。每一次实验换一批数据、改一组超参、调一次结构,都会产出不同的训练结果。随着实验越积越多,问题就来了:一个月前跑出来的那个效果最好的模型,当时用的是哪份数据、哪版代码?线上正在服务的推理模型,对应的是哪次训练产物?这些问题如果不提前管理,到了需要复盘或回退的时候就会无从查起。全链路系统把训练和推理串在一起,版本管理的难度比单纯做训练时更高——因为训练产物和推理模型之间还需要建立可追溯的对应关系。本文围绕实验版本管理和训练推理回溯两个话题,从版本管理的对象、标识方式、产物追踪和回溯机制展开梳理。c****i2026-08-2540
- 高校大型仪器的共享问题一直是科研管理中的痛点。一台价值数百万的电子显微镜可能只被材料学院使用,而生命科学学院的师生也需要用它来观察生物样本,却因为不知道设备在哪、不知道怎么预约、不知道怎么计费而放弃。与此同时,设备所在院系的维护成本居高不下,设备利用率却只有百分之三四十。跨院系共享大型仪器,技术上不是难题,真正的难点在于预约系统的互通和计费规则的统一。下文从共享平台的建设模式、预约系统的打通方式、计费规则的统一策略、使用权限的管理、数据采集与回传、推广落地的阻力与对策六个层次展开。c****i2026-08-2520
- 科研AI助手正在改变研究人员设计实验的方式。过去需要翻阅大量文献、反复推敲参数设置的实验方案设计,现在只需要向AI助手描述实验目标,就能在几分钟内获得一份完整的方案,包括实验步骤、参数配置、预期结果和可能遇到的问题。这种效率提升让人兴奋,但也引出了一个关键问题:AI生成的实验方案能不能直接拿来用?需不需要人工再核对参数?答案不是简单的能或不能,而是要区分实验类型、评估AI的知识边界、理解参数设置的上下文依赖性。下文从AI生成实验方案的能力边界、参数错误的常见类型、需要人工核对的场景、可以直接落地的场景、核对参数的方法论、建立人机协作的工作流程六个层次展开。c****i2026-08-2520
- 科研工作中经常遇到这样的场景:平时跑小模型或者做数据预处理时,八张GPU的算力绰绰有余。但突然接到一个任务,需要部署一个七百亿参数的大模型做推理评测,显存瞬间就不够了。或者训练过程中发现批次大小设得太小,模型收敛太慢,想加大批次却发现显存已经见底。这时候最自然的想法是:能不能临时给当前的算力环境升个配,加点显存或者加几张卡,跑完大任务之后再降回去?这个问题的答案不是简单的能或不能,而是取决于云端科研环境的架构设计、升配的粒度、以及升配过程中是否需要中断正在运行的任务。下文从升配的可行性与限制、升配的粒度选项、升配是否需要重启、推理场景的特殊需求、升配的成本影响、选型时的考量六个层次展开。c****i2026-08-2520
- 企业在引入大模型能力时,常常会问一个问题:服务系统到底能接哪些模型?手里已经微调好的自研模型能不能直接放上去?团队想用社区里的开源模型做对比实验,服务系统支不支持?这些问题的背后,是对服务系统模型接入能力的关注。本文从主流模型类型、开源与自研的差异、混接的技术基础和实践注意点几个方面展开梳理。c****i2026-08-2110
- 接入大模型推理服务之后,开发者最先接触到的概念往往是Token。发一次请求,系统返回结果,同时显示这次调用消耗了多少Token;上下文越长、输出越长,消耗越多。同样是表达一个意思,用中文写和用英文写,Token数量可能差出一倍;同样一段逻辑,写成代码和写成自然语言,消耗也完全不同。Token到底是怎么算出来的,中英文和代码在计费上有没有差别,这是很多开发者在接入推理服务时都会遇到的问题。本文围绕这个话题,从Token的定义、计算方式、语言差异、代码特点和成本控制几个方面展开梳理。c****i2026-08-21110
- 接入Token推理服务时,团队通常会在两种用量方式之间做选择:一种是按实际消耗逐笔结算,用多少算多少;另一种是以Token Plan的形式,预先投入一笔固定费用,换取一个周期内固定额度的Token用量。两种方式各有特点,适合的团队也不一样。用量稳定、预算明确的团队,Token Plan几乎是为它们准备的;而用量波动大的团队,往往会犹豫——波动这么大,选固定额度的方案会不会吃亏?本文围绕Token Plan的定位、适合的团队类型、波动场景下的适配方式以及选择考量展开梳理。c****i2026-08-2110
- 弹性伸缩GPU算力服务的核心能力,是让AI工作负载根据实际需求动态调整资源。但“弹性”这个词在实际工程中涵盖了多个层级,从单张GPU卡内部的计算切片,到整机节点,再到跨节点的分布式集群。不同层级对应不同的隔离语义、调度开销和适用场景。理解这些粒度差异,是设计高利用率、高稳定性AI基础设施的前提。本文从细到粗梳理五种主流伸缩粒度,并分析各自的取舍。c****i2026-08-2100
- 大模型训练对底层硬件的依赖,常常被上层应用掩盖。过去很长一段时间,训练任务几乎只跑在某一种软件生态之上,大家习惯了那套接口与工具链。随着国产AI芯片的发展,越来越多团队开始关心:手上的训练环境,能不能直接用上国产芯片?如果要从原有体系迁过去,代价到底有多大?这类问题背后,是供应稳定、成本结构与技术自主等多重考量,并不是单纯比拼纸面参数。在智算体系里,训练任务通常运行在一套调度与框架之上,芯片只是其中一环,真正决定能不能迁、迁起来顺不顺的,是这一整套软件与工具是否跟得上。现实中,很多团队卡在"想迁但不敢迁",担心代码要大改、周期拉得太长、效果又难保证。也因此,把"支不支持"和"贵在哪"这两件事讲透,比单纯比较算力数字更有意义。本文从开发工程师视角出发,先讲清训练环境对国产芯片的支持方式,再系统拆解迁移成本究竟落在哪些环节,然后给出降低成本的路径、可参考的推进顺序与常见误区。按这个顺序读,你会对"支不支持、贵在哪、怎么省、怎么推"有清晰判断,动手前先把账算清,能少走不少弯路。c****i2026-08-2100
- 随着数字中国建设深入推进,人工智能技术已成为驱动产业升级和政务效能提升的核心引擎。在这一背景下,AI算力平台的选型不再仅仅关乎性能和成本,更上升到了国家安全、数据主权和技术自主可控的战略高度。特别是在政企采购领域,国产AI算力平台凭借其在信创合规方面的独特优势,逐渐成为首选方案。本文将从政策导向、技术自主、数据安全、供应链管理等维度,深入探讨国产AI算力平台的信创合规优势,以及政企采购为何对此格外看重。c****i2026-08-2100
- 智算一体机把算力、存储、网络与配套软件打包成一套可整体交付的设备,让团队不必从零攒集群,开箱后即可投入训练或推理。设备好交付,运维却不是自动解决的:谁来盯状态、谁来处理故障、谁来升级与备份,这些事在采购时往往被忽略,等真正上线才暴露。与此同时,一体机的运维模式主要有两类取向——由服务方远程托管,或安排人员本地驻场,两种各有适用场景,选错可能造成响应不及时或人力浪费。在真实项目里,这关系到日常可用性、故障恢复速度与长期人力投入,值得在部署前就想清楚。本文从开发工程师视角出发,先讲清一体机运维到底包含哪些事,再说明运维可以由谁来做,接着重点对比远程托管与本地驻场怎么选,最后补充降低运维风险的做法与常见误区。按这个顺序读,你会对"谁来做、怎么选、怎么稳"有清晰判断,动手前先把责任边界理清,能少走不少弯路。把模式定在故障发生之前,比事后补救要从容得多。尤其对首次部署一体机的团队,先把责任主体敲定,远比后期补救省力。c****i2026-08-2120
- 按需付费算力的最大吸引力在于灵活性——用多少付多少,用完即止,不需要为闲置资源买单。但这种灵活性背后藏着一个让开发工程师头疼的问题:资源可能被抢占。当算力集群资源紧张时,按需实例可能被系统回收,分配给优先级更高的任务或预留实例。训练跑到一半被中断,模型参数还没来得及保存,几个小时的计算成果瞬间归零。这种不确定性让按需付费在长训练任务面前显得不太可靠。解决这个问题的方法不是放弃按需付费,而是学会把预留实例和按需实例搭配使用,让两种计费模式各自承担最适合的任务。下文从抢占发生的原理、预留实例的保障机制、按需实例的适用场景、混合搭配的策略、自动容错与断点续训、成本与稳定性的权衡六个层次展开。c****i2026-08-2110
- 算力互联调度平台的核心价值在于把分散在不同地域、不同运营商、不同硬件架构的算力资源整合成一个统一的资源池,然后根据用户任务的特性,自动选择最合适的计算节点来执行。这个“自动选择”的过程就是调度策略发挥作用的地方。调度策略决定了任务被分配到哪个节点、什么时候开始执行、以及如何与其他任务共享资源。成本优先、延迟优先、空闲优先是三种最基本的调度策略,但它们各自的适用场景、优缺点和实现复杂度截然不同。更复杂的生产环境还需要组合策略和动态调整机制。下文从调度策略的基本要素、成本优先策略、延迟优先策略、空闲优先策略、组合策略与优先级编排、实际选型中的权衡六个层次展开。c****i2026-08-2110
- 当企业把训练好的大模型真正用起来时,面临的是另一道关口:如何让模型稳定、低延迟、低成本地对外提供能力?这中间的关键环节就是推理服务。很多团队在训练阶段进展顺利,却在推理部署时卡在接口对接、并发承压、成本失控等问题上。天翼云息壤平台推理服务,通过算力标准化封装、推理加速引擎与极简的接入流程,把模型推理变成开箱即用的平台能力,让大模型快速转化为可支撑真实业务的生产力。思念如故2026-08-2030
- 在部署多子域服务的场景中,通配符证书因其能用一个凭证覆盖主域下所有一级子域,受到不少开发者的青睐。但在申请环节,许多人会发现:普通证书常可用文件验证完成确认,而通配符证书几乎一律要求走DNS校验。这背后并不是流程上的随意规定,而是由通配符本身的匹配范围与所有权确认逻辑共同决定的。本文从原理到操作,把这件事讲清楚,帮助开发者少走弯路。掌握其中缘由,也能在团队协作时减少沟通成本,让申请流程更顺畅。c****i2026-08-2010
- DPU说到底是一块硬件芯片,但"硬件加速"这四个字背后到底包含了哪些具体的技术机制?是加了几个专用处理器核心就算加速,还是有更深层次的设计?很多人对DPU的理解停留在概念层面,知道它能加速网络和存储,但不知道加速的原理是什么。这篇文章从硬件架构的角度,拆解紫金DPU内部的加速机制,看看它到底"加速"了什么。思念如故2026-08-1830
- 提到DPU的价值,通常说的是性能提升、延迟降低、安全增强。但还有一个维度常被忽略,但实际对数据中心运营方极其重要——能效和成本。服务器是耗电大户,一个大型数据中心一年电费可能上千万元,任何能降低服务器功耗的技术都有真金白银的价值。紫金DPU在能效优化上能发挥什么作用?这篇文章从功耗构成入手,分析DPU如何帮数据中心省电省钱。思念如故2026-08-1810
- DPU在单台服务器上的效果说得再好,到了大规模集群部署阶段才是真正的考验。从几台服务器的测试环境扩展到几百台的生产集群,中间有大量的工程细节需要处理:固件版本管理、驱动兼容性、网络拓扑适配、监控告警体系搭建、故障排查流程建立。这些事情做不好,DPU不仅发挥不了预期效果,反而可能成为运维负担。这篇文章记录了一次大规模紫金DPU集群部署的实操过程,分享其中的关键步骤和踩过的坑。思念如故2026-08-1810
- DPU在单台服务器上的效果说得再好,到了大规模集群部署阶段才是真正的考验。从几台服务器的测试环境扩展到几百台的生产集群,中间有大量的工程细节需要处理:固件版本管理、驱动兼容性、网络拓扑适配、监控告警体系搭建、故障排查流程建立。这些事情做不好,DPU不仅发挥不了预期效果,反而可能成为运维负担。这篇文章记录了一次大规模紫金DPU集群部署的实操过程,分享其中的关键步骤和踩过的坑。思念如故2026-08-1830
- 网络虚拟化是云计算的基础技术之一,但它的原理对非网络专业的人来说往往显得神秘。VXLAN、GRE、NVGRE这些术语看起来就让人头疼。实际上,网络虚拟化的核心思想非常简单,理解了基本概念后,再来看紫金DPU在其中扮演的角色就顺理成章了。这篇文章用通俗的方式解释网络虚拟化的原理,然后说明紫金DPU如何将这个原理在硬件上高效实现。思念如故2026-08-1810
- 多租户是云计算的核心特征之一。多个用户的业务运行在同一套物理基础设施上,如果隔离做不好,轻则性能互相干扰,重则数据泄露。DPU作为服务器与网络之间的"守门人",在多租户隔离中扮演着关键角色。但"硬件级隔离"这个说法到底有多可靠?这篇文章从网络、存储、计算三个维度,深入分析紫金DPU的多租户隔离机制,探讨它到底能不能做到真正的资源隔离。思念如故2026-08-1830
- 云端科研环境的Notebook断线后,任务到底还跑不跑,答案可以一句话说清:只要你的代码是提交在云端的算力实例上运行,而不是只活在浏览器前端的内存里,那么网络断线通常不会中断任务——云端实例会继续执行,等你重连时结果还在。真正会让任务停下来的,是"实例被停止或回收",而不是"你这边网络闪断"。下面先讲清楚原理,再分情况说明哪些会继续、哪些会中断,并介绍天翼云息壤·科研助手这类云端科研环境是如何保障任务不"白跑"的。c****i2026-08-1820
- 当一家企业同时使用多个云服务商的资源,再加上自建机房的私有算力,资源管理的复杂度会呈指数级上升。每个云服务商有自己的管理接口、计费模型、网络拓扑、安全策略,自建机房又有完全不同的硬件架构和运维体系。开发工程师在面对这种多云异构环境时,最痛苦的体验不是某个云服务商的资源不够用,而是明明其他云服务商或自建机房有闲置资源,但因为管理割裂、网络不通、调度不统一,这些资源无法被有效利用。算网融合调度要解决的就是这个问题:把多个云服务商和自建机房的算力资源与网络资源统一编排,让开发工程师看到一个统一的资源池,按需消费,不问出处。下文从统一资源抽象、多云接入网关、网络互联与调度、统一编排引擎、策略与优先级、成本优化、运维可观测性七个层次展开。c****i2026-08-1720
- "电信级"是一个高标准的要求。在电信行业,系统需要满足99.999%的可用性——即每年的停机时间不超过5分钟。这意味着操作系统必须在极端条件下保持稳定运行,任何故障都可能导致大规模的服务中断。CTyunOS作为天翼云推出的操作系统,其电信级品质不是宣传口号,而是需要在实际场景中验证的。本文将从多个维度分析CTyunOS在电信级场景下的稳定性表现。思念如故2026-08-1770
- 集群部署是服务器操作系统最常见的使用场景之一。无论是Web服务集群、数据库集群还是容器编排集群,操作系统的配置和管理都会直接影响集群的稳定性和性能。CTyunOS作为面向服务器和云场景的操作系统,在集群部署方面有着不少值得关注的特性。本文将记录在CTyunOS上部署一个完整应用集群的全过程,包括环境准备、基础配置、集群搭建、应用部署和验证测试。思念如故2026-08-1750
共 382 条
- 1
- 2
- 3
- 4
- 5
- 6
- 13
页
- 大模型训练动辄要动用成百上千张加速卡,这些卡怎么分工协作,直接决定了训练能不能跑起来、跑得快不快。并行策略选得不合适,要么显存不够任务起不来,要么卡与卡之间互相等待,算力大量空转。许多工程师刚接触大规模训练时,面对数据并行、张量并行、流水线并行这些名词,常常不知道从何下手。其实这些策略并不神秘,它们分别回答了三个问题:数据怎么拆、单层算子怎么拆、模型层怎么拆。在息壤上做训练,理解这三层拆分的逻辑,比背下一堆配置参数有用得多。下面用通俗的方式把三者的原理讲清楚,再说说实际工程里怎么依据模型规模和集群条件,把它们组合出一套合适的方案。搭配本身也有章可循,先看显存够不够,再看通信划不划算,两步走下来,方案基本就定了。
- 不少团队在建设自己的算力环境时,会把目光投向智算一体机:机柜里预装了算力卡、网络设备、存储和管理软件,到场即用,省去了逐项选配和组装的麻烦。围绕一体机,两个问题被问得最多:里面的加速卡有哪些类型,除了跑训练之外能不能直接承担推理?这两个问题背后是同一个关切:一套设备能不能把训练和推理两类任务都接住,让投入发挥更大价值。下面从一体机的形态讲起,聊聊常见加速卡的类型、训推同机的可行性、软硬件怎么配合,以及选型和使用上的实际建议。把这两个问题弄明白,一体机的投入决策就有了扎实的依据,后续使用也能少走弯路。
- 任何云服务都设有配额与并发限制,定时任务也不例外。任务数量、触发器数量、并发实例数,每一项都有默认上限。配额的存在是为了保障租户之间资源分配有序、服务整体稳定,但对业务方来说,一旦在业务高峰撞上限额,急于弄清的就是两件事:限额到底是多少?超限之后,新任务是排队等待,还是直接丢弃?答案直接决定任务的可靠性设计。本文依据官方文档,把与定时任务相关的默认配额逐一列出,并分析超限后的系统行为。
- 企业官网是机构在互联网上的门面,承载着品牌形象、产品介绍与客户触达的多重使命。在安全建设上,为官网配备SSL证书早已是共识——它既保证访客与服务器之间的数据传输加密,也向外界传递“这是一家经过审核的正规机构”的信号。但打开证书服务页面,域名验证型、机构验证型、扩展验证型一字排开,价格逐级走高,很多负责人随即陷入纠结:企业官网到底选哪一档?经常被提到的OV与EV,在浏览器地址栏里的展示差异究竟是什么?这种差异值不值得为之付出更高的费用与更长的审核周期?本文从需求画像入手,把类型选择与展示差异讲透。
- 小程序已经成为大量业务触达用户的主要形态。与普通网页不同,小程序与服务端的每一次数据通信,都要经过运行环境的统一校验,这对传输安全提出了更细致的要求,也直接决定了证书怎么选。不少开发者踩过这样的坑:证书部署到服务器后,浏览器访问一切正常,小程序端却始终通信失败,排查许久才发现是TLS版本或加密套件不满足小程序服务体系的硬性要求。本文围绕小程序证书的选择,把这些硬性要求逐条讲透,并给出一次配通的完整思路。
- 大模型从训练到推理,要经历多轮实验。每一次实验换一批数据、改一组超参、调一次结构,都会产出不同的训练结果。随着实验越积越多,问题就来了:一个月前跑出来的那个效果最好的模型,当时用的是哪份数据、哪版代码?线上正在服务的推理模型,对应的是哪次训练产物?这些问题如果不提前管理,到了需要复盘或回退的时候就会无从查起。全链路系统把训练和推理串在一起,版本管理的难度比单纯做训练时更高——因为训练产物和推理模型之间还需要建立可追溯的对应关系。本文围绕实验版本管理和训练推理回溯两个话题,从版本管理的对象、标识方式、产物追踪和回溯机制展开梳理。
- 高校大型仪器的共享问题一直是科研管理中的痛点。一台价值数百万的电子显微镜可能只被材料学院使用,而生命科学学院的师生也需要用它来观察生物样本,却因为不知道设备在哪、不知道怎么预约、不知道怎么计费而放弃。与此同时,设备所在院系的维护成本居高不下,设备利用率却只有百分之三四十。跨院系共享大型仪器,技术上不是难题,真正的难点在于预约系统的互通和计费规则的统一。下文从共享平台的建设模式、预约系统的打通方式、计费规则的统一策略、使用权限的管理、数据采集与回传、推广落地的阻力与对策六个层次展开。
- 科研AI助手正在改变研究人员设计实验的方式。过去需要翻阅大量文献、反复推敲参数设置的实验方案设计,现在只需要向AI助手描述实验目标,就能在几分钟内获得一份完整的方案,包括实验步骤、参数配置、预期结果和可能遇到的问题。这种效率提升让人兴奋,但也引出了一个关键问题:AI生成的实验方案能不能直接拿来用?需不需要人工再核对参数?答案不是简单的能或不能,而是要区分实验类型、评估AI的知识边界、理解参数设置的上下文依赖性。下文从AI生成实验方案的能力边界、参数错误的常见类型、需要人工核对的场景、可以直接落地的场景、核对参数的方法论、建立人机协作的工作流程六个层次展开。
- 科研工作中经常遇到这样的场景:平时跑小模型或者做数据预处理时,八张GPU的算力绰绰有余。但突然接到一个任务,需要部署一个七百亿参数的大模型做推理评测,显存瞬间就不够了。或者训练过程中发现批次大小设得太小,模型收敛太慢,想加大批次却发现显存已经见底。这时候最自然的想法是:能不能临时给当前的算力环境升个配,加点显存或者加几张卡,跑完大任务之后再降回去?这个问题的答案不是简单的能或不能,而是取决于云端科研环境的架构设计、升配的粒度、以及升配过程中是否需要中断正在运行的任务。下文从升配的可行性与限制、升配的粒度选项、升配是否需要重启、推理场景的特殊需求、升配的成本影响、选型时的考量六个层次展开。
- 企业在引入大模型能力时,常常会问一个问题:服务系统到底能接哪些模型?手里已经微调好的自研模型能不能直接放上去?团队想用社区里的开源模型做对比实验,服务系统支不支持?这些问题的背后,是对服务系统模型接入能力的关注。本文从主流模型类型、开源与自研的差异、混接的技术基础和实践注意点几个方面展开梳理。
- 接入大模型推理服务之后,开发者最先接触到的概念往往是Token。发一次请求,系统返回结果,同时显示这次调用消耗了多少Token;上下文越长、输出越长,消耗越多。同样是表达一个意思,用中文写和用英文写,Token数量可能差出一倍;同样一段逻辑,写成代码和写成自然语言,消耗也完全不同。Token到底是怎么算出来的,中英文和代码在计费上有没有差别,这是很多开发者在接入推理服务时都会遇到的问题。本文围绕这个话题,从Token的定义、计算方式、语言差异、代码特点和成本控制几个方面展开梳理。
- 接入Token推理服务时,团队通常会在两种用量方式之间做选择:一种是按实际消耗逐笔结算,用多少算多少;另一种是以Token Plan的形式,预先投入一笔固定费用,换取一个周期内固定额度的Token用量。两种方式各有特点,适合的团队也不一样。用量稳定、预算明确的团队,Token Plan几乎是为它们准备的;而用量波动大的团队,往往会犹豫——波动这么大,选固定额度的方案会不会吃亏?本文围绕Token Plan的定位、适合的团队类型、波动场景下的适配方式以及选择考量展开梳理。
- 弹性伸缩GPU算力服务的核心能力,是让AI工作负载根据实际需求动态调整资源。但“弹性”这个词在实际工程中涵盖了多个层级,从单张GPU卡内部的计算切片,到整机节点,再到跨节点的分布式集群。不同层级对应不同的隔离语义、调度开销和适用场景。理解这些粒度差异,是设计高利用率、高稳定性AI基础设施的前提。本文从细到粗梳理五种主流伸缩粒度,并分析各自的取舍。
- 大模型训练对底层硬件的依赖,常常被上层应用掩盖。过去很长一段时间,训练任务几乎只跑在某一种软件生态之上,大家习惯了那套接口与工具链。随着国产AI芯片的发展,越来越多团队开始关心:手上的训练环境,能不能直接用上国产芯片?如果要从原有体系迁过去,代价到底有多大?这类问题背后,是供应稳定、成本结构与技术自主等多重考量,并不是单纯比拼纸面参数。在智算体系里,训练任务通常运行在一套调度与框架之上,芯片只是其中一环,真正决定能不能迁、迁起来顺不顺的,是这一整套软件与工具是否跟得上。现实中,很多团队卡在"想迁但不敢迁",担心代码要大改、周期拉得太长、效果又难保证。也因此,把"支不支持"和"贵在哪"这两件事讲透,比单纯比较算力数字更有意义。本文从开发工程师视角出发,先讲清训练环境对国产芯片的支持方式,再系统拆解迁移成本究竟落在哪些环节,然后给出降低成本的路径、可参考的推进顺序与常见误区。按这个顺序读,你会对"支不支持、贵在哪、怎么省、怎么推"有清晰判断,动手前先把账算清,能少走不少弯路。
- 随着数字中国建设深入推进,人工智能技术已成为驱动产业升级和政务效能提升的核心引擎。在这一背景下,AI算力平台的选型不再仅仅关乎性能和成本,更上升到了国家安全、数据主权和技术自主可控的战略高度。特别是在政企采购领域,国产AI算力平台凭借其在信创合规方面的独特优势,逐渐成为首选方案。本文将从政策导向、技术自主、数据安全、供应链管理等维度,深入探讨国产AI算力平台的信创合规优势,以及政企采购为何对此格外看重。
- 智算一体机把算力、存储、网络与配套软件打包成一套可整体交付的设备,让团队不必从零攒集群,开箱后即可投入训练或推理。设备好交付,运维却不是自动解决的:谁来盯状态、谁来处理故障、谁来升级与备份,这些事在采购时往往被忽略,等真正上线才暴露。与此同时,一体机的运维模式主要有两类取向——由服务方远程托管,或安排人员本地驻场,两种各有适用场景,选错可能造成响应不及时或人力浪费。在真实项目里,这关系到日常可用性、故障恢复速度与长期人力投入,值得在部署前就想清楚。本文从开发工程师视角出发,先讲清一体机运维到底包含哪些事,再说明运维可以由谁来做,接着重点对比远程托管与本地驻场怎么选,最后补充降低运维风险的做法与常见误区。按这个顺序读,你会对"谁来做、怎么选、怎么稳"有清晰判断,动手前先把责任边界理清,能少走不少弯路。把模式定在故障发生之前,比事后补救要从容得多。尤其对首次部署一体机的团队,先把责任主体敲定,远比后期补救省力。
- 按需付费算力的最大吸引力在于灵活性——用多少付多少,用完即止,不需要为闲置资源买单。但这种灵活性背后藏着一个让开发工程师头疼的问题:资源可能被抢占。当算力集群资源紧张时,按需实例可能被系统回收,分配给优先级更高的任务或预留实例。训练跑到一半被中断,模型参数还没来得及保存,几个小时的计算成果瞬间归零。这种不确定性让按需付费在长训练任务面前显得不太可靠。解决这个问题的方法不是放弃按需付费,而是学会把预留实例和按需实例搭配使用,让两种计费模式各自承担最适合的任务。下文从抢占发生的原理、预留实例的保障机制、按需实例的适用场景、混合搭配的策略、自动容错与断点续训、成本与稳定性的权衡六个层次展开。
- 算力互联调度平台的核心价值在于把分散在不同地域、不同运营商、不同硬件架构的算力资源整合成一个统一的资源池,然后根据用户任务的特性,自动选择最合适的计算节点来执行。这个“自动选择”的过程就是调度策略发挥作用的地方。调度策略决定了任务被分配到哪个节点、什么时候开始执行、以及如何与其他任务共享资源。成本优先、延迟优先、空闲优先是三种最基本的调度策略,但它们各自的适用场景、优缺点和实现复杂度截然不同。更复杂的生产环境还需要组合策略和动态调整机制。下文从调度策略的基本要素、成本优先策略、延迟优先策略、空闲优先策略、组合策略与优先级编排、实际选型中的权衡六个层次展开。
- 当企业把训练好的大模型真正用起来时,面临的是另一道关口:如何让模型稳定、低延迟、低成本地对外提供能力?这中间的关键环节就是推理服务。很多团队在训练阶段进展顺利,却在推理部署时卡在接口对接、并发承压、成本失控等问题上。天翼云息壤平台推理服务,通过算力标准化封装、推理加速引擎与极简的接入流程,把模型推理变成开箱即用的平台能力,让大模型快速转化为可支撑真实业务的生产力。
- 在部署多子域服务的场景中,通配符证书因其能用一个凭证覆盖主域下所有一级子域,受到不少开发者的青睐。但在申请环节,许多人会发现:普通证书常可用文件验证完成确认,而通配符证书几乎一律要求走DNS校验。这背后并不是流程上的随意规定,而是由通配符本身的匹配范围与所有权确认逻辑共同决定的。本文从原理到操作,把这件事讲清楚,帮助开发者少走弯路。掌握其中缘由,也能在团队协作时减少沟通成本,让申请流程更顺畅。
- DPU说到底是一块硬件芯片,但"硬件加速"这四个字背后到底包含了哪些具体的技术机制?是加了几个专用处理器核心就算加速,还是有更深层次的设计?很多人对DPU的理解停留在概念层面,知道它能加速网络和存储,但不知道加速的原理是什么。这篇文章从硬件架构的角度,拆解紫金DPU内部的加速机制,看看它到底"加速"了什么。
- 提到DPU的价值,通常说的是性能提升、延迟降低、安全增强。但还有一个维度常被忽略,但实际对数据中心运营方极其重要——能效和成本。服务器是耗电大户,一个大型数据中心一年电费可能上千万元,任何能降低服务器功耗的技术都有真金白银的价值。紫金DPU在能效优化上能发挥什么作用?这篇文章从功耗构成入手,分析DPU如何帮数据中心省电省钱。
- DPU在单台服务器上的效果说得再好,到了大规模集群部署阶段才是真正的考验。从几台服务器的测试环境扩展到几百台的生产集群,中间有大量的工程细节需要处理:固件版本管理、驱动兼容性、网络拓扑适配、监控告警体系搭建、故障排查流程建立。这些事情做不好,DPU不仅发挥不了预期效果,反而可能成为运维负担。这篇文章记录了一次大规模紫金DPU集群部署的实操过程,分享其中的关键步骤和踩过的坑。
- DPU在单台服务器上的效果说得再好,到了大规模集群部署阶段才是真正的考验。从几台服务器的测试环境扩展到几百台的生产集群,中间有大量的工程细节需要处理:固件版本管理、驱动兼容性、网络拓扑适配、监控告警体系搭建、故障排查流程建立。这些事情做不好,DPU不仅发挥不了预期效果,反而可能成为运维负担。这篇文章记录了一次大规模紫金DPU集群部署的实操过程,分享其中的关键步骤和踩过的坑。
- 网络虚拟化是云计算的基础技术之一,但它的原理对非网络专业的人来说往往显得神秘。VXLAN、GRE、NVGRE这些术语看起来就让人头疼。实际上,网络虚拟化的核心思想非常简单,理解了基本概念后,再来看紫金DPU在其中扮演的角色就顺理成章了。这篇文章用通俗的方式解释网络虚拟化的原理,然后说明紫金DPU如何将这个原理在硬件上高效实现。
- 多租户是云计算的核心特征之一。多个用户的业务运行在同一套物理基础设施上,如果隔离做不好,轻则性能互相干扰,重则数据泄露。DPU作为服务器与网络之间的"守门人",在多租户隔离中扮演着关键角色。但"硬件级隔离"这个说法到底有多可靠?这篇文章从网络、存储、计算三个维度,深入分析紫金DPU的多租户隔离机制,探讨它到底能不能做到真正的资源隔离。
- 云端科研环境的Notebook断线后,任务到底还跑不跑,答案可以一句话说清:只要你的代码是提交在云端的算力实例上运行,而不是只活在浏览器前端的内存里,那么网络断线通常不会中断任务——云端实例会继续执行,等你重连时结果还在。真正会让任务停下来的,是"实例被停止或回收",而不是"你这边网络闪断"。下面先讲清楚原理,再分情况说明哪些会继续、哪些会中断,并介绍天翼云息壤·科研助手这类云端科研环境是如何保障任务不"白跑"的。
- 当一家企业同时使用多个云服务商的资源,再加上自建机房的私有算力,资源管理的复杂度会呈指数级上升。每个云服务商有自己的管理接口、计费模型、网络拓扑、安全策略,自建机房又有完全不同的硬件架构和运维体系。开发工程师在面对这种多云异构环境时,最痛苦的体验不是某个云服务商的资源不够用,而是明明其他云服务商或自建机房有闲置资源,但因为管理割裂、网络不通、调度不统一,这些资源无法被有效利用。算网融合调度要解决的就是这个问题:把多个云服务商和自建机房的算力资源与网络资源统一编排,让开发工程师看到一个统一的资源池,按需消费,不问出处。下文从统一资源抽象、多云接入网关、网络互联与调度、统一编排引擎、策略与优先级、成本优化、运维可观测性七个层次展开。
- "电信级"是一个高标准的要求。在电信行业,系统需要满足99.999%的可用性——即每年的停机时间不超过5分钟。这意味着操作系统必须在极端条件下保持稳定运行,任何故障都可能导致大规模的服务中断。CTyunOS作为天翼云推出的操作系统,其电信级品质不是宣传口号,而是需要在实际场景中验证的。本文将从多个维度分析CTyunOS在电信级场景下的稳定性表现。
- 集群部署是服务器操作系统最常见的使用场景之一。无论是Web服务集群、数据库集群还是容器编排集群,操作系统的配置和管理都会直接影响集群的稳定性和性能。CTyunOS作为面向服务器和云场景的操作系统,在集群部署方面有着不少值得关注的特性。本文将记录在CTyunOS上部署一个完整应用集群的全过程,包括环境准备、基础配置、集群搭建、应用部署和验证测试。
点击加载更多