一句话读懂本文:面对大模型、科学计算等场景对算力“既要规模、又要异构、还要就近可调度”的复杂需求,天翼云息壤算力调度给出了“一个平台统一接入、一套调度统筹全局”的核心解法——通过算力分发网络平台,把分散在全国各地、分属不同架构的通算、智算、超算资源“并网”起来,以任务为粒度智能匹配最优算网资源,从而实现“算力像水电一样按需供给”。本文将从行业背景、技术原理、核心产品到落地场景,层层拆解这套算力调度的“智慧中枢”。
一、为什么我们越来越离不开“算力调度”?
(一)从“算力”说起:通算、智算与超算
在展开调度之前,先厘清几个经常出现的专业名词。所谓算力,简单理解就是“用机器完成计算任务的能力”,它通常来自服务器里的中央处理器、图形处理器、加速卡等计算单元。按照用途不同,算力大致可分为三类:
1.通算(通用算力):面向日常的业务处理,比如网站运行、数据库查询、办公应用,讲究均衡与稳定;
2.智算(智能算力):面向人工智能,尤其是大模型的训练和推理,主要依赖高性能加速芯片,讲究规模化与高吞吐;
3.超算(超级算力):面向科学计算,比如气象模拟、流体仿真、材料计算,讲究极致的浮点运算能力。
这三类算力形态不同、性能各异,放在一起,就构成了现代数字世界的“算力底座”。
(二)算力“孤岛”:大模型时代绕不开的难题
大模型爆发之后,算力需求呈指数级上升,与此同时,一个突出矛盾也随之显现——算力孤岛。所谓算力孤岛,指的是算力资源分散在不同地域、不同服务商、不同技术架构的“孤岛”里,彼此难以打通:
1.有的单位建了智算中心,但算力阶段性闲置,利用率不高;
2.有的团队模型训练任务很大,本地算力不够,却很难就近找到可用的外部资源;
3.不同架构、不同厂家的加速卡,软件生态各不相同,想“混着用”门槛极高。
核心痛点可以概括为三句话:算力分布不均、异构难以打通、供需匹配低效。这正是“算力调度”这一命题被反复提及的行业背景。
(三)算力调度:把“资源”变成“服务”的关键一环
所谓算力调度,就是通过一个统一平台,把分散的算力资源集中管理起来,再根据任务需求,自动为每一项计算任务匹配最合适的算力、网络和存储资源。它解决的,不是“算力从无到有”,而是“算力从哪里来、给谁用、怎么用最划算”的问题。可以说,算力调度是连接“算力提供方”与“算力使用方”的智慧枢纽,也是让算力从“重资产”走向“按需服务”的关键一步。
二、认识天翼云息壤:算力分发网络的“总调度”
(一)息壤是什么?
作为云服务国家队,天翼云围绕“国云注智、聚力向新”,加快构建以科技创新为驱动的新质生产力。天翼云息壤,正是天翼云基于算力加速、训练推理、算网调度三个层面的技术一体化核心竞争力,自研构建的领先开放的一体化智算服务平台。
用一句话来理解:息壤是面向通算、智算、超算的统一资源调度平台,也是天翼云的算力分发网络平台。它提供多维度的调度能力,支持多方算力(包括第三方裸算力)统一接入,实现跨服务商、跨地域、跨架构的统一管理、统一调度,为每一项业务匹配最优算网资源。
(二)息壤算力调度的三大核心能力
围绕“让算力更好用、更好调度”,息壤从三个层面构筑核心竞争力:
1.算力加速:提供一体化计算加速能力,让异构算力在训练、推理中发挥更高性能;
2.训练推理:为模型开发、训练、部署、服务提供全栈工具链,降低大模型应用门槛;
3.算网调度:把算力与网络协同起来,实现全局资源的智能统筹,这是“调度”的本体能力。
三者一体,共同支撑起息壤作为“算力智慧中枢”的定位。
(三)息壤的演进与认可
息壤并非一日之功。伴随产业发展,天翼云持续升级,发布了息壤算力互联调度平台,依托算网一体服务,创新算网融合调度技术,自研可扩展调度框架与动态注册调度算法,进一步提升资源在全场景下的调度效率,逐步实现“资源无关”的体验。这套技术也获得了行业权威认可:息壤凭借《基于异构多云环境下的息壤算力调度应用实践》,在2023中国算力大会上获评“算力中国・年度突破成果”,其一体化高效算力调度能力获得权威肯定。
三、息壤算力调度是如何“聪明地”分配算力的?
理解了“是什么”,再看“怎么干”。息壤算力调度之所以称得上“智慧”,关键在于几项底层技术。
(一)算网融合:让算力和网络一起算账
传统模式下,算力与网络往往是分开调度、彼此割裂的。息壤突破算网融合调度技术,把算力、网络等多维要素融合在一起统一考虑,让“选择哪块算力”与“走哪条网络”同步决策。
1.它融合多维算网要素,不只看算力本身的性能;
2.它采用层级分治映射算法,把复杂的全局调度问题逐层拆解、分而治之,实现算网资源的高效统筹调度;
3.它支持数随算走,通过算数协同,保障跨厂商、跨区域海量数据调度场景下的高效数据传输,减少数据搬运带来的损耗。
(二)任务级智能调度:按“任务”而不是按“机器”排兵布阵
与传统的资源级调度不同,息壤把调度粒度精细到了“任务级”。用户以任务方式提交作业,无须关注底层算力差异,就能使用标准化的算力服务。
1.息壤对全域算力资源进行精准化管理;
2.它会综合地域、性能、成本、能耗等多个维度,为每一个任务智能选择最优算力;
3.用户只关心“任务结果”,不纠结“算力从哪里来”,真正实现按需、就近、经济地使用算力。
(三)“资源无关”与“框架无关”:降低使用的门槛
面对异构算力生态,息壤通过技术手段让上层应用与底层资源解耦:
1.资源无关:自研可扩展调度框架与动态注册调度算法,让不同架构的算力都能被统一纳入调度,业务不因底层异构而受阻;
2.框架无关:自研异构训推框架,对模型与代码进行适配和转换,让用户不需要纠结选择哪种人工智能开发框架,实现“一次开发、多框架运行”的体验;
3.这样一来,开发者可以把精力集中在业务与模型本身,而不是消耗在底层适配的琐事上。
(四)大规模集群调度:把“万卡”拧成一股绳
在大模型训练场景,动辄需要成千上万张加速卡协同工作。息壤依托超大规模集群调度、加速与运营管理技术,支撑起国内领先的万卡级全液冷智算集群:
1.集群调度:超大规模集群拓扑感知调度,实现异构算力统一管理和调度;
2.集群加速:通过高性能文件存储、RDMA网络通信等全面加速,让数据吞吐不成为瓶颈;
3.集群运营:全链路秒级监控、故障自动诊断、训练可视化与性能调优,保障集群长稳运行。
四、息壤算力调度提供了哪些产品形态?
基于“调度”这一内核,息壤向外提供了丰富的产品形态,覆盖不同用户的使用场景。
(一)公共算力服务:算力供给的“总入口”
公共算力服务是统一的资源调度和交易平台,提供多维度的核心调度能力,支持多方算力接入,实现跨地域、跨服务商的异构算力一体化供给。
1.支持算力互联接入,打通不同算力提供方;
2.促成算力交易,让供需双方高效匹配;
3.闭环算力运营流程,让算力治理有据可依。
对于对算力所在区域、卡型、成本有特定要求的用户,可以基于此在全国范围内寻找到最匹配的算力资源。
(二)训推服务:大模型开发的“全栈工坊”
训推服务是为大模型训练、推理、应用提供全栈工具链的智算服务平台,包含数据处理、模型开发、训练任务、智算资产管理、模型服务等模块。
1.预置丰富的基座大模型和镜像,开箱即用;
2.支持国产化等异构算力,提供算子加速与模型加速,极大提升训练推理效率;
3.用户无需自建平台,即可快速、高效完成模型训练与业务部署。
(三)模型推理服务:应用对接的“快捷通道”
模型推理服务面向企业开发者,提供功能全面、安全可靠的模型调用服务,并配备完整的大模型开发工具链。
1.适合缺少算力资源、缺乏分布式框架底层经验的团队,低门槛接入;
2.支持基于行业数据对基础大模型进行调优训练;
3.可快速部署并与业务系统集成,帮助企业把大模型真正用起来。
(四)应用托管:应用的“省心管家”
应用托管提供一站式应用托管平台,免运维底层资源,支持跨域算力调度与分布式服务部署,具备自适应弹性伸缩能力,提供应用构建、部署、运维和治理的全生命周期管理,共同构建息壤应用生态体系。
(五)科研助手:高校科研的“开箱工具”
科研助手是一款适用于高校科研场景的一站式科研实训平台,可调度各种类型的计算资源,并针对仿真、流体计算、材料化学、数学计算等科研场景搭载常用科研软件,支持一键部署、开箱即用,帮助高校科研团队解决算力分散、算力短缺、科研软件不好找等核心痛点。
五、息壤算力调度的落地价值与展望
(一)让算力“流动”起来,提升资源利用效率
通过跨地域、跨架构的统一调度,息壤盘活了分散的算力资源。原本闲置的算力被“并网”复用,急需算力的任务能就近获取资源,整体利用率与供需匹配效率显著提升,为“东数西算”式的算力资源布局提供了有力支撑。
(二)降低大模型与AI应用门槛,繁荣产业生态
从训推服务到模型推理服务,从应用托管到科研助手,息壤让不同规模、不同专业水平的团队,都能以较低门槛接入大模型能力。国产化异构算力的支持,也让自主可控的智能化转型有了更扎实的底座。
(三)面向未来的“智能算力”图景
展望未来,随着智算需求持续扩大,算力调度将越发成为智能时代的“基础设施级”能力。以天翼云息壤为代表的算力调度平台,正沿着“算力、平台、数据、模型、应用”一体化的方向演进,让算力真正像水电一样触手可及。
结语:从概念科普到技术拆解,再到产品与场景落地,可以清晰看到,天翼云息壤算力调度要做的,正是把复杂的算力问题“化繁为简”——以统一平台消除算力孤岛,以智能调度提升供给效率,以开放生态降低使用门槛。当越来越多的任务被“聪明地”分配到最合适的算力之上,数字世界的运行,也将因此变得更加轻盈、高效与普惠。