智算一体化-天翼云

行业趋势

多模态AI与应用深入融合

文本、视觉和音频能力的多模态端到端大模型逐渐出现，具备强大的能力和普惠的价格，未来几年，AI将和应用深入融合，并全面走向普惠化、全民化
大模型参数量双向发展

一方面，参数量级不断提升，以追求更高的模型精度和性能；另一方面，参数优化日趋精细化，从应用落地的角度，大小模型的混合使用将成为趋势，toB端的普惠型AI应用，模型的参数量在十亿到百亿量级，落地性价比高
云智一体

云计算与人工智能技术的深度融合，推动了智算云原生技术的兴起，为企业提供了更高效的解决方案。随着大模型技术的发展，云智一体的应用场景不断拓展，催生了“超级工厂”等创新模式。此外，针对不同行业的定制化云智一体解决方案也在不断丰富，推动各行业向智能化转型

业务挑战

性能和成本挑战

智算项目中，大模型训练推理耗费算力多，对性能要求高，算力利用率理论优化空间很大。常用的GPU、服务器价格高昂，单次训练、推理任务占用的成本高
稳定性挑战

大模型训练时间长、集群规模大、技术架构复杂，GPU、RDMA网卡、服务器、磁盘、内存等硬件故障，计算挂起、通信故障、梯度故障等软件故障，都会导致集群不稳定、业务中断
平台搭建挑战

智算平台集群构建复杂。以十几台服务器的小型集群为例，部署管理服务器，整合打通算存网，配置安全加固措施，可能需要2-3天的时间部署，人力投入和时间成本高
国产化适配挑战

国产化的场景，对智算集群的GPU、服务器、网络、操作系统、软件都提出了适配挑战，除了完成基本的国产化智算集群搭建，还需要持续优化国产化智算集群的性能与效率

解决方案场景

超大规模训练场景
行业模型训推一体服务场景

业务痛点

更大算力需求：一个万亿参数大模型训练至少单集群6000卡，配套同等规模亚毫秒延时的RDMA网络，训练中有PB级数据存取，这些都需要在算力层进行突破和解决
更高性能需求：训练中生成的checkpoint文件大，读写慢。大规模的分布式训练中算力、存储、网络协同难。性能问题导致大模型训练综合效率低
更高稳定需求：AI基础设施软硬件软件栈复杂，硬件故障率高，故障发现难，恢复慢，严重影响大模型训练效率

推荐搭配使用

方案优势

两弹一优AIDC

天翼云AIDC底座由弹性DC模块舱、分布式磁悬浮制冷系统、一体化HVDC电源、智慧IDC平台等部分构成，采用能源弹性、制冷弹性、气流优化，具备成本极致、安全可靠、绿色低碳、高效智能四大优势
自研紫金系列基础硬件

推出自主可控、行业领先的紫金山JDM服务器，内置400G紫金DPU产品、紫金桥白盒交换机等设备，实现智算算力的弹性供给和云服务的高性能接入
超大规模异构算力集群

建设国内首个万卡全液冷智算集群，采用超大规模集群调度技术，异构算力统一管理和调度；超大规模集群加速技术，读写、存储、RDMA网络通信全面加速；超大规模集群运营管理，集群长稳运行
高效运维，快速排障

运维监控能力丰富，沉淀大模型场景百余种故障，训前软硬件一体化健康检查、训中流量路径观测、训练中断故障快速定位；慢节点检测，卡级的精准故障定位；Hash碰撞、拥塞时可用带宽不下降
便捷易用的一站式服务能力

提供全链路训练和推理工具，由浅入深、开箱即用。升级训练和推理加密、模型安全审核评估及专线数据传输等功能，形成智算安全优势；通过AI镜像秒级加载等加速技术形成性能优势
开放生态

支持和生态伙伴共同完善基础大模型库，支持大模型预训练及微调。提供微调后的开源和闭源大模型服务，极大降低生态伙伴应用使用大模型能力的门槛