一、推理服务的峰谷负荷特征与资源浪费困境
大模型从训练走向部署后，推理服务成为承载业务流量的最终环节。与训练阶段相对稳定的算力需求不同，推理请求呈现出明显的潮汐特征——白天高峰期请求涌入，夜间低谷期GPU近乎空转。这种峰谷交替的负荷模式带来一个突出矛盾：按峰值配置则资源大量闲置，按均值配置则高峰时段排队超时。
模型推理服务的核心职责是将训练完成的模型权重加载到推理引擎中，以接口形式对外提供预测服务。与传统的Web服务不同，推理请求的计算密集度远高于IO密集度，每个请求需要消耗大量GPU算力与显存。当并发请求突增时，若扩容不及时，队列积压会导致首Token时延急剧攀升；而低谷期缩容过慢则造成资源浪费。
天翼云息壤作为天翼云推出的大模型训推服务系统，在推理层面针对上述矛盾给出了系统性解法。其推理引擎支持动态批次合并与显存池化两项核心能力，配合自动伸缩策略，实现GPU资源在峰谷之间的快速调配。
从行业实践来看，GPU推理资源的典型利用率通常只有三成左右，主要瓶颈在于推理引擎的批调度策略不够灵活、显存管理以实例为单位导致碎片化严重、自动伸缩的触发阈值与冷却时间设置不当。这三项瓶颈相互叠加，使得推理服务在流量波动下既无法保障时延又无法充分利用算力。上述三项瓶颈构成了推理服务资源管理的核心待解命题。
二、批调度策略：动态批次合并提升吞吐
批调度是模型推理服务提升吞吐的核心手段。传统做法是固定批次大小，等待请求凑满一个批次后统一提交推理引擎，这种方式在高峰期表现尚可，但低谷期请求稀疏时凑批等待时间过长，首Token时延随之恶化。
天翼云息壤推理引擎采用动态批次合并策略，核心逻辑分为三步：
（一）请求队列检测与触发判断
推理引擎每隔一个调度周期（通常为数毫秒）检索待处理队列状态。若队列中请求数达到批次上限则立即触发推理；若未达上限但某请求等待时间超过时延阈值，也触发推理，规避个别请求长时间排队。
（二）批次提交与流水衔接
批次提交后释放GPU资源，下一批次在引擎完成前一批推理后无缝衔接，形成流水线式的连续处理。多个GPU实例可并行承载不同批次，提升整体吞吐。
这种动态批次策略使吞吐量与首Token时延之间实现了有效折衷：高峰期大批次提升吞吐，低谷期小批次保障时延。实测数据显示，在请求量波动三倍的负荷场景下，动态批次策略相比固定批次可将吞吐量提升约四成，同时首Token时延控制在可接受范围内。
三、显存池化：跨实例复用降低碎片
显存是GPU推理中最稀缺的资源之一。每个推理实例在加载模型权重时需要占用一块连续显存，实例释放后该显存归还给GPU驱动。频繁创建和销毁推理实例会导致显存碎片化——尽管总剩余显存充足，但因碎片化无法分配出足够大的连续块，新实例创建失败。
显存池化的思路是将显存分配从实例级提升到系统级管理。天翼云息壤在推理引擎层引入显存池，统一管理所有实例的显存分配与回收，核心机制包括：
（一）模型权重常驻与绑定复用
模型权重常驻显存池，实例创建时只需绑定权重指针，无需重复加载。同一模型的多实例共享同一份权重内存，大幅降低显存占用。
（二）KV缓存按需分配与归还
推理过程中的KV缓存按需从池中分配，实例销毁后缓存归还池中而非释放给驱动，后续实例可直接复用已分配的缓存空间。
（三）空闲块链表与最佳适配
显存分配器维护空闲块链表，采用最佳适配算法选择最匹配的空闲块进行分配，减少外部碎片。
通过显存池化，同一GPU上可承载的推理实例数量提升约五成。更重要的是，在扩缩容过程中实例的创建和销毁不再触发显存的大块分配与释放，减少了GPU驱动的管理开销，使扩缩容响应时间从秒级缩短到百毫秒级。
四、自动伸缩阈值整定与综合效果
弹性扩缩容是模型推理服务应对流量波动的最后一道机制。天翼云息壤的自动伸缩策略基于两项核心指标触发：GPU利用率和请求队列深度。当GPU利用率持续低于设定下限超过冷却周期时触发缩容，当队列深度超过上限或GPU利用率超过设定上限则触发扩容。
阈值整定需要考虑两方面因素。
（一）灵敏度与稳定性的折衷
阈值过灵敏会导致频繁扩缩容引发抖动，阈值过迟钝则无法及时响应流量变化。天翼云息壤采用阶梯式阈值设计，将扩容阈值设为GPU利用率七成、队列深度二十，缩容阈值设为GPU利用率三成、队列深度五，冷却时间分别为六十秒和一百二十秒。
（二）新实例预热与流量分流
扩容时新实例需要加载模型权重并完成预热推理后才能接流量。天翼云息壤通过显存池化将预热时间压缩到秒级，使扩容后流量分流几乎无感。缩容时采用优雅下线策略，先停止新请求接入并等待存量请求处理完成再释放实例。
综合以上三项能力，天翼云息壤推理服务在实测中实现了GPU利用率从三成左右提升至七成以上，同时首Token时延在高峰期增长不超过两成，低谷期资源浪费减少逾六成。
结语：模型推理服务的资源利用率提升不是单一技术能解决的问题，而是批调度、显存池化与自动伸缩三项能力协同的结果。天翼云息壤从工程实践出发，以动态批次合并保障时延、以显存池化消除碎片、以阶梯阈值控制抖动，给出了推理峰谷负荷下的系统性解法。随着大模型应用规模持续扩大，推理服务的资源治理能力将成为决定运营成本与服务质量的关键因素。
