一、批处理提升单卡吞吐

1.1 动态批处理聚小请求

把短时间内到达的多个小请求合并成一个批次统一计算，可让单卡在一次前向里处理更多样本，显著提升利用率。动态聚合按等待窗口自动凑批，既不空等也不无限堆积，是兼顾效率与响应的常用办法。窗口设得太短凑不满批，太长又拖时延，需要按真实流量反复标定。流量越规律，越容易把窗口设得刚好。

1.2 批大小要兼顾时延红线

批次越大吞吐越高，但单个请求的排队与计算时间随之拉长，尾延迟抬头。应依据业务可接受的时延上限反推最大批大小，再设软上限防止偶发长批击穿体验。批大小本质是吞吐与时延的权衡，不同接口可设不同上限，把时延敏感与吞吐敏感的业务分开对待。分类处理，整体体验与成本才能同时达标。

二、显存复用降低单请求开销

2.1 权重常驻减少重复开销

模型权重在启动后常驻显存，后续请求直接复用，省去每次重新搬入的代价。常驻后，单请求只需分配激活值与临时缓冲，显存占用与启动耗时都明显下降，是高并发下稳住成本的基础。常驻也带来启动期的一次性开销，需在扩容与缩容策略里算清这笔账。把启动开销摊到长周期里，单请求成本才显得低。常驻带来的稳定，也让尾延迟更可控，体验下限更稳。

2.2 用显存池切分多模型

多模型共用一张卡时，按峰值而非总和预留显存会造成浪费。引入显存池，按实际占用动态切分与回收，闲置模型的份额可被其他模型借走。池化让单卡同时支撑更多模型成为可能。池子要设回收下限，防止某模型长期借走份额，导致常驻模型反而拿不回自身空间。设好下限，池子才不会在忙时被借空。

三、两者协同守住成本与体验

3.1 按流量画像调参数

白天高峰与夜间低谷的请求形态不同，批窗口与显存预留应随之调整。用历史流量画像设定分时段参数，比一套固定值更能同时压住成本与守住时延。参数随业务节奏走，而非一成不变。把分时段策略做成可配置，运营侧才能在不重启服务的前提下快速应对活动与突发。策略可配置，也方便按业务做灰度切换。

3.2 监控命中率持续调优

批处理命中率、显存复用率、尾延迟三项指标放在一起看，才能判断调优方向。命中率偏低说明凑批窗口过长或请求过散；复用率偏低说明常驻与池化还有空间。持续观测，策略才能跟上线况变化。把指标接进日常看板，调优从凭感觉变成看数据，迭代节奏也更快。看板常开，异常波动第一时间就能被发现。

结尾

批处理把吞吐做上去，显存复用把单请求开销压下来，两者协同才是推理服务规模化的实惠路径。动态凑批守好时延红线，权重常驻与显存池减少重复浪费，再按流量画像持续调优，成本与体验就能长期维持在一个可接受的区间。