一、背景与基础概念
- 流式输出是什么 流式输出是一种边生成边传送的交付方式。传统同步接口要等模型把整条序列算完才返回，用户面对的是一段空白等待；而流式接口把内容切成连续片段，客户端收到即可渲染。对长文本场景而言，这种方案把“最终等待”转化为“渐进可见”，体验上有本质变化。它也让前端能够尽早占位、逐步排版，防范大段内容突然跳出造成的突兀感。
- 两个关键指标 ① 首字延迟：从请求发起到屏幕上出现第一个有效Token所经历的时间，直接决定用户的第一印象，通常用分位数衡量而非简单均值。 ② 整体吞吐：单位时间内系统能产出的Token总量，反映硬件资源利用率与可服务规模，是评估投入产出的重要维度。所谓Token，是大模型处理文本的最小单元，中文里常对应若干字或词，英文里常对应单词片段；流式输出正是以Token为粒度逐步交付。 这两个指标并非同向变化，工程上必须权衡。
- 为什么要关注二者关系 交互类产品对首字延迟敏感，后台任务更看重吞吐。同一套体系若配置不当，会出现“体验好但成本高”或“成本低但卡顿”的两难。理解底层机制，才能合理设定服务目标，而不是凭感觉调参。例如对话场景若把首字目标定得过严，系统不得不频繁打断批计算，结果吞吐下滑而成本上升；反之定得过松，又会损伤交互手感。
二、流式输出实现机制
- 自回归生成特性 当前主流大模型基于自回归方式工作：每一步依据已生成内容预测下一个Token，循环往复。由于前后Token存在严格依赖，单条序列天生难以并行，这决定了流式推送是顺次发生的，服务端只能按序产出，无法像离线批作业那样提前算完。值得一提的是，每一步推理会复用前序步骤沉淀的中间状态，因此新增一个Token的边际成本远低于从零起步，这也是流式能够被高效支撑的基础。
- 服务端分块推送 服务进程在生成循环里，每得到一个Token就写入响应流。客户端通过分块读取持续刷新界面。这里要注意缓冲策略：缓冲过小会增加网络交互次数，缓冲过大又削弱流式的意义。常见做法是按固定时间窗口或固定Token数量切分，在交互频率与传输效率间取折中。经验上，每几十毫秒推送一次即可兼顾流畅观感与传输开销。
- 前后端协同 前端需支持增量渲染与滚动定位，后端要维持连接状态并处理好异常断流。整套链路任一环节卡顿，都会抵消首字延迟的优化成果。网络层还应考虑压缩与拥塞控制，减少长连接下的额外开销，让逐字效果真正落地到用户屏幕上。为应对弱网，服务侧常配合心跳机制维持连接活性，并在客户端掉线后及时停止无谓生成，把算力转投其他在途请求。
三、首字延迟与吞吐的权衡逻辑
- 单请求视角下的矛盾 要让首字尽快出现，服务应当把算力优先投向当前请求，尽快完成第一步推理。但这会使其他排队请求被延后，整体吞吐下降。反之，若把多个请求聚成一批共同计算，硬件利用率上升、吞吐变高，可单请求的首字时间被拉长。这是一对此消彼长的关系，没有两全其美的单一开关。在资源固定的情况下，首字延迟与吞吐的乘积近似受限于硬件上限，因此优化方向往往是把二者放进同一目标函数里联合求解，而非各自孤立调优。
- 批处理的两面性 连续批处理是协调二者的重要手段：新请求可在任意生成步加入批次，已结束的序列立即让出位置。它在不显著抬高首字延迟的前提下提升吞吐。不过批次越大，单步计算量越重，首字延迟仍会随负荷上升而增大，需要设置上限以防恶化。工程师应观察长尾变化，找到收益递减的拐点。此外，变长序列混合调度可能带来显存碎片，需要配合重排与整理策略，让空间利用保持紧凑。
- 调度策略的影响 调度器对请求排序、优先级与超时处理，直接左右体验。给交互式流量更高优先级可保住首字速度，把后台批量任务放低优先级以填充空闲算力，是常见分工方式。还可通过预估序列长度做更细的安排，让短请求更快腾出资源，从而兼顾两类诉求。
- 资源层面的约束 显存容量与计算单元带宽是硬约束。批规模受显存限制，超界会触发溢出或降速。工程师应在容量边界内寻找最佳工作点，而非盲目堆叠并发。当硬件接近满负荷时，更该用限流保护核心路径，而不是让所有请求一起变慢。
四、工程落地建议
- 分级服务方案 按业务特征划分档位：对话类追求低首字延迟，摘要类可接受稍高首字以换吞吐。通过不同队列与资源份额实现隔离，防止互相干扰。这样既能守住核心体验，又能把闲置算力用于非实时任务，整体资源利用率反而更高。实践中还可针对高峰时段设定弹性档位，在流量回落时自动放宽批规模，进一步摊薄单位成本。
- 关键监控指标 ① 首字延迟分位数，关注长尾而非均值； ② 每分钟Token产出，衡量吞吐； ③ 队列深度与排队时长，预判瓶颈； ④ 显存与计算单元占用率，定位资源拐点。 用这些信号动态调节批大小与并发上限，让系统始终运行在健康区间。
- 实用调优路径 先设定首字延迟目标，再在此约束内尽量扩大有效批规模；当负荷接近上限时，用限流与排队保护核心体验，而非无限制堆叠请求。定期回看监控，可发现配置漂移并及时修正，使权衡结果长期稳定。当监控显示首字长尾抬升时，优先缩小批规模而非盲目扩容，往往更经济。
五、小结
流式输出把大模型回答从“整段等待”变为“逐字可见”，是体验优化的重要一步。它背后是首字延迟与整体吞吐的精细权衡：工程师应在明确首字目标的前提下，借助连续批处理与分级调度，把硬件算力用到极致，同时守住用户可感知的响应速度。随着推理框架持续演进，这套权衡会愈发自动化，但理解其底层逻辑，仍是做好服务设计的起点。
