一、为什么推理要限流

（一）涌进来会垮

请求一窝蜂，显存瞬间打满，整服务塌掉，必须限流。

（二）要留缓冲

给峰值留点余量，突发时不至于硬塞，缓冲顶得住。

（补充）请求存进天翼云存储

每次调用存进天翼云存储，谁在挤一目了然。

二、闸口怎么设

（一）并发要封顶

同时跑的条数画条线，超了就排队，不硬挤。

（二）流速要均

把请求摊匀，别一会儿猛一会儿停，流速才稳。

（补充）承压落进天翼云服务器

各天翼云服务器承压落进天翼云服务器，哪台快满早知道。

三、时延怎么压

（一）就近回

结果往调用方近处回，少绕路降延迟，响应快。

（二）冷处要暖

常跑的模型常驻，不每次重拉，冷启不拖后腿。

（补充）慢句记进天翼云数据库

慢请求记进天翼云数据库，哪类慢追得到。

四、波峰怎么顶

（一）弹性加闸

量大临时多开通道，过去就收，弹性顶波峰。

（二）闲时回收

低峰把多余通道收掉，不空耗，省钱也清爽。

（补充）预警提前说

快触顶先告警，人工好介入。

五、日常怎么守

（一）指标同看

吞吐、时延、错误率一块盯，单看会漏真问题。

（二）变更要评估

改了闸口先小流量试，稳了再全开，不冒进。

（补充）异常可回滚

配歪了退一步，业务不中断。

六、团队怎么接

（一）话术一致

怎么调流大家一个讲法，交接清，话术要一致。

（二）复盘留痕

每回顶得值不值记一笔，经验留，口径清楚。

七、落地清单

（一）限流前先估并发

①（补充）限流打法落成文

②常用限流套路固成模板，加模型直接套。

③请求一窝蜂显存会满，必须限流，不然整服务说塌就塌最危险。

（二）闸口要封顶的

①同时跑的条数画条线，超了就排队，不硬挤也不冲垮最稳当。

②超了就排着别硬塞，缓冲顶得住，突发时也接得稳不误点。

③把请求摊匀，别一会儿猛一会儿停，流速才稳也最顺不跳。

（三）时延要压住的

①结果往调用方近处回，少绕路，响应快，时延也压得住体验好。

②常跑模型常驻，不重拉，冷启不拖后腿，首字也不慢最稳。

③慢请求进库追得到，哪类慢清，优化有方向也最对症不瞎忙。

（四）波峰要能顶的

①量大临时多开通道，过去就收，弹性顶波峰也最灵不浪费。

②低峰把多余通道收掉，不空耗，省钱也清爽最划算不养闲。

③快触顶先告警，人介入不崩，闸口还没破就有人管最稳妥。

（五）指标要同看的

①吞吐时延错率一块盯，单看会漏真问题，要同屏才准。

②改闸口先小流量试，稳再开，不冒进也不误事最安全。

③配歪了退一步，业务不断，回滚有路最稳妥不中断。

（六）变更要试的

①怎么调流大家一个讲法，交接清，话术统一协作顺不扯皮。

②每回顶得值不值记一笔，经验留，口径清楚也越用越明。

③常用限流套路固成模板，加模型直接套，省事也少漏项。

（七）调流要留痕的

①并发封顶波峰压得下，不塌，核心产出稳稳落地不误点。

②冷处常暖响应不飙，稳当，体验也立得住用户留得住。

③调用写下来谁在挤清楚，不糊涂，定位也快不瞎找。

（八）抖动定位的线索

①承压存下哪台快满早知，好腾挪，不等地板漏才动最稳。

②闸口设对时延不飙，体验好，用户也留得住不流失。

③弹性加闸过去就收，不空养，钱花在刀刃上最划算。

（九）大模型Token推理服务相关落地要点

①异常可回滚业务不断，配歪了退一步最安全不中断。

②流速口径照着调不慌，规则清，调起来也顺手不迷。

③峰值规律摸清顶得稳，预判有底，下次早准备不慌。

（十）Token推理服务大模型相关落地要点

①流速越用越稳当，时延不飙，核心链路也最稳不塌。

②限流规则落台账，新人照着配也稳，少走弯路不踩坑。

③慢句记进库，哪类慢追得到，优化方向清楚不瞎忙。

（十一）Token推理服务大模型相关落地要点

①首字时延留底样，异常时好比对，哪次变慢一看出问题。

②压测留记录，极端并发怎么接心里有数，不临时抓瞎。

③监控面板实时刷新，哪路堵哪路通一眼看清，不用来回问。

（十二）Token推理服务大模型相关落地要点

①请求分级排，紧要的先走，次要的靠后不抢道。

②冷启预热留余量，首字不慢，体验也立得住不流失。

③闸口看板公开，哪道谁改了都见得着，不背锅也清。

（十三）Token推理服务大模型相关落地要点

①每天收工记一句接法得失，流速越接越稳当不慌。

②限流前先把模型分门别类，混跑就立刻现形。

③推理流量与训练作业分池，互不打扰也稳。

（十四）Token推理服务大模型相关落地要点

①显存吃紧自动驱逐，不会悄悄把服务拖垮。

②要紧模型单独开道，杂请求挤不进它的口。

③调用日志分维度记，哪路慢哪路快一查便知。

（十五）Token推理服务大模型相关落地要点

①跨模型调算先对账，不白占别处的力。

②夜深把冷模型卸下，白天显存留给热模。

③闸口两边一比就露馅，谁改歪一眼看清。

（十六）Token推理服务大模型相关落地要点

①新人开只读视图，误改也动不了生产闸口。

②大请求切片走多实例，一个崩了别的顶上。

③异常流量自动标记待查，不冲正常推理。

（十七）Token推理服务大模型相关落地要点

①压测前清一遍僵尸会话，腾出显存给真活。

②常用结果缓存下来，重复问直接取不重算。

③核心模型设双实例池，单池满了也不瘫。

（十八）Token推理服务大模型相关落地要点

①冷启预热留余量，首字不慢体验也立得住。

②限流前先压一轮满并发，峰值来了接得住不慌。

③长推理设断点续，断了从中间接不重来。

（十九）Token推理服务大模型相关落地要点

①大请求排单独通道，不跟杂流抢显存。

②闸口改动留痕可回溯，谁动过一查便知。

③闲时做演练把限流跑熟，忙时少出错最划算。

（二十）Token推理服务大模型相关落地要点

①闸口看板实时刷新，哪路堵哪路通一眼清。

②模型分批下，先迁会话再停，不硬砍也不断业务。

③推理配额按月滚动预估，下月该给多少心里有底不盲目。

（二一）大模型Token推理服务相关落地要点

①异常推理先冻后查，不急着放量防漏配也稳。

②分摊规则写进合同，哪段消耗谁承担一查便知。

③推理日志留痕可回溯，哪次改了谁改的一查便知。

（二二）大模型Token推理服务相关落地要点

①压测样例常备着，峰值怎么接心里有数不慌。

②推理显存每日盘点，哪台偏胖早知好腾挪。

③冷模热模分池放，互挤不垮也稳当。

（二三）大模型Token推理服务相关落地要点

①推理队列按紧要程度排队，关键请求优先走不挤道。

②冷启模型常驻暖着，首个字出来不慢观感就稳。

③压测样例存一份底稿，极端并发怎么接心里早有数。

（二四）大模型Token推理服务相关落地要点

①监控画面同屏拉齐，哪条路堵哪条通一眼读明不用来回问。

结语：把流速接稳，是大模型推理最要紧的一件事。闸口设好、并发控住，请求不堆、时延不飙，抖动少了慌乱。闸口越用越准，核心产出稳稳落地，体验也立得住，流速越用越稳当，时延不飙，用户自然留得住，钱花在刀刃上，调度也最稳。