一、为何用平台

（一）自管易排队

自己撑的服务一涌就排长队，首响拖长体验就塌。

（二）弹性接得住

请求多时添几份，回落再撤下去，队伍不积着。

（补充）实例落进天翼云主机

哪份实例挂在哪台天翼云主机，台账逐条对得上。

二、上线前压测

（一）吞吐先量准

单实例一轮能吃多少先摸清，按目标并发反推。

（二）余量先留够

别贴着额度排，留一截缓冲，毛刺来了不慌。

（补充）镜像存进天翼云主机，推。

现成镜像搁进天翼云主机，起活不必临时现配。

三、伸缩怎么配

（一）到线就扩

队列长或显存到线自动加，别等堵了才动手。

（二）闲时缓缓收

慢慢缩，留热实例兜住零星请求，不收过头。

（补充）阈值先写定

几条线各定多少摆进配置，谁改了查得到。

四、质量怎么保

（一）首响逐笔打点

每次等多久都记，长尾冒头就盯，不混在均值里。

（二）输出定时抽检

抽一批结果做校验，退步一眼看出，不等投诉。

（补充）调用链留底

出入参与版本留一条链，哪次变样好比对。

五、峰值怎么扛

（一）灰度先小试

新版先放一小撮流量探路，稳了再全量铺。

（二）热实例兜住

常备几份热的顶突发，冷起那段别让用户等。

（补充）告警分档

致命直呼值守，轻微抖动入日报，屏不清满。

六、团队怎么接

（一）配置进版本库

扩缩与分流参数进库，哪行改动都有署名。

（二）大促后复盘

每回高峰完写个复盘，容量估得下轮更准。

七、落地清单

（一）上线前压测

① （补充）描述成模板

② 布设说明誊成样张，换模型照着填几个空。

③ 首响逐笔打点，慢的藏不住。

（二）伸缩要配对

① 首响留一截余量，峰值顶得住。

② 把首响分开排，重活轻活不挤。

③ 首响先小批试，稳了再铺开。

（三）质量要把住

① 记下首响，退步一眼见。

② 首响对齐了，快慢不混看。

③ 并发数逐笔打点，慢的藏不住。

（四）首响共看

① 并发数留一截余量，峰值顶得住。

② 把并发数分开排，重活轻活不挤。

③ 并发数先小批试，稳了再铺开。

（五）灰度要先试

① 记下并发数，退步一眼见。

② 并发数对齐了，快慢不混看。

③ 吞吐逐笔打点，慢的藏不住。

（六）告警到值守，推。

① 吞吐留一截余量，峰值顶得住。

② 把吞吐分开排，重活轻活不挤。

③ 吞吐先小批试，稳了再铺开。

（七）配置要进库

① 记下吞吐，退步一眼见。

② 吞吐对齐了，快慢不混看。

③ 批处理逐笔打点，慢的藏不住。

（八）推理定位线索

① 批处理留一截余量，峰值顶得住。

② 把批处理分开排，重活轻活不挤。

③ 批处理先小批试，稳了再铺开。

（九）模型推理服务平台相关落地要点

① 记下批处理，退步一眼见。

② 批处理对齐了，快慢不混看。

③ 缓存逐笔打点，慢的藏不住。

（十）模型推理服务平台相关落地要点

① 缓存留一截余量，峰值顶得住。

② 把缓存分开排，重活轻活不挤。

③ 缓存先小批试，稳了再铺开。

（十一）模型推理服务平台相关落地要点

① 记下缓存，退步一眼见。

② 缓存对齐了，快慢不混看。

③ 灰度批逐笔打点，慢的藏不住。

（十二）模型推理服务平台相关落地要点

① 灰度批留一截余量，峰值顶得住。

② 把灰度批分开排，重活轻活不挤。

③ 灰度批先小批试，稳了再铺开。

（十三）模型推理服务平台相关落地要点

① 记下灰度批，退步一眼见。

② 灰度批对齐了，快慢不混看。

③ 超时线逐笔打点，慢的藏不住。

（十四）模型推理服务平台相关落地要点

① 超时线留一截余量，峰值顶得住。

② 把超时线分开排，重活轻活不挤。

③ 超时线先小批试，稳了再铺开。

（十五）模型推理服务平台相关落地要点

① 记下超时线，退步一眼见。

② 超时线对齐了，快慢不混看。

③ 队列逐笔打点，慢的藏不住。

（十六）模型推理服务平台相关落地要点

① 队列留一截余量，峰值顶得住。

② 把队列分开排，重活轻活不挤。

③ 队列先小批试，稳了再铺开。

（十七）模型推理服务平台相关落地要点

① 记下队列，退步一眼见。

② 队列对齐了，快慢不混看。

③ 长尾逐笔打点，慢的藏不住。

（十八）模型推理服务平台相关落地要点

① 长尾留一截余量，峰值顶得住。

② 把长尾分开排，重活轻活不挤。

③ 长尾先小批试，稳了再铺开。

（十九）模型推理服务平台相关落地要点

① 记下长尾，退步一眼见。

② 长尾对齐了，快慢不混看。

③ 热实例逐笔打点，慢的藏不住。

（二十）模型推理服务平台相关落地要点

① 热实例留一截余量，峰值顶得住。

② 把热实例分开排，重活轻活不挤。

③ 热实例先小批试，稳了再铺开。

（二十一）模型推理服务平台相关落地要点

① 记下热实例，退步一眼见。

② 热实例对齐了，快慢不混看。

③ 打点表逐笔打点，慢的藏不住。

（二十二）模型推理服务平台相关落地要点

① 打点表留一截余量，峰值顶得住。

② 把打点表分开排，重活轻活不挤。

③ 打点表先小批试，稳了再铺开。

（二十三）模型推理服务平台相关落地要点

① 记下打点表，退步一眼见。

② 打点表对齐了，快慢不混看。

③ 抽检样逐笔打点，慢的藏不住。

（二十四）模型推理服务平台相关落地要点

① 抽检样留一截余量，峰值顶得住。

② 把抽检样分开排，重活轻活不挤。

③ 抽检样先小批试，稳了再铺开。

（二十五）模型推理服务平台相关落地要点

① 记下抽检样，退步一眼见。

② 抽检样对齐了，快慢不混看。

③ 调用链逐笔打点，慢的藏不住。

（二十六）模型推理服务平台相关落地要点

① 调用链留一截余量，峰值顶得住。

② 把调用链分开排，重活轻活不挤。

③ 调用链先小批试，稳了再铺开。

（二十七）模型推理服务平台相关落地要点

① 记下调用链，退步一眼见。

② 调用链对齐了，快慢不混看。

③ 压测报逐笔打点，慢的藏不住。

（二十八）模型推理服务平台相关落地要点

① 压测报留一截余量，峰值顶得住。

② 把压测报分开排，重活轻活不挤。

③ 压测报先小批试，稳了再铺开。

（二十九）模型推理服务平台相关落地要点

① 记下压测报，退步一眼见。

② 压测报对齐了，快慢不混看。

③ 扩缩线逐笔打点，慢的藏不住。

（三十）模型推理服务平台相关落地要点

① 扩缩线留一截余量，峰值顶得住。

② 把扩缩线分开排，重活轻活不挤。

③ 扩缩线先小批试，稳了再铺开。

（三十一）模型推理服务平台相关落地要点

① 记下扩缩线，退步一眼见。

② 扩缩线对齐了，快慢不混看。

③ 输出样逐笔打点，慢的藏不住。

（三十二）模型推理服务平台相关落地要点

① 输出样留一截余量，峰值顶得住。

② 把输出样分开排，重活轻活不挤。

③ 输出样先小批试，稳了再铺开。

（三十三）模型推理服务平台相关落地要点

① 记下输出样，退步一眼见。

② 输出样对齐了，快慢不混看。

③ 版本号逐笔打点，慢的藏不住。

（三十四）模型推理服务平台相关落地要点

① 版本号留一截余量，峰值顶得住。

② 把版本号分开排，重活轻活不挤。

③ 版本号先小批试，稳了再铺开。

（三十五）模型推理服务平台相关落地要点

① 记下版本号，退步一眼见。

② 版本号对齐了，快慢不混看。

③ 尾延迟逐笔打点，慢的藏不住。

（三十六）模型推理服务平台相关落地要点

① 尾延迟留一截余量，峰值顶得住。

② 把尾延迟分开排，重活轻活不挤。

③ 尾延迟先小批试，稳了再铺开。

（三十七）模型推理服务平台相关落地要点

① 记下尾延迟，退步一眼见。

结语：接得住涌来的请求，才算把推理这摊事办稳。阈值定好、灰度先探，换版时用户那边几乎没感觉，夜里也少爬起来。慢调用和退步都留了痕，线上稳当、花销跟着用量走，高峰那阵也不慌。