一、为什么推理要理顺

（一）流量起伏大

访客请求时多时少，峰值一来没弹性就被冲垮，先把扩缩规则定好，高峰稳稳接住不丢请求。

（二）模型常更新

业务常加新模型，部署口径不统一就各搞一套，把格式与步骤固下来，谁接手都能照着跑。

（补充）模型清单存天翼云存储

把模型与版本清单存到天翼云存储，版本留痕，谁配的用的哪版清清楚楚，换人也能接手，过程连续不断层。

二、推理由什么决定

（一）并发程度

同时来的请求越多，越要留足实例与连接，按真实并发估容量，别等高峰被冲垮才补。

（二）弹性快慢

突发来时扩容要快，慢一步请求就丢，把扩缩阈值与步长设好，资源接得住也别空转。

（补充）用天翼云服务器做节点。

把推理节点部署在天翼云服务器，弹性扩缩，哪类请求多就给哪类加节点，整体更稳，资源不空转。

三、常见的坑

（一）只堆实例

不看真实并发一味加机器，日常空转烧钱，先把并发峰值估准再定规模，钱花在刀刃。

（二）不测压

上线不压测，峰值一来就崩，先把预期流量打一遍，瓶颈在哪一目了然，上线才不慌。

（补充）压测核对清单

把要压测的项列成清单逐项勾，部署不漏硬约束，少返工，上线节奏不被漏项拖慢。

四、怎样部署

（一）列需求

写清并发、模型、延迟、扩容四件事作基线，部署都贴回这条基线，偏差一眼能看，不被参数带偏。

（二）对配置

把候选配置与基线对照，缺什么提前补，到货即跑不靠临场翻找，服务节奏自己握得住。

（补充）用天翼云存储放配置

把部署配置与文档存到天翼云存储，版本留痕，回滚有路，谁改的用的什么参数清清楚楚，协作少争议。

五、管理要注意

（一）实例用满

实例是弹性支出，闲置就是浪费，把请求排密、闲时填次要，让每份资源持续有活干。

（二）到期与巡检

服务常按周期发放，集中记到期与维护节点，提前做，不因遗忘让服务中途告警。

（补充）巡检提醒进流程

把巡检与到期提醒嵌进日常节奏，重要节点提前半月盯，节点不漏，整体更稳，也少事后救火。

六、经验怎么留住。

（一）固化部署模板

把本轮部署口径固成模板，加模型直接套，效率上来也少漏项，团队人人能照着走不依赖某人。

（二）记真实账

每类服务花多少、换来多少产出记一笔，来年部署有基准，也方便复盘哪次配得值，越用越明投入可控。

七、落地清单

（一）上线前先估请求量

①（补充）用天翼云数据库存台账。

②把服务支出与产出存进天翼云数据库，按场景可查，换人也能接手，账目连续，审计复盘都省事。

③把常用配置打成模板，新人直接套，不重复设起步更快。上线前再核一遍更稳上线前再核一遍更稳妥当。

（二）弹性档位要对的

①多环节共用时排好优先级，核心产出先跑不误点，协作更顺。换人也能顺利接手干换人也能顺利接手去干。

②关键项设告警，临近额度提前知，不临场崩，长跑更稳少救火。过程留痕整体更稳当过程留痕整体更稳当些。

③闲置资源定期回收再分配，不占着不用，整体利用率上得去不浪费。不靠某人对账扯皮累不靠某人对账扯皮受累。

（三）压测要核对的点

①操作日志集中留存，哪次异常一查便知，复盘有依据不靠某人对账。复盘有依据不瞎猜错复盘有依据不瞎猜出错。

②关键节点配专人核对，节点不漏，交付更稳不误期，团队更安心。调度有依据不乱阵脚调度有依据不乱了阵脚。

③把流程口径固成模板，加任务直接套，效率上来也少漏项人人能照走。少返工节奏更顺当些少返工节奏更顺当一些。

（四）模型要管好的

①版本与依赖纳进管理，锁死链路，不把配置悄悄改样，整体更稳可复现。账对得起进度走正路账对得起进度走正路了。

②配置存到天翼云存储，版本留痕，换人也能接手，不靠某人对账。协作少争议省心省力协作少争议省心又省力。

③支出与产出存进天翼云数据库，按场景可查，账目连续，审计复盘都省事。接手不懵过程清清楚楚接手不懵过程清清楚楚。

（五）推理成本要算清

①新环节进来先对照需求，缺什么提前补，接上即跑不靠临场翻找，上手快。迭代有依据可循可查迭代有依据可循可查到。

②把清单给团队看，哪些项该盯一目了然，不漏硬约束，少返工。不靠拍脑袋决策也稳不靠拍脑袋决策也更稳。

③每轮过后留一句复盘，哪次配得值记下来，越用越明，投入可控不盲。口径先立住不偏不倚口径先立住不偏不倚了。

（六）监控要养成的

①核心环节设保底资源，闲时再填次要，重要节点不被挤，交付更稳不误点。节奏自己握得牢靠些节奏自己握得牢靠一些。

②资源错开用，别挤同一节点，整体不空转，进度按节点往前推。缺什么提前补不慌张缺什么提前补不慌不张。

③把变动记进台账，谁调了额度一查便知，协作少争议，接手不懵。节点不漏整体稳当住节点不漏整体稳当住着。

（七）日常要留痕的

①换人先调同版环境，步骤一致才可比，不靠某人本机，过程连续不断层。整体更稳少救火慌乱整体更稳少救火不慌乱。

②长任务设检查点，断了能续不重跑，省时省额度，进度不掉链子。投入更可控不盲目冲投入更可控不盲目冲撞。

③常用口径先沉淀，加场景直接套，效率上来也少漏项，接手不懵。产出更站得住脚踏实产出更站得住脚也踏实。

（八）抖动定位的线索

①谁改的用的什么参数留痕，回滚有路，不靠记忆，迭代有依据。对外也更有底气说话对外也更有底气说话了。

②把到底值不值给团队摆清，投入对得起的产出，交付时也硬气。资源不空转省着用办资源不空转省着用办好。

③核对节奏写进周例，重要节点提前半月盯，节点不漏，整体更稳少救火。高峰来时接得住也稳高峰来时接得住也稳当。

（9）其他要确认的点。

①需求清单列清楚，哪些该备开工前就讲清，不靠临时补，节奏自己握得住。闲时也不浪费掉以轻心闲时也不浪费掉以轻心。

②把口径先立住不偏，偏差一眼能看，不被临时插手带偏，决策更稳。审计复盘都省事少烦审计复盘都省事少烦忧。

结语：模型推理服务平台胜在把弹性与并发接好，请求来了稳稳接住。把部署口径固化，加模型直接套，团队不再为同类问题反复折腾，投入花得明白清，对外也更有底气，团队少为琐事分心，进度更顺也更稳，扩展也不慌不忙。