一、卡型按用途分四类，能力重心各不相同

1. 训练卡：重心在互联与显存

这类卡的特征是显存容量大、显存带宽高，并且支持机内卡与卡之间的高速互联。做预训练与大规模微调时，每一步都要同步梯度，通信量随参数量上升，互联带宽不够就会让多张卡互相空等。

判断是否合用，先看三处：显存要能装下权重、梯度、优化器状态三块的合计；机内互联要撑得住张量并行所需的通信量；节点间网络要与目标卡数匹配，不然跨机训练会先卡在网络上。

2. 推理卡：重心在显存带宽与功耗

在线推理每生成一个词元都要把权重读一遍，带宽直接决定单卡每秒能产出多少词元。这类卡的显存容量往往略小，峰值算力也不必拔尖，但带宽与功耗比做得更好，适合长时间在线运行。

判断办法不复杂：把带宽除以模型大小，估出每秒能过几遍权重，再乘上可承受的并发数，得到单卡吞吐的量级。这个估算值与实测差得远，说明瓶颈不在带宽，要在调度与批处理上找原因。

3. 通用图形卡：重心在通用性与供应

这类卡本为图形与通用计算设计，显存带宽与互联都不追高点，胜在供应充足、单价低、驱动与工具链成熟。轻量微调、小规模推理、图像预处理、科学计算里的向量运算，用它往往够用。

边界也要认清：显存装不下就是装不下，多卡互联能力有限，做大规模预训练会直接碰到天花板。

4. 国产加速卡：重心在可控与适配

这类卡的价值在于供应链与合规上的可控，能力上覆盖在线推理到中小规模训练之间的区间。选它意味着多一道适配工序：框架要能对接，算子要能覆盖，推理引擎要有对应版本。

能不能用，先问三件事：目标模型在这套软件栈上有没有人跑通过；缺失的算子能不能自己补或找到替代实现；出问题时支持方能不能在约定时间内响应。三个问题有一个答不上来，就要预留更长的验证周期。

5. 四类之间不是等级关系

四类之间不存在高配低配的排序。训练卡做推理，互联能力用不上，成本照付；推理卡做预训练，互联撑不住，卡数堆上去也换不来产出；图形卡做在线服务，峰值并发上不去，延迟抖动明显。按用途选，不按价格选，比任何参数对比都管用。

二、按任务类型对号入座

1. 预训练：先定网络，再定卡型

规模一旦跨机，节点间网络就成了先决条件。合理的顺序是先看目标卡数下的网络方案能不能支撑梯度同步，再回头选卡型。反过来先定卡，末了发现网络跟不上，只能减规模，前面的排期全部作废。

判断依据是加速比曲线：四卡到八卡常接近线性，八卡到十六卡开始折减。这条曲线只能问，或者只能测。

2. 微调：显存是硬门槛，卡数其次

全参数微调的显存需求接近预训练，权重、梯度、优化器状态三项叠加，往往达到参数量的十几倍字节。只训练少量参数的方法能把这一倍数压到个位数，同一张卡能带动的模型规模上一个台阶。

所以微调选型先算显存，再看卡数。装不下就是装不下，调参数改不了；装得下却租了过多卡，等于为闲置付钱。

3. 在线推理：单卡并发决定单位成本

在线服务的账要按每万次请求的成本算，不能按小时单价算。同一价位下，能带二十路并发的卡与只能带八路的卡，单位成本差出一倍多。

影响并发的三项：显存装得下多少条请求的上下文缓存；带宽决定每条请求多快生成完；调度策略决定能不能把多个请求凑成批一起算。前两项由卡型决定，第三项由软件栈决定，选卡时要把两项分开评。

4. 离线批处理：吞吐优先，延迟可以让

批量打分、内容审核、离线生成这类任务，不在乎单条响应多快，在乎单位时间能做多少。这类任务可以用大批处理把带宽吃满，也可以接受低精度格式换吞吐。

它和在线服务应当分开配卡。用同一批卡兼顾两种形态，两边都不理想：在线时被批处理占住显存，批处理时又为延迟让路而压低批量。

5. 图形与科学计算：看双精度与驱动

渲染、仿真、分子动力学这类任务，看的是双精度能力与驱动的稳定性，与显存带宽的关系没那么紧。它与人工智能任务的偏好基本正交，别拿同一套判据去挑。

三、国产卡与主流卡的三道现实差距

1. 算子与框架：迁移成本要算进工期

主流软件生态的算子覆盖广、自定义算子开发便利，多数模型拿来就能跑。国产软件栈这几年的覆盖度提升明显，但缺口仍在：复杂模型的特殊算子可能缺失，框架对接要经过一层模型转换，转换环节本身会引出精度偏差与性能折损。

迁移成本按工序算才准：跑通、对齐精度、补算子、调性能，四道工序各有耗时。只算第一道，工期必然低估，而工期在多项目并行的团队里比硬件差价更贵。

2. 互联：单卡看着不错，集群开始打折

单卡峰值上的差距在缩小，互联带宽上的差距仍然存在，量级上差出数倍。直接后果就是单卡测试正常、多机训练打折。做大规模训练时，这个差距会把单卡上的优势抵掉。

应对有三条：减少跨卡通信次数的并行策略、把通信藏在计算之后的调度方式、针对互联特性调优的通信库。三条都要工程投入，不是换个开关能解决的。

3. 实测与标称：留出折损余量

纸面数字是理想条件下的结果。实际运行受散热、供电、内存带宽、数据供给限制，日常跑出来的比例常在六七成。两种卡的折损幅度不同，规划工期与成本时按实测算，不按标称算。

还有一处容易忽略：混部。两类卡放进同一个资源池，运维要做两套驱动、两套监控、两套故障流程，人力接近翻倍，这部分要先算进去。

4. 三道差距的应对顺序

先做可行性验证：真实任务在目标卡上跑通，记录精度与吞吐；再算迁移工期；末了才比价格。顺序反了，容易得出便宜三成的结论，却漏掉多出来的两个月工期。

四、租赁场景特有的四个变量

1. 整机计价还是单卡计价

报价单上的每卡每小时，不等于你实际付的钱。多数机型按整机出租，八卡机就是八倍单价；也有按卡拆分出租的。问清这一条，才不会在账单出来时发现差了一个量级。

同时问清起计门槛与关机是否停止计费。有的方案开机不足一小时按一小时算，有的关机后仍收存储与占位费用。短期任务对这两条特别敏感。

2. 库存与区域

同一机型在不同区域的库存差异很大，紧俏机型常要排队。这直接影响工期：任务排好了，机器开不出来，团队只能等。应对办法是把机型准备两套，主选一个、备选一个能力接近的，备选要提前跑过一次。

3. 镜像与驱动版本

租来的机器通常自带一批预置镜像。要核对三件事：镜像里的框架版本与代码要求是否一致；镜像里的加速库与卡型是否匹配；镜像能否另存为私有版本，供后续任务复用。镜像对不上，头一天的时间基本花在装环境上，这笔时间也要算进任务成本。

4. 附加项要单列

机柜电力、公网带宽、共享存储、技术支持，这四项在部分报价里含、在部分报价里另计。把四项摊进单卡综合成本再比，两份报价才可比。

五、六句问清再决定

一是整机出租还是按卡拆分，起计门槛多久，关机之后还收什么费用。二是目标模型在这套卡与软件栈上有没有跑通过的先例，缺哪些算子。三是多卡跑同一任务时加速比多少，通信占比多少。

四是同能力的备选机型有没有货，切换时要不要重做环境。五是镜像与驱动版本能不能固定，任务之间能否复用。六是附加项分别怎么计，长期占用的存储怎么收。

六句问完，多数疑问会收敛。剩下只能靠实测回答的，就租一两天跑一轮。

结语

卡型的差别，落在四个数字上：显存容量、显存带宽、卡间互联、功耗形态。四类卡按用途分工，训练看互联，推理看带宽，微调看显存，离线批处理看吞吐，图形与科学计算看双精度与驱动。国产卡与主流卡的差距不在单卡峰值，而在算子覆盖、互联带宽、实测折损这三处，这三处都要用工期与人力去换。

落地建议：先把任务归入五类中的哪一类，用四个数字筛出两三个候选；再拿真实任务在候选上各跑一轮，记录吞吐、精度、迁移耗时；末了把附加项摊进综合成本一起看。判断选得对不对，标准很实际：跑完一个完整任务，实际用时与预估工期的差距在一成以内，团队也没把一半时间花在环境适配上。