一、分布式是三层切分，不是单一开关

把训练拆开，实质是把三样东西分摊到多个设备上：数据、模型的层内参数、模型的层。按数据分摊，叫数据并行；按层内参数分摊，叫张量并行；按层分摊，叫流水线并行。三者解决的是不同瓶颈。数据并行解决“跑得慢”，模型结构不变，每张卡都放一份完整模型，各算各的批次，再把梯度汇总；它不解决“装不下”。张量并行与流水线并行解决“装不下”，把模型本身拆开，代价是引入设备间的频繁通信。第四条路不属于切分维度，而是省显存的手段：把优化器状态、梯度、参数分片存放，或者不保存中间激活值、需要时重算。四条路可以叠加，常见组合是“数据并行打底 + 张量并行放单机内 + 流水线并行跨机”。判断该用哪条，先问一句：卡不够是因为显存不够，还是因为时间太长。

二、数据并行：最常用也最容易到顶

数据并行的做法是每张卡持有完整模型、各处理一部分批次，反向后把梯度汇总再更新。它的优点是改动小、对模型结构无要求、几乎所有框架都支持，是起步时的默认选择。它的代价在通信：每步都要同步全部梯度，参数量越大、卡越多，同步开销越重。这带来两个实际后果。第一，批次要跟着放大：卡数翻倍而单卡批次不变，总批次就翻倍，学习率与预热步数要相应调整，否则收敛行为会变。第二，扩展存在上限：当通信时间接近甚至超过计算时间时，再加卡也不会更快，扩展效率迅速下滑。缓解办法有两个：一是梯度累积，用较小的单卡批次累积几步再更新，等于在不增加显存的前提下放大有效批次；二是把梯度同步做得更省，比如分层聚合、压缩通信量。判断是否已经到顶，看扩展效率——卡数翻倍、吞吐是否接近翻倍，差得远就说明瓶颈已从算力转到通信。还有一个容易忽略的细节：数据并行要求每张卡每步都拿到不一样的批次，数据读取这条链路必须跟得上。卡数一多，如果数据供给还是单机读本地盘的方式，卡会集体空等，表现为使用率忽高忽低、吞吐上不去，而人还以为是通信问题。多机训练前，把数据通道的供给能力按卡数算一遍，是省时间的做法。

三、张量并行：切得细，通信也密

张量并行是把单层的矩阵运算拆到多张卡上，比如把权重矩阵按列或按行切开，各卡算一部分再拼起来。它能把单层显存需求摊薄，是“单卡装不下、但还想留在同一台机器里”的主要手段。代价是通信极频繁：几乎每一层的前向与反向都要交换中间结果，因此对卡间互联的要求非常高，通常只在同一台机器内部使用，靠机内高速互联撑住。跨机做张量并行，通信延迟会立刻成为主导，效率掉得很厉害。配置时有两个点要注意。第一，切分数要与卡数对齐，切数不是二的幂次时容易出现各卡任务量不均。第二，切分维度要与模型结构匹配，注意力的多头与全连接层的切法不同，切错会得到一张卡忙、其余卡等的局面。观察指标也简单：若卡间通信占比很高而计算单元长期空闲，说明切得太细或互联跟不上。

四、流水线并行：按层切段，要处理气泡

流水线并行把模型的层分成若干段，每段放在一台机器上，数据像流水一样从第一段流到最后一段。它的好处是通信量比张量并行小得多，只在段的边界交换激活值，因此适合跨机。它的代价是“气泡”：流水线首尾填充与排空期间，部分设备处于空闲状态，段数越多、微批越少，气泡占比越高。缓解办法是增加微批数量，把一个大批次切成多个小份依次灌入，让各段尽量都在忙；也有把一轮拆成前后两半交错的排法，进一步压缩空闲。配置时要注意三件事：段数要与机器数对齐，段与段之间任务量尽量均衡，否则最慢的一段决定整体节奏；微批数量要够多，通常是段数的若干倍；学习率与批次同样要跟着有效批次调整。判断流水线配得好不好，看各段的利用率是否接近，差距大就说明切分不均。

五、显存不够时的另一条路

有些情形不必切模型，把状态省下来就够了。第一种是优化器状态分片：把优化器为每个参数维护的辅助量分散到各卡，每张卡只存一部分，需要时再聚合。全量微调时这部分往往比权重本身还占地方，分片之后单卡占用能明显下降。第二种是参数与梯度的分片：连权重也切开存放，计算时按需取用，代价是通信增加。第三种是激活值重算：前向时不保存全部中间结果，反向需要时重新算一遍，用算力换显存，通常能把激活占用降一个量级，代价是每步多花一部分计算时间。第四种是混合精度与量化：低精度存放权重与激活，显存与带宽同时受益。这四种手段可以叠加，选择顺序建议是先分片、再重算、最后考虑降精度，因为前两者对结果的影响更小。做完这些仍然装不下，才需要动张量并行或流水线并行。

六、组合怎么配，配置盯哪几项

组合的选择可以按三条线判断。第一条，先看显存能不能装进单卡：能装下，就从纯数据并行起步，简单、好调；装不下但能装进一台机器，用张量并行把单层切开；一台机器都装不下，才引入流水线并行跨机。第二条，看规模上限：需要几十张卡以上时，纯数据并行的通信会成为瓶颈，通常要叠加一种模型切分来减少每卡的通信压力。第三条，看团队维护能力：组合越复杂，配置项越多、故障面越广，能在简单方案上跑出结果，就不必上复杂组合。配置时要盯的几项是固定的：并行维度与卡数的整除关系、批次与微批的划分、梯度累积步数、通信后端与网络选择、以及全局批次变化后的学习率与预热调整。这几项任何一处对不上，表现都是“能跑但很慢”或“跑几步就崩”，而不是干脆起不来，所以更要逐项核对。核对的办法很朴素：先用最小规模（两张卡、小批次）把组合跑通，确认每一步的参数都对上了，再按倍数放大。放大时一次只改一个维度，否则效率掉了说不清是哪一项造成的。把每一步的卡数、批次、耗时记下来，就是一份扩展曲线，后面判断要不要继续扩，靠的就是这条线。

七、规模上去之后的两件事

第一件事是效率会掉，要提前接受并测量。卡数翻倍，吞吐往往只涨六成到八成，掉的那部分来自通信、同步等待与流水线气泡。判断是否值得继续扩，看边际收益：新增一批卡带来的时间节省，是否大于它带来的成本与复杂度。第二件事是故障会变多。几十上百张卡连续跑几天，硬件异常、网络抖动、进程挂掉都属于常态。要提前做三样准备：一是检查点要频繁且落盘可靠，间隔按“可接受的返工时间”定；二是要有故障感知，某张卡掉了能被及时发现并隔离，而不是让整个任务卡在那里；三是要能从检查点续跑，且续跑后的数据顺序、随机状态尽量对齐，否则结果会悄悄偏离。把这两件事想清楚，分布式训练才从“能跑起来”变成“能跑完”。还有一条经验值得记：规模越大，越要先把小规模的正确性验明白。用两张卡跑通、损失曲线正常、结果可复现，再放大到几十张卡，出问题时至少知道问题出在放大这一步；反过来，小规模还没稳定就往大集群上推，一次故障可能同时有三四个可疑原因，排查会拖很久。

结语

分布式训练的四条路各有分工：数据并行解决速度、张量并行解决单机装不下、流水线并行解决跨机装不下、分片与重算解决显存吃紧。判断顺序是先看显存、再看规模、最后看维护成本，组合越简单越好。配置时守住维度与卡数的整除关系、批次与微批的划分、学习率随全局批次调整这几项；规模上去后接受扩展效率的衰减，并用频繁检查点、故障感知、可靠续跑兜住长周期任务的风险。把这些理清，“支不支持分布式”就不再是疑问，而是该选哪条路、配到什么程度的问题。