流水线整体架构：把数据准备从训练循环里拆出去

单机训练时代，数据加载通常写在训练循环内部：读一个批次，算一个批次，简单直接。到了大模型分布式训练，这种做法立刻失效——数据读取和预处理的速度跟不上 GPU 的计算速度，训练器被迫停下来等数据。

现代数据流水线的核心思路是把数据准备从训练循环里彻底拆出去，变成一个独立的生产者消费者系统。生产者负责从存储系统读取原始数据、做预处理、Tokenize、组装成张量格式，消费者（训练器）只负责从预取队列里拿已经准备好的批次。生产者和消费者之间通过多级缓冲解耦，生产者可以提前准备好若干个批次，消费者消费一个，生产者补充一个，形成持续的流水作业。

这条流水线通常部署在 CPU 节点上，与 GPU 节点分离。CPU 节点负责数据处理的全部计算，GPU 节点只做训练。两者的比例需要根据模型规模和数据处理复杂度来调整——模型越大、数据增强越复杂，需要的 CPU 节点越多。

数据存储与读取：第一个瓶颈往往在磁盘

数据流水线的起点是存储系统。大模型训练的数据集动辄 TB 级甚至 PB 级，存储在分布式文件系统或对象存储中。训练开始时，所有工作节点需要并发读取数据，如果存储系统的吞吐跟不上，GPU 从第一分钟就开始饿肚子。

解决存储瓶颈的常见手段包括：把数据集预先打散到多个存储节点上，利用并行读取能力摊薄单节点的负载；使用高速缓存层，把热点数据缓存在 SSD 或内存中，减少对后端存储的直接访问；采用数据分片策略，每个工作节点只读取属于自己的那部分数据，避免多节点争抢同一个文件。

数据读取的另一个关键是文件格式。大模型训练常用的格式包括 TFRecord、WebDataset、Mosaic 格式等，它们把大量小文件打包成大文件，减少文件系统元数据操作的次数，同时支持随机访问和高效的顺序读取。选对格式可以让读取吞吐量提升一个数量级。

预处理与增强：CPU 密集型的隐藏陷阱

原始数据在被送入训练器之前，通常需要经过一系列预处理操作。图像数据需要解码、缩放、裁剪、色彩增强；文本数据需要清洗、分词、截断；多模态数据需要对齐不同模态的时间轴和空间坐标。

这些预处理操作大多是 CPU 密集型的。图像解码依赖 libjpeg 或 libpng，文本 Tokenization 依赖 SentencePiece 或 HuggingFace Tokenizers，数据增强涉及随机数生成和矩阵运算。如果这些操作全部在主进程里串行执行，CPU 很快就会成为瓶颈，GPU 只能等着。

优化的方向是把预处理操作并行化、异步化、硬件加速化。并行化是指用多个 CPU 核同时处理不同样本，充分利用多核处理器的能力。异步化是指把预处理和训练解耦，预处理线程持续产出准备好的样本，训练线程持续消费，两者互不阻塞。硬件加速化是指把部分预处理操作卸载到 GPU 或专用的加速器上执行，比如用 GPU 做图像解码和增强，或者用 NPU 做 Tokenization。

Tokenization 与组装：从文本到张量的最后一公里

对于语言模型来说，Tokenization 是数据流水线里最关键的环节之一。原始文本经过分词器转换成 Token 序列，然后经过 Padding 和 Truncation 变成固定长度的张量，最后组装成包含 input_ids、attention_mask、labels 等字段的微批次。

Tokenization 的计算量不容小觑。一个大模型的词表可能包含几万个 Token，分词器需要在词表里做最长匹配或 BPE 编码，这个过程涉及大量的字符串操作和查找。如果每个样本都实时做 Tokenization，CPU 的开销会非常高。

优化的常见做法是预 Tokenization：在训练开始之前，把整个数据集一次性 Tokenize 完毕，将 Token 序列存储为二进制格式。训练时直接从二进制文件读取 Token 序列，跳过 Tokenization 步骤。预 Tokenization 的代价是存储空间的增加——Token 序列比原始文本占用更多空间，但对于大模型训练来说，用存储空间换 GPU 时间是值得的。

另一个优化点是动态 Padding。传统的做法是把一个批次内的所有序列 Padding 到相同长度，短的序列被填充大量无意义的 Token，浪费计算资源。动态 Padding 的做法是按照序列的实际长度分组，同一个批次内的序列长度相近，减少 Padding 的比例。更激进的做法是使用序列 packing 技术，把多条短序列拼接到同一个样本里，彻底消除 Padding。

预取与缓存：让 GPU 永远有数据可算

即使存储和预处理都优化到位，数据流水线仍然可能因为微小的抖动而产生气泡——存储系统的一次毛刺、CPU 的一次调度延迟，都可能导致预取队列暂时为空，GPU 被迫等待。

预取机制的优化方向是多级缓冲。在 CPU 内存中维护一个较大的预取队列，生产者持续向队列里投放准备好的批次，消费者从队列里取出批次送往 GPU。队列的大小需要根据生产速度和消费速度的动态关系来调整——生产太快队列会撑爆内存，生产太慢队列会变空导致 GPU 饥饿。

缓存是另一个有效的优化手段。对于那些经过预处理但尚未 Tokenize 的中间数据，可以缓存在本地 SSD 或内存中，避免重复计算。特别是在数据增强场景下，增强后的数据可以缓存起来供多个 epoch 复用，而不是每个 epoch 都重新做一遍增强。

更高级的缓存策略是样本级缓存和批次级缓存的组合。样本级缓存缓存单个样本的预处理结果，批次级缓存缓存组装好的微批次。当训练中断后恢复时，批次级缓存可以快速恢复到中断前的状态，避免重新组装。

动态数据策：让流水线适应训练过程

传统的数据流水线是静态的——数据集固定、采样策略固定、预处理流程固定。但大模型训练过程中，数据的价值是动态变化的。训练早期，模型需要广泛接触各种类型的样本；训练后期，模型更需要那些它还不擅长处理的困难样本。

动态数据策就是在训练过程中动态调整数据流水线的行为。常见的策略包括：课程学习，训练早期使用简单的样本，逐渐过渡到困难的样本；困难样本挖掘，根据模型当前的 Loss 分布，提高困难样本的采样权重；数据去重，在训练过程中检测并剔除重复或高度相似的样本，避免模型过拟合。

动态数据策对数据流水线的要求更高。流水线需要支持实时的采样权重调整，需要能够在训练过程中动态地从数据集中筛选样本，需要能够在不中断训练的情况下切换数据分布。这些能力都需要数据流水线具备更强的灵活性和可编程性。

结语

大模型训练平台的数据流水线，本质上是把数据从存储系统运送到 GPU 显存的一条高速公路。任何一段路上的拥堵——磁盘 IO 瓶颈、CPU 预处理瓶颈、Tokenization 瓶颈、预取队列不足——都会让昂贵的 GPU 陷入等待。构建一条高效的数据流水线，需要从存储格式、读取策略、预处理并行化、预 Tokenization、动态 Padding、多级缓冲、动态数据策等多个维度同时发力。开发工程师在搭建训练平台时，最容易犯的错误是把精力全部花在模型架构和分布式策略上，忽略了数据流水线的重要性。而事实上，在很多大模型训练项目中，数据流水线的优化带来的加速效果，往往比模型本身的优化更显著。把数据喂饱，GPU 才能把力气花在该花的地方。