共享存储的核心挑战

训练与推理共享同一套存储系统，在带来便利的同时也引入了独特的工程挑战。首要挑战在于负载特征的巨大差异。训练阶段的存储访问以大规模顺序读写为主——读取训练数据时吞吐量极高，写入检查点时数据量巨大但对延迟不敏感。推理阶段的存储访问以小规模随机读取为主——加载模型权重时需要低延迟，读取词汇表时需要高IOPS。两种截然不同的负载特征需要在同一套存储系统中得到满足，这对存储系统的架构设计提出了很高的要求。

第二个挑战来自数据一致性与隔离性的需求。训练过程中不断写入新的检查点和日志，这些数据在训练完成之前不应该被推理服务读取到，因为训练中的模型状态是不稳定的。训练和推理需要看到不同的数据视图，但又共享同一套物理存储。数据视图的隔离需要在存储系统的逻辑层面实现，而不能依赖于物理存储的分离。

第三个挑战是存储容量与性能的平衡。训练阶段需要大容量存储来存放数据集和检查点，推理阶段需要高性能存储来保证模型加载速度。如果统一采用高性能存储，容量成本会急剧上升；如果统一采用大容量存储，推理性能会受到影响。共享存储架构需要在容量和性能之间找到平衡点，让不同的数据存放在最合适的存储介质上。

第四个挑战涉及多租户场景下的资源隔离。当多个训练任务和多个推理服务共享同一套存储系统时，某个任务的大量I/O操作可能影响其他任务的存储访问性能。存储系统需要具备精细化的QoS控制能力，为每个任务分配独立的I/O带宽和IOPS配额，防止相互干扰。

分层存储架构设计

息壤平台的共享存储架构采用分层设计，从靠近计算节点的本地存储到远离计算节点的归档存储，共分为四个层级。

第一层是节点本地存储，位于计算节点的NVMe固态硬盘上。本地存储容量最小但延迟最低，主要用于存放正在被当前节点使用的训练数据批次、模型权重缓存和临时中间结果。本地存储的访问不需要经过网络，延迟在微秒级别，适合对延迟极度敏感的操作。本地存储的内容由上层存储系统自动管理，在任务启动时从远端拉取数据，在任务结束后清理临时文件。

第二层是分布式并行文件系统，部署在同一数据中心内的高速网络上。这一层是共享存储的核心，训练数据和模型权重的主要存放位置。分布式并行文件系统具备高吞吐量和可扩展性，能够同时服务数百个计算节点的并发访问。文件系统的元数据服务采用分布式架构，消除了单点瓶颈。数据分片存储在多个存储节点上，通过条带化技术提升读写带宽。分布式并行文件系统是训练和推理共享的主要存储层级。

第三层是分布式对象存储，容量更大但延迟略高。对象存储用于存放不频繁访问的数据，如历史检查点、旧版本模型权重、归档日志和备份数据。对象存储的成本低于并行文件系统，适合作为冷数据的存放位置。数据在并行文件系统和对象存储之间自动迁移——频繁访问的数据保留在并行文件系统中，长时间未访问的数据沉降到对象存储中。迁移策略基于数据的访问频率和最后访问时间，由存储系统的数据生命周期管理模块自动执行。

第四层是归档存储，用于长期保存数据。归档存储的延迟最高但成本最低，适合存放需要合规保留但极少访问的数据，如历史版本的法律合规备份。归档存储的数据通常以压缩格式存储，进一步降低存储成本。数据从对象存储迁移到归档存储需要经过审批流程，因为迁移后的数据访问延迟显著增加。

分层存储架构的核心优势在于数据根据其访问特征自动放置在最合适的存储层级上，在保证性能的同时控制了存储成本。训练和推理共享的模型权重文件在频繁更新和读取时位于并行文件系统中，在版本稳定后沉降到对象存储中，在需要长期保留时迁移到归档存储中。数据在不同层级之间的迁移对上层应用透明，应用无需感知数据的具体存放位置。

数据视图隔离与一致性保障

在共享存储架构中，训练和推理需要看到不同的数据视图。息壤平台通过快照和克隆技术实现数据视图的隔离。

当训练任务完成一个阶段的训练并产生一个新的检查点时，存储系统自动为该检查点创建一个快照。快照是数据在某个时间点的只读副本，创建成本极低——只记录元数据的变化，不复制实际数据。推理服务在加载模型时，指向的是最近一个经过验证的快照，而不是训练正在写入的活跃数据。这种机制确保了推理服务不会读取到训练中的不完整数据。

快照的创建频率与训练任务的检查点保存频率对齐。每次训练任务保存检查点时，存储系统同步创建一个快照。快照的保留策略根据模型的重要性进行配置——核心模型的快照保留多个版本，非核心模型的快照只保留最新版本。快照的删除不影响正在运行的推理服务，因为推理服务已经加载了模型到内存中。

对于需要同时运行多个版本推理服务的场景，息壤平台支持基于克隆的完整数据副本。克隆是从快照创建的可写副本，占用独立的存储空间。不同的推理服务版本可以基于不同的克隆运行，互不干扰。克隆的创建采用写时复制技术——只有在数据被修改时才复制实际数据，初始创建时几乎不占用额外空间。克隆技术在支持多版本推理的同时，控制了存储成本。

数据一致性方面，息壤平台采用了最终一致性模型。训练任务写入的数据在写入完成后立即可见，但跨节点的数据一致性需要短暂的时间来达成。对于大多数训练和推理场景，最终一致性已经足够——训练任务不需要立即读取其他节点刚刚写入的数据，推理服务加载的是已经稳定的快照。对于需要强一致性的特殊场景，息壤平台提供了可选的一致性级别，应用可以根据需要选择。

训练推理共享的数据布局优化

训练和推理共享存储时，数据的布局方式直接影响两者的性能。息壤平台针对训练和推理的访问模式差异，优化了共享数据的存储布局。

模型权重文件的布局是优化的重点。训练阶段需要频繁更新权重文件，更新模式是以大规模顺序写入为主。推理阶段需要频繁读取权重文件，读取模式是以小规模随机读取为主。为了同时满足两种访问模式，息壤平台将权重文件组织为多个数据块，每个数据块的大小兼顾了训练的顺序写入效率和推理的随机读取效率。数据块的大小经过实测调优，在典型的训练和推理负载下达到最优的平衡。

训练数据集的布局同样需要优化。训练阶段需要高效读取数据集，通常采用顺序读取模式。推理阶段一般不直接读取训练数据集，但可能需要读取数据集的元数据或样本索引。息壤平台将训练数据集的主体部分存储在并行文件系统中，采用大块条带化布局以提升顺序读取带宽。数据集的元数据和索引存储在更高性能的存储介质上，以支持推理阶段的快速查询。

检查点文件的布局以训练效率为优先。检查点文件在训练过程中频繁写入，写入量巨大。息壤平台将检查点文件存储在并行文件系统中，采用追加写入模式以提升写入性能。检查点文件的读取频率较低——只在训练恢复或模型评估时读取。对于需要频繁读取检查点的场景，如模型评估流水线，息壤平台支持将检查点文件缓存到本地存储中，以减少重复读取的开销。

QoS与多租户隔离

在多租户场景下，共享存储的QoS保障是防止相互干扰的关键。息壤平台实现了精细化的存储QoS控制机制。

每个存储租户被分配一个独立的QoS配置，包括I/O带宽上限、IOPS上限和存储容量上限。租户的QoS配置在租户创建时设定，可以根据需要进行调整。存储系统在数据读写路径上执行QoS限制，确保任何租户的I/O操作都不会超过其配额。QoS限制的执行采用令牌桶算法，在保证公平性的同时允许短时间的突发流量。

对于关键任务的存储访问，息壤平台提供了优先级保障机制。高优先级任务的I/O请求在存储系统中获得优先处理，低优先级任务的I/O请求在资源紧张时被降速。优先级保障机制的实现依赖于存储系统的I/O调度器，调度器根据请求的优先级标签决定处理顺序。优先级标签由任务调度系统在任务提交时设置，存储系统负责执行。

存储系统的QoS监控是保障隔离效果的基础。系统实时采集每个租户的I/O带宽、IOPS和延迟数据，与QoS配置进行对比。当某个租户的I/O指标接近其配额上限时，系统发出预警，提醒运维人员关注。当某个租户的I/O指标超过配额上限时，系统自动执行限流操作，确保其他租户的存储性能不受影响。

数据生命周期管理与成本优化

共享存储的数据量随着训练任务的进行持续增长，数据生命周期管理是控制存储成本的关键手段。

息壤平台的数据生命周期管理策略基于数据的访问频率和价值进行分级。新产生的数据——如最新的检查点和模型权重——具有最高的访问频率和价值，被保留在最高性能的存储层级上。随着时间推移，数据的访问频率下降，价值降低，被自动迁移到更低成本的存储层级上。数据在不同层级之间的迁移由存储系统的数据生命周期管理模块自动执行，无需人工干预。

数据淘汰策略是生命周期管理的补充。对于已经不再需要的数据——如废弃的实验检查点、过期的日志文件和已归档的旧版本模型——系统在保留期结束后自动删除。保留期的长度根据数据类型和合规要求进行配置，核心模型的数据保留期较长，临时实验数据保留期较短。数据删除操作在低负载时段执行，以减少对正常业务的影响。

存储成本的分析和优化是一个持续的过程。息壤平台定期生成存储成本分析报告，展示不同存储层级的数据量、成本和访问频率。基于分析报告，运维人员可以调整数据生命周期管理的参数——延长或缩短数据在某个层级的保留时间，增加或减少某个层级的存储容量。存储成本分析报告帮助运维人员在性能和成本之间找到最优的平衡点。

结语

训练推理共享存储架构是大模型全链路平台的数据中枢。息壤平台通过分层存储架构设计、数据视图隔离与一致性保障、训练推理共享的数据布局优化、QoS与多租户隔离以及数据生命周期管理与成本优化，构建了一套完整的共享存储方案。这套方案在实际运营中支撑了训练和推理的紧密协作——训练产出的模型权重通过共享存储即时可用于推理服务，推理服务的反馈数据通过共享存储回流用于模型迭代，数据在全链路中的流转路径被大幅缩短，运维复杂度显著降低。

随着模型规模的持续增长和业务场景的日益多样化，共享存储架构也将面临新的挑战。更大规模的训练集群需要更高的存储吞吐量，更频繁的模型迭代需要更快的快照和克隆能力，更严格的合规要求需要更完善的数据生命周期管理。息壤平台将持续在这一领域进行技术创新与工程优化，为大模型训练推理全链路平台提供更加高效、更加可靠的存储基础设施。