一、第一层：故障检测与感知

一切容错的前提是"知道出问题了"。算力调度体系会持续监控节点的健康状态，包括硬件指标与软件指标两个维度：硬件侧看温度、功耗、利用率与链路状态；软件侧看显存占用、通信带宽、算力利用率与进程存活情况。

在故障感知的速度上，成熟的调度体系已经能做到分钟级乃至更快。公开资料中，息壤算力调度体系给出的能力指标是一分钟感知、五分钟定位、十分钟恢复；在训练场景中，还实现了秒级故障检测、分钟级定位处理与分钟级训练恢复。这个速度意味着什么？意味着一次硬件异常从发生到被识别，通常在训练进度产生明显损失之前就已完成。

监控之外还有告警与通知：故障发生与恢复完成后都会通知用户，用户可以在监控面板上查看故障与恢复的详细信息。这件事看似细枝末节，实际很重要——长周期训练中，团队需要知道系统替自己做了什么，才能判断是否需要人工介入。

二、第二层：慢节点检测与隔离

比宕机更麻烦的是"慢"。一张卡没有坏，但计算速度明显落后，会让整个梯度步的同步时间被它拖长，规模越大，拖累越明显。

成熟的调度体系会在训练过程中持续监控每张卡的梯度计算时间。如果某张卡的计算时间持续高出同批卡一定比例，就判定为慢节点。处理上通常采用三级策略，目的是尽量减少真正的中断次数。

第一级，垂直扩容。先尝试增加该卡的算力配额，看性能能否恢复。这一级对训练过程几乎无扰动。

第二级，迁移。若扩容无效，把该卡上的进程换到池内另一张健康的卡上。这会造成短暂暂停，但通常不需要回退。

第三级，断点续训。若前两级都不奏效，才触发检查点恢复。因为每次断点续训都会带来训练中断与检查点读写的开销，所以放在最后。

这种"先轻后重"的分级处理，是长周期训练能保持高连续性的关键设计。

三、第三层：自动检查点与断点续训

断点续训是整个容错体系的兜底。它的机制是：训练过程中定期保存检查点，内容包括模型参数、优化器状态与训练进度；故障发生后，从最近的检查点恢复，而不是从头开始。

这里有一个需要用户侧配合的关键决策：检查点的保存频率。存得太密，写盘会占用训练时间，规模越大开销越明显；存得太疏，一次异常就要回退大量步数。较稳妥的做法是按步数定时保存，同时保留最近若干个检查点，再配合训练日志与指标曲线判断——是从检查点直接恢复，还是调整超参后重跑。

自动检查点与快速保存加载能力，把故障的损失从"数天进度"压缩到"两次检查点之间的进度"。公开实践中的对比很直观：一个使用三十二张加速卡的分布式训练，在传统环境下每周平均遇到一到两次通信或节点故障，每次损失三到四小时；在具备自动检测与恢复能力的环境中，每次故障的平均恢复时间约十分钟，一个月的累计进度损失不到一小时。

四、第四层：池化调度带来的"就地换卡"

故障能够自动迁移，靠的是底层的池化调度。传统模式下，任务与物理机器是固定绑定的，一台机器出问题，任务只能整体重启。池化调度把物理资源抽象为逻辑资源池，任务绑定的是池内的算力单元而不是某台具体机器。正因为算力是逻辑池而非固定绑定，重调度才可能做到"就地换卡"。

具体过程是：容器故障被动态感知后，调度器把该进程重新绑定到池内同构的备用单元，数据从最近的检查点恢复，不必从头跑。这个过程对训练任务的其他进程是透明的——它们只知道某个进程短暂暂停后又恢复了，并不知道背后发生了故障隔离与重调度。

故障隔离与池化是互相成就的关系：正因为可以就地换卡，单点故障才不会演变成全局重启；也正因为有慢节点隔离，池内的碎片资源才不会被一张拖后腿的卡拖垮整个梯度步。万卡规模下线性加速比能维持在较高水平，靠的不是单机性能，而是这套"检测、隔离、续训"的闭环。公开数据显示，通过拓扑感知调度与高速无损网络，千卡规模的线性加速比可稳定在九成以上。

五、被忽略的一层：算数协同调度

保证任务不中断，还有一层常被忽略——数据供给的连续性。训练任务不只消耗算力，还消耗存储吞吐与网络带宽。如果算力调度不考虑数据与网络的状态，就会出现"算力到位了、数据还没到"的尴尬，表现为算卡空转、进度停滞。

成熟的调度体系会把算力池、存储池与网络状态放进同一个决策面：提交任务时一并评估数据当前位置、目标机房的入网带宽、并行文件系统的挂载点，据此判断"在哪训更划算"。这种算数网一体化的调度思路，让跨域异构训练不再等同于"先把数据搬过去再训"，而是任务、数据、算力三者的动态缝合。

配套的性能优化还包括：通信层面的梯度聚合、通信与计算重叠、分层通信；数据层面的预取、并行读取与缓存；存储层面的高吞吐并行读取；调度层面的拓扑感知，把通信密集型任务分配到拓扑上更优的位置。这些优化共同减少了算卡的等待时间，也间接降低了中断发生的概率。

六、用户侧需要配合的四件事

系统提供的能力再完善，也有需要用户配合的部分。

第一，设置合理的检查点策略。按步数定时保存，保留最近若干个版本，并把检查点写入可靠存储而非本地临时空间。检查点若随故障节点一起丢失，再快的恢复机制也无用武之地。

第二，保证任务可重入。训练脚本应支持从检查点恢复并继续，而不是假定每次都从零开始。同时确保状态外置——日志、指标与中间结果写入持久化存储，不依赖单台机器的本地目录。

第三，预留冗余。长周期任务建议预留少量冗余节点，让调度器有"换卡"的空间。完全没有余量时，一次故障就意味着任务规模被迫缩减。

第四，接收并响应通知。为故障与恢复事件配置通知渠道，出现异常时及时确认，必要时人工介入调整超参或切分策略。

结语

任务不中断，靠的不是某一项技术，而是四层机制的叠加：快速检测让异常被尽早发现，慢节点分级处理把多数问题化解在中断之前，自动检查点让不可避免的中断损失降到最低，池化调度则为自动迁移提供了物理基础。再叠加算数协同带来的供给连续性，长周期训练就有了稳定运行的保障。用户侧只需配合做好检查点策略、任务可重入、冗余预留与通知响应，剩下的交给系统。