#distributed-training

Crucible 平台流水线并行的容错与阶段跳过设计

Templar 团队在分布式预训练平台 Crucible 中实现了流水线并行的容错机制。当部分阶段节点离线时，系统通过阶段跳过策略维持健康节点的持续训练。该方案结合了数据并行与流水线并行，利用 SparseLoCo 在副本间交换压缩更新，并通过流水线压缩降低跨阶段通信开销。这套容错与模拟方案为构建高可用的大模型分布式训练基础设施提供了具体的工程实现参考。