据 Google DeepMind 在 X 平台披露，Decoupled DiLoCo 探索通过解耦加速器间的严格同步，实现在单卡故障时仍可持续推进的大规模训练。根据 Google DeepMind 的信息，前沿模型训练常因一次全局同步受阻而整体停滞；Decoupled DiLoCo 旨在在保持吞吐的同时容忍节点掉线与延迟。据 Google DeepMind 报道，该方法通过放宽锁步协调、允许异步前进与故障切换，可显著减少停机时间并提升多节点 GPU 或 TPU 集群利用率；对企业而言，这意味着更高训练效率、更少重启与更低每次训练成本，适用于大语言模型与多模态模型的超大规模集群场景。