NVIDIA推出Reshard Collective以优化RL权重重装

NVIDIA推出了Reshard collective，这是一种新型的通信方法，旨在优化强化学习（RL）工作流程中的权重重装。权重重装涉及将更新的政策模型参数从训练GPU传输到推断GPU，这一过程对生成新的训练轨迹至关重要。Reshard collective旨在解决当前方法中的效率问题，尤其是随着模型规模的持续扩大。

大型模型权重重装的挑战

传统的权重重装方法依赖于收集和广播的方法，训练GPU在将完整的模型参数广播到推断GPU之前必须重构这些参数。尽管这个过程相对简单，但它导致了冗余通信，因为推断GPU即使只需要特定的分片，也会接收到整个张量。对于像Kimi K3（2.8万亿参数）和Qwen 3.8 2.4T A95B（2.4万亿参数）这样的巨大模型，这种低效问题更加明显。假设BF16权重，这些模型每次重装大约需要11.2 TB和9.6 TB的通信负载。

Reshard Collective：一个DTensor到DTensor的解决方案

Reshard collective将权重重装重新表述为DTensor到DTensor的传输问题，利用PyTorch的分布式张量抽象。这种方法允许训练和推断GPU之间的直接分片到分片传输，消除了对中间完整张量表示的需求。通过映射重叠的分片区域和优化通信路径，Reshard collective最小化了负载大小，并平衡了GPU之间的数据分配。

性能基准

根据NVIDIA的内部基准测试，Reshard collective显著减少了重装延迟。对于具有671亿个参数的DeepSeek-V3模型，延迟从14.9秒降至2.6秒，在DGX H100系统上，从6.1秒降至2.3秒。对256-GPU NVL72集群进行的额外测试显示，权重同步时间从5.78秒减少到2.77秒，总RL步骤时间减少了12.7%。与简单直接传输相比，单个前馈混合专家层的传输从77.3毫秒改善到9.8毫秒。

开源实现

Reshard collective作为NVIDIA NCCL扩展库中的开源实现可用。该软件包包括实验性的网格到网格组件和对CUDA 12和CUDA 13的依赖，NCCL 2.30.7经过验证可使用。NVIDIA的文档强调了集成到NeMo RL和vLLM等框架中的潜力，这些框架之前探索过权重传输优化。

通过解决RL工作流程中权重同步的日益瓶颈，Reshard collective代表了高效扩展大型AI模型的一个关键进展。