NVIDIA stellt Reshard Collective vor, um die RL-Gewichtsneuanpassung zu optimieren

NVIDIA hat das Reshard collective vorgestellt, ein neuartiges Kommunikationsverfahren, das zur Optimierung der Neuanpassung von Gewichten in Reinforcement Learning (RL) Workflows entwickelt wurde. Die Neuanpassung von Gewichten beinhaltet die Übertragung von aktualisierten Modellparametern von Trainings-GPUs zu Inferenz-GPUs, ein Prozess, der entscheidend für die Generierung neuer Trainingsverläufe ist. Das Reshard collective zielt darauf ab, Ineffizienzen in den aktuellen Methoden zu beheben, insbesondere da die Modellgrößen weiterhin wachsen.

Herausforderungen bei der Neuanpassung von Gewichten für große Modelle

Traditionelle Methoden zur Neuanpassung von Gewichten basieren auf einem Sammel-und-Broadcast-Ansatz, bei dem Trainings-GPUs vollständige Modellparameter rekonstruieren, bevor sie diese an Inferenz-GPUs übertragen. Obwohl dieser Ansatz einfach ist, führt er zu redundanter Kommunikation, da Inferenz-GPUs ganze Tensoren erhalten, selbst wenn nur spezifische Fragmente benötigt werden. Bei großen Modellen wie Kimi K3 (2.8 Billionen von Parametern) und Qwen 3.8 2.4T A95B (2.4 Billionen von Parametern) wird diese Ineffizienz verstärkt. Bei Verwendung von BF16 Gewichten benötigen diese Modelle etwa 11.2 TB und 9.6 TB an Kommunikationslast pro Neuanpassung.

Reshard Collective: Eine DTensor-zu-DTensor-Lösung

Das Reshard collective reformuliert die Neuanpassung von Gewichten als ein DTensor-zu-DTensor-Transferproblem und nutzt dabei die verteilte Tensorabstraktion von PyTorch. Dieser Ansatz ermöglicht direkte Fragment-zu-Fragment-Übertragungen zwischen Trainings- und Inferenz-GPUs, wodurch die Notwendigkeit für zwischenzeitliche vollständige Tensor-Darstellungen entfällt. Durch das Mapping überlappender Fragmentregionen und die Optimierung der Kommunikationspfade minimiert das Reshard collective die Lastgröße und balanciert die Datenverteilung zwischen den GPUs.

Leistungsbenchmarks

Gemäß den internen Benchmarks von NVIDIA reduziert das Reshard collective die Neuanpassungslatenz erheblich. Für das Modell DeepSeek-V3 mit 671 Millionen Parametern fiel die Latenz von 14.9 Sekunden auf 2.6 Sekunden auf DGX H100-Systemen und von 6.1 Sekunden auf 2.3 Sekunden auf DGX GB200-Systemen. Weitere Tests auf einem 256-GPU NVL72-Cluster mit NDR InfiniBand zeigten eine Reduzierung der Gewichtssynchronisationszeit von 5.78 Sekunden auf 2.77 Sekunden, wodurch die Gesamtzeit der RL-Schritte um 12.7% verkürzt wurde. Die Übertragung einer einzelnen feed-forward Mischung von Experten verbesserte sich von 77.3 Millisekunden auf 9.8 Millisekunden im Vergleich zu direkten flachen Übertragungen.

Open-Source-Implementierung

Das Reshard collective ist als Open-Source-Implementierung über das NCCL-Erweiterungs-Repository von NVIDIA verfügbar. Das Paket umfasst experimentelle Mesh-zu-Mesh-Komponenten und Abhängigkeiten von CUDA 12 und CUDA 13, wobei NCCL 2.30.7 für die Verwendung validiert wurde. Die Dokumentation von NVIDIA hebt das Potenzial zur Integration in Frameworks wie NeMo RL und vLLM hervor, die zuvor Optimierungen zur Gewichtübertragung untersucht haben.

Durch die Lösung des wachsenden Engpasses bei der Gewichtssynchronisation in RL-Workflows stellt das Reshard collective einen entscheidenden Fortschritt dar, um große KI-Modelle effizient zu skalieren.