NVIDIA представляет Reshard Collective для оптимизации перераспределения весов в RL

NVIDIA представила Reshard Collective, новый метод коммуникации, разработанный для оптимизации перераспределения весов в рабочих процессах глубокого обучения (RL). Перераспределение весов предполагает передачу обновленных параметров модели политики с обучающих GPU на GPU вывода, что является критически важным процессом для генерации новых траекторий обучения. Reshard Collective направлен на решение проблем неэффективности текущих методов, особенно по мере увеличения размеров моделей.

Проблемы перераспределения весов для больших моделей

Традиционные методы перераспределения весов полагаются на подход «сбор и широковещательная рассылка», при котором обучающие GPU восстанавливают полные параметры модели до их передачи на GPU вывода. Хотя этот процесс довольно прост, он приводит к избыточной коммуникации, так как GPU вывода получает целые тензоры, даже когда нужны только определенные шард. Для крупных моделей, таких как Kimi K3 (2.8 триллион параметров) и Qwen 3.8 2.4T A95B (2.4 триллионов параметров), эта неэффективность сильно выражена. При предположении, что BF16 веса, такие модели требуют примерно 11.2 ТБ и 9.6 ТБ данных на каждое перераспределение, соответственно.

Reshard Collective: решение DTensor-to-DTensor

Reshard Collective переопределяет перераспределение весов как задачу передачи DTensor-to-DTensor, используя распределенную тензорную абстракцию PyTorch. Этот подход позволяет осуществлять прямые передачи между шардом на обучающих и выводных GPU, исключая необходимость в промежуточных полных тензорных представлениях. Картируя перекрывающиеся области шард и оптимизируя пути передачи, Reshard Collective минимизирует размер полезной нагрузки и сбалансирует распределение данных между GPU.

Бенчмарки производительности

Согласно внутренним бенчмаркам NVIDIA, Reshard Collective значительно снижает задержку перераспределения. Для модели DeepSeek-V3 с 671 миллиардами параметров задержка снижена с 14.9 секунд до 2.6 секунд на системах DGX H100 и с 6.1 секунд до 2.3 секунд на системах DGX GB200. Дополнительные тесты на кластере 256-GPU NVL72 с NDR InfiniBand показали снижение времени синхронизации весов с 5.78 секунд до 2.77 секунд, что сокращает общее время шагов RL на 12.7%. Передача одного слоя смеси экспертов улучшилась с 77.3 миллисекунд до 9.8 миллисекунд по сравнению с плоскими прямыми передачами.

Реализация с открытым исходным кодом

Reshard Collective доступен в виде реализации с открытым исходным кодом через репозиторий расширений NCCL от NVIDIA. Пакет включает экспериментальные компоненты от сетки к сетке и зависимости от CUDA 12 и CUDA 13, с проверенной NCCL 2.30.7. Документация NVIDIA подчеркивает потенциал для интеграции в такие фреймворки, как NeMo RL и vLLM, которые ранее исследовали оптимизацию передачи весов.

Решая растущий узкое место синхронизации весов в рабочих процессах RL, Reshard Collective представляет собой критический шаг вперед для эффективного масштабирования крупных моделей ИИ.