NVIDIA presenta Reshard Collective para optimizar la reconfiguración de pesos de RL

NVIDIA ha presentado el Reshard collective, un nuevo método de comunicación diseñado para optimizar la reconfiguración de pesos en flujos de trabajo de aprendizaje por refuerzo (RL). La reconfiguración de pesos implica transferir los parámetros actualizados del modelo de política desde las GPU de entrenamiento a las GPU de inferencia, un proceso crítico para generar nuevas trayectorias de entrenamiento. El Reshard collective tiene como objetivo abordar ineficiencias en los métodos actuales, especialmente a medida que los tamaños de los modelos continúan escalando.

Desafíos en la reconfiguración de pesos para modelos grandes

Los métodos tradicionales de reconfiguración de pesos dependen de un enfoque de recopilación y difusión, donde las GPU de entrenamiento reconstruyen parámetros completos del modelo antes de difundirlos a las GPU de inferencia. Si bien este proceso es sencillo, resulta en una comunicación redundante, ya que las GPU de inferencia reciben tensores completos incluso cuando solo se requieren fragmentos específicos. Para modelos grandes como Kimi K3 (2.8 billones de parámetros) y Qwen 3.8 2.4T A95B (2.4 billones de parámetros), esta ineficiencia se magnifica. Suponiendo pesos de BF16, estos modelos requieren aproximadamente 11.2 TB y 9.6 TB de carga de comunicación por reconfiguración, respectivamente.

Reshard Collective: una solución de DTensor a DTensor

El Reshard collective reformula la reconfiguración de pesos como un problema de transferencia de DTensor a DTensor, aprovechando la abstracción de tensor distribuido de PyTorch. Este enfoque permite transferencias directas de fragmento a fragmento entre GPU de entrenamiento y de inferencia, eliminando la necesidad de representaciones de tensor completo intermedias. Al mapear regiones de fragmentos superpuestos y optimizar las rutas de comunicación, el Reshard collective minimiza el tamaño de la carga y equilibra la distribución de datos entre las GPU.

Referencias de rendimiento

Según los benchmarks internos de NVIDIA, el Reshard collective reduce significativamente la latencia de reconfiguración. Para el modelo DeepSeek-V3 de 671 millones de parámetros, la latencia cayó de 14.9 segundos a 2.6 segundos en sistemas DGX H100 y de 6.1 segundos a 2.3 segundos en sistemas DGX GB200. Pruebas adicionales en un clúster de GPU 256-NVL72 con NDR InfiniBand mostraron una reducción en el tiempo de sincronización de pesos de 5.78 segundos a 2.77 segundos, reduciendo el tiempo total de pasos de RL en 12.7%. La transferencia de una sola capa de mezcla de expertos mejoró de 77.3 milisegundos a 9.8 milisegundos en comparación con envíos directos planos.

Implementación de código abierto

El Reshard collective está disponible como una implementación de código abierto a través del repositorio de extensiones NCCL de NVIDIA. El paquete incluye componentes experimentales de malla a malla y dependencias de CUDA 12 y CUDA 13, con NCCL 2.30.7 validado para su uso. La documentación de NVIDIA destaca el potencial de integración en marcos como NeMo RL y vLLM, que han explorado previamente optimizaciones de transferencia de pesos.

Al abordar el creciente cuello de botella de la sincronización de pesos en los flujos de trabajo de RL, el Reshard collective representa un avance crítico para escalar modelos de IA grandes de manera eficiente.