Noticias

Modelo GLM-5.3 de NVIDIA Desplegado en Dos Estaciones DGX Usando vLLM

NVIDIA demuestra cómo servir el modelo 753B -parameter GLM-5.3 a través de dos Estaciones DGX utilizando paralelismo tensorial y vLLM para una inferencia local eficiente.

Modelo GLM-5.3 de NVIDIA Desplegado en Dos Estaciones DGX Usando vLLM

Artículo traducido. Consultar el artículo original.

NVIDIA ha mostrado un método para servir localmente el enorme modelo GLM-5.3 NVFP4 , un modelo de mezcla de expertos (MoE) cuantificado con 753 mil millones de parámetros, a través de dos Estaciones DGX. Este enfoque aprovecha el paralelismo tensorial y vLLM para dividir los pesos y el cálculo del modelo entre dos GB300 GPUs, superando las limitaciones de memoria de una sola máquina.

Desafíos de Modelos a Escala Fronteriza

El modelo GLM-5.3 requiere aproximadamente 464 GB de memoria GPU para almacenar sus pesos, lo que supera con creces los 252 GB de memoria HBM3e disponibles en un solo GPU GB300 . A pesar de la activación dispersa, que reduce el cálculo al activar solo 40 mil millones de parámetros por token, todos los pesos del modelo deben permanecer accesibles para el enrutamiento dinámico de tokens a diferentes expertos.

Implementación Técnica

Para abordar estos desafíos, NVIDIA conectó dos Estaciones DGX a través de ConnectX-8 RDMA, permitiendo el paralelismo tensorial (TP=2) para dividir los tensores del modelo entre las GPUs. La Estación A alberga el punto final de API compatible con OpenAI, mientras que la Estación B opera como un nodo de trabajo. Ambas estaciones procesan cada solicitud, con la Estación A regresando la salida final.

El despliegue utiliza el marco vLLM, que admite predicciones de múltiples tokens, almacenamiento de caché KV FP8 y caché de prefijo para optimizar el rendimiento bajo cargas concurrentes. Las pruebas en el conjunto de datos SPEED-Bench Coding revelaron un rendimiento máximo de 607.8 tokens por segundo a un nivel de concurrencia de 16 , cayendo a 385.0 tokens por segundo en concurrencia 32 , con una latencia media de solicitud de 453.5 segundos.

Requisitos y Configuración

La configuración requiere dos Estaciones DGX GB300 que ejecuten Linux, conectadas y validadas utilizando el manual de NVIDIA "Conectar Dos Estaciones DGX". Cada estación debe tener al menos 464 GB de espacio en disco libre para el punto de control del modelo y espacio adicional para la imagen de contenedor vLLM y archivos temporales. El despliegue también requiere Docker, el Toolkit de Contenedores NVIDIA, y acceso a conjuntos de datos y licencias específicos.

Durante la configuración, los usuarios definen variables de entorno para la configuración de red y hardware, asegurando una comunicación adecuada entre las estaciones. Luego se lanza el contenedor vLLM con el modelo GLM-5.3 distribuido entre las GPUs, lo que permite una inferencia local eficiente.

Implicaciones para la Infraestructura de IA

Esta demostración resalta la creciente necesidad de configuraciones de GPU distribuidas para manejar modelos a escala fronteriza que exceden la capacidad de máquinas individuales. Al utilizar paralelismo tensorial y marcos avanzados como vLLM, las organizaciones pueden desplegar modelos de IA a gran escala localmente sin depender de soluciones basadas en la nube.

Más artículos en español · Datos e investigación