Actualités
Modèle NVIDIA GLM-5.3 déployé sur deux stations DGX utilisant vLLM
NVIDIA démontre la mise en service du modèle 753B -parameter GLM-5.3 sur deux stations DGX en utilisant le parallélisme tensoriel et vLLM pour une inférence locale efficace.
Article traduit. Lire l'article original.
NVIDIA a présenté une méthode pour servir localement le modèle massif GLM-5.3 NVFP4 , un modèle quantifié de mélange d'experts (MoE) contenant 753 milliards de paramètres, sur deux stations DGX. Cette approche utilise le parallélisme tensoriel et vLLM pour diviser les poids et le calcul du modèle entre deux GPU GB300 , surmontant les limitations de mémoire d'une seule machine.
Défis des modèles à l'échelle de la frontière
Le modèle GLM-5.3 nécessite environ 464 Go de mémoire GPU pour stocker ses poids, dépassant largement les 252 Go de mémoire HBM3e disponibles sur un seul GPU GB300 . Malgré une activation sparse, qui réduit le calcul en activant seulement 40 milliards de paramètres par token, tous les poids du modèle doivent rester accessibles pour le routage dynamique des tokens vers différents experts.
Implémentation technique
Pour relever ces défis, NVIDIA a connecté deux stations DGX via ConnectX-8 RDMA, permettant le parallélisme tensoriel (TP=2) pour diviser les tenseurs du modèle entre les GPU. La station A héberge le point d'API compatible avec OpenAI, tandis que la station B fonctionne comme un nœud de travail. Les deux stations traitent chaque requête, avec la station A renvoyant la sortie finale.
Le déploiement utilise le cadre vLLM, qui prend en charge la prédiction multi-token, le stockage KV-cache FP8 et la mise en cache des préfixes pour optimiser le débit sous des charges concurrentes. Les benchmarks sur le jeu de données SPEED-Bench Coding ont révélé un débit maximal de 607.8 tokens par seconde à un niveau de concurrence de 16 , tombant à 385.0 tokens par seconde à la concurrence 32 , avec une latence moyenne de requête de 453.5 secondes.
Prérequis et configuration
La configuration nécessite deux stations DGX GB300 exécutant Linux, connectées et validées à l'aide du playbook "Connecter deux stations DGX" de NVIDIA. Chaque station doit disposer d'au moins 464 Go d'espace disque libre pour le point de contrôle du modèle et d'espace supplémentaire pour l'image du conteneur vLLM et les fichiers temporaires. Le déploiement nécessite également Docker, le NVIDIA Container Toolkit et un accès à des ensembles de données et des licences spécifiques.
Lors de la configuration, les utilisateurs définissent les variables d'environnement pour les paramètres réseau et matériels, garantissant une communication appropriée entre les stations. Le conteneur vLLM est ensuite lancé avec le modèle GLM-5.3 distribué entre les GPU, permettant une inférence locale efficace.
Implications pour l'infrastructure AI
Cette démonstration met en évidence le besoin croissant de configurations GPU distribuées pour gérer des modèles à l'échelle de la frontière qui dépassent la capacité des machines individuelles. En utilisant le parallélisme tensoriel et des cadres avancés comme vLLM, les organisations peuvent déployer des modèles d'IA à grande échelle localement sans dépendre de solutions basées sur le cloud.
Autres articles en français · Comparaisons financières et sources SEC (anglais)