Nachrichten
NVIDIA GLM-5.3 Modell Über Zwei DGX Stationen Mit vLLM Bereitgestellt
NVIDIA demonstriert, wie das 753B -Parameter GLM-5.3 Modell über zwei DGX Stationen unter Verwendung von Tensorparallelität und vLLM für effiziente lokale Inferenz bereitgestellt wird.
Übersetzter Artikel. Originalartikel lesen.
NVIDIA hat eine Methode präsentiert, um das massive GLM-5.3 NVFP4 Modell, ein quantisiertes Mischmodell aus Experten (MoE) mit 753 Milliarden Parametern, auf zwei DGX Stationen lokal bereitzustellen. Dieser Ansatz nutzt Tensorparallelität und vLLM, um die Gewichte und Berechnungen des Modells zwischen zwei GB300 GPUs aufzuteilen und die Speicherbeschränkungen einer einzelnen Maschine zu umgehen.
Herausforderungen bei Modellen in Grenzbereichen
Das GLM-5.3 Modell benötigt etwa 464 GB GPU-Speicher, um seine Gewichte zu speichern, was die 252 GB an HBM3e Speicher, die auf einer einzelnen GB300 GPU verfügbar sind, weit übersteigt. Trotz sparsamer Aktivierung, die die Berechnung reduziert, indem nur 40 Milliarden Parameter pro Token aktiviert werden, müssen alle Modellgewichte zugänglich bleiben, um dynamisches Token-Routing zu verschiedenen Experten zu ermöglichen.
Technische Implementierung
Um diese Herausforderungen zu bewältigen, verband NVIDIA zwei DGX Stationen über ConnectX-8 RDMA, was Tensorparallelität (TP=2) ermöglicht, um die Tensorn des Modells über die GPUs aufzuteilen. Station A hostet den OpenAI-kompatiblen API-Endpunkt, während Station B als Arbeitsknoten fungiert. Beide Stationen verarbeiten jede Anfrage, wobei Station A die endgültige Ausgabe zurückgibt.
Die Bereitstellung nutzt das vLLM-Framework, das Mehrtokenvorhersage, FP8 KV-Cache-Speicherung und Präfix-Caching unterstützt, um den Durchsatz unter gleichzeitigen Lasten zu optimieren. Benchmarks im SPEED-Bench Coding-Datensatz zeigten einen Spitzen-Durchsatz von 607.8 Tokens pro Sekunde bei einem Level der Konkurenz von 16 , das auf 385.0 Tokens pro Sekunde bei der Konkurenz 32 fiel, mit einer mittleren Anfragenlatenz von 453.5 Sekunden.
Voraussetzungen und Einrichtung
Die Einrichtung erfordert zwei GB300 DGX Stationen, die Linux ausführen, verbunden und validiert mit NVIDIAs „Zwei DGX Stationen Verbinden“-Playbook. Jede Station muss mindestens 464 GB freien Speicherplatz für den Modell-Checkpoint und zusätzlichen Speicherplatz für das vLLM-Container-Image und temporäre Dateien haben. Die Bereitstellung erfordert auch Docker, das NVIDIA Container Toolkit und Zugriff auf spezifische Datensätze und Lizenzen.
Während der Konfiguration definieren Benutzer Umgebungsvariablen für Netzwerk- und Hardwareeinstellungen, um eine ordnungsgemäße Kommunikation zwischen den Stationen sicherzustellen. Der vLLM-Container wird dann mit dem auf die GPUs verteilten GLM-5.3 -Modell gestartet, was eine effiziente lokale Inferenz ermöglicht.
Implikationen für die KI-Infrastruktur
Diese Demonstration hebt den wachsenden Bedarf an verteilten GPU-Setups hervor, um Modelle in Grenzbereichen zu bewältigen, die die Kapazität einzelner Maschinen überschreiten. Durch die Nutzung von Tensorparallelität und fortschrittlichen Frameworks wie vLLM können Organisationen große KI-Modelle lokal bereitstellen, ohne auf cloudbasierte Lösungen angewiesen zu sein.
Weitere Artikel auf Deutsch · Finanzvergleiche und SEC-Quellen (Englisch)