NVIDIA beschreibt drei Inferenzoptimierungen für DGX Spark

NVIDIA sagte drei Softwareoptimierungen können die Inferenz auf DGX Spark beim Betrieb von Inclusion KI im Ling-3.0-Flash-Modell erheblich verbessern, wobei die größten Vorteile durch spekulative Dekodierung erzielt werden, sobald die Komponenten zusammengearbeitet sind. In einem am 27. Oktober 2026 veröffentlichten Beitrag berichtete das Unternehmen von schnellerer Token-Generierung und geringerer End-to-End-Latenz, warnte zudem, dass eins Integrationsfehler das kombinierte Setup langsamer machen kann als das nicht optimierte Basissystem.

Was NVIDIA gemessen hat

Die Bewertung verwendete Ling-3.0-flash-fp4, ein Mischmodell von Experten mit 124 Milliarden Gesamtparametern und 5.1 Milliarden aktiven Parametern pro Token, so der Beitrag von NVIDIA. Die Basislinie folgte der Kochbuchkonfiguration des Unternehmens, einschließlich FlashInfer- MXFP4 MoE-Kernel, NVIDIA CUTLASS dichtem GEMM und fp32 LM-Head-Ausgabe. NVIDIA erklärte, dass die Profilierung zeigte, dass der Dekodierungspfad speichergebunden sei, wobei Gewichtslesungen die Ausführungszeit dominierten, und dass die MoE-Berechnung und die Ausgabeschichtprojektion die Hauptziele für die Optimierung seien.

Bei einer synthetischen Arbeitslast mit 32,000 Eingabetokens, 2,000 Ausgabetoken und Batchgröße 1, reduzierte die erste Optimierung durch den Austausch des Humming- MXFP4 MoE-Backends die Zeit pro Ausgabetoken von 27.71 ms auf 25.35 ms und erhöhte den Dekodierungsdurchsatz von 36.09 Tok/s auf 39.45 Tok/s, also 9.3% relativ zum Baseline, laut NVIDIA. Das Hinzufügen von Online- FP8 LM-Head-Quantisierung reduzierte TPOT weiter auf 22.76 ms und erhöhte den Durchsatz auf 43.94 Tok/s, ein kumulativer Gewinn von 21.7% gegenüber dem Baseline.

Die dritte Technik, die spekulative Dekodierung der Multi-Token-Vorhersage mit NEXTN, hatte im synthetischen Test die größte Wirkung. NVIDIA erklärte, dass der vollständige drei-Optimierungs-Stack TPOT auf 9.72 ms reduziert und den Dekodierungsdurchsatz auf 102.88 Tok/s erhöht habe, eine 185.1% Verbesserung gegenüber der Basis dieses synthetischen Setups. Das Unternehmen gab an, dass die MTP-Akzeptanzlänge in diesem Test 3.90 Token pro Runde erreicht habe, warnte jedoch, dass das Ergebnis keine vergleichbaren Gewinne bei anderen Workloads nachweise.

Von Anfang zu Ende waren GSM8K Ergebnisse bescheidener

NVIDIA berichtete außerdem über einen strengeren End-to-End-Vergleich über alle 1,319 GSM8K Testfragen mit fünf-Shot-Prompting, Temperatur 0.6, top_p 0.95, top_k 29 und max_tokens 32,768, mit aktivierter Denkkette. In diesem Durchlauf wurde die Basislinie 26.45 ms TPOT und 37.81 Tok/s angegeben, während die voll optimierte Konfiguration 18.56 ms TPOT und 53.89 Tok/s erreichte, was eine 42.5% Durchsatzsteigerung bedeutete. Die mittlere Latenz sank von 15.21 Sekunden auf 11.49 Sekunden, eine 24.5% Verringerung, während GSM8K Genauigkeit von 96.89% auf 96.82% ging, ein Unterschied von 0.08 Prozentpunkten, so der Beitrag.

Das Unternehmen erklärte, dass die Lücke zwischen synthetischen und realen Workload-Gewinnen mehrere Faktoren widerspiegele, darunter repetitivere synthetische Ausgaben, einfachere gierige Stichproben im synthetischen Test und kürzere reale Ausgaben, die die Fixkosten jedes Dekodierungsschritts verwässern. NVIDIA stellte fest, dass die mittlere GSM8K Ausgabelänge etwa 310 Token betrug, im Vergleich zu einem festen 2,000-Token synthetischen Output, und erklärte, dass der synthetische Benchmark daher die Vorteile der spekulativen Dekodierung für andere Workloads übertreibe.

Integrationsvorbehalt ist wichtig

NVIDIA sagte, die drei Techniken überschneiden sich konzeptionell nicht: Summen und FP8 LM-Kopf-Quantisierung senken die Kosten für jeden Dekodierungsschritt, während MTP die Anzahl der Schritte reduziert. Das Unternehmen wies jedoch auch auf ein Bereitstellungsproblem hin. Wenn online FP8 LM-Kopf-Quantisierung und MTP zusammen aktiviert werden, muss das Entwurfsmodell das vollständige LM-Head-Modul mit dem Zielmodell teilen. Ohne diese Schnittstelle kann das Framework laut NVIDIA still auf eine gebrochene Konfiguration zurückfallen, bei der die Akzeptierte Länge auf 1.00 sinkt und der Durchsatz unter die Basislinie fällt.

Die praktische Warnung des Beitrags ist, dass die Startvalidierung genauso wichtig ist wie die Benchmark-Zahlen. NVIDIA sagte, Entwickler sollten überprüfen, ob jede Optimierung beim Start aktiv ist, anstatt den Konfigurationszustand allein aus der späteren Leistung abzuleiten. Der Artikel lieferte keinen nächsten geplanten Katalysator über die veröffentlichten Leitlinien hinaus.