Kimi K3.1 Pro von Moonshot AI auf AMD Instinct MI355X GPUs bereitgestellt

Moonshot AI hat die Bereitstellung seines neuesten multimodalen KI-Modells Kimi K3.1 Pro auf AMD Instinct MI355X GPUs bekannt gegeben. Das Modell, das über 2.8 Billionen Gesamparameter und 104 Milliarden aktivierte Parameter verfügt, ist darauf ausgelegt, komplexe KI-Aufgaben mit einem Kontextfenster von einer Million Tokens zu bewältigen. Diese Bereitstellung nutzt die ATOM-Inferenz-Engine von AMD und vLLM für optimierte Leistung und Skalierbarkeit.

Hauptmerkmale von Kimi K3.1 Pro

Kimi K3.1 Pro behält die hybride Architektur seines Vorgängers Kimi K3 bei, mit 69 Kimi Delta Attention (KDA) Schichten und 24 latenten Aufmerksamkeits-Schichten. Es führt einen spärlichen Indizierer für jede latente Aufmerksamkeits-Schicht ein, der die Auswahl von 2,048 Tokens aus historischem Kontext pro Anfrage ermöglicht. Das Modell arbeitet mit einer 896-Expertise-Mischung von Experten (MoE)-Architektur, wobei 16 Experten pro Token aktiviert werden, und verwendet MXFP4 quantisierungsbewusstes Training zur Effizienzsteigerung.

Das Modell unterstützt sowohl Text- als auch Bildeingaben mit einem MoonViT-V2 Vision Encoder, der 401 Millionen Parameter umfasst. Darüber hinaus enthält Kimi K3.1 Pro einen spekulativen Dekodierungsentwurf von DSpark, der die Token-Generierung beschleunigt, indem er Entwurf Tokens parallel mit dem Hauptdekodierungsprozess vorschlägt.

Bereitstellung auf AMD Instinct MI355X GPUs

Die ATOM-Inferenz-Engine von AMD treibt Kimi K3.1 Pro auf acht MI355X GPUs an und nutzt Tensor-Parallelität für eine effiziente Ausführung. Der veröffentlichte MXFP4 Kontrollpunkt wird ohne Konversion geladen, und das System unterstützt sowohl Langzeit- als auch latenzarme Interaktionslasten. Beim Start erreicht die Speicherauslastung etwa 199 GB pro GPU von den verfügbaren 288 GB, was es ermöglicht, dass eine einzelne Million-Tokens-Anfrage auf einen Knoten passt.

ATOM-Optimierungen umfassen FP8 Neuquantisierung für Aufmerksamkeits- und dichte Schichten, Verarbeitung von spärlichen Aufmerksamkeitsmetadaten und Dekodierungskontextparallelismus für gleichzeitige Langzeit-Anfragen. Währenddessen reduziert der Dekodierungsweg von vLLM die Token-Generierungs-Latenz um 27%, gemäß den internen Benchmarks von AMD.

Leistung und Genauigkeit

Kimi K3.1 Pro erzielte eine hohe Genauigkeit bei den Moonshot AI Kimi Vendor Verifier Benchmarks und erzielte 0.871 auf OCRBench und 0.991 bei der Validierung des JSON-Schemas für Werkzeugaufrufe bei maximalem Denkaufwand. Diese Ergebnisse heben die robuste Leistung des Modells bei der Bearbeitung komplexer Überlegungen und multimodaler Aufgaben hervor.

Die Bereitstellung von Kimi K3.1 Pro durch Moonshot AI auf AMD Instinct GPUs unterstreicht die Skalierbarkeit und Effizienz des Hardware- und Software-Ökosystems von AMD für KI und ebnet den Weg für fortschrittliche KI-Anwendungen in Forschung und Industrie.