Together AI Enthüllt Compiler für Kontinuierliche AI Inferenzoptimierung

Together AI hat den Together Compiler (TKCC) eingeführt, ein System, das entwickelt wurde, um AI Inferenzlasten dynamisch und kontinuierlich zu optimieren. Angekündigt am 2026-11-04, nutzt der Compiler Hochdurchsatzagenten und persistente Motorentechnologie, um sich an verschiedene Modelle, Hardwareplattformen und Verkehrsarten anzupassen und erhebliche Leistungssteigerungen in verschiedenen Benchmarks zu erzielen.

Bewältigung Dynamischer AI Inferenzlasten

AI Inferenzlasten sind zunehmend komplex und umfassen Tausende von Modellen, Hardwareplattformen und Verkehrsformen. Together AI berichtet, dass seine Infrastruktur täglich Billionen von Tokens für Tausende von Kunden bereitstellt, von denen jeder einzigartige Anforderungen hat, wie Batch-Größe, Sequenzlänge und Aufmerksamkeitsdichte. Traditionelle manuelle Optimierungsmethoden haben sich in dieser Umgebung als nicht nachhaltig erwiesen.

TKCC geht diese Herausforderungen an, indem es Agenten einsetzt, um GPU-Code neu zu schreiben und Inferenzmotoren zu optimieren. Im Gegensatz zu traditionellen Systemen, die für jedes Experiment lange Motorneustarts erfordern, verwendet TKCC persistente Motoren, die in der Lage sind, Kandidatenoptimierungen im laufenden Betrieb zu laden. Dieser Ansatz minimiert die GPU-Leerlaufzeit und erhöht den Durchsatz von Experimenten um 252-fach im Vergleich zu Baseline-Agentensystemen.

Leistungsbenchmarks und Errungenschaften

In weniger als 24 Stunden erzielte TKCC Durchsatzverbesserungen von 1.3 bis 3-fach über mehrere Open-Source-Modelle, einschließlich Kimi K3, GLM 5.3, MiniMax M3.1-Flash und DeepSeek v4.1-Flash. Bemerkenswert ist, dass es in der InferenceX Benchmark von SemiAnalysis Rekorde für niedrige Latenzleistungen aufgestellt hat und 1,111 Tokens pro Sekunde (TPS) in MiniMax M3.1-Flash und 1,205 TPS in DeepSeek v4.1-Flash erreicht hat. Darüber hinaus übertraf TKCC open-source Megakernels um 1.7-fach in der Batchgröße 1 von Llama 1B.

Das System generalisiert auch über die Inferenz von Sprachmodellen hinaus und zeigt Anwendbarkeit in Bereichen wie Wettermodellierung, partielle Differentialgleichungen (PDE), Zeitreihenanalyse und Biologie. Together AI hebt die Fähigkeit des Compilers hervor, sich an sich ändernde Benutzerverhalten anzupassen, einschließlich regionaler Verkehrsformen, neuer Modellveröffentlichungen und plötzlicher Arbeitslasten.

Innovative Architektur und Optimierungsstrategien

Die Architektur von TKCC umfasst mehrere Innovationen:

• Persistente Motoren: Diese Motoren beseitigen die Notwendigkeit wiederholter Startprozesse und reduzieren die Gesamteinrichtungszeit von 467 Sekunden auf nur 9 Sekunden.
• Zwei-Level-Optimierung: Eine Kombination aus "schnellen Motoren" für schnelle Iterationen und "langsameren Motoren" für hochpräzise Tests balanciert Durchsatz und Messgenauigkeit.
• Benutzerdefiniertes Kostenmodell: Dieses Modell wählt Parallelisierungsstrategien wie Tensorparallelismus (TP) und Expertenparallelismus (EP) basierend auf Hardware-Spezifikationen, Mikrobewertungen und Daten aus der realen Verkehrsanalyse.

Diese Funktionen ermöglichen es TKCC, Konfigurationen unter Anforderungen von Service Level Agreements (SLA) zu optimieren und gleichzeitig datenabhängige Verkehrseigenschaften wie unregelmäßige Eingabeaufforderungslängen und MoE-Expertenungleichgewichte zu berücksichtigen.

Reale Auswirkungen und zukünftiges Potenzial

Phonic, ein Kunde von Together AI, berichtete von einer nahezu 50% Reduzierung der medianen Zeit bis zur ersten Sprache für sein Phonic-1 Modell nach einer nächtlichen Optimierung mit TKCC. Together AI gibt an, dass der Compiler bereits betriebsbereit ist und täglich Billionen von Tokens bedient, ohne dass zusätzlicher Kundenaufwand notwendig ist.

Indem es die Herausforderungen dynamischer Inferenzlasten mit einem skalierbaren und anpassungsfähigen Ansatz angeht, stellt TKCC einen bedeutenden Fortschritt in der Optimierung von AI-Systemen dar. Seine Fähigkeit, schnelle, hochpräzise Optimierungen bereitzustellen, positioniert es als ein wichtiges Werkzeug für Organisationen, die in latenzsensiblen und rechenintensiven Umgebungen arbeiten.