Together AI stellt Together Compiler zur kontinuierlichen Optimierung von KI-Inferenzen vor

Together AI hat die Einführung des Together Compilers (TKCC) bekannt gegeben, ein bahnbrechendes System, das darauf abzielt, KI-Inferenzlasten durch kontinuierliche Kompilierung zu optimieren. Das System, das am 2026-11-04 eingeführt wurde, soll die Herausforderungen angehen, die sich aus der dynamischen Natur von KI-Arbeitslasten ergeben, die verschiedene Modelle, Hardwareplattformen und Verkehrsströme umfassen.

Variabilität in der KI-Inferenz angehen

KI-Inferenzlasten werden immer komplexer, wobei Together AI täglich Billionen von Tokens für Tausende von Kunden bereitstellt. Diese Lasten variieren erheblich in Batch-Größe, Sequenzlänge, Sparsamkeit und anderen Faktoren. Darüber hinaus ist die Hardwarelandschaft stark fragmentiert, wobei Plattformen wie NVIDIA H100, B200 und Groq unterschiedliche Optimierungsstrategien erfordern. Together Compiler nutzt agentenbasierte Optimierung, um sich an diese verschiedenen Bedingungen anzupassen, ohne auf statische Regeln oder manuelle Anpassungen angewiesen zu sein.

Persistente Engines und experimenteller Durchsatz

TKCC führt "persistente Engines" ein, die die Notwendigkeit wiederholter Motorstarts während der Optimierung beseitigen. Traditionelle Systeme benötigen bis zu 467 Sekunden für die Einrichtung, während TKCC dies auf nur 9 Sekunden reduziert. Diese Innovation ermöglicht eine 252x Steigerung des experimentellen Durchsatzes im Vergleich zu Baseline-agentischen Systemen. Die Agenten innerhalb von TKCC teilen Optimierungsvorschläge über ein Schwarzes Brett und stellen sicher, dass kontinuierliche Tests durchgeführt werden und die GPU-Leerlaufzeit minimiert wird.

Leistungsbenchmarks

In Tests erzielte TKCC bis zu 2.6x höhere Tokens pro Sekunde (TPS) über mehrere Open-Source-Modelle hinweg, darunter Kimi K3, GLM 5.3, MiniMax M3.1-Flash und DeepSeek v4.1-Flash. Es stellte neue Rekorde im SemiAnalysis InferenceX-Benchmark auf und lieferte 1111 TPS auf MiniMax M3.1-Flash und 1205 TPS auf DeepSeek v4.1-Flash. Darüber hinaus übertraf TKCC Open-Source-Megakernels um 1.7x in Llama 1B Batchgröße 1 Einstellungen.

Anpassung an Verkehrsdrift

Together Compiler wurde entwickelt, um sich entwickelndem Nutzerverhalten gerecht zu werden. Zum Beispiel nahmen die Aufforderungslängen innerhalb von zwei Wochen nach der Veröffentlichung eines neuen Modells um 80% zu, und es wurden regionale Unterschiede in den Verkehrsmustern festgestellt, wobei einige Länder im Durchschnitt 97,000 Tokens pro Aufforderung im Vergleich zu 70,000 in anderen hatten. TKCC passt sich dynamisch an diese Veränderungen an, um optimale Leistung zu gewährleisten, ohne dass Änderungen am Kunden-Code erforderlich sind.

Breitere Anwendungen

Über die Inferenz von Sprachmodellen hinaus hat TKCC seine Fähigkeit bewiesen, auf andere Bereiche zu verallgemeinern, einschließlich Wettermodellierung, partielle Differentialgleichungen (PDEs), Zeitreihenanalyse und Biologie. Diese Vielseitigkeit unterstreicht sein Potenzial als universelles Werkzeug zur Optimierung von Rechenarbeitslasten.

Mit seiner innovativen Architektur und erheblichen Leistungssteigerungen stellt Together Compiler einen wichtigen Fortschritt in der Optimierung der KI-Inferenz dar, wodurch eine schnellere und effizientere Bereitstellung von KI-Modellen in einer Vielzahl von Anwendungsfällen ermöglicht wird.