Together AI präsentiert polymorphe Inferenz und den Together-Compiler

Together AI hat die Einführung der polymorphen Inferenz bekannt gegeben, einem neuen Ansatz für die KI-Inferenz, der entwickelt wurde, um sich an die sich schnell entwickelnde Landschaft von Open-Source-Modellen, unterschiedlichen Architekturen und dynamischen Arbeitslasten anzupassen. Das Unternehmen stellte auch den Together-Compiler vor, ein zentrales Werkzeug zur Verwirklichung dieser Vision, das eine kontinuierliche Optimierung der Inferenzleistung ermöglicht.

Was ist polymorphe Inferenz?

Polymorphe Inferenz, abgeleitet von dem griechischen Begriff für "viele Formen", stellt eine Abkehr vom traditionellen statischen Inferenz-Paradigma dar. Im Gegensatz zur statischen Inferenz, die auf festen Konfigurationen basiert, die für bestimmte Bedingungen optimiert sind, passt sich die polymorphe Inferenz dynamisch an Veränderungen in den Modellarchitekturen, VerkehrsMustern und Hardware-Plattformen an. Together AI hob mehrere Branchentrends hervor, die diesen Wandel vorantreiben, darunter:

• Die zunehmende Geschwindigkeit, mit der Open-Source-Modelle veröffentlicht werden, wobei 80% des OpenRouter-Verkehrs auf in den letzten drei Monaten veröffentlichte Modelle gerichtet ist.
• Die wachsende Vielfalt von Modellarchitekturen, bei denen alle zehn besten Open-Source-Modelle unterschiedliche Designs verwenden.
• Schnell wechselnde Verkehrsformen, die von Benutzerverhalten, Produktänderungen und Post-Training-Optimierungen beeinflusst werden.
• Häufige Fortschritte in der Hardware, wie der Übergang von NVIDIA B200 zu GB300 GPUs und das Auftreten von Vera Rubin-Implementierungen.

Das Unternehmen zog einen Vergleich zwischen polymorphe Inferenz und der veralteten statischen Inferenz, die auf geschlossenen Modellen, traditionellen Transformer-Architekturen und statischen Konfigurationen beruhte, die oft nicht den Anforderungen moderner Produktionsumgebungen gerecht wurden.

Einführung des Together-Compilers

Im Rahmen seiner Initiative zur polymorphen Inferenz hat Together AI den Together-Compiler vorgestellt, ein KI-gesteuertes Tool, das entwickelt wurde, um Inferenz-Workloads durch kontinuierliche Kompilierung zu optimieren. Der Compiler betrachtet traditionelle GPU-Optimierungsherausforderungen als agentenbasierte Suchprobleme, wodurch KI-Agenten in der Lage sind, GPU-Code für unterschiedliche Arbeitslasten iterativ umzuschreiben und zu verbessern.

Laut Together AI bietet der Together-Compiler erhebliche Leistungsverbesserungen. In von dem Unternehmen gemeldeten Tests erzielte er bis zu 1.7-mal die Geschwindigkeit handgeschriebener Megakernels und verarbeitete über 2,100 Tokens pro Sekunde für Llama 1B Modelle auf NVIDIA H100 und B200 GPUs. Der Compiler ermöglicht auch 252-mal mehr Optimierungsexperimente im Vergleich zu bestehenden agentenbasierten Systemen und produziert innerhalb von 24 Stunden einsetzbare Optimierungen.

Praktische Anwendungen des Together-Compilers umfassen schnellere Bereitstellungszeiten und reduzierte Latenzzeiten. Beispielsweise reduzierte ein Sprachagenten-Deployment, das den Compiler verwendete, die Zeit zur Erzeugung der ersten 64 Tokens von 281 Millisekunden auf NVIDIA B200 GPUs auf 77 Millisekunden auf H100 GPUs, eine Verbesserung um den Faktor 3.6. Darüber hinaus berichtete Phonic, ein Unternehmen für konversationelle KI, von einer nahezu 50% Reduzierung der mittleren Zeit bis zur ersten Sprache für sein Phonic-1 Modell.

Folgen für die KI-Inferenz

Die polymorphe Inferenz und der Together-Compiler von Together AI adressieren kritische Herausforderungen im Ökosystem der KI-Inferenz, wie die Anpassung an unterschiedliche und sich rapide verändernde Bedingungen ohne manuelle Anpassungen. Durch den Einsatz von KI-Agenten zur Optimierung der Inferenzleistung zielt das Unternehmen darauf ab, skalierbare und effiziente Lösungen für in Produktionsumgebungen implementierte Open-Source-KI-Modelle zu bieten.

Mit Billionen von täglich durch compiler-optimierte Inferenz bereitgestellten Tokens positioniert sich Together AI als führend in der Weiterentwicklung der Inferenzinfrastruktur für die Open-Source-KI-Community.