Together AI представляет компилятор для непрерывной оптимизации ИИ-инференса

Together AI представила Together Compiler (TKCC), систему, разработанную для динамической и непрерывной оптимизации задач ИИ-инференса. Объявленный 2026-11-04, компилятор использует высокопроизводительные агенты и технологию постоянных движков для адаптации к разнообразным моделям, аппаратным платформам и схемам трафика, достигая значительных приростов производительности по различным бенчмаркам.

Решение динамических задач ИИ-инференса

Задачи ИИ-инференса становятся все более сложными, охватывающими тысячи моделей, аппаратных платформ и схем трафика. Together AI сообщает, что их инфраструктура обслуживает триллионы токенов ежедневно для тысяч клиентов, каждый из которых имеет уникальные требования, такие как размер пакета, длина последовательности и разреженность внимания. Традиционные методы ручной оптимизации оказались неустойчивыми в этой среде.

TKCC решает эти проблемы, используя агентов для переписывания кода GPU и оптимизации движков инференса. В отличие от традиционных систем, которые требуют длительных перезапусков движков для каждого эксперимента, TKCC использует постоянные движки, способные к горячей перезагрузке кандидатных оптимизаций. Этот подход минимизирует время простоя GPU и увеличивает пропускную способность экспериментов в 252 раз по сравнению с базовыми агентными системами.

Бенчмарки производительности и достижения

Менее чем за 24 часов TKCC достиг улучшений пропускной способности от 1.3 до 3 раз для нескольких моделей с открытым исходным кодом, включая Kimi K3, GLM 5.3, MiniMax M3.1-Flash и DeepSeek v4.1-Flash. Особенно стоит отметить, что он установил рекорды на бенчмарке InferenceX от SemiAnalysis по производительности с низкой задержкой, достигнув 1,111 токенов в секунду (TPS) на MiniMax M3.1-Flash и 1,205 TPS на DeepSeek v4.1-Flash. Кроме того, TKCC превзошел открытые мегакernelы в 1.7 раз в конфигурации размера пакета 1 для Llama 1B.

Система также обобщается за пределами инференса языковой модели, показывая применимость в таких областях, как моделирование погоды, частные дифференциальные уравнения (PDE), анализ временных рядов и биология. Together AI подчеркивает способность компилятора адаптироваться к меняющимся поведением пользователей, включая региональные схемы трафика, новые релизы моделей и взрывные нагрузки.

Инновационная архитектура и стратегии оптимизации

Архитектура TKCC включает в себя несколько инноваций:

• Постоянные движки: Эти движки устраняют необходимость повторных процессов запуска, сокращая общее время настройки с 467 секунд до всего 9 секунд.
• Двухуровневая оптимизация: Сочетание "быстрых движков" для быстрых итераций и "медленных движков" для высокоточных тестов обеспечивает баланс между пропускной способностью и точностью измерений.
• Пользовательская модель затрат: Эта модель выбирает стратегии параллелизма, такие как параллелизм тензора (TP) и параллелизм экспертов (EP), на основе спецификаций оборудования, микробенчмарков и реальных данных о трафике.

Эти функции позволяют TKCC оптимизировать конфигурации в соответствии с требованиями соглашений об уровне обслуживания (SLA), учитывая свойства трафика, зависящие от данных, такие как неравномерные длины промптов и дисбалансы экспертов MoE.

Влияние в реальном мире и будущий потенциал

Компания Phonic, клиент Together AI, сообщила о снижении медианного времени до первого озвучивания для своей модели Phonic-1 почти на 50% после ночной оптимизации с использованием TKCC. Together AI утверждает, что компилятор уже работает, обслуживая триллионы токенов ежедневно без необходимости дополнительных усилий со стороны клиентов.

Решая задачи динамических нагрузок инференса с помощью масштабируемого и адаптивного подхода, TKCC представляет собой значительный шаг вперед в оптимизации систем ИИ. Его способность предоставлять быстрые и высококачественные оптимизации делает его критически важным инструментом для организаций, работающих в условиях чувствительности к задержкам и вычислительных интенсивных сред.