Together AI представляет полиморфную инференцию и компилятор Together

Together AI объявила о запуске полиморфной инференции, нового подхода к инференции ИИ, разработанного для адаптации к стремительно развивающейся среде моделей с открытым исходным кодом, разнообразным архитектурам и динамическим нагрузкам. Компания также представила компилятор Together, ключевой инструмент для достижения этой визии, который позволяет постоянно оптимизировать производительность инференции.

Что такое полиморфная инференция?

Полиморфная инференция, происходящая от греческого термина "много форм," представляет собой сдвиг от традиционной парадигмы статической инференции. В отличие от статической инференции, которая зависит от фиксированных конфигураций, оптимизированных для конкретных условий, полиморфная инференция динамически адаптируется к изменениям в архитектурах моделей, паттернах трафика и аппаратных платформах. Together AI выделила несколько отраслевых тенденций, которые приводят к этому сдвигу, включая:

• Увеличение скорости выпуска моделей с открытым исходным кодом, при этом 80% трафика OpenRouter направлено на модели, выпущенные за последние три месяца.
• Растущее разнообразие архитектур моделей, при этом все десять лучших моделей с открытым исходным кодом используют различные конструкции.
• Стремительно меняющиеся формы трафика, влияющие на поведение пользователей, изменения продукта и оптимизации после обучения.
• Частые достижения в аппаратном обеспечении, такие как переход от GPU NVIDIA B200 к GB300 и появление развёртываний Веры Рубин.

Компания противопоставляет полиморфную инференцию устаревшей статической инференции, которая зависела от закрытых моделей, традиционных архитектур Transformers и статических конфигураций, которые часто не удовлетворяли требованиям современных производственных условий.

Представляем компилятор Together

В рамках своей инициативы по полиморфной инференции Together AI представила компилятор Together, инструмент на базе ИИ, разработанный для оптимизации нагрузок инференции посредством непрерывной компиляции. Компилятор пересматривает традиционные задачи оптимизации GPU как проблемы агентов, позволяя ИИ-агентам итеративно переписывать и улучшать код GPU для различных рабочих нагрузок.

Согласно информации от Together AI, компилятор Together обеспечивает значительное улучшение производительности. В тестах, проводимых компанией, он достиг до 1.7 раз скорости написанных вручную мегакодовых программ и обрабатывал более 2,100 токенов в секунду для моделей Llama 1B на графических процессорах NVIDIA H100 и B200. Компилятор также позволяет проводить на 252 раз больше экспериментов по оптимизации по сравнению с существующими системами, основанными на агентах, производя оптимизации, которые могут быть развёрнуты в течение 24 часов.

Практические приложения компилятора Together включают более быстрое время развёртывания и уменьшение задержек. Например, развертывание голосового агента с использованием компилятора сократило время на создание первых 64 токенов с 281 миллисекунд на графических процессорах NVIDIA B200 до 77 миллисекунд на графических процессорах H100, что стало улучшением в 3.6 раз. Кроме того, компания Phonic, занимающаяся разговорным ИИ, сообщила о снижении среднего времени до первой речи для своей модели Phonic-1 почти на 50%.

Последствия для инференции ИИ

Полиморфная инференция и компилятор Together от Together AI решают критические задачи в экосистеме инференции ИИ, такие как адаптация к разнообразным и быстро меняющимся условиям без ручной настройки. Используя ИИ-агентов для оптимизации производительности инференции, компания стремится предоставить масштабируемые и эффективные решения для моделей ИИ с открытым исходным кодом, развернутых в производственных условиях.

С триллионами токенов, обслуживаемых ежедневно через инференцию, оптимизированную компилятором, Together AI позиционирует себя как лидера в развитии инфраструктуры инференции для сообщества ИИ с открытым исходным кодом.