Together AIがポリモーフィック推論とTogetherコンパイラを発表

Together AIは、急速に進化するオープンソースモデルの環境、多様なアーキテクチャ、および動的ワークロードに適応することを目的としたAI推論の新しいアプローチ、ポリモーフィック推論の開始を発表しました。さらに、同社は推論性能の継続的最適化を可能にする重要なツールであるTogetherコンパイラを紹介しました。

ポリモーフィック推論とは？

「多様な形」を意味するギリシャ語に由来するポリモーフィック推論は、従来の静的推論パラダイムからのシフトを表しています。静的推論は、特定の条件に最適化された固定構成に依存するのに対し、ポリモーフィック推論はモデルアーキテクチャ、トラフィックパターン、およびハードウェアプラットフォームの変化に動的に適応します。Together AIは、このシフトを推進するいくつかの業界トレンドを強調しました。

• 過去三ヶ月間にリリースされたモデルに80%のOpenRouterトラフィックが向けられるほか、オープンソースモデルのリリースが加速しています。
• すべてのトップテンオープンソースモデルが異なるデザインを使用していることから、モデルアーキテクチャの多様性が高まっています。
• ユーザー行動、製品変更、トレーニング後の最適化によって影響を受けた急速に進化するトラフィック形状。
• NVIDIA B200からGB300 GPUへの移行や、ベラ・ルビンデプロイメントの出現など、ハードウェアの進展。

同社は、従来の静的推論とポリモーフィック推論を対比させており、静的推論は閉じられたモデルや従来のトランスフォーマーアーキテクチャ、および現代の生産環境の要求に応じることができなかった静的構成に依存していたと説明しています。

Togetherコンパイラの紹介

ポリモーフィック推論の取り組みの一環として、Together AIは、推論ワークロードを継続的に最適化するために設計されたAI駆動ツールであるTogetherコンパイラを発表しました。このコンパイラは、従来のGPU最適化の課題をエージェントによる探索問題として再構築し、AIエージェントが多様なワークロードに合わせてGPUコードを繰り返し書き換え、改善できるようにします。

Together AIによれば、Togetherコンパイラは大幅な性能向上を実現します。同社が報告したテストでは、手書きのメガカーネルの最大1.7倍の速度を達成し、NVIDIA H100およびB200 GPUでLlama 1Bモデルのトークンを2,100トークン毎秒で処理しました。さらに、コンパイラは既存のエージェントベースのシステムと比較して252倍の最適化実験を可能にし、24時間以内にデプロイ可能な最適化を生成します。

Togetherコンパイラの実際のアプリケーションには、デプロイ時間の短縮とレイテンシの削減が含まれます。たとえば、コンパイラを使用した音声エージェントのデプロイメントでは、NVIDIA B200 GPUで最初の64トークンを生成するのにかかる時間が281ミリ秒から77ミリ秒に短縮され、3.6倍の改善が見られました。さらに、対話型AI企業Phonicは、Phonic-1モデルの最初のスピーチまでの中央値時間がほぼ50%減少したと報告しています。

AI推論への影響

Together AIのポリモーフィック推論とTogetherコンパイラは、手動調整なしで多様で急速に変化する条件に適応するなど、AI推論エコシステムの重要な課題に対処しています。AIエージェントを活用して推論性能を最適化することで、同社は生産環境でデプロイされたオープンソースAIモデルに対するスケーラブルで効率的なソリューションを提供することを目指しています。

コンパイラ最適化された推論を通じて毎日数兆トークンを提供することで、Together AIはオープンソースAIコミュニティ向けの推論インフラストラクチャを進化させるリーダーとしての地位を確立しています。