Together AI、継続的なAI推論最適化のためのコンパイラを発表

Together AIは、AI推論ワークロードを動的かつ継続的に最適化するためのシステムであるTogether Compiler（TKCC）を導入しました。2026-11-04に発表されたこのコンパイラは、高スループットエージェントと永続エンジン技術を活用して、多様なモデル、ハードウェアプラットフォーム、トラフィックパターンに適応し、さまざまなベンチマークで顕著なパフォーマンス向上を達成します。

動的AI推論ワークロードへの対応

AI推論ワークロードはますます複雑になり、数千のモデル、ハードウェアプラットフォーム、トラフィック形状にまたがります。Together AIは、独自の要件（バッチサイズ、シーケンス長、アテンションスパースなど）を持つ数千の顧客に対して、毎日数兆のトークンを提供していると報告しています。従来の手動最適化手法は、この環境では持続可能でないことが証明されています。

TKCCは、エージェントを使用してGPUコードを書き換え、推論エンジンを最適化することでこれらの課題に対処します。各実験のために長時間のエンジン再起動を必要とする従来のシステムとは異なり、TKCCは候補最適化をホットリロードできる永続エンジンを使用します。このアプローチにより、GPUのアイドル時間が最小限に抑えられ、ベースラインのエージェントシステムと比較して252倍の実験スループットが向上します。

パフォーマンスベンチマークと成果

TKCCは、24時間以内に、Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flashなどのいくつかのオープンソースモデルで1.3から3倍のスループット改善を達成しました。特に、SemiAnalysisのInferenceXベンチマークで低レイテンシパフォーマンスに関する最先端の記録を樹立し、MiniMax M3.1-Flashで1,111トークン毎秒（TPS）、DeepSeek v4.1-Flashで1,205 TPSに達しました。さらに、TKCCは、Llama 1Bバッチサイズ1設定においてオープンソースのメガカーネルを1.7倍上回りました。

このシステムは、言語モデル推論を超えて一般化され、天気予測、偏微分方程式（PDE）、時系列分析、生物学などの分野でも適用可能であることを示しています。Together AIは、地域のトラフィックパターン、新しいモデルのリリース、バーストワークロードを含む変化するユーザー行動に適応するコンパイラの能力を強調しています。

革新的なアーキテクチャと最適化戦略

TKCCのアーキテクチャにはいくつかの革新が取り入れられています：

• 永続エンジン：これらのエンジンは繰り返しの起動プロセスを排除し、設定全体の時間を467秒からわずか9秒に短縮します。
• 二層最適化：迅速な反復のための「ファストエンジン」と、高忠実度のテストのための「スローエンジン」の組み合わせがスループットと測定精度のバランスをとります。
• カスタムコストモデル：このモデルは、ハードウェアの仕様、マイクロベンチマーク、現実のトラフィックデータに基づいて、テンソル並列処理（TP）や専門家並列処理（EP）などの並行処理戦略を選択します。

これらの機能により、TKCCはサービスレベル契約（SLA）要件の下で設定を最適化し、不均一なプロンプトの長さやMoEエキスパートの不均衡などのデータ依存型トラフィック特性に対応します。

現実世界での影響と将来の可能性

Together AIの顧客であるPhonicは、TKCCを使用した夜間最適化の後、Phonic-1モデルの初回スピーチまでの中央値がほぼ50%減少したと報告しました。Together AIは、コンパイラがすでに稼働しており、追加の顧客の努力を必要とせずに毎日数兆のトークンを提供していると述べています。

動的推論ワークロードの課題にスケーラブルで適応型のアプローチで対処することにより、TKCCはAIシステム最適化の大きな進展を表しています。迅速で高忠実度の最適化を提供する能力により、遅延に敏感で計算集約的な環境で運営する組織にとって重要なツールとして位置付けられます。