スタンフォードAI研究所の研究者たちは、長いコンテキスト入力に対して最大11x高速なプリフィルを実現するトークンゲート言語モデルを導入しました。これは、コンテキストをスキムし、重要なトークンのみを条件付き転送することで実現します。
このアプローチは、密モデルからMixture of Expertモデルへの以前のパラダイムシフトを反映しており、Stanford AI Labが2026-10-21に発表した発表によると、コンテキストトークンの新しいスケーリング軸に沿った条件付き計算を適用しています。