Исследователи Stanford ИИ Lab внедрили Token-Gated Language Models, которые достигают до 11x более быстрого предварительного заполнения на входных данных длинного контекста, учась бегло просматривать контекст и условно пересылая только те важные токены.
Подход отражает более ранний переход парадигмы от плотных моделей к моделям Mixture of Experts, применяя условные вычисления вдоль новой оси масштабирования контекстных токенов, согласно объявлению, опубликованному Стэнфордским ИИ лабораторным университетом 2026-10-21 года.