Les chercheurs du Stanford IA Lab ont introduit des modèles de langage à porte de tokens qui permettent jusqu’à 11x remplissage plus rapide sur les entrées à long contexte en apprenant à survoler le contexte et en ne redirigeant conditionnellement que les jetons qui comptent.
Cette approche reflète le changement de paradigme antérieur des modèles denses vers des modèles Mixture of Experts, appliquant le calcul conditionnel le long du nouvel axe de mise à l’échelle des jetons contextuels selon l’annonce publiée par Stanford IA Lab le 2026-10-21.