Investigadores del Laboratorio de Stanford IA introdujeron Modelos de Lenguaje Con Puerta de Token que logran hasta 11x prellenado más rápido en entradas de contexto largo aprendiendo a hojear el contexto y reenviando condicionalmente solo los tokens que importan.
El enfoque refleja el cambio de paradigma anterior de modelos densos a modelos Mezcla de Expertos, aplicando computación condicional a lo largo del nuevo eje de escalado de los tokens de contexto según el anuncio publicado por Stanford IA Lab el 2026-10-21.