Pesquisadores do Stanford IA Lab introduziram Modelos de Linguagem com Token Gateado que alcançam até 11x preenchimento mais rápido em entradas de contexto longo, aprendendo a passar o filtro do contexto e encaminhando condicionalmente apenas os tokens que importam.
A abordagem reflete a mudança de paradigma anterior de modelos densos para modelos Mistura de Especialistas, aplicando computação condicional ao longo do novo eixo de escalonamento dos tokens de contexto, de acordo com o anúncio publicado pelo Stanford IA Lab em 2026-10-21.