Forscher von Stanford KI Lab führten Token-Gated Language Models ein, die bis zu 11x schnellere Prefill bei Langkontext-Eingaben erreichen, indem sie lernen, den Kontext zu überfliegen und nur die wichtigen Token bedingt weiterleiten.
Der Ansatz spiegelt den früheren Paradigmenwechsel von dichten Modellen zu Mixture-of-Experten-Modellen wider und wendet laut der Ankündigung des Stanford KI Lab am 2026-10-21 bedingte Berechnung entlang der neuen skalierenden Achse von Kontext-Tokens an.