Lila Sciences und Anyscale Erreichen 1M-Token Training mit GLM-5.3-Flash

Lila Sciences und Anyscale haben erfolgreich das GLM-5.3-Flash-Modell auf Sequenzen von bis zu 1 Millionen Tokens trainiert, ein bedeutender Meilenstein im Training von KI mit langen Kontexten. Die Zusammenarbeit nutzte SkyRL, ein Open-Source-Trainings-Framework, das auf 64 NVIDIA B200 GPUs läuft. Dieser Erfolg stellt einen 64-fachen Anstieg der Sequenzlänge im Vergleich zur ursprünglichen Trainingskapazität dar und erfüllt den wachsenden Bedarf an KI-Modellen, die in der Lage sind, umfangreiche wissenschaftliche Datensätze zu bearbeiten.

Technische Innovationen und Optimierungen

Das GLM-5.3-Flash-Modell beinhaltet eine hybride Architektur mit 34 Schichten von Kimi Delta Attention (lineare Aufmerksamkeit) und 11 Schichten von DeepSeek Sparse Attention (DSA). Um den 1M-Token-Kontext zu erreichen, implementierte das Team mehrere kritische Optimierungen:

• Verbesserungen bei Sparse Attention: Anpassungen der Tensorformen ermöglichten es, spärliche Kerne zu nutzen, wodurch der Speicherverbrauch halbiert und die Kompatibilität mit DSA-Schichten sichergestellt wurde.
• Speicherverwaltung: Techniken wie Aktivierungsrekomputation, CPU-Entlastung und Kontextparallelismus wurden selektiv angewendet, um Speicher und Durchsatz auszubalancieren. Zum Beispiel reduzierte die Entlastung den Spitzenpegel-Speicher bei 256k Tokens von 142 GiB auf 98 GiB, obwohl dies zu einem 21% Anstieg der Schrittzeit führte.
• Anpassungen bei Mix-of-Experts (MoE): Die routinemäßige Verarbeitung von Echtzeitdaten offenbarte eine ungleichmäßige Tokenverteilung zwischen den Experten, wobei die beschäftigste GPU bis zu viermal die durchschnittliche Tokenlast bewältigte. Die gestückelte Verarbeitung von MoE-Schichten löste Gedächtnisengpässe bei 512k Tokens.
• Planung des Hostspeichers: Bei 1M Tokens benötigten die entlasteten Schichteingaben ungefähr 180 GB CPU-Speicher pro GPU, was festgelegten Speicher für schnellere Datenübertragungen erforderte und eine sorgfältige Speicherfreigabe nach jedem Schritt erforderte.

Diese Optimierungen ermöglichten einen maximalen Speicherbedarf von 144.5 GiB pro GPU bei einer Trainingsdurchsatzrate von 13,700 Tokens pro Sekunde bei 1M Tokens, wobei ein Spitzenwert von 24,900 Tokens pro Sekunde bei 256k Tokens erreicht wurde.

Wissenschaftliche Auswirkungen und Validierung

Das Modell wurde am menschlichen Genom feinabgestimmt und verwendete die Chromosomen 1 und 2 für das Training und Chromosom 22 für die Bewertung. Nach dem Training bei 512k Tokens pro Sequenz verbesserte sich der Verlust um 4.8% in 80 Schritten, wobei die größten Gewinne bei Tokens mit umfangreichem vorhergehendem Kontext beobachtet wurden. Dies demonstriert die Fähigkeit des Modells, langfristige Abhängigkeiten zu nutzen, eine entscheidende Fähigkeit zur Analyse strukturierter wissenschaftlicher Daten wie DNA-Sequenzen.

Die Validierung beinhaltete Verstärkungslernläufe und Vergleiche mit vLLM und erreichte eine logistische Wahrscheinlichkeit von 0.04–0.07 über Kontextlängen von 128k bis 1M Tokens. Diese Ergebnisse bestätigen die Korrektheit des Trainingsprozesses und heben gleichzeitig die praktischen Herausforderungen bei der Skalierung von Modellen mit langem Kontext hervor.

Open-Source-Beiträge

Alle während dieses Projekts vorgenommenen Änderungen sind Open Source und in SkyRL integriert, mit mehreren Upstream-Patches, die an Megatron-LM gesendet wurden. Der Implementierungs-Tracker, der am 2026-10-14 geöffnet wurde, dokumentiert den gesamten Trainingsprozess, einschließlich überwachten Feintunings, Verstärkungslernen und Gedächtnisbenchmarks.

Diese Zusammenarbeit zwischen Lila Sciences und Anyscale hebt das Potenzial von Open-Source-Frameworks hervor, um die KI-Forschung voranzutreiben und komplexe wissenschaftliche Herausforderungen zu bewältigen.