Lila Sciences и Anyscale достигли обучения токенов 1M с GLM-5.3-Flash

Lila Sciences и Anyscale успешно обучили модель GLM-5.3-Flash на последовательностях до 1 миллионов токенов, что является значительной вехой в обучении ИИ с длительным контекстом. Сотрудничество использовало SkyRL, набор инструментов для обучения с открытым исходным кодом, работающий на GPU 64 NVIDIA B200. Это достижение представляет собой увеличение длины последовательности в 64 раз по сравнению с первоначальной обучающей мощностью и отвечает на растущую потребность в моделях ИИ, способных обрабатывать обширные научные наборы данных.

Технические инновации и оптимизации

Модель GLM-5.3-Flash включает в себя гибридную архитектуру с 34 слоями Kimi Delta Attention (линейное внимание) и 11 слоями DeepSeek Sparse Attention (DSA). Для достижения контекста в 1M токенов команда реализовала несколько критически важных оптимизаций:

• Улучшения разреженного внимания: Настройки форм тензоров позволили создать разреженные ядра, сократив потребление памяти вдвое и обеспечив совместимость со слоями DSA.
• Управление памятью: Такие техники, как рекомпьютация активации, выгрузка с CPU и параллелизм контекста, были выборочно применены для балансировки памяти и производительности. Например, выгрузка снизила пик памяти при 256k токенах с 142 GiB до 98 GiB, хотя это привело к увеличению времени шага на 21%.
• Корректировки смешивания экспертов (MoE): Роутинг реальных данных выявил неравномерное распределение токенов среди экспертов, где наиболее загруженный GPU обрабатывал до четырех раз больше средней нагрузки токенов. Обработка MoE-слоев в блоках разрешила узкие места памяти при 512k токенах.
• Планирование хостовой памяти: При 1M токенов входы выгружаемых слоев требовали примерно 180 GB оперативной памяти на GPU, что требовало фиксированной памяти для ускорения передачи данных и тщательной выгрузки памяти после каждого шага.

Эти оптимизации позволили достичь пикового объема памяти 144.5 GiB на GPU и производительности обучения 13,700 токенов в секунду при 1M токенах, с пиковым производительностью в 24,900 токенов в секунду, достигнутым при 256k токенах.

Научное воздействие и валидация

Модель была уточнена на человеческом геноме, используя хромосомы 1 и 2 для обучения и хромосомы 22 для оценки. После обучения на 512k токенов на последовательность, удерживаемая потеря улучшилась на 4.8% за 80 шагов, с самыми большими приростами, наблюдаемыми на токенах с обширным предшествующим контекстом. Это демонстрирует способность модели использовать долгосрочные зависимости, что является критическим навыком для анализа структурированных научных данных, таких как последовательности ДНК.

Валидация включала сеансы обучения с подкреплением и сравнения с vLLM, достигая разрыва лог-вероятности 0.04–0.07 по длинам контекста от 128k до 1M токенов. Эти результаты подтверждают правильность процесса обучения, подчеркивая при этом практические сложности масштабирования моделей с длительным контекстом.

Вклады в открытый код

Все изменения, внесенные в ходе этого проекта, являются открытыми и интегрированы в SkyRL, а также несколько патчей были отправлены в Megatron-LM. Трекер реализации, открытый на 2026-10-14, документирует весь процесс обучения, включая контролируемую донастройку, обучение с подкреплением и бенчмарки памяти.

Это сотрудничество между Lila Sciences и Anyscale подчеркивает потенциал фреймворков с открытым исходным кодом для продвижения исследований в области ИИ и решения сложных научных задач.