Lila Sciences和Anyscale实现1M-Token训练与GLM-5.3-Flash

Lila Sciences和Anyscale成功地在多达1百万个token的序列上训练了GLM-5.3-Flash模型，这是长上下文AI训练中的一个重要里程碑。该合作利用了SkyRL，一个开源训练框架，运行在64 NVIDIA B200 GPU上。这个成就使序列长度比初始训练能力提高了64倍，并满足了对能够处理广泛科学数据集的AI模型日益增长的需求。

技术创新与优化

GLM-5.3-Flash模型采用了混合架构，包含34层的Kimi Delta Attention（线性注意力）和11层的DeepSeek Sparse Attention（DSA）。为了实现1M-token上下文，团队实施了若干关键优化：

• 稀疏注意力改进：对张量形状的调整使得稀疏内核能够被启用，从而将内存使用量减半，并确保与DSA层的兼容性。
• 内存管理：选择性地应用了激活重计算、CPU卸载和上下文并行等技术，以平衡内存和吞吐量。例如，卸载在256k个token时将峰值内存从142 GiB降低到98 GiB，尽管步进时间增加了21%。
• 专家混合（MoE）调整：实际数据路由揭示专家之间的token分布不均，最忙的GPU处理的token负载是平均负载的四倍。MoE层的分块处理解决了在512k个token时的内存瓶颈。
• 主机内存规划：在1M个token时，卸载层输入需要每个GPU大约180 GB的CPU内存，迫使使用固定内存以实现更快的数据传输，并在每步后仔细释放内存。

这些优化使每个GPU的峰值内存占用达到144.5 GiB，在1M个token时训练吞吐量为每秒13,700个token，256k个token时实现的峰值吞吐量为每秒24,900个token。

科学影响与验证

该模型在人体基因组上进行了微调，使用1和2染色体进行训练，用22染色体进行评估。在512k个token每个序列的后期训练后保持的损失在80步中改善了4.8%，且在具有广泛前文的token上观察到最大的增益。这表明了模型利用长距离依赖的能力，这是分析DNA序列等结构科学数据的关键能力。

验证过程包括强化学习运行与vLLM的比较，达到0.04–0.07的对数概率差距，覆盖128k到1M个token的上下文长度。这些结果确认了训练过程的正确性，同时突出了扩展长上下文模型的实际挑战。

开源贡献

在本项目期间所做的所有更改都是开源的，并已集成到SkyRL中，向Megatron-LM提交了多个上游补丁。实施追踪器于2026-10-14开放，记录了完整的训练过程，包括监督微调、强化学习和内存基准。

Lila Sciences与Anyscale之间的这一合作强调了开源框架在推动AI研究和应对复杂科学挑战方面的潜力。