斯坦福AI实验室：Marin 535B-A23B训练启动
斯坦福AI实验室的Marin 535B-A23B本周在Percy Liang指导下开始预训练，使用11 x GB200 NVL72处理18.75T tokens。
原文链接详细分析
斯坦福AI实验室宣布Percy Liang本周启动了Marin 535B-A23B模型的训练，整个过程完全开放。该计划包括80%的预训练和20%的中期训练，在11 x GB200 NVL72集群上处理18.75T tokens，耗时约三个月达到2.7e24 FLOPs，随后进行后训练。研究人员先用从1.6B-A61M到27.7B-A1.2B的四级缩放梯子在较小token量上验证方法，以调试系统并预测性能，凸显了AI模型预训练过程和缩放定律验证在高性能AI计算中的应用。
Stanford AI Lab
@StanfordAILabThe Stanford Artificial Intelligence Laboratory (SAIL), a leading #AI lab since 1963.
Premium Sponsors
.jpg)