斯坦福AI实验室：推出CSBP加速扩散LLM
斯坦福AI实验室发布Context-Sharded Block Parallelism，实现DFlash2训练提速7.59倍，块扩散微调提速1.61倍。
原文链接详细分析
斯坦福AI实验室推出Context-Sharded Block Parallelism分布式策略，随着上下文长度增加显著加速扩散LLM训练。该方法使DFlash2推测解码起草训练提速7.59倍，块扩散微调提速1.61倍，自回归到块扩散适应提速1.33倍。相同GPU时数下，SWE-bench Verified和Terminal-Bench Lite得分更高。团队已在Turbo-dLLM库开源此方法，直接缓解扩散LLM训练效率瓶颈。
Stanford AI Lab
@StanfordAILabThe Stanford Artificial Intelligence Laboratory (SAIL), a leading #AI lab since 1963.