快讯列表

关于 分布式训练 的快讯列表

时间 详情
2025-10-01
19:22
Andrej Karpathy:Tinker 将 LLM 后训练复杂度降至 10% 以下,保留 90% 算法控制以加速微调

据 @karpathy 称,Tinker 让研究者和开发者在数据、损失函数与训练算法上保留约 90% 的算法创造性控制,同时将基础设施、正反向计算与分布式训练交由框架处理。来源:@karpathy 于 X,2025年10月1日,https://twitter.com/karpathy/status/1973468610917179630 据 @karpathy 称,Tinker 可将 LLM 后训练的典型复杂度降至 10% 以下,相较“上传数据、代为训练 LLM”的常见方案更低摩擦。来源:@karpathy 于 X,2025年10月1日,https://twitter.com/karpathy/status/1973468610917179630 据 @karpathy 称,这种对后训练流程的“切分”既能委托重体力工作,又能保留对数据与算法的主要控制权,是更有效的实践折中。来源:@karpathy 于 X,2025年10月1日,https://twitter.com/karpathy/status/1973468610917179630 据 @karpathy 称,微调并非主要用于“风格化”,而是聚焦任务范围收窄;当拥有大量训练样本时,针对窄任务微调的小模型在效果与速度上可优于对大模型的大量少样本提示。来源:@karpathy 于 X,2025年10月1日,https://twitter.com/karpathy/status/1973468610917179630 据 @karpathy 称,生产级 LLM 应用日益呈现 DAG 流水线协作形态,部分环节适合提示驱动,但许多组件以微调效果更佳,Tinker 将微调过程简化为“轻而易举”,便于快速试验与迭代。来源:@karpathy 于 X,2025年10月1日,https://twitter.com/karpathy/status/1973468610917179630;补充参考:Thinky Machines 帖子,https://x.com/thinkymachines/status/1973447428977336578

来源