快讯列表

关于 8x H100 的快讯列表

时间 详情
2025-10-13
15:16
Karpathy发布nanochat:用8x H100约4小时、约100美元训练ChatGPT式LLM,为交易者提供清晰GPU成本基准

据@karpathy表示,nanochat是一个从零构建的极简全栈管线,可通过一条脚本在云端GPU上训练并部署简单的ChatGPT式LLM,并在约4小时内通过网页端与模型对话,实现端到端训练与推理流程。来源:@karpathy。 他称该代码库约8,000行,涵盖Rust实现的分词器训练、在FineWeb上的预训练及CORE评估、基于SmolTalk与多选数据的中期训练与工具使用、SFT、基于GRPO在GSM8K上的可选强化学习,以及带KV缓存的推理引擎、Python工具、CLI与类ChatGPT网页端,并生成自动化报告卡。来源:@karpathy。 披露的成本与时长基准为:8卡H100约4小时成本约100美元、约41.6小时成本约1000美元;一个24小时、depth-30的示例可在MMLU取得40分段、ARC-Easy 70分段、GSM8K 20分段。来源:@karpathy。 据此推算,隐含的算力价格约为每H100小时约3.1美元(约100美元对应32个H100小时),较长训练下约为每H100小时约3.0美元(约1000美元对应332.8个H100小时),为交易者提供AI训练支出建模所需的GPU小时成本基准。来源:@karpathy。 他还表示约12小时即可在CORE指标上超过GPT-2,且随训练规模提升能力增强,将nanochat定位为透明的强基线方案、LLM101n的压轴项目并具备研究基座潜力。来源:@karpathy。 对于关注AI基础设施的加密市场参与者,这些成本与性能披露为评估面向开源LLM训练的中心化与去中心化GPU算力需求提供锚点。来源:@karpathy。

来源