快讯列表

关于 H100 的快讯列表

时间 详情
2026-02-03
13:49 UTC
据@karpathy称:在NVIDIA H100上采用FP8将GPT-2训练时间降至2.91小时 成本接近20美元

据@karpathy称,在其 nanochat 的GPT-2复现中启用FP8训练,使“time to GPT-2”再降4.3%,单台8卡H100节点用时2.91小时。 据@karpathy称,按8卡H100的临时价位一次运行约20美元,而此前3.04小时的运行约73美元,较OpenAI最初的GPT-2训练已实现约600倍成本下降。 据@karpathy称,H100上的FP8理论FLOPs为两倍,但实际收益受缩放转换开销、训练并非完全受算力瓶颈以及GPT-2规模下GEMM较小等限制,单步加速约7.3%,综合调整训练步数后净收益约5%。 据@karpathy称,torchao报告在Llama3 8B上FP8可达25%加速,提示更大模型或受益更多,他并表示可通过对特定层选择性使用FP8与改进数值稳定性继续提升。 据@karpathy称,额外性能提升来自FlashAttention 3、Muon优化器、带可学习门控的残差与跳连以及value embeddings,并已在GitHub提供可复现实验与“time to GPT-2”榜单。

来源
2026-01-31
12:55 UTC
Karpathy称nanochat在8卡H100上3小时训练GPT2级LLM仅需73美元

据@karpathy称,nanochat现可在单台配备8张H100的节点上约3小时完成GPT2级大语言模型训练,成本约73美元,为紧凑型LLM训练提供了明确的成本与时间基准(来源:@karpathy)。据@karpathy表示,GPT2被其视为现代LLM技术栈首次成型的里程碑,此次更新强调在现代表卡上可复现的低成本GPT2级训练(来源:@karpathy)。

来源
2026-01-07
15:01 UTC
Karpathy发布nanochat缩放定律结果:8张H100约100美元实现计算最优训练,CORE分数对标GPT-2/3

据@karpathy,nanochat首个miniseries v1在固定FLOPs下跨模型规模实现计算最优训练,端到端流程与脚本已开源可复现。来源:@karpathy在X 2026年1月7日;nanochat GitHub讨论#420 他称nanochat复现了类似Chinchilla的缩放规律,参数与数据的指数均接近0.5,并给出计算无关的常数约为8个token/参数,而Chinchilla报告为20。来源:@karpathy在X 2026年1月7日;Hoffmann等人2022年Chinchilla 该系列从d10到d20,在单个8卡H100节点、无需梯度累积的条件下实现了约2^19(约50万)的批量,训练曲线互不相交。来源:@karpathy在X 2026年1月7日 他使用CORE分数将nanochat与GPT-2和估算的GPT-3进行客观对齐对标。来源:@karpathy在X 2026年1月7日;DCLM论文(CORE分数) 整套实验成本约100美元,约4小时8张H100完成,全部调参与代码已推送至master,可用scaling_laws.sh与miniseries.sh复现。来源:@karpathy在X 2026年1月7日;nanochat GitHub讨论#420 据此可推算出本次运行的H100单卡小时成本约3.1美元,为AI工作负载的算力定价提供参考。来源:基于@karpathy在X 2026年1月7日的计算 对加密市场而言,去中心化GPU网络以算力/GPU时长为核心定价或撮合,使上述成本与缩放基准对其工作负载定价和基准评测直接相关,例如Render Network(RNDR)与Akash Network(AKT)。来源:Render Network官方文档;Akash Network官方文档

来源