最新更新
2/3/2026 9:49:00 PM

据@karpathy称:在NVIDIA H100上采用FP8将GPT-2训练时间降至2.91小时 成本接近20美元

据@karpathy称:在NVIDIA H100上采用FP8将GPT-2训练时间降至2.91小时 成本接近20美元

据@karpathy称,在其 nanochat 的GPT-2复现中启用FP8训练,使“time to GPT-2”再降4.3%,单台8卡H100节点用时2.91小时。 据@karpathy称,按8卡H100的临时价位一次运行约20美元,而此前3.04小时的运行约73美元,较OpenAI最初的GPT-2训练已实现约600倍成本下降。 据@karpathy称,H100上的FP8理论FLOPs为两倍,但实际收益受缩放转换开销、训练并非完全受算力瓶颈以及GPT-2规模下GEMM较小等限制,单步加速约7.3%,综合调整训练步数后净收益约5%。 据@karpathy称,torchao报告在Llama3 8B上FP8可达25%加速,提示更大模型或受益更多,他并表示可通过对特定层选择性使用FP8与改进数值稳定性继续提升。 据@karpathy称,额外性能提升来自FlashAttention 3、Muon优化器、带可学习门控的残差与跳连以及value embeddings,并已在GitHub提供可复现实验与“time to GPT-2”榜单。

原文链接

详细分析

安德烈·卡帕西的最新AI训练效率突破正在 cryptocurrency 和股票市场掀起波澜,特别是针对AI相关代币和半导体巨头如NVIDIA的投资者。作为加密货币和金融分析师专家,这一发展突显了AI创新的加速步伐,可能推动FET、RNDR和TAO等代币的重大交易机会,同时提升与GPU技术相关的股票。卡帕西于2026年2月3日宣布,他使用fp8精度将GPT-2训练优化至仅2.91小时,实现了4.3%的速度提升。这不仅将8x H100 spot实例的成本降至约20美元,还将GPT-2定位为“新MNIST”——一个如今易于访问且负担得起的基准,可能民主化AI开发并影响加密AI项目。

卡帕西的FP8优化及其对AI加密代币的影响

深入探讨技术交易含义,卡帕西在H100 GPU上使用fp8训练突显了向更高效计算资源的转变,这可能催化AI专注加密货币的增长。根据卡帕西的更新,fp8理论上提供比bf16高2倍的FLOPS,尽管实际收益因规模转换开销和GPT-2规模模型中的较小GEMM而减弱。尽管这些挑战,他通过调整训练horizon和缩放配方实现了净5%的加速。这是他的nanochat项目的一部分,他将GPT-2训练成本从OpenAI 2019年的43K美元降至约73美元,仅需3.04小时——惊人的600倍减少,相当于每年2.5倍的成本下降。对于交易者,这预示着AI代币的看涨情绪;例如,Fetch.ai (FET)在类似AI效率新闻周期中交易量增加,如果更广泛采用,其潜在阻力位在1.50美元左右。机构资金流入AI加密货币可能加速,因为更低的进入门槛吸引更多开发者到区块链AI平台。

跨市场相关性:NVIDIA股票和加密GPU需求

从股票市场角度来看,卡帕西对NVIDIA H100 GPU的依赖直接与加密交易策略相关,尤其是在去中心化网络中AI计算需求上升。NVIDIA股票(NVDA)历史上与加密牛市相关联,特别是在AI炒作阶段,交易量与比特币(BTC)和以太坊(ETH)运动同步。最近市场会议显示,NVDA股价在120美元有支撑,如果此类AI训练效率获得 traction,可能上涨至150美元。交易者应监控Render (RNDR)的链上指标,这是一个促进GPU渲染的代币,当GPU成本下降时,可能看到20-30%的激增基于过去模式。卡帕西指出,Flash Attention 3、Muon优化器和门控残差等优化贡献了这些收益,建议对更大模型如Llama3-8B的可扩展改进,其中torchao报告了25%的加速。这可能间接提升ETH,因为更高效的AI训练可能增加对基于Ethereum的AI dApp的需求,ETH/USDT交易对在此类公告前后显示出更高的波动性。

更广泛的市场情绪转为乐观,AI成本降低可能推动机构投资进入加密AI领域。卡帕西的“time to GPT-2”排行榜邀请社区贡献,这可能激发Ocean Protocol (OCEAN)等代币的创新,专注于AI数据共享。没有实时数据,我们可以从历史趋势推断,此类事件通常导致AI加密货币短期泵升,24小时交易量增加15-25%。对于风险管理,交易者应注意BTC在60,000美元左右的支撑位,因为任何AI驱动的反弹可能与整体加密市值扩张相关。总之,这一发展不仅改写了AI可及性,还为AI代币和相关股票的战略交易打开了大门,强调了技术进步与金融市场之间的互动。

AI驱动市场中的交易机会和风险

展望未来,对加密货币交易的影响是深刻的。卡帕西的工作可能降低AI初创企业的进入门槛,从而增加TAO (Bittensor)等代币的链上活动,该代币奖励去中心化机器学习。过去数据显示,AI突破通常导致相关altcoin每周收益10-15%,公告期间交易量激增。对于股票-加密相关性,NVDA的表现可能间接影响BTC挖矿效率,因为更廉价的AI训练可能重新利用GPU资源。投资者应考虑如果情绪持续,在FET/ETH对中做多,目标阻力在0.0005 ETH。然而,风险包括fp8的有限支持和训练质量权衡,卡帕西承认这可能无法完美扩展。总体而言,这将AI定位为2026年加密反弹的关键驱动力,对市场指标的仔细分析对于利用这些趋势至关重要。

Andrej Karpathy

@karpathy

Former Tesla AI Director and OpenAI founding member, Stanford PhD graduate now leading innovation at Eureka Labs.