根据Sawyer Merritt在X上的图帖，市场再次聚焦特斯拉的AI技术栈与数据采集能力，尤其是车端算力与集中训练的协同。据特斯拉2023–2024年AI Day资料与财报电话会披露，特斯拉加大对Dojo的投入，以支持端到端自动驾驶的视频模型训练，并依托数十亿英里真实行驶数据扩展数据规模。根据特斯拉2024年第四季度更新，企业持续扩容自动标注管线和多摄像头神经网络，用于端到端驾驶学习。同时据The Information报道，特斯拉在推进Dojo的同时也采购Nvidia H100集群以提升训练吞吐。由此带来五点商业影响：1）通过车队学习降低单位里程数据成本；2）垂直整合训练体系加速端到端模型迭代；3）在安全指标达标后具备向车企授权自动驾驶栈的潜力；4）通过FSD等软件订阅带来利润率提升；5）以大规模专有视频语料形成数据护城河。以上信息均据上述来源，Sawyer Merritt的图帖为对特斯拉现行AI战略的提示。

根据Andrej Karpathy在Twitter上的消息，采用FP8精度在H100 GPU上训练GPT-2模型，使训练时间提升了4.3%，仅需2.91小时。Karpathy指出，通过8块H100按需实例，复现GPT-2模型的总成本约为20美元，较七年前OpenAI最初训练GPT-2时的4.3万美元有极大下降。Karpathy还介绍，通过Flash Attention 3内核、Muon优化器和交替注意力模式等优化进一步提升了效率。尽管FP8在理论上有FLOPS优势，但实际应用中存在如比例换算开销和支持度不足等挑战，特别是在GPT-2规模下表现有限。然而，FP8的应用趋势为大型语言模型训练带来成本优势，torchao团队在更大规模的Llama3-8B模型上实现了25%的训练加速。Karpathy认为，持续优化FP8应用及训练策略，将进一步降低大模型开发的时间和资金门槛，为行业和科研带来更多机会。

据Andrej Karpathy在推特上透露，通过启用FP8训练，GPT-2模型的训练时间提升了4.3%，在8块H100 GPU上已缩短至2.91小时，按现行云端价格，完整复现GPT-2训练仅需约20美元。相比2019年OpenAI首次发布时的高昂成本和敏感性，GPT-2现已成为低门槛实验平台。Karpathy指出，FP8训练虽在理论上具备2倍FLOPS优势，但实际应用中支持有限且效率提升未达预期，张量级别缩放实现约7.3%加速。此外，torchao曾报告Llama3-8B模型FP8训练加速达25%。Karpathy介绍，借助Flash Attention 3和Muon优化器等创新，GPT-2训练成本七年间降至原来的1/600，为AI创业团队和研究者带来低成本、快速原型验证的新机遇。据Karpathy介绍，nanochat等开源项目正持续通过优化推动大模型训练门槛的大幅降低，助推行业创新。

据Sawyer Merritt在Twitter报道，特斯拉宣布计划在2026年上半年前，将其德克萨斯州现场算力规模提升一倍以上，以H100 GPU等效计算。公司将通过策略性扩展AI训练基础设施，提高资本效率，应对训练积压和未来算力需求。此举显示特斯拉对AI自主技术的持续投入，并将推动AI模型训练与业务扩展。