NVIDIA的推理软件将AI代币成本降低5倍
realtime news Jun 30, 2026 15:45
NVIDIA的Blackwell GPU软件栈将代币成本降低了5倍，为像Baseten和Deep Infra这样的主要玩家推动AI推理效率。
NVIDIA全面的推理软件栈正在改变AI生产经济学，在其Blackwell GPU平台上仅用一个月就将代币成本降低了多达5倍。这一突破发生在企业将重点从顶级硬件规格转向每美元、每瓦特和每延迟目标提供最多有用代币的背景下。
这一性能飞跃的核心是NVIDIA的全栈方法，整合了其TensorRT-LLM库、Dynamo推理框架和CUDA优化的运行时。例如，主要推理提供商Baseten利用NVIDIA的工具在长上下文工作负载中将代币吞吐量提高了50%。与此同时，Deep Infra和Together AI通过NVIDIA支持的开源生态系统实现了类似的收益，在大规模部署复杂的大型语言模型。
Blackwell GPU，包括支持NVLink的系统，正在成为AI推理的骨干。通过组合分布式服务、大型专家并行和NVFP4等精度增强，NVIDIA的软件栈在单个优化叠加时提供了多达20倍的吞吐量改进。这种分层系统确保了效率提升覆盖了生产操作、应用加速和硬件访问。
Agentic AI对新推理解决方案的需求
与传统的网页和SaaS工作负载不同，Agentic AI涉及跨多个大型语言模型、工具和记忆系统的分布式有状态工作流。每个请求可能触发数百个子代理和数千个任务，使推理本质上变得复杂。NVIDIA的Triton推理服务器是其栈的一部分，通过优化从Kubernetes集群到云原生设置的部署来解决这一问题。
对于开发人员来说，开源生态系统放大了这些好处。像PyTorch这样的框架本地优化了CUDA，使诸如推测解码或多代币预测等创新能够即时部署。这意味着更快地采用突破性技术以及更低的生产AI系统代币成本。
战略意义和市场影响
NVIDIA在AI推理方面的主导地位与更广泛的市场趋势一致。截至2026年第一季度，NVIDIA在价值154亿美元的数据中心以太网交换市场中处于领先地位。其集成的栈在企业从训练AI模型过渡到大规模部署推理系统时赋予其竞争优势。AI工厂现在优先考虑成本和效率，而NVIDIA通过从硅到软件的垂直优化能力使其处于领先地位。
交易者应注意，NVIDIA对推理经济学的关注可能对其4.84万亿美元的市值（截至2026年6月30日）产生长期影响。随着代币效率成为AI采用的关键指标，NVIDIA在降低成本方面的作用可能会巩固其在企业AI基础设施中的主导地位。
展望未来，NVIDIA的路线图包括对Blackwell和下一代GPU平台的进一步优化。在大规模部署AI的开发者和企业可能会继续依赖NVIDIA的软件，这将确保其硬件和生态系统解决方案的稳定需求。
Image source: Shutterstock.jpg)
