英伟达的全栈协同设计应对人工智能日益增长的内存挑战

英伟达正通过其全栈协同设计方法应对人工智能模型和应用日益增长的内存需求，该方法集成了GPU、CPU、网络、存储和软件，以最大化内存效率。这一策略至关重要，因为更大模型、更长上下文和自主应用加大了GPU内存压力，同时又面临严峻的供应紧张和价格上涨。

人工智能内存挑战与层级结构

人工智能工厂依赖于内存和存储层级，其中GPU高带宽内存（HBM）是最快且成本最高的层级。HBM主要存储模型参数和关键值（KV）缓存，随着人工智能模型的不断增大和自主推理所需的上下文增加，这两者都在增长。英伟达强调，仅仅增加HBM容量是不够的，因为内存带宽会成为瓶颈，限制额外容量的有效使用。

全栈协同设计解决方案

英伟达的方法集中在通过几项关键创新优化层级内的内存使用：

• NVFP4量化：与FP8相比，减少模型权重所需的空间，从而实现更高效的推理。FLUX.2、Inkling和英伟达Nemotron 3.5超级VL等模型已采用这种4位精度格式。
• 分布式模型权重：在NVL72系统内，模型权重分布在多达72个GPU之间，释放HBM用于KV缓存和并发用户。
• KV缓存优化：NVFP4减少KV缓存的大小，而英伟达Vera CPU和Dynamo推理软件将非活动上下文转移到更低成本的存储层级，比如提供共享容量而不承受长期数据保护开销的英伟达CMX。
• 高效RAG嵌入：英伟达Nemotron检索器模型生成更小且更准确的嵌入，而英伟达cuVS库则支持外部索引，保持HBM使用在最小水平。

性能提升

英伟达报告其最新平台带来了显著的性能提升。例如，GB300 NVL72系统相比于H200平台每美元提供高达10x的更高吞吐量，而Vera Rubin NVL72系统在特定工作负载（如SemiAnalysis AgentX DeepSeek V4 Pro）上每美元实现高达30x的更高吞吐量。这些提升突显了英伟达内存优化策略在支持更大并发服务能力和减少高成本重计算方面的有效性。

战略意义

英伟达的全栈协同设计不仅应对当前的内存挑战，还使公司能够满足人工智能应用日益增长的需求。通过优化每一层的内存使用，英伟达实现了更高效和更具成本效益的人工智能操作，即使在内存供应紧张和价格上涨的情况下。