NVIDIA 协同设计提升 AI 工厂的内存效率和吞吐量

NVIDIA 揭示了一种协同设计策略，旨在最大化 AI 工厂中高带宽内存（HBM）的效率。通过优化内存的利用方式，公司实现了显著的吞吐量增益，NVIDIA Vera Rubin NVL72 的每兆瓦吞吐量高达 30x，相较于 GB300 NVL72，尽管这两款 GPU 的 HBM 容量均为 288 GB。此改善突显了最大化每个内存字节所执行的有效工作的必要性，而不仅仅是增加容量。

NVFP4：在不妥协准确性的情况下压缩数据

推动这些增益的关键创新之一是 NVFP4，这是一种 4 位精度格式，结合了块级和张量级扩展，以更少的字节存储更多信息。与 FP16 和 1.8x 相比，NVFP4 将模型占用空间减少了约 3.5x，这腾出了内存用于关键任务，如增加 KV 缓存容量和支持更大的批量。AA-AgentPerf 和 MLPerf Endpoints 等基准测试验证了 NVFP4 能够在保持严格准确性要求的同时，提供高达 4x 的吞吐量，相较于 FP8。此外，NVFP4 将 KV 缓存占用空间减少了高达 50%，从而实现更高的缓存命中率和更低的带宽消耗。

NVLink：创建统一的内存池

NVIDIA 协同设计方法的另一个关键组成部分是 NVLink 的扩展域，能够有效地在多个 GPU 之间共享内存。例如，在宽专家并行（Wide-EP）配置中，NVLink 使 GPU 能够共享内存资源，降低与混合专家（MoE）模型相关的负载成本。在 GB200 NVL72 上，NVLink 提供 130 TB/s 的总带宽，允许 EP32 配置每个 GPU 每秒交付高达 1.8x 个输出令牌，相较于 EP8 配置。Vera Rubin NVL72 进一步扩展了这一能力，提供 3.0 TB/s 的 NVLink 6 带宽和内存张量加速器（TMA）描述符的内联更新，进一步优化了跨机架的内存利用率。

NVIDIA Dynamo：优化 KV 缓存利用率

为了确保缓存的数据得以有效重用，NVIDIA 开发了 Dynamo，这是一个分布式服务层，将 KV 缓存视为整个舰队的资源。Dynamo 采用 KV 感知路由跟踪缓存块的位置，最小化重新计算的需求。这种方法对经常涉及可重用系统提示、工具模式和共享文档的代理工作负载特别有利。通过平衡缓存前缀重叠和工作负载，Dynamo 降低了与错误放置或逐出的缓存数据相关的低效。

通过这些创新，NVIDIA 的协同设计策略表明，整体的 GPU 架构、互连和软件的方法能够显著提升 AI 工厂的性能和效率，最大化每字节内存的价值。