NVIDIAのフルスタックコード設計がAIの増大するメモリ課題に取り組む

NVIDIAは、GPU、CPU、ネットワーク、ストレージ、ソフトウェアを統合してメモリ効率を最大化するフルスタックコード設計アプローチを通じて、AIモデルとアプリケーションの増大するメモリ要求に取り組んでいます。この戦略は、より大きなモデル、長いコンテキスト、エージェントアプリケーションによってGPUメモリの圧力が高まり、供給が厳しくコストが上昇しているため、重要です。

AIメモリの課題と階層

AIファクトリーは、GPUの高帯域幅メモリ（HBM）を最速かつ最も高価なレイヤーとして持つメモリとストレージの階層に依存しています。HBMは、モデルパラメータとキー-バリュー（KV）キャッシュを主に格納しており、どちらもAIモデルの増大とエージェント推論に必要なコンテキストの増加により成長しています。NVIDIAは、HBM容量を単に追加するだけでは不十分であると強調しており、メモリ帯域幅がボトルネックになり、追加容量の有効な利用が制限されるとしています。

フルスタックコード設計ソリューション

NVIDIAのアプローチは、いくつかの重要な革新を通じて階層全体でメモリ使用を最適化することに焦点を当てています:

• NVFP4量子化: モデルの重みがFP8に比べて必要なスペースを削減し、より効率的な推論を可能にします。FLUX.2、Inkling、NVIDIA Nemotron 3.5 Super VLのようなモデルは、この4ビット精度フォーマットを採用しています。
• 分散モデル重み: NVL72システム内では、モデルの重みが最大72のGPUに分散され、KVキャッシュや同時使用者のためにHBMを解放します。
• KVキャッシュ最適化: NVFP4はKVキャッシュのサイズを削減し、NVIDIA Vera CPUsとDynamo推論ソフトウェアは、非アクティブなコンテキストをNVIDIA CMXのような低コストのストレージ層にオフロードし、長期データ保護のオーバーヘッドなしに共有キャパシティを提供します。
• 効率的なRAG埋め込み: NVIDIA Nemotron Retrieverモデルは、より小さく、より正確な埋め込みを生成し、NVIDIA cuVSライブラリは外部インデックス作成を可能にし、HBMの使用を最小限に抑えます。

パフォーマンスの向上

NVIDIAは、最新のプラットフォームで顕著なパフォーマンスの向上を報告しています。例えば、GB300 NVL72システムは、H200プラットフォームと比較して、ドルあたり最大10xの高スループットを提供し、Vera Rubin NVL72システムは、SemiAnalysis AgentX DeepSeek V4 Proのような特定の作業負荷でドルあたり最大30xの高スループットを達成します。これらの成果は、NVIDIAのメモリ最適化戦略が、より大規模な同時提供能力を支え、コストのかかる再計算を減少させる効果があることを示しています。

戦略的意味合い

NVIDIAのフルスタックコード設計は、現在のメモリ課題に対処するだけでなく、AIアプリケーションの増大する要求に応えるために企業を位置付けています。すべての層でメモリ使用を最適化することにより、NVIDIAはメモリ供給が逼迫し、価格が上昇する中でも、より効率的でコスト効果の高いAI運用を可能にします。