NVIDIA의 풀스택 코드 설계가 AI의 증가하는 메모리 문제를 해결하다

NVIDIA는 GPU, CPU, 네트워킹, 저장소 및 소프트웨어를 통합하여 메모리 효율성을 극대화하는 풀스택 코드 설계 접근 방식을 통해 AI 모델과 애플리케이션의 증가하는 메모리 요구 사항에 대응하고 있습니다. 이 전략은 더 큰 모델, 긴 컨텍스트 및 에이전트 애플리케이션의 GPU 메모리 압력이 증가하고 공급이 부족하며 비용이 상승함에 따라 중요합니다.

AI 메모리 과제 및 계층 구조

AI 공장은 메모리 및 저장소 계층에 의존하며, GPU 고대역폭 메모리(HBM)가 가장 빠르고 가장 비싼 계층입니다. HBM은 모델 매개변수와 키-값(KV) 캐시를 주로 저장하며, 두 가지 모두 AI 모델의 증가와 에이전트 추론에 필요한 컨텍스트의 증가로 인해 증가하고 있습니다. NVIDIA는 HBM 용량을 단순히 추가하는 것만으로는 부족하다고 강조하며, 메모리 대역폭이 병목 현상이 되어 추가 용량의 효과적인 사용을 제한한다고 말합니다.

풀스택 코드 설계 솔루션

NVIDIA의 접근 방식은 다음과 같은 몇 가지 주요 혁신을 통해 계층 전반에 걸쳐 메모리 사용을 최적화하는 데 중점을 두고 있습니다:

• NVFP4 양자화: 모델 가중치에 필요한 공간을 FP8에 비해 줄여 더 효율적인 추론을 가능하게 합니다. FLUX.2, Inkling 및 NVIDIA Nemotron 3.5 Super VL과 같은 모델은 이 4 비트 정밀도 형식을 채택하고 있습니다.
• 분산 모델 가중치: NVL72 시스템 내에서 모델 가중치는 최대 72 GPU에 분산되어 KV 캐시 및 동시 사용자와 함께 HBM을 해방합니다.
• KV 캐시 최적화: NVFP4는 KV 캐시 크기를 줄이고, NVIDIA Vera CPU와 Dynamo 추론 소프트웨어는 비활성 컨텍스트를 NVIDIA CMX와 같은 저비용 저장소 계층으로 오프로드하여 장기 데이터 보호의 오버헤드 없이 공유 용량을 제공합니다.
• 효율적인 RAG 임베딩: NVIDIA Nemotron Retriever 모델은 더 작고 더 정확한 임베딩을 생성하며, NVIDIA cuVS 라이브러리는 외부 인덱싱을 가능하게 하여 HBM 사용을 최소한으로 유지합니다.

성능 향상

NVIDIA는 최신 플랫폼에서 상당한 성능 향상을 보고하고 있습니다. 예를 들어, GB300 NVL72 시스템은 H200 플랫폼에 비해 달러당 최대 10x 더 높은 처리량을 제공하며, Vera Rubin NVL72 시스템은 SemiAnalysis AgentX DeepSeek V4 Pro와 같은 특정 작업 부하에서 달러당 최대 30x 더 높은 처리량을 달성합니다. 이러한 성과는 NVIDIA의 메모리 최적화 전략이 더 많은 동시 제공 능력을 지원하고 비싼 재계산을 줄이는 데 효과적임을 강조합니다.

전략적 의미

NVIDIA의 풀스택 코드 설계는 현재의 메모리 과제를 해결할 뿐만 아니라 AI 애플리케이션의 증가하는 수요를 충족하기 위한 회사의 입지를 다지게 합니다. 모든 층에서 메모리 사용을 최적화함으로써 NVIDIA는 메모리 공급이 부족하고 가격이 상승하는 상황에서도 더욱 효율적이고 비용 효과적인 AI 운영을 가능하게 합니다.