A Co-design Completa da NVIDIA Enfrenta os Crescentes Desafios de Memória da IA

A NVIDIA está abordando as crescentes demandas de memória dos modelos e aplicações de IA através de sua abordagem de co-design completa, que integra GPUs, CPUs, rede, armazenamento e software para maximizar a eficiência da memória. Essa estratégia é crítica, pois modelos maiores, contextos mais longos e aplicações agentes intensificam a pressão sobre a memória da GPU, agravada pela oferta restrita e pelos custos crescentes.

Desafios da Memória de IA e Hierarquia

As fábricas de IA dependem de uma hierarquia de memória e armazenamento, com a memória de alta largura de banda da GPU (HBM) como o nível mais rápido e mais caro. A HBM armazena principalmente parâmetros de modelo e cache de chave-valor (KV), ambos os quais estão crescendo devido ao aumento do tamanho dos modelos de IA e do contexto necessário para a inferência agente. A NVIDIA enfatiza que apenas adicionar capacidade de HBM não é suficiente, pois a largura de banda da memória se torna um gargalo, limitando o uso efetivo da capacidade adicional.

Soluções de Co-design Completo

A abordagem da NVIDIA se concentra na otimização do uso da memória em toda a hierarquia com várias inovações-chave:

• Quantização NVFP4: Reduz o espaço necessário para pesos de modelo em comparação com FP8, permitindo inferência mais eficiente. Modelos como FLUX.2, Inkling e NVIDIA Nemotron 3.5 Super VL adotaram este formato de precisão de 4 bits.
• Pesos de Modelo Distribuídos: Dentro do sistema NVL72, os pesos do modelo são distribuídos em até 72 GPUs, liberando HBM para cache KV e usuários simultâneos.
• Otimização do Cache KV: NVFP4 reduz o tamanho do cache KV, enquanto as CPUs NVIDIA Vera e o software de inferência Dynamo transferem contextos inativos para níveis de armazenamento de menor custo, como o NVIDIA CMX, que oferece capacidade compartilhada sem o sobrecusto de proteção de dados a longo prazo.
• Embeddings RAG Eficientes: Os modelos NVIDIA Nemotron Retriever produzem embeddings menores e mais precisos, e a biblioteca NVIDIA cuVS possibilita indexação externa, mantendo o uso de HBM mínimo.

Ganhos de Desempenho

A NVIDIA relata melhorias significativas de desempenho com suas últimas plataformas. Por exemplo, o sistema GB300 NVL72 oferece até 10x maior throughput por dólar em comparação com a plataforma H200, enquanto o sistema Vera Rubin NVL72 atinge até 30x maior throughput por dólar em cargas de trabalho específicas como SemiAnalysis AgentX DeepSeek V4 Pro. Esses ganhos destacam a eficácia das estratégias de otimização de memória da NVIDIA em apoiar uma maior capacidade de atendimento simultâneo e reduzir recomputações custosas.

Implicações Estratégicas

O co-design completo da NVIDIA não apenas enfrenta os desafios de memória atuais, mas também posiciona a empresa para atender à crescente demanda das aplicações de IA. Ao otimizar o uso da memória em cada camada, a NVIDIA possibilita operações de IA mais eficientes e eficazes em termos de custo, mesmo à medida que a oferta de memória se estreita e os preços sobem.