Полный код-дизайн NVIDIA решает растущие проблемы памяти ИИ

NVIDIA решает растущие требования к памяти моделей и приложений ИИ с помощью своего подхода к полному код-дизайну, который интегрирует GPUs, CPUs, сети, хранение и программное обеспечение для максимальной эффективности памяти. Эта стратегия критически важна, поскольку более крупные модели, более длинные контексты и агентные приложения усиливают давление на память GPU, усугубляемое дефицитом поставок и растущими затратами.

Проблемы памяти ИИ и иерархия

Фабрики ИИ полагаются на иерархию памяти и хранилища, при этом высокая пропускная способность памяти GPU (HBM) является самым быстрым и дорогим уровнем. HBM в основном хранит параметры модели и кеш ключ-значение (KV), оба из которых растут из-за увеличения размера моделей ИИ и контекста, необходимого для агентного вывода. NVIDIA подчеркивает, что просто добавление емкости HBM недостаточно, поскольку пропускная способность памяти становится узким местом, ограничивающим эффективное использование дополнительной емкости.

Решения полного код-дизайна

Подход NVIDIA сосредоточен на оптимизации использования памяти за всю иерархию с несколькими ключевыми инновациями:

• Квантование NVFP4: Уменьшает пространство, необходимое для весов модели по сравнению с FP8, позволяя более эффективное выполнение выводов. Такие модели, как FLUX.2, Inkling и NVIDIA Nemotron 3.5 Super VL, приняли этот формат точности в 4 бит.
• Распределенные веса модели: В системе NVL72 веса модели распределяются по максимуму на 72 GPUs, освобождая HBM для кеша KV и параллельных пользователей.
• Оптимизация кеша KV: NVFP4 уменьшает размер кеша KV, в то время как CPUs NVIDIA Vera и программное обеспечение для вывода Dynamo выгружают неактивный контекст на более дешевый уровень хранилища, такой как NVIDIA CMX, который предоставляет совместимую емкость без затрат на долгосрочную защиту данных.
• Эффективные RAG-встраивания: Модели NVIDIA Nemotron Retriever создают меньшие, более точные встраивания, а библиотека NVIDIA cuVS позволяет внешнюю индексацию, минимизируя использование HBM.

Увеличение производительности

NVIDIA сообщает о значительных улучшениях производительности с последними платформами. Например, система GB300 NVL72 предлагает до 10x более высокий объем пропускной способности на доллар по сравнению с платформой H200, в то время как система Vera Rubin NVL72 достигает до 30x более высокой пропускной способности на доллар по конкретным рабочим нагрузкам, таким как SemiAnalysis AgentX DeepSeek V4 Pro. Эти достижения подчеркивают эффективность стратегий оптимизации памяти NVIDIA в поддержке большей параллельной пропускной способности и сокращении затрат на повторные вычисления.

Стратегические последствия

Полный код-дизайн NVIDIA не только решает текущие проблемы памяти, но и позиционирует компанию для удовлетворения растущих требований приложений ИИ. Оптимизируя использование памяти на каждом уровне, NVIDIA позволяет более эффективные и экономически выгодные операции ИИ, даже когда предложение памяти сокращается, а цены растут.