ЦП NVIDIA Vera устанавливает новые стандарты для рабочих нагрузок AI-агентов

ЦП NVIDIA Vera стал революционным решением для AI-инфраструктуры, объединяя высокую пропускную способность с исключительной энергоэффективностью. Разработанная для агентских AI-рабочих нагрузок, Vera позволяет компаниям максимизировать производительность при минимизации потребления энергии, что является критическим фактором для AI-фабрик с ограниченной мощностью.

Показатели производительности и эффективности

В сравнении дата-центров с 100 мегаваттами, NVIDIA сообщила, что Vera обеспечивает 1.6 раз больше агентов на ватт, чем самый быстрый ЦП x86, и достигает вдвое большей скорости агентов, чем самый энергоэффективный ЦП x86. Эти результаты подчеркивают способность Vera поддерживать большее количество одновременно работающих AI-агентов без ущерба для скорости или эффективности.

Ранние адоптеры подтвердили эти утверждения в тестах в условиях производства. Например, Daytona смогла достичь 1,000 песочниц агентов онлайн всего за 10.8 секунд, используя Vera, по сравнению с 88.4 секундами на ЦП x86. Кроме того, Daytona зафиксировала 12.7 завершенных заданий в секунду на 2,000 одновременных песочницах с Vera, превзойдя альтернативы x86. DeepInfra сообщила о максимальных скоростях оркестрации агентов до 2.2 раз быстрее по сравнению с ведущими процессорами x86, в то время как ClickHouse наблюдала почти линейное масштабирование по всем 176 ядрам Vera, став лидером в таблице оборудования ClickBench.

Технические характеристики

Vera имеет настраиваемые ядра Olympus на 88, поддерживающие 176 потоков через NVIDIA Spatial Multithreading. Она включает в себя 2 МБ кеша L2 на ядро, 164 МБ объединенного кеша L3, до 1.5 ТБ памяти LPDDR5X и пропускную способность памяти до 1.2 ТБ/с. ЦП работает в диапазоне настраиваемой тепловой мощности от 250 до 450 ватт, что подчеркивает устойчивую работу на ядро под нагрузками полного сокета.

Вторая генерация системы когерентности NVIDIA и подсистема LPDDR5X обеспечивают более 90% пикового использования пропускной способности памяти, при этом память потребляет менее 30 ватт — значительно ниже, чем в конфигурациях DDR5.

Прием и влияние в реальном мире

Несколько организаций уже интегрировали Vera в свою работу. Perplexity достигла 1.5 раз более высокой скорости выполнения кодирования агентов по сравнению с традиционными ЦП и планирует внедрить Vera в предстоящую производственную систему. Modal сообщила о до 2 раз большей пропускной способности песочницы на ядро по сравнению с сопоставимым аппаратным обеспечением x86, при этом приросты производительности увеличиваются под тяжелыми нагрузками. DuckLabs наблюдала производительность медианы TPC-H SF1000 в 1.5 раз выше, чем базовый уровень Intel Xeon 6.

Для операторов инфраструктуры эффективность Vera переводится в снижение требований к железу. Daytona оценивает, что поддержание 1,000 заданий в секунду потребует примерно 15% меньшего числа машин Vera, чем машины EPYC 9755, и 38% меньше машин EPYC 9575F для той же нагрузки.

Стратегические последствия

По мере дальнейшего роста AI-фабрик потребность в ЦП, способных сбалансировать скорость, емкость и энергоэффективность, будет расти. ЦП NVIDIA Vera позиционирует себя как универсальное решение для этих развивающихся потребностей, предлагая единую платформу для различных рабочих нагрузок агентов без необходимости в смешанных конфигурациях x86.