新闻
NVIDIA Vera CPU 为 AI 代理工作负载设定新标准
NVIDIA 的 Vera CPU 提供行业领先的 AI 代理性能,能够每瓦特支持 1.6x 个代理,并比顶级 x86 CPU 快 2x。
NVIDIA 的 Vera CPU 已成为 AI 基础设施的突破性解决方案,结合了高吞吐量和卓越的能效。Vera 旨在用于代理型 AI 工作负载,使企业能够在尽量减少功耗的同时最大化性能,这对于受电力限制的 AI 工厂至关重要。
性能与效率基准
在一项 100 兆瓦数据中心的比较中,NVIDIA 报告称,Vera 每瓦特支持的代理数量比最快的 x86 CPU 多 1.6 倍,并且达到最新能效的 x86 CPU 的两倍代理速度。这些结果凸显了 Vera 支持更多并发 AI 代理而不妥协速度或效率的能力。
早期采用者在生产测试中验证了这些说法。例如,Daytona 使用 Vera 在线实现了 1,000 个代理沙盒,仅用 10.8 秒,相比之下 x86 CPU 需要 88.4 秒。此外,Daytona 记录了 12.7 个每秒完成的工作,使用 Vera 时的并发沙盒数量为 2,000,超越了 x86 替代产品。DeepInfra 报告称,与领先的 x86 处理器相比,代理编排速度快了 2.2 倍,而 ClickHouse 观察到 Vera 的 176 个核心实现了接近线性的扩展,在 ClickBench 硬件排行榜中名列第一。
技术规格
Vera 采用 88 自定义 Olympus 核心,通过 NVIDIA 空间多线程技术支持 176 个线程。每个核心配置 2 MB 的 L2 缓存,164 MB 的统一 L3 缓存,最大支持 1.5 TB 的 LPDDR5X 内存,并提供高达 1.2 TB/s 的内存带宽。该 CPU 在 250–450 瓦特的可配置热设计功率范围内运行,强调在全插槽负载下的持续每核心执行。
NVIDIA 的第二代一致性架构和 LPDDR5X 子系统支持超过 90% 的峰值内存带宽利用率,内存功耗低于 30 瓦特,显著低于 DDR5 配置。
采用与现实影响
多个组织已经将 Vera 集成到他们的运营中。Perplexity 实现了比传统 CPU 快 1.5 倍的代理编码任务,并计划在即将到来的生产系统中部署 Vera。Modal 报告称,Vera 的每个核心的沙盒吞吐量比可比的 x86 硬件高 2 倍,性能提升在重负载下更为明显。DuckLabs 观察到 Vera 的中位数 TPC-H SF1000 性能是 Intel Xeon 6 基准的 1.5 倍。
对于基础设施运营商而言,Vera 的高效性转化为降低的硬件需求。Daytona 估计,维持 1,000 个每秒的作业大约需要比 EPYC 9755 机器少 15% 台 Vera 机器,比 EPYC 9575F 机器少 38% 台,以完成相同的工作负载。
战略意义
随着 AI 工厂的不断扩展,对能够平衡速度、容量和能效的 CPU 的需求将不断增长。NVIDIA 的 Vera CPU 作为满足这些不断变化的需求的多功能解决方案,提供了一个统一的平台来支持多种代理工作负载,而不需要混合 x86 配置。