NVIDIA Blackwell GB300 在 AgentPerf 基准测试中表现出色
realtime news Jun 12, 2026 22:07
NVIDIA GB300 NVL72 在 AgentPerf 基准测试中领先，每兆瓦运行的 AI 代理数量比 Hopper 高 20 倍。这对 AI 基础设施的重要性在于。
NVIDIA 的 Blackwell GB300 NVL72 平台在首届 AgentPerf 基准测试中脱颖而出。该测试由 Artificial Analysis 设计，用于评估面向代理型AI工作负载的基础设施。根据 2026 年 6 月 12 日发布的结果，GB300 NVL72 每兆瓦运行的代理数量比 NVIDIA 的 Hopper 架构高出多达 20 倍。这种效率的飞跃凸显了 Blackwell 为企业扩展代理型系统重新定义 AI 基础设施的潜力。
代理型 AI 与传统对话式 AI 本质上有很大不同。代理型工作负载不再是单次交互，而是涉及复杂、多步骤的任务，其中代理会将数十甚至数百次的大型语言模型（LLM）调用串联起来，在每一步集成数据库搜索、代码执行或网页浏览等工具。这种复杂性使得传统 AI 基准测试不够充分，因为它们关注的是单一的 LLM 性能，而不是持续、工具增强的工作流在真实世界中的需求。
为什么 NVIDIA Blackwell 表现卓越
Blackwell 表现卓越的关键在于其全栈优化。GB300 NVL72 在单个机架级系统中集成了 72 个 GPU，从而能够高效分布像 DeepSeek V4 Pro 这样的混合专家模型（MoE），这种模型驱动了许多领先的代理型应用程序。NVIDIA 的 CUDA 内核和 TensorRT LLM 软件进一步通过重叠计算和通信任务来提升性能，最大限度地减少延迟，并在并发代理会话数量增加时提高可扩展性。
AgentPerf 的方法论强调了这种可扩展性。该基准测试模拟了真实世界的代理型编码任务，测量一个系统在维持响应性和输出速度严格性能阈值的情况下，可以同时支持的任务数量。Blackwell 在满足这些门槛的同时维持高并发水平的能力，突显了其在提供成本高效、高性能 AI 基础设施方面的优势。
对 AI 基础设施的意义
这一基准测试结果对大规模部署 AI 的企业来说具有重要意义。随着推理工作负载的增加，运行代理型任务的成本和能源效率（以每兆瓦的代理数量衡量）变得至关重要。对于投资 AI 基础设施的公司而言，NVIDIA Blackwell 的性能直接转化为更低的运营成本和每花费一美元更高的生产力。
更广泛的市场背景进一步突显了这一点。随着推理已经占据 AI 基础设施支出的越来越大份额，像 AgentPerf 这样的工具将行业焦点从单纯的模型质量转向基础设施能力。这一转变反映了企业在扩展代理型系统时面临的挑战，其中编排、内存管理和部署拓扑往往决定了成败。
采用与生态系统集成
NVIDIA Blackwell 的早期采用者包括 Together AI 和 DeepInfra 等公司，它们正在利用其性能来支持真实世界的代理型应用程序。例如，Together AI 使用 Blackwell 来支持 Cursor，这是一种编程平台，代理能够实时调试、重构和生成代码。同样，DeepInfra 支持 Pam.ai，这是一种为汽车经销商提供服务的 AI 劳动力平台，使用代理处理诸如日程安排和销售外联等任务。
随着 NVIDIA 继续改进其软件栈并推出诸如 Vera Rubin 之类的新架构，该公司旨在进一步提升代理型工作负载的性能。鉴于基准测试结果，Blackwell 似乎准备好为下一代 AI 基础设施设定标准。
AgentPerf 基准测试是一个转折点，强调了在 AI 部署中工作负载特定评估的重要性。对于企业来说，在代理型 AI 时代，能够以更少的能耗运行更多的代理可能是可扩展成功与运营瓶颈之间的关键区别。
Image source: Shutterstock.jpg)
