NVIDIA 发布 Nemotron 3 Ultra 的 NVFP4 检查点
realtime news Jun 26, 2026 20:49
NVIDIA 推出 Nemotron 3 Ultra 的 NVFP4 检查点，在几乎不影响精度的情况下实现 5.9 倍推理吞吐量。以下是您需要了解的内容。
NVIDIA 推出了 Nemotron 3 Ultra 的 NVFP4 检查点，这是 AI 模型优化领域的一项重大进展。通过利用 NVFP4 量化格式（Blackwell GPU 架构的一部分），公司报告称，与传统 FP4 模型相比，在解码密集型任务中推理吞吐量提高了高达 5.9 倍，同时在几乎所有基准测试中保持了 BF16 水平的精度。
量化（即将模型权重压缩为更小的数据格式的过程）是这一突破的核心。NVIDIA 的 Model Optimizer 工具在将拥有 5500 亿参数的 Nemotron 3 Ultra 模型转化为 NVFP4 格式时发挥了关键作用，将其存储占用从 1121 GB 减少到 352.3 GB，缩小了 3.2 倍。这种优化不仅降低了硬件需求，还扩大了在 NVIDIA Hopper 和 Blackwell GPU 架构上的部署灵活性。例如，在 Hopper 上，模型动态切换到 W4A16（4 位权重，16 位激活），而在 Blackwell GPU 上，使用原生的 W4A4 以实现最高效率。
NVFP4 检查点的独特之处在于其精度管理。与常见假设相反，并非所有层都存储为 NVFP4 格式。诸如注意力线性层等敏感层仍然保留为 BF16 格式以保证精度。同时，其他组件（如专家混合（MoE）路由专家）根据其精度需求量化为 NVFP4 或 FP8。这种选择性量化策略确保了模型在保持高性能的同时最大限度减少资源需求。
技术创新与行业背景
NVFP4 量化格式引入了独特的缩放策略来优化权重表示。NVIDIA 测试了多种方法，包括最大缩放、均方误差（MSE）缩放和一种新的“四比六”缩放方法。后者在减少权重的重建误差方面发挥了重要作用，大幅提高了下游任务的精度，而无需增加模型的存储大小。例如，“四比六”方法在 Nemotron 3 Ultra 的 48 个 MoE 专家层中，将中值重建 MSE 减少了 16.4%。
NVIDIA 的这些进展与其在 AI 硬件和软件生态系统中占据主导地位的总体战略相一致。Nemotron 3 Ultra 的 NVFP4 检查点受益于与 NVIDIA Model Optimizer 的集成，这是一种旨在压缩和加速 AI 模型的开源库。随着企业采用更大的模型来处理代理 AI、多模态任务和机器人，Model Optimizer 工具已变得至关重要。最近的产品发布，如 Nemotron 3 Super 和 Vera Rubin GPU 平台，突显了 NVIDIA 致力于实现高效、可扩展 AI 部署的承诺。
为什么这很重要
对于企业而言，能够在不牺牲精度的情况下压缩像 Nemotron 3 Ultra 这样的模型意味着更低的推理成本、更高的吞吐量以及更低的能耗。随着 AI 用例扩展到资源密集型领域（如自然语言处理、代理 AI 和机器人），这些优化显得尤为重要。NVFP4 检查点使 NVIDIA 能够直接应对这些需求，提供在性能和效率之间实现平衡的解决方案。
截至 2026 年 6 月 26 日，NVIDIA 的市值超过 4.7 万亿美元，这表明其在 AI 创新领域的领导地位。Nemotron 3 Ultra 的 NVFP4 检查点可能会加速 NVIDIA Blackwell 和 Hopper 架构的广泛采用，进一步巩固该公司在 AI 硬件和软件市场中的主导地位。
开发者和企业可以通过即将于 7 月发布的 Model Optimizer 0.46 开始试验 NVFP4 格式。相关技术报告和 GitHub 上的开源示例提供了复制 NVIDIA 结果的详细指导。
来源：NVIDIA 开发者博客、NVIDIA Model Optimizer GitHub、2026-06-26 市场数据
Image source: Shutterstock.jpg)
