NVIDIA Jetson AGX Thor 提升边缘 AI 模型，性能提升 7 倍
realtime news Oct 16, 2025 01:50
NVIDIA 的 Jetson AGX Thor 实现了生成式 AI 的 7 倍性能提升，通过持续的软件进步和对先进 AI 模型的支持优化边缘计算。
NVIDIA 公布了其 Jetson AGX Thor 平台的重要进展，自 2025 年 8 月推出以来，生成式 AI 的性能显著提升 7 倍。根据NVIDIA 的博客，这一增强表明 NVIDIA 致力于在其软件生态系统中进行持续优化。
通过软件更新提升性能
最初推出时性能比以前的型号提高了 5 倍，Jetson AGX Thor 通过定期的软件更新进一步扩大其能力。这些更新使开发人员能够在 Llama 和 DeepSeek 等 AI 模型上利用显著的改进。NVIDIA 的方法包括在领先模型发布后不久即提供支持，让开发人员可以快速试验最新的 AI 技术。
先进的 AI 技术和支持
Jetson Thor 平台支持包括 NVIDIA 的 Blackwell GPU 架构中的新 NVFP4 在内的主要量化格式。这有助于优化推理，这是边缘计算的重要组成部分。新的技术，如推测解码，现在得到支持，大大加速了边缘的生成式 AI 工作负载。特别是推测解码，在 Llama 3.3 70B 模型的基准测试中，证明每秒输出标记量提高了 7 倍。
持续优化与基准测试
最近的更新，如 vLLM 容器发布，进一步提高了 Jetson Thor 的性能。例如，与其初次发布的性能相比，该平台现在在相同的模型和量化下提供高达 3.5 倍的性能提升。基准测试显示，诸如 Llama 3.3 70B 和 DeepSeek R1 70B 等模型的每秒输出标记量增加。
第零天支持与未来前景
开发人员可以利用 Jetson Thor 上新模型的第零天支持，典型案例是 llamacpp/ollama 上 gpt-oss 的早期支持。这确保了开发人员可以毫不延迟地在边缘运行最新的生成式 AI 模型。NVIDIA 还提供众多 NVIDIA Nemotron 模型的第一周支持，进一步提高了平台的多功能性。
优化 AI 性能
为了充分利用 Jetson Thor 的潜力，NVIDIA 建议采用量化和推测解码等技术。量化通过降低模型数据的数值精度，实现较小的内存占用和更快的内存访问，这对边缘应用至关重要。推测解码通过使用草稿验证的方法提高性能，大大减少了延迟。
结合 NVIDIA 的 vLLM 和 EAGLE-3 支持，开发人员可以在 Jetson Thor 平台上实现大语言模型的实质性性能提升。这对于希望在边缘部署高级 AI 应用程序的人来说是一个吸引人的选择。
Image source: Shutterstock.jpg)