NVIDIA发布Nemotron Nano 2 9B以增强边缘AI性能
realtime news Aug 19, 2025 17:17
NVIDIA的新款Nemotron Nano 2 9B型号为边缘AI应用提供了卓越的准确性和效率，具有混合架构和可配置的思维预算。
NVIDIA推出了Nemotron Nano 2 9B，这是一款尖端模型，旨在凭借高准确性和效率提升边缘AI性能。根据Hugging Face的说法，这个新的发布是Nemotron家族的一部分，重点在于为企业级AI应用提供卓越的推理能力。
先进的混合架构
Nemotron Nano 2 9B采用混合Transformer-Mamba架构，结合两种技术的优势来优化吞吐量并保持准确性。这个设计使得模型能够比同类型号快六倍的生成标记，使其非常适合低延迟环境。其可配置的思维预算允许开发人员根据他们的具体需求调整准确性、吞吐量和成本，从而进一步提高效率。
主要特性和应用
Nemotron Nano 2 9B具有90亿个参数，专为各种应用而设计，包括客户服务、支持聊天机器人和分析辅助。其混合架构支持高吞吐量，这对于边缘的实时应用至关重要。该模型通过Hugging Face可以访问，NVIDIA计划通过NVIDIA NIM提供高吞吐量和低延迟的部署。
通过思维预算提高效率
创新的思维预算功能允许用户限制用于推理的标记数量，可在不影响准确性的前提下，潜在减少高达60%的成本。这个功能对响应时间要求严格的应用特别有利，如客户服务聊天机器人和资源有限的边缘设备。
开发与优化
Nemotron Nano 2通过复杂的后训练过程开发，包括监督微调和强化学习，以确保在一系列任务上具有强大的性能。该模型还进行了压缩处理，以适应硬件限制，同时保持高吞吐量和准确性。
入门指南
有兴趣利用Nemotron Nano 2 9B的开发者可以在Hugging Face上探索该模型。模型的开源性质鼓励进一步开发和定制以满足特定的企业需求。NVIDIA通过发布额外的技术资源和数据集，以支持开源社区的承诺显而易见。
Image source: Shutterstock.jpg)