NVIDIA推出NIM Operator 3.0.0，提升AI扩展能力
realtime news Sep 10, 2025 17:50
NVIDIA的NIM Operator 3.0.0引入了先进功能以支持可扩展的AI推理，通过多LLM和多节点功能以及高效的GPU利用率，提升了Kubernetes部署。
NVIDIA发布了其NIM Operator的最新版本3.0.0，旨在加强AI推理部署的可扩展性和效率。根据最近的NVIDIA博客文章，此次发布引入了一系列增强功能，专为优化Kubernetes环境中的AI推理管道的部署和管理而设计。
先进的部署能力
NIM Operator 3.0.0简化了NVIDIA NIM微服务的部署，这些服务支持最新的大型语言模型（LLM）和多模态AI模型，应用包括推理、检索、视觉和语音领域。此次更新支持多LLM兼容性，允许部署来自不同来源的自定义权重模型，以及多节点功能，以解决跨多个GPU和节点部署大型LLM的挑战。
与Red Hat的合作
此次发布的重要组成部分是NVIDIA与Red Hat的合作，该合作增强了在KServe上的NIM Operator部署。此集成利用了KServe生命周期管理，简化了可扩展的NIM部署，并提供了模型缓存和NeMo Guardrails等功能，这些功能对于构建可信的AI系统至关重要。
高效的GPU利用率
此次发布还引入了Kubernetes的动态资源分配（DRA）至NIM Operator。DRA通过允许用户定义GPU设备类别并根据具体工作负载需求请求资源来简化GPU管理。此功能目前处于技术预览阶段，但承诺实现全面的GPU和MIG使用，以及通过时间切片进行的GPU共享。
与KServe的无缝集成
NVIDIA的NIM Operator 3.0.0支持在KServe上进行原始和无服务器部署，通过智能缓存和NeMo微服务支持提升推理服务管理。此集成旨在减少推理时间和自动扩展延迟，从而促进更快、更高响应的AI部署。
总体而言，NIM Operator 3.0.0是NVIDIA推动AI工作流简化的重要一步。通过自动化部署、扩展和生命周期管理，该操作员使企业团队能够更轻松地采用和扩展AI应用程序，符合NVIDIA更广泛的AI企业计划。
Image source: Shutterstock.jpg)