NVIDIA通过Dynamo和Kubernetes集成增强AI推理能力
realtime news Nov 10, 2025 06:58
根据NVIDIA的最新更新，NVIDIA的Dynamo平台现已与Kubernetes集成，以简化AI推理管理，为数据中心提供更高的性能和降低的成本。
NVIDIA宣布通过其Dynamo平台与Kubernetes的集成，大幅提升其AI推理能力。根据NVIDIA的说法，此次合作旨在简化单节点和多节点AI推理的管理。
通过分离式推理增强性能
NVIDIA的Dynamo平台现在支持分离式服务，这是一种通过智能分配AI推理任务给独立优化的GPU来优化性能的方法。此方法通过将输入提示的处理与输出生成分离来缓解资源瓶颈。因此，NVIDIA声称像DeepSeek-R1这样的模型能够实现更高的效率和性能。
最近的基准测试显示，NVIDIA Dynamo在GB200 NVL72系统上的分离式服务为复杂推理模型提供了最低的每百万个令牌成本。这一集成允许AI提供商减少制造成本，而无需额外的硬件投资。
在云中扩展AI推理
随着NVIDIA Dynamo现已集成到主要云提供商的托管Kubernetes服务中，企业级AI部署可以在NVIDIA Blackwell系统上高效扩展。此集成确保了大规模AI应用的性能、灵活性和可靠性。
像Amazon Web Services、Google Cloud和Oracle Cloud Infrastructure这样的云巨头正在利用NVIDIA Dynamo来增强他们的AI推理能力。例如，AWS通过与Amazon EKS集成的NVIDIA Dynamo加速生成型AI推理，而Google Cloud则提供了一种使用NVIDIA Dynamo优化大语言模型推理的方案。
通过NVIDIA Grove简化AI推理
为了进一步简化AI推理管理，NVIDIA在Dynamo平台中引入了NVIDIA Grove，一种API。Grove使用户能够提供其推理系统的高级规范，从而无缝协调预填充和解码阶段等各个组件在GPU节点上的操作。
此创新允许开发人员更高效地构建和扩展智能应用，因为Grove负责协调扩展组件的复杂工作，维护比例和依赖关系，并优化集群内的通信。
随着AI推理变得日益复杂，NVIDIA Dynamo与Kubernetes及NVIDIA Grove的集成提供了一个协调的解决方案，有效管理分布式AI工作负载。
Image source: Shutterstock.jpg)