NVIDIA 详细介绍了 Dynamo 的 Kubernetes 运行时配方

NVIDIA 表示，在 Kubernetes 上部署 Dynamo 的团队需要的不仅仅是服务框架本身：GPU 驱动栈、调度、网络和可观测层也必须对齐，推理端点才是可靠的。在 2026年 10 月 30日发布的一篇技术文章中，NVIDIA 描述了其 NVIDIA 人工智能 集群运行时（AICR）如何将 Dynamo 与经过验证的基础设施配方打包，使该过程可重复。

证据与背景

该帖子将Dynamo框架定位为一个分布式推理框架，协调GPU工作者间的模型服务，但也强调其运行时同样重要。NVIDIA表示，生产推理集群必须确认GPU操作员和驱动栈与节点匹配，GPU节点被标记并可发现，Kubernetes通过动态资源分配暴露GPU，调度器可以为工作者配置合适的拓扑和群调度语义，节点健康信号在工作负载上线前即可获得，Prometheus可访问以获取指标，且在使用Kubernetes原生入口时配置网关API路径。

文章称，AICR在配方中捕捉了这些需求。配方包括固定组件版本、兼容性约束、节点选择器、容忍度、校验和和和验证预期。NVIDIA表示，Dynamo配方发布的是Dynamo平台图表的 1.4.2 版本，包括Dynamo操作符、运行时图像以及 nvidia.com/v1beta1 DynamoGraphDeployment自定义资源定义。公司表示 v1beta1 取代了之前的 v1alpha1 API版本。

帖子还提到，AICR 配方不再默认为 Dynamo 1.4安装 NATS;取而代之的是，前端、工作者和可选的网关 API 推理扩展/端点选择插件组件通过 Kubernetes 资源发现一另一个组件。NVIDIA 表示，NATS 仍作为仍需部署的选择加入选项提供。

Kubernetes 上的 Dynamo 路由路径

NVIDIA 描述了二种路由拓扑。第一种使用位于 Kubernetes 服务背后的 Dynamo 前端路由器。在这条路径中，前端对请求进行令牌化，利用前缀重叠和当前负载对符合条件的工人进行评分，选择一名工人并通过 Dynamo 的 TCP 请求平面调度请求。公司表示这是最小的拓扑结构，适用于特定型号的端点或仅将流量转发到 Dynamo 前端服务的现有边缘代理。

第二条路径将Dynamo与Gateway API及Gateway API Inference Extension集成。在该拓扑中，像agentgateway这样的网关将HTTPRoute解析为InferencePool，操作员从DynamoGraphDeployment创建该池，Dynamo EPP负责令牌感知端点选择。NVIDIA表示，网关仍为HTTP代理，而每个可路由工作单元中的Dynamo前端sidecar以直接模式运行，并将请求转发到工作容器。

帖子中提到，这两条路径都使用工人发布的KV缓存事件来进行路由决策。文章还指出，Dynamo可以根据预测的缓存状态进行路由，但预测无法看到驱逐，因此路由质量在内存压力下可能会下降。文章中的AICR配置则使用了实时事件。

部署与验证工作流程

NVIDIA 制定了一个五步的 AICR 工作流程。首先，使用 aicr snapshot 命令进行集群快照。其次，AICR 生成在所选平台上的推理配方。第三，运行时捆绑包被渲染为部署准备好的清单和 Helm 值。第四，运行时通过 Helmfile 或其他支持的部署器部署。第五，在添加应用工作负载前验证已安装的运行时。

对于亚马逊EKS Dynamo推理NVIDIA GB200 NVL72 和NVIDIA GB300 NVL72 系统的推理公式，文章列出了置顶的图表版本，包括NVIDIA GPU操作符 v26.7.1、节点特征发现 0.19.0、cert-manager v1.20.2、AWS EBS CSI 驱动 2.59.0、AWS EFA的 v0.5.29， NVSentinel v1.25.0，NodeWright 操作符 v0.19.0，NVIDIA DRA GPU 驱动 0.5.0，KAI 调度器 v0.16.9，Grove v0.1.0-alpha.13，Dynamo 平台 1.4.2，代理网关 v1.5.0，代理网关 CRD v1.5.0，Kube Prometheus Stack 84.4.0，Prometheus 操作员 CRD 28.0.1， Prometheus 适配器 5.3.0 和 Kubernetes 临时存储指标 1.19.2。

根据文章，验证检查通常涵盖集群基线健康、GPU操作员状态、加速器访问、群组调度和自动扩展行为、通过Prometheus支持的指标可观察性，以及Gateway API和agentgateway对Kubernetes原生入侵的准备情况。NVIDIA表示，性能验证是独立的，因为它部署了临时服务工作负载并消耗被测试GPU的全部。

公司最后表示，AICR和Dynamo是NVIDIA DSX 人工智能工厂平台的开源组件，部署示例和社区资源可通过NVIDIA DSX 人工智能工厂GitHub和Slack社区获取。文章还提到了在KubeCon + CloudNativeCon北美举办的动手工作坊活动，尽管文章未具体说明除该活动外的后续催化日期。