NVIDIA 详细介绍了 Kubernetes 对 Vera Rubin NVL72 支持的配方

NVIDIA 表示，其 人工智能 Cluster Runtime 可以通过打包调优设置、生成部署包并验证正在运行的集群，使 Kubernetes 集群在 Vera Rubin NVL72 一 计算托盘中做好准备。公司将这项工作定位为其 DSX 人工智能 工厂平台的一部分，并表示该工作涉及新 GPU 系统引入云原生堆栈时所需的硬件、驱动和调度器变更问题。

维拉·鲁宾的变迁 NVL72

NVIDIA在帖子中表示，Vera Rubin NVL72是GB200 NVL72相同的MGX机架级架构的演进，但加入了若干用户可见的改动，平台团队需要做好准备。公司表示，新系统需要R615.23驱动分支，早期支持目标是R610，R620官方平台支持。它还表示Vera Rubin用ConnectX-9 SuperNIC和BlueField-4 DPU替换ConnectX-7网卡和BlueField-3 DPU，DOCA 3.3.0是首个支持ConnectX-9的通用版发布。

NVIDIA 表示，拓扑结构也会在 I/O 重负载（如 RDMA 网络和 GPUDirect 存储）中发生重要变化。根据帖子，Vera Rubin NVL72 计算托盘显示了八 ConnectX-9 PCI 设备组，功能32，而 NVIDIA DGX GB200 NVL72 计算托盘上的四 ConnectX-7适配器则不同。公司还表示，GPU 到 NIC 的连接是 NODE 在一个插槽内，SYS 是跨 socket，PCI 功能计数并不代表物理端口数量。

帖子还说，Rubin GPU引入了新的MIG配置文件，但Vera Rubin的配方中使用了整GPU分配，不配置MIG。文章还补充说，多节点NVIDIA NVLink工作负载仍使用IMEX，DRA v0.5.0 包含仅带域隔离的alpha主机托管选项，而帖子中描述的集群则使用driverManaged模式。

早期硬件上的验证

NVIDIA 表示，他们使用官方 GPU Operator v26.7.0 版本、官方 DRA 驱动v0.5.0版本和主机安装的 R615 驱动，实现了 Vera Rubin NVL72栈的端到端验证。公司表示，训练和推理配方变体均成功验证部署和合规性，训练配方还通过了基于跨节点 NCCL 全约减通过 NVIDIA NVLink 结构通过 IMEX ComputeDomain 的性能门。

在验证表中，NVIDIA报告了首次跨节点NCCL全缩减在两个计算托盘上实现 744.71 GB/s总线带宽，达到 16 GiB。公司表示，推理变体在同一集群上通过了相同的部署和符合性矩阵，但推理服务性能目前尚未确定。

帖子还提到，早期Vera Rubin集群中一块硬件或结构问题暂时阻断了首轮验证，导致一个计算托盘无法进入NVLink结构。NVIDIA表示，问题与GPU操作符或DRA驱动无关，硬件重新插拔后才得到解决。

基于配方的部署与记录限制

据NVIDIA称，AICR以版本化配方的形式记录了建立一个可运行的Vera Rubin集群所需的平台选择，包括驱动程序模式、容器运行时布线、组件版本和平台特定设置。公司表示， rke2、 vr200 加速器和Ubuntu的新Vera Rubin配方家族以预览版形式发布，意味着它面向早期采用者，尚未具备支持配方的生产支持和生命周期资格。

帖子称，配方编码主机托管驱动模式，因为系统镜像预装了 arm64 开内核模块驱动，而容器工具包则保持操作员管理。文章还说，该配方启用了 NVL72 结构的IMEX支持的ComputeDomains，设备插件保留了整GPU分配，并钉住了一套底层和特性，包括Kubernetes 1.34.1 及以后版本、Ubuntu 26.04和Vera优化的 arm64 64k页内核。

NVIDIA表示，该捆绑包的首次部署针对的是此前未被共同验证过的平台组合： arm64、Ubuntu 26.04、 64k页内核、 RKE2 和Vera Rubin。公司表示，该配置从集群切换到健康运行时间只需数小时，第二代Vera Rubin集群则在次日重现了结果。

帖子还指出，验证后的边界尚未最终确定。NVIDIA 指出，推理服务性能仍依赖于 CUDA 13.4 或更晚版本构建的已发布运行时镜像，并表示当前公开的 vLLM 和 人工智能-dynamo 镜像尚未达到 Vera Rubin 推理性能底线所需的这一要求。公司表示，已发布的验证证据应被视为其捕获配方坐标的历史记录。

NVIDIA 表示，Vera Rubin 的配方已发布在开源的 NVIDIA/aicr 仓库中， v1.0.0年，用户可以用 aicr 配方命令生成经过验证的配置，用于训练或推理变体。