NVIDIA подробно описывает рецепт Kubernetes для поддержки Веры Рубин NVL72

NVIDIA заявила, что её ИИ Cluster Runtime может подготовить кластеры Kubernetes к вычислительным лоткам Vera Rubin NVL72 на один день, упаковывая настроенные настройки, генерируя наборы развертывания и проверяя работающий кластер. Компания представила эту работу как часть своей DSX ИИ Factory Platform и заявила, что работа касается изменений в аппарате, драйверах и планировщиках, необходимых при внедрении новых GPU-систем в облачный стек.

Что изменилось для Веры Рубин NVL72

В публикации NVIDIA отметила, что Vera Rubin NVL72 является эволюцией той же архитектуры MGX в шкале стойки, что и GB200 NVL72, но с несколькими видимыми пользователями изменений, к которым командам платформы нужно планировать. Компания заявила, что новая система требует ветки драйверов R615.23 , с ранней поддержкой R610 и официальной платформенной поддержкой в R620. Также указано, что Vera Rubin заменит ConnectX-7 сетевые карты и BlueField-3 DPU на ConnectX-9 SuperNIC и DPU BlueField-4 , а DOCA 3.3.0 — первый релиз GA, поддерживающий ConnectX-9.

NVIDIA заявила, что топология также меняется так, чтобы это было важно для нагрузок с нагрузкой с высокой нагрузкой ввода-вывода, таких как сети RDMA и хранилище GPUDirect. Согласно публикации, вычислительный лоток Vera Rubin NVL72 предоставляет восемь ConnectX-9 группы устройств PCI с 32 функциями, по сравнению с четыре ConnectX-7 адаптерами на вычислительном лотке NVIDIA DGX GB200 NVL72. Компания также отметила, что подключение GPU к NIC — это NODE внутри сокета и SYS между сокетами, и что количество функций PCI не отражает количество физических портов.

В посте также говорилось, что GPU Rubin вводят новые профили MIG, но рецепты Веры Рубин, описанные там, используют выделение всего GPU и не настраивают MIG. Также отмечается, что многоузловые рабочие нагрузки NVIDIA NVLink продолжают использовать IMEX, а DRA v0.5.0 включает опцию альфа-хоста с изоляцией доменов, тогда как кластер, описанный в посте, использует режим управляемого драйвером.

Валидация на раннем оборудовании

NVIDIA заявила, что верифицировала стек Vera Rubin NVL72 от начала до конца, используя официальный выпуск GPU Operator v26.7.0 , официальный драйвер DRA v0.5.0 релиза и драйвер R615 установленного на хосте. Компания заявила, что как варианты рецептов обучения, так и вывода успешно проверены для развертывания и соответствия, а также что обучающий рецепт также прошёл проверку производительности, основанный на кросс-узловом NCCL all-reduce через NVIDIA NVLink fabric через IMEX ComputeDomain.

В таблице валидации NVIDIA сообщила о результате производительности 744.71 ГБ/с пропускной способности шины при 16 ГиБ для первого кросс-узлового NCCL all-reduce на обоих вычислительных лотках. Компания заявила, что вариант вывода прошёл ту же матрицу развертывания и соответствия на том же кластере, но этот вывод, обеспечивающий производительность, пока отложен.

В посте также говорилось, что первые раунды валидации были временно заблокированы из-за аппаратной или тканевой проблемы в одном из ранних кластеров Vera Rubin, из-за которой один вычислительный лоток не попадал в NVLink fabric. NVIDIA заявила, что проблема не связана с оператором GPU или драйвером DRA и была решена после переустановки оборудования.

Развёртывание на основе рецептов и зафиксированные лимиты

По данным NVIDIA, AICR охватывает варианты платформ, необходимые для создания рабочего кластера Vera Rubin в виде версионного рецепта, включая режим драйвера, подключение контейнера и процесс выполнения, версии компонентов и специфичные для платформы настройки. Компания заявила, что новое семейство рецептов Vera Rubin для rke2, ускоритель vr200 и Ubuntu поставляется как Preview, то есть оно предназначено для ранних пользователей и пока не имеет поддержки производства и квалификации жизненного цикла, как поддерживаемый рецепт.

В сообщении говорилось, что рецепт кодирует режим драйвера, управляемый хостом, потому что системный образ предварительно устанавливает драйвер arm64 открытого ядра, а контейнерный инструментарий остаётся управляемым оператором. Также говорится, что рецепт позволяет поддерживать IMEX ComputeDomains для NVL72 fabric, оставляет выделение всего GPU на плагин устройства и закрепляет набор этажей и особенностей, включая Kubernetes 1.34.1 и позже, Ubuntu 26.04и оптимизированное для Vera ядро arm64 64k-page.

NVIDIA заявила, что первое развертывание пакета было направлено на комбинацию платформ, которая ранее не верифицировалась вместе: arm64, Ubuntu 26.04, ядро на 64kстраницы, RKE2 и Vera Rubin. Компания сообщила, что настройка перешла с передачи кластера на здоровое время выполнения за несколько часов, а второй кластер Vera Rubin воспроизвел этот результат на следующий день.

В сообщении также говорится, что валидированная граница не является окончательной. NVIDIA отметила, что производительность инференции по-прежнему зависит от опубликованного образа выполнения, построенного на основе CUDA 13.4 или позже, и отметила, что текущие публичные vLLM и ИИ-dynamo образы пока не соответствуют этому требованию так, как требуется для минимального уровня производительности по версии Vera Rubin. Компания заявила, что опубликованные доказательства валидации следует рассматривать как исторический запись по рецептурной координате, с которой они были зафиксированы.

NVIDIA заявила, что рецепты Веры Рубин опубликованы в открытом репозитории NVIDIA/AICR в v1.0.0году, и пользователи могут генерировать проверенную конфигурацию с помощью команд AICR рецептов как для обучения, так и для вариантов вывода.