NVIDIA подробно описывает карту нагрузки для ИИ-фреймворков Kubernetes

NVIDIA разработала Workload Map, компонент с открытым исходным кодом, в своей DSX ИИ Factory Platform — как способ однократного описания рабочих нагрузок Kubernetes и повторного использования этой структуры в фреймворках и инструментах. Компания отметила, что этот подход направлен на снижение необходимости в отдельных фреймворк-специфических парсерах и адаптерах при управлении распределёнными задачами ИИ.

Общие описания рабочих нагрузок для распределённых ИИ-задач

По данным NVIDIA, работа фабрики ИИ на Kubernetes требует общего понимания распределённых рабочих нагрузок, включая шаблоны подов, количество реплик и статус. Компания отметила, что типы рабочих нагрузок, такие как JobSet и LeaderWorkerSet, часто требуют отдельных пользовательских адаптеров, прежде чем планировщики, контроллеры или панели управления могут их интерпретировать. Workload Map предназначена для предоставления многократно используемого структурного описания, которое можно использовать на всех этих системах.

NVIDIA использовала пример JobSet, чтобы показать проблему. В манифесте, описанном в посте, распределённая обучающая работа включает один должности лидера и два рабочих, при этом каждый под запрашивает четыре GPU. Компания заявила, что манифест представляет общий запрос 12 GPU. Также указано, что kubectl показывает JobSet, его три Jobs и их поды как отдельные записи ресурсов, в то время как платформе всё равно требуется определение для понимания ролей и агрегирования запроса ресурсов.

Как работает определение

NVIDIA заявила, что Workload Map, ранее называвшийся Karta, поставляется в виде CRD Kubernetes и библиотеки Go, интерпретирующей определения рабочих нагрузок. Каждое определение указывает, где можно найти шаблоны подов, количество реплик и поля статуса для конкретного типа рабочей нагрузки. Компания заявила, что это позволяет планировщикам и инструментам платформы интерпретировать поддерживаемые типы рабочих нагрузок без отдельного парсингового кода для каждого фреймворка.

Для JobSet NVIDIA заявила, что определение отображает нативные поля статуса в общий словарь. В примере в посте говорилось, что JobSet не сообщает о простом условии Running, поэтому определение Workload Map выводит его с помощью выражения jq поверх replicatedJobsStatus и сопоставляет условия Completed и Failed в общие категории. В посте также описывались пути дочерних компонентов, которые идентифицируют реплицированные JobSet, шаблоны подов, масштабирование реплик и идентификаторы экземпляра.

Компания заявила, что Workload Map включает готовые определения для JobSet, PyTorchJob, RayCluster, RayJob, RayService, KServe, Knative, MPIJob, NVIDIA NIM, LeaderWorkerSet, Milvus, Grove PodCliqueSet и NVIDIA Dynamo. Дополнительные типы рабочих нагрузок можно добавить, написав определение YAML.

Использование между инспекциями, расписанием и видимостью

NVIDIA заявила, что одно и то же определение JobSet может использоваться в нескольких рабочих процессах. Для проверки CLI Workload Map считывает рабочие нагрузки из кластера и отображает их через определения рабочих нагрузок. В примере, приведённом в посте, вывод CLI определил роли лидера и работника и сообщил в общей сложности 12 GPU для этой нагрузки. NVIDIA также показала более ранний вид Karta CLI, который разделял JobSet на роли лидера и работника и перечислял расположение узлов.

Для планирования в посте говорилось, что Workload Map может включать инструкции по групповому планированию. NVIDIA заявила, что KAI Scheduler использует Workload Map как запасной вариант в своём группере pod для типов рабочей нагрузки без встроенного плагина, в то время как соответствующее определение может предоставить структуру и информацию о группировании, необходимые для принятия и размещения банд.

Для видимости платформы NVIDIA заявила, что NVIDIA Run:ИИ может регистрировать тип рабочей нагрузки одним вызовом API с помощью определения каталога и затем управлять JobSet как один рабочей нагрузки. В посте говорилось, что то же определение поддерживает CLI, KAI Scheduler и NVIDIA Run:ИИ для проверки, планирования и видимости платформы.

Внедрение и доступность

NVIDIA заявила, что Workload Map доступен под лицензией Apache 2.0 и используется в продакшене внутри NVIDIA Run:ИИ. Компания также отметила, что Nova от Elotl использует Workload Map для интерпретации структуры рабочей нагрузки и требований к ресурсам при выборе кластера для распределённых нагрузок.

В сообщении говорилось, что карта загрузки доступна через организацию NVIDIA DSX ИИ Factory GitHub. NVIDIA предложила, чтобы пользователи, использующие ИИ рабочих нагрузок на Kubernetes, могли начать с каталога рабочей нагрузки, чтобы найти определение уже используемого фреймворка или адаптировать один под пользовательский тип рабочей нагрузки. В объявлении не указана дата выхода нового продукта после публикации поста — 2026-11-02.