NVIDIA détaille la carte de charge de travail pour les frameworks IA Kubernetes

NVIDIA a défini Workload Map, un composant open source de sa plateforme DSX IA Factory, comme moyen de décrire une fois les charges de travail Kubernetes et de réutiliser cette structure à travers des frameworks et outils. L’entreprise a indiqué que cette approche vise à réduire le besoin de parsers et adaptateurs spécifiques à chaque framework lors de la gestion des emplois d’IA distribuée.

Descriptions de charges de travail partagées pour les emplois d’IA distribuée

Selon NVIDIA, exploiter une usine d’IA sur Kubernetes nécessite une compréhension commune des charges de travail distribuées, y compris les modèles de pods, le nombre de répliques et le statut. L’entreprise a indiqué que les types de charges de travail tels que JobSet et LeaderWorkerSet nécessitent souvent des adaptateurs personnalisés séparés avant que les planificateurs, contrôleurs ou tableaux de bord puissent les interpréter. Workload Map est destiné à fournir une description structurelle réutilisable qui peut être utilisée à travers ces systèmes.

NVIDIA a utilisé un exemple JobSet pour montrer le problème. Dans le manifeste décrit dans le post, un job de formation distribué inclut un job leader et deux jobs de travailleur, chaque pod demandant quatre GPU. La société a indiqué que le manifeste représente une demande totale de 12 GPU. Il a également indiqué que kubectl affiche le JobSet, ses trois jobs et leurs pods comme des entrées de ressources séparées, tandis qu’une plateforme a encore besoin d’une définition pour comprendre les rôles et agréger la demande de ressources.

Comment fonctionne la définition

NVIDIA a indiqué que Workload Map, anciennement appelé Karta, est livré sous forme de CRD Kubernetes et de bibliothèque Go qui interprète les définitions de charges de travail. Chaque définition précise où trouver des modèles de pod, des comptes de répliques et des champs d’état pour un type de charge de travail particulier. La société a indiqué que cela permet aux planificateurs et aux outils de plateforme d’interpréter les types de charges de travail pris en charge sans maintenir de code d’analyse séparé pour chaque framework.

Pour JobSet, NVIDIA a indiqué que la définition mappe les champs d’état natifs dans un vocabulaire partagé. Dans l’exemple, le post indiquait que JobSet ne rapporte pas de condition simple de Running, donc la définition de Workload Map la dérive via une expression jq sur replicatedJobsStatus et mappe les conditions Completed et Failed à des catégories partagées. Le post décrivait également des chemins de composants enfants qui identifient les Jobs, les modèles de pods, la mise à l’échelle des répliques et les identifiants d’instance du JobSet.

L’entreprise a indiqué que Workload Map inclut des définitions préconstruites pour JobSet, PyTorchJob, RayCluster, RayJob, RayService, KServe, Knative, MPIJob, NVIDIA NIM, LeaderWorkerSet, Milvus, Grove PodCliqueSet et NVIDIA Dynamo. Des types de charge de travail supplémentaires peuvent être ajoutés en écrivant une définition YAML.

Utilisation à travers l’inspection, la planification et la visibilité

NVIDIA a indiqué que la même définition de JobSet peut être utilisée dans plusieurs flux de travail. Pour inspection, la CLI Workload Map lit les charges de travail d’un cluster et les rend à travers leurs définitions de charge de travail. Dans l’exemple montré dans l’article, la sortie CLI identifiait les rôles de leader et de travailleur et rapportait un total de 12 GPU pour la charge de travail. NVIDIA a également montré une vue CLI antérieure de Karta qui résolvait le JobSet en rôles de leader et de travailleur et listait le placement des nœuds.

Pour la planification, le post indique que Workload Map peut inclure des instructions de planification de groupe. NVIDIA a indiqué que KAI Scheduler utilise Workload Map comme solution de secours dans son groupeur de pods pour les types de charge de travail sans plugin natif, tandis qu’une définition correspondante peut fournir la structure et les informations de regroupement nécessaires aux décisions d’admission et de placement des gangs.

Pour la visibilité de la plateforme, NVIDIA a indiqué que NVIDIA Run :IA peut enregistrer le type de charge de travail avec un seul appel API via la définition du catalogue, puis gérer le JobSet comme une seule charge. Le post précise que la même définition prend en charge la CLI, KAI Scheduler et NVIDIA Run :IA pour l’inspection, la planification et la visibilité de la plateforme.

Adoption et disponibilité

NVIDIA a indiqué que Workload Map est disponible sous licence Apache 2.0 et utilisé en production dans NVIDIA Run :IA. La société a également indiqué qu’Elotl’s Nova utilise Workload Map pour interpréter la structure des charges de travail et les besoins en ressources lors de la sélection d’un cluster pour des charges de travail distribuées.

Le post indiquait que Workload Map est disponible via l’organisation NVIDIA DSX IA Factory GitHub. NVIDIA a suggéré que les utilisateurs exécutant IA charges de travail sur Kubernetes puissent commencer par le catalogue de charges de travail pour trouver une définition d’un framework qu’ils utilisent déjà, ou adapter un pour un type de charge personnalisé. L’annonce n’a pas précisé de date de sortie d’un nouveau produit au-delà de la date de publication du post de 2026-11-02.