NVIDIA가 Kubernetes를 위한 AI 프레임워크를 상세히 설명합니다

NVIDIA는 DSX AI Factory Platform의 오픈소스 구성 요소인 Workload Map을 개략적으로 제시했으며, 이를 한 번에 설명하고 프레임워크와 도구 전반에 걸쳐 재사용할 수 있는 방법입니다. 이 접근법은 분산 AI 작업을 관리할 때 별도의 프레임워크별 파서와 어댑터의 필요성을 줄이기 위해 고안되었다고 밝혔습니다.

분산 AI 작업의 공유 워크로드 설명

NVIDIA에 따르면, Kubernetes에서 AI 공장을 운영하려면 팟 템플릿, 복제본 수, 상태 등 분산 워크로드에 대한 공통된 이해가 필요합니다. JobSet, LeaderWorkerSet 같은 워크로드 유형은 스케줄러, 컨트롤러, 대시보드가 해석하기 전에 별도의 맞춤형 어댑터가 필요하다고 밝혔습니다. Workload Map은 해당 시스템 전반에서 사용할 수 있는 재사용 가능한 구조적 설명을 제공하는 것을 목표로 합니다.

NVIDIA는 JobSet 예제를 사용해 문제를 보여주었습니다. 게시물에서 설명한 명단서에서 분산 교육 작업은 리더 직무와 두 작업자 직한 포함하며, 각 포드는 네 GPU를 요청합니다. 회사는 명단이 총 12개의 GPU 요청을 나타낸다고 말했습니다. 또한 kubectl은 JobSet, 세 잡, 그리고 그 포드들을 별도의 자원 항목으로 보여주지만, 플랫폼은 역할을 이해하고 자원 요청을 집계하기 위해 여전히 정의가 필요하다고 했습니다.

정의의 작동 원리

NVIDIA는 Workload Map(이전 명칭 Karta)이 Kubernetes의 CRD와 워크로드 정의를 해석하는 Go 라이브러리로 제공된다고 밝혔습니다. 각 정의는 특정 워크로드 유형에 대해 팟 템플릿, 복제본 수, 상태 필드를 어디서 찾을 수 있는지 지정합니다. 회사는 스케줄러와 플랫폼 도구가 각 프레임워크별로 별도의 파싱 코드를 유지하지 않고도 지원되는 워크로드 유형을 해석할 수 있게 한다고 밝혔습니다.

JobSet의 경우, NVIDIA는 정의가 네이티브 상태 필드를 공유 어휘로 매핑한다고 말했습니다. 예시에서 게시물에서는 JobSet이 일반 실행 상태를 보고하지 않기 때문에, Workload Map 정의가 replicatedJobsStatus 위에 jq 표현식을 사용해 이를 유도하고 Completed와 Failed 조건을 공유 카테고리에 매핑한다고 했습니다. 게시물은 또한 JobSet의 복제된 작업을 식별하는 자식 구성 경로, pod 템플릿, replica scaling, instance ID를 설명했습니다.

회사는 Workload Map에 JobSet, PyTorchJob, RayCluster, RayJob, RayService, KServe, Knative, MPIJob, NVIDIA NIM, LeaderWorkerSet, Milvus, Grove PodCliqueSet, NVIDIA Dynamo에 대한 사전 구축된 정의를 포함하고 있다고 밝혔습니다. 추가 워크로드 유형은 YAML 정의를 작성하여 추가할 수 있습니다.

검사, 일정 관리 및 가시성 전반에 걸친 활용

NVIDIA는 동일한 JobSet 정의가 여러 워크플로우에서 사용할 수 있다고 밝혔습니다. 검사를 위해 Workload Map CLI는 클러스터에서 워크로드를 읽어 워크로드 정의를 통해 렌더링합니다. 게시물에 나온 예시에서 CLI 출력은 리더와 워커 역할을 식별하고 작업 부하에 대해 총 12 개의 GPU를 보고했습니다. NVIDIA는 또한 JobSet을 리더와 워커 역할로 구분하고 노드 배치를 나열한 이전 Karta CLI 뷰도 보여주었습니다.

스케줄링에 관해서는, 워크로드 맵에 갱단 스케줄링 지침을 포함할 수 있다고 적혀 있습니다. NVIDIA는 KAI 스케줄러가 네이티브 플러그인이 없는 워크로드 유형에 대해 포드 그룹에서 워크로드 맵을 대체 수단으로 사용하며, 일치하는 정의를 통해 갱 입소 및 배치 결정에 필요한 구조와 그룹화 정보를 제공할 수 있다고 밝혔습니다.

플랫폼 가시성을 위해 NVIDIA는 NVIDIA Run:AI가 카탈로그 정의를 사용해 단일 API 호출로 워크로드 유형을 등록하고, JobSet을 한 워크로드로 관리할 수 있다고 밝혔습니다. 게시물에서는 동일한 정의가 검사, 스케줄링 및 플랫폼 가시성을 위해 CLI, KAI 스케줄러, NVIDIA Run:AI를 지원한다고 밝혔습니다.

채택 및 이용 가능

NVIDIA는 Workload Map이 Apache 2.0 라이선스 하에 제공되며, NVIDIA Run:AI 내에서 운영 환경에서 사용된다고 밝혔습니다. 회사는 또한 Elotl의 Nova가 분산 워크로드를 위한 클러스터를 선택할 때 워크로드 구조와 리소스 요구사항을 해석하기 위해 Workload Map을 사용한다고 밝혔습니다.

게시물에는 워크로드 맵이 NVIDIA DSX AI Factory GitHub 조직을 통해 제공된다고 적혀 있습니다. NVIDIA는 Kubernetes에서 AI 워크로드를 실행하는 사용자가 워크로드 카탈로그에서 시작해 이미 사용 중인 프레임워크의 정의를 찾거나, 맞춤형 워크로드 유형에 맞게 한 조정할 수 있다고 제안했습니다. 발표에서는 게시물의 게시일 2026-11-02이후의 신제품 출시일은 명시하지 않았습니다.