NVIDIA가 분산 AI 실패 진단을 위한 귀속 도구를 상세히 설명합니다

NVIDIA는 분산된 AI 실패를 하위 오류에서 멈추지 않고 시작 사건에서 추적하는 워크로드 귀속 시스템을 개략적으로 제시했습니다. 이 도구는 로그, 지표, 원격 측정, 스케줄러 상태를 연관시켜 결과, 근본 원인, 영향을 받은 노드, 지원 증상 및 증거 추적을 포함한 구조화된 진단을 생성한다고 밝혔습니다.

시스템 작동 방식

2026-11-02 블로그 글에서 NVIDIA는 Attribution을 결정론적 규칙을 사용하여 결과를 재현 가능하고 맞춤화할 수 있는 워크로드 중심의 실패-귀인 시스템으로 설명했습니다. 회사는 이 시스템이 오픈 소스이며 NVIDIA AI 인프라 전반에 걸쳐 사용되고 있다고 밝혔습니다. 게시물에 따르면, 수십만 개의 GPU에서 매주 수백만 건의 워크로드를 분석해 왔습니다.

아키텍처는 NVIDIA 귀속 서비스와 NVIDIA 귀속 블루프린트라는 두 개의 배포 가능한 구성 요소로 구성되어 있습니다. 서비스는 REST API를 통해 한번에 한 번의 워크로드 시도를 분석하고, 블루프린트는 클러스터 스케줄러와 텔레메트리 소스를 연결하고 워크로드 컨텍스트를 수집한 후 결과를 작성합니다. NVIDIA는 이 과정이 워크로드 범위를 설정하는 것으로 시작하고, 애플리케이션 로그, 시스템 로그, GPU 드라이버 및 패브릭 매니저 메시지, 스케줄러 기록, 노드 및 네트워크 메트릭에서 관측값을 수집한다고 밝혔습니다.

진단 예시

NVIDIA는 다중 랭크 훈련 작업에서 시스템이 근본 원인과 하위 증상을 구분할 수 있는 과정을 보여주는 작업된 예제를 보여준다고 밝혔습니다. 예시에서 GPU한 하드 결함인 XID 149를 만나면 NCCL 오류가 다른 랭크에 걸쳐 이어집니다. 시스템은 이러한 사건들을 연관시키고, XID를 근본 원인으로 식별하며, 증상 체인에서 NCCL 실패를 유지하고 책임 노드를 지정합니다.

회사는 또한 애플리케이션 로그에 세개의 서로 다른 NCCL 오류가 포함되어 있고, 시스템 로그node-02 XID 149에 오류가 있는 단어가 NVLink 신호 무결성 문제로 해석되는 합성 사례도 설명했습니다. NVIDIA는 초기 단계 필터링 규칙이 신호 무결성 문제를 해독하면서 NCCL 이벤트는 변경하지 않았으며, FINAL 정제는 신호 무결성 문제를 node-02에서 드러내면서도 NCCL 보고서를 흥미로운 증거로 보존한다고 밝혔습니다.

한계와 불확실성

NVIDIA는 귀속 품질이 기저 텔레메트리의 품질과 완전성에 달려 있다고 밝혔습니다. 여러 원인이 증거와 일치할 경우, 회사는 sub_domain이 모호하다고 밝혔습니다. 게시물은 또한 증거가 부족하면 귀속되지 않은 결과가 나올 수 있어, 시스템이 불완전한 데이터에서 확정적인 진단을 강요하기보다는 불확실성을 반영하도록 설계되었음을 시사한다고 밝혔습니다.

기사에서는 2026-11-02 게시물 이후의 더 넓은 출시일이나 가격 또는 상업적 조건에 대해서는 공개하지 않았습니다.