NVIDIA detalha a ferramenta de atribuição para diagnosticar falhas de IA distribuída

A NVIDIA delineou um sistema de atribuição de carga de trabalho projetado para rastrear falhas de IA distribuída até o evento inicial, em vez de parar nos erros posteriores que aparecem entre rankings e nós. A empresa afirmou que a ferramenta correlaciona logs, métricas, telemetria e o estado do agendador para produzir um diagnóstico estruturado que inclua o resultado, causa raiz, nós afetados, sintomas de apoio e uma trilha de evidências.

Como o sistema funciona

Em um post de blog 2026-11-02, a NVIDIA descreveu o Attribution como um sistema de atribuição de falhas centrado em cargas de trabalho, que utiliza regras determinísticas para tornar os resultados reproduzíveis e personalizáveis. A empresa afirmou que o sistema é open source e é usado em toda a infraestrutura IA NVIDIA. De acordo com o post, ela analisou milhões de cargas de trabalho a cada semana em centenas de milhares de GPUs.

A arquitetura consiste em dois componentes implantáveis: o Serviço de Atribuição NVIDIA e o Blueprint de Atribuição NVIDIA. O Serviço analisa uma tentativa de carga de trabalho por vez por meio de uma API REST, enquanto o Blueprint conecta agendadores de cluster e fontes de telemetria, coleta o contexto da carga de trabalho e escreve o resultado. A NVIDIA disse que o processo começa definindo o escopo da carga de trabalho, depois coletando observações de logs de aplicação, syslogs, mensagens do driver de GPU e do Fabric Manager, histórico do agendador e métricas de nós e rede.

Exemplo de diagnóstico

A NVIDIA disse que um exemplo resolvido mostra como o sistema pode distinguir uma causa raiz dos sintomas posteriores em um trabalho de treinamento multi-rank. No exemplo, um GPU encontra uma falha grave, descrita como XID 149, e erros NCCL seguem em outros ranks. O sistema correlaciona esses eventos, identifica o XID como causa raiz, retém as falhas NCCL na cadeia de sintomas e nomeia o nó responsável.

A empresa também descreveu um caso sintético em que logs de aplicação continham três diferentes erros NCCL e logs de sistema em node-02 mostraram 149 XID com palavras de erro que decodificam para um problema de integridade de sinal NVLink. A NVIDIA afirmou que a regra de filtragem em estágio INICIAL decodifica a questão de integridade do sinal enquanto mantém os eventos NCCL inalterados, e o refinamento FINAL revela a questão de integridade do sinal no node-02 enquanto preserva os relatórios NCCL como evidências interessantes.

Limites e incerteza

A NVIDIA afirmou que a qualidade da atribuição depende da qualidade e completude da telemetria subjacente. Quando múltiplas causas se encaixam nas evidências, a empresa afirmou que a sub_domain é ambígua. A publicação também afirmou que evidências insuficientes podem produzir um resultado não atribuído, indicando que o sistema foi projetado para refletir incerteza, em vez de forçar um diagnóstico definitivo a partir de dados incompletos.

O artigo não forneceu uma data de lançamento para uma disponibilidade mais ampla além do post 2026-11-02 , e não divulgou preços ou termos comerciais.