NVIDIA detalla la herramienta de atribución para diagnosticar fallos de IA distribuida

NVIDIA ha delineado un sistema de atribución de carga de trabajo diseñado para rastrear fallos de IA distribuida hasta su evento inicial, en lugar de detenerse en los errores posteriores que aparecen entre rangos y nodos. La empresa afirmó que la herramienta correlaciona registros, métricas, telemetría y el estado del planificador para producir un diagnóstico estructurado que incluya el resultado, la causa raíz, los nodos afectados, los síntomas de apoyo y una pista de evidencia.

Cómo funciona el sistema

En una entrada de blog 2026-11-02, NVIDIA describió Attribution como un sistema de atribución de fallos centrado en la carga de trabajo que utiliza reglas deterministas para hacer que los resultados sean reproducibles y personalizables. La empresa afirmó que el sistema es de código abierto y se utiliza en toda la infraestructura IA NVIDIA. Según la publicación, ha analizado millones de cargas de trabajo cada semana en cientos de miles de GPUs.

La arquitectura consta de dos componentes desplegables: el Servicio de Atribución NVIDIA y el Plano de Atribución NVIDIA. El Servicio analiza una carga de trabajo intentada a la vez a través de una API REST, mientras que el Plano conecta planificadores de clúster y fuentes de telemetría, recopila el contexto de la carga de trabajo y escribe el resultado. NVIDIA explicó que el proceso comienza definiendo el alcance de la carga de trabajo, luego recogiendo observaciones de registros de aplicaciones, syslogs, mensajes de controladores de GPU y Fabric Manager, historial de planificadores y métricas de nodos y red.

Ejemplo de diagnóstico

NVIDIA dijo que un ejemplo resuelto muestra cómo el sistema puede distinguir una causa raíz de los síntomas posteriores en un trabajo de entrenamiento multirango. En el ejemplo, uno GPU encuentra un fallo grave, descrito como XID 149, y los errores NCCL se producen en otros rangos. El sistema correlaciona esos eventos, identifica el XID como causa raíz, retiene los fallos NCCL en la cadena de síntomas y nombra el nodo responsable.

La empresa también describió un caso sintético en el que los registros de aplicaciones contenían tres diferentes errores NCCL y los registros del sistema en node-02 mostraban 149 XID con palabras de error que decodifican un problema de integridad de señal NVLink. NVIDIA afirmó que la regla de filtrado en etapa TEMPRANA decodifica el problema de integridad de señal dejando los eventos NCCL sin cambios, y que la refinación FINAL pone de manifiesto el problema de integridad de señal en node-02 mientras preserva los informes NCCL como evidencia interesante.

Límites e incertidumbre

NVIDIA afirmó que la calidad de la atribución depende de la calidad y completitud de la telemetría subyacente. Cuando múltiples causas encajan con la evidencia, la empresa afirmó que la sub_domain es ambigua. La publicación también señaló que la falta de evidencia puede producir un resultado no atribuido, lo que indica que el sistema está diseñado para reflejar la incertidumbre en lugar de forzar un diagnóstico definitivo a partir de datos incompletos.

El artículo no proporcionó una fecha de lanzamiento para una disponibilidad más amplia más allá de la publicación 2026-11-02 , ni reveló precios ni términos comerciales.