NVIDIA подробно описывает инструмент атрибуции для диагностики распределённых сбоев ИИ

NVIDIA разработала систему атрибуции рабочей нагрузки, предназначенную для отслеживания распределённых сбоев ИИ до их инициирующего события, а не для остановки на ошибках, которые появляются в разных рангах и узлах. Компания заявила, что инструмент коррелирует журналы, метрики, телеметрию и состояние планировщика, чтобы создать структурированный диагноз, включающий исход, коренную причину, затронутые узлы, поддерживающие симптомы и следы доказательств.

Как работает система

В блоге 2026-11-02 года NVIDIA описала Attribution как систему атрибуции сбоев, ориентированную на нагрузку, которая использует детерминированные правила для воспроизводимости и настраиваемости результатов. Компания заявила, что система является открытым исходным кодом и используется во всей инфраструктуре NVIDIA ИИ. Согласно публикации, она проанализировала миллионы рабочих нагрузок каждую неделю на сотнях тысяч GPU.

Архитектура состоит из двух развёртываемых компонентов: сервиса атрибуции NVIDIA и плана атрибуции NVIDIA. Сервис анализирует один вариант выполнения рабочей нагрузки через REST API, а Blueprint соединяет планировщики кластера и источники телеметрии, собирает контекст рабочей нагрузки и записывает результат. NVIDIA сообщила, что процесс начинается с определённого объема рабочей нагрузки, затем сбора наблюдений из журналов приложений, syslogs, сообщений драйвера GPU и Fabric Manager, истории планировщиков, а также метрик узлов и сети.

Пример диагностики

NVIDIA отметила, что в работе пример система может отличить коренную причину от последующих симптомов в многоранговой обучающей работе. В примере один GPU сталкивается с жёсткой неисправностью, описываемой как XID 149, и ошибки NCCL следуют на других рангах. Система коррелирует эти события, определяет XID как коренную причину, сохраняет сбои NCCL в цепочке симптомов и называет ответственный узел.

Компания также описала синтетический случай, в котором журналы приложений содержали три различных ошибок NCCL, а системные логи на node-02 показали XID 149 с ошибками, которые декодировали в проблему целостности сигнала NVLink. NVIDIA заявила, что правило фильтрации на ранних стадиях декодирует проблему целостности сигнала, оставляя события NCCL неизменными, а FINAL уточнение выявляет проблему целостности сигнала на node-02, сохраняя при этом отчёты NCCL как интересное доказательство.

Ограничения и неопределённость

NVIDIA заявила, что качество атрибуции зависит от качества и полноты базовой телеметрии. Когда несколько причин совпадают с доказательствами, компания отметила, что sub_domain неоднозначен. В посте также говорится, что недостаток доказательств может привести к неприписанному результату, что указывает на то, что система создана для отражения неопределённости, а не для того, чтобы вынуждать окончательный диагноз на основе неполных данных.

В статье не была указана дата запуска для более широкой доступности за пределами 2026-11-02 поста, а также не были раскрыты цены или коммерческие условия.