NVIDIAが分散型AIの故障診断のためのアトリビューションツールの詳細

NVIDIAは、分散型AIの障害をランクやノードごとに発生する下流エラーで止まるのではなく、その発生点にまで遡るワークロード帰属システムを提案しました。同社は、このツールがログ、メトリクス、テレメトリ、スケジューラの状態を相関させ、結果、根本原因、影響を受けたノード、支持症状、エビデンストレイルを含む構造化された診断を生成すると述べています。

システムの仕組み

2026-11-02年のブログ記事で、NVIDIAはAttributionを、結果を再現可能かつカスタマイズ可能にする決定論的ルールを用いるワークロード中心の故障帰属システムだと説明しました。同社はこのシステムがオープンソースであり、NVIDIA AIインフラ全体で使用されています。投稿によると、同社は毎週数十万台のGPUにまたがる数百万のワークロードを分析しています。

このアーキテクチャは、二つの展開可能なコンポーネント、すなわちNVIDIAアトリビューションサービスとNVIDIAアトリビューションブループリントで構成されています。サービスはREST APIを通じて一回のワークロード試行を分析し、ブループリントはクラスタスケジューラとテレメトリソースを接続し、ワークロードのコンテキストを取得し、結果を書き込みます。NVIDIAは、プロセスがまずワークロードの範囲設定から始まり、アプリケーションログ、シスログ、GPUドライバーおよびFabricマネージャーメッセージ、スケジューラ履歴、ノードおよびネットワークの指標から観測データを収集することから始まります。

診断例

NVIDIAは、マルチランク訓練ジョブにおいて、システムがどのように根本原因と下流症状を区別できるかを示す実例を示していると述べています。例では、GPU一XID 149とされるハードフォルトに遭遇し、NCCLエラーは他のランクにも及びます。システムはそれらのイベントを相関させ、XIDを根本原因と特定し、症状連鎖内のNCCL失敗を保持し、責任ノードを指定します。

同社はまた、アプリケーションログに異なるNCCLエラーが含まれ、システムログ三node-02 XID 149にエラーワードが入り、NVLink信号整合性の問題を解読した合成ケースも説明しました。NVIDIAは、初期段階のフィルタリングルールが信号整合性問題を復号しつつNCCLイベントは変更せず、FINALの改良版ではNCCLレポートを興味深い証拠として保存しつつ、信号整合性問題をnode-02に浮き彫りにしたと述べています。

限界と不確実性

NVIDIAは、帰属の質は基礎となるテレメトリの質と完全性に依存していると述べました。複数の原因が証拠に合致する場合、同社はsub_domainが曖昧であると述べています。また、投稿では証拠が不十分で帰属不明の結果が得られることがあり、システムは不完全なデータから決定的な診断を強制するのではなく、不確実性を反映するように設計されていることを示しています。

記事では 2026-11-02 投稿以降の広範な発売日は明かされておらず、価格や商業条件については明かされていません。