NVIDIA 详细介绍用于诊断分布式人工智能故障的归因工具

NVIDIA提出了一套工作负载归因系统，旨在追溯分布式人工智能故障的起始事件，而非停留在跨等级和节点的下游错误。该公司表示，该工具关联日志、指标、遥测和调度状态，生成结构化诊断，包括结果、根本原因、受影响节点、支持症状和证据追踪。

系统运作方式

在2026-11-02的一篇博客文章中，NVIDIA将归因描述为一个以工作负载为中心的故障归因系统，采用确定性规则使结果可重复且可定制。该公司表示该系统是开源的，广泛应用于NVIDIA的多个人工智能基础设施。据文章称，它每周分析数十万块GPU上的数百万工作负载。

该架构由二个可部署组件组成：NVIDIA归因服务和NVIDIA归因蓝图。该服务通过REST API逐次分析一次工作负载尝试，而蓝图则连接集群调度器和遥测源，收集工作负载上下文并写入结果。NVIDIA表示，流程首先是对工作负载进行范围限制，然后收集应用日志、系统日志、GPU驱动和Fabric管理器消息、调度器历史以及节点和网络指标的观察数据。

诊断示例

NVIDIA表示，一个可行的示例展示了系统如何在多秩训练作业中区分根本原因和下游症状。在示例中，GPU遇到一硬性故障，称为XID 149，NCCL错误会在其他等级中出现。系统将这些事件关联起来，确定XID为根本原因，保留症状链中的NCCL故障，并指定负责节点。

公司还描述了一个合成案例，应用日志中包含三个不同的NCCL错误，系统日志node-02显示XID的149带有错误词，解码为NVLink信号完整性问题。NVIDIA表示，早期阶段过滤规则解码信号完整性问题，同时保持NCCL事件不变，FINAL细化在node-02上显示信号完整性问题，同时保留NCCL报告作为有趣证据。

限制与不确定性

NVIDIA表示，归因质量取决于底层遥测的质量和完整性。当多个原因符合证据时，公司表示sub_domain存在歧义。帖子还指出，证据不足可能导致未归因的结果，表明系统设计时更注重反映不确定性，而非从不完整数据中强制做出最终诊断。

文章未提供 2026-11-02 帖子之后更广泛上市的日期，也未透露价格或商业条款。