NVIDIA Mission Control 2.5 将自主恢复扩展到Kubernetes中

NVIDIA 2026-10-26表示，Mission Control 2.5 将其自主恢复引擎扩展到基于 Kubernetes 的工作负载，这些工作负载由 NVIDIA Run：人工智能 管理，将此前仅限于 Slurm 的高性能计算作业的韧性框架迁移到了 Kubernetes 环境中。公司将此次更新定位为工厂基础设施自我修复人工智能更广泛推动的一部分，在那里，当硬件或软件出现故障时，大规模训练可以以更少的人工干预方式继续进行。

证据与背景

根据NVIDIA于10月26日发布的技术博客，任务控制中心的自主恢复引擎结合了二服务：自主作业恢复和自主硬件恢复。在Kubernetes设置中，Run：人工智能作为默认调度器，而作业恢复服务则利用工作负载上下文、故障历史和作业拓扑来决定工作负载是否应重启、重试、重新排队或转移到其他地方。硬件恢复层监控节点和GPU，隔离异常与调度，并运行诊断或修复，防止可疑设备不断循环到新作业中。

公司描述了三条恢复路径。在培训过程中遇到硬件故障情景时，系统可以在故障节点被隔离和诊断期间，将工作负载重启或重新调度到健康节点上。对于暂时性软件故障，它可以根据调度策略重试，而无需隔离健康硬件。如果早期检测到性能下降，可以在任务落到节点之前将其从调度中移除。NVIDIA 表示，调度、作业上下文和硬件健康功能的分离旨在使模型在多个编排器间实现可移植性。

经过验证的背景资料中的发布说明增加了博客文章之外的技术细节，包括 Run：人工智能 2.26、Base Command Manager 11.34.0、使用 Kubeflow PyTorch 训练操作符与 KAI 调度器的恢复集成，以及 NVRx 0.6.0 异步检查点支持。NVIDIA 还强调了本版本中集中式 Keycloak 认证改进、安全性和 Kubernetes 加固更新。

同一发布说明也对更新设定了限制。Vera Rubin NVL72 的支持被描述为仅为基础指挥管理器（Base Command Manager）的早期体验，Run：人工智能 和自主弹性引擎在本版本中不支持该平台。Minerva 网络遥测和 AIOps 以及 NVIDIA Dynamic Power Software 被视为预发布测试版，而非标准组件。