NVIDIA部署AI代理以优化DGX SuperPOD操作

NVIDIA推出了其AI工厂运营代理，这是一个旨在优化DGX SuperPOD基础设施管理的框架。通过利用AI驱动的领域特定代理，该系统旨在减少现场可靠性工程师（SRE）的手动工作负载，并在计算、网络、硬件和调度层面上简化根本原因分析。

AI驱动的操作框架

AI工厂运营代理集成了多个专门的代理，这些代理通过2024-11中由Anthropic引入的模型上下文协议（MCP）进行通信。该协议支持AI应用程序与外部工具之间的无缝交互，使NVIDIA能够最大化其AI工厂环境中的正常运行时间和性能。该系统围绕NVIDIA的NemoClaw蓝图构建，通过面向用户的聊天界面协调领域特定代理和工具。

框架的关键组成部分包括：

• 作业恢复代理：识别训练作业失败并执行多层根本原因分析。
• 硬件代理：诊断硬件问题，例如PCIe错误、GPU故障和热异常。
• 可观察性代理：使用Prometheus和Grafana Loki日志动态生成仪表板。
• Kubernetes代理：提供对集群资源和调度状态的只读见解。
• 集群管理代理：与NVIDIA基础命令管理器API接口以进行集群诊断和故障排除。

模块化设计允许组织在不更改现有组件的情况下集成额外的代理和基础设施。该系统支持本地部署和数据主权，代理推断由本地服务的NVIDIA Nemotron开放模型提供支持。

技术架构

AI工厂运营代理作为Kubernetes控制平面应用运行。Helm部署用户界面、OpenClaw网关、MCP工具服务器、推断端点和NVIDIA OpenShell运行时作为Kubernetes服务。OpenShell运行时通过为Shell命令创建每个会话的Kubernetes沙箱，确保安全、可审计的执行，避免直接访问Kubernetes凭证。

安全措施包括基于角色的访问控制（RBAC）和服务器端检查工具，确保代理在预定义权限范围内操作。例如，代理可以读取pod和configmap数据，但不能创建或更新pods。

操作利益和经验

在生产中，NVIDIA的代理展示了检测故障、跨多个层面关联根本原因和通过自然语言接口提供可行建议的能力。NVIDIA部署的关键经验包括：

• 保持明确的代理边界，避免重叠责任。
• 通过只读操作建立信任，然后再引入自动化。
• 通过关联工作负载、硬件和网络层的信号来增强根本原因分析。
• 通过精确的MCP定义提高工具路由准确性。
• 通过显示证据和推理确保透明度，以供SRE审查。

未来应用

尽管目前部署于NVIDIA的DGX SuperPOD环境中，AI工厂运营代理框架旨在可扩展性和适应性。运行大规模AI工厂的组织可以实施该系统，以统一操作工作流程、增强可观察性并减少基础设施管理中的手动干预。