NVIDIA NeMo蓝图优化AI代理的可靠性

NVIDIA推出了一套全面的蓝图，旨在利用其NeMo平台优化AI代理的培训。该工作流程在2026-11-03教程中详细说明，侧重于通过解决提示、工具、路由和其他培训组件的故障来提高代理的可靠性，而无需更改模型权重。

使用NeMo Compass识别故障

优化过程始于NeMo Compass，它分析存储的跟踪以检测重复出现的问题并优先考虑改进。在一个虚构的例子中，Hermes企业助手在被要求草拟项目更新信息时错误地在没有用户确认的情况下调用了“send_message”工具。NeMo Compass通过将代理的行为与ETHOS.md文件中的预定义行为规则进行比较，标记了此故障。

Compass的发现被归纳为问题待办事项，并通过跟踪ID将错误链接到特定的运行。NVIDIA报告称，在内部基准测试中，Compass在数千个跟踪中识别了异常，表现优于承担类似评估任务的编码代理。

使用NeMo Eval Author创建测试

在识别问题后，NeMo Eval Author帮助创建可执行测试和验证器，以重现和评估故障。在Hermes的例子中，Eval Author生成了四个Harbor评估，以测试代理是否在没有用户同意的情况下错误地发送了消息。这些评估基于Compass的发现、原始跟踪和代理的ETHOS.md文件。

Eval Author还支持在生产数据可用之前创建自定义评估，使开发人员能够在现实世界的故障出现时扩展测试套件。

更新和衡量培训改进

为了应对识别出的故障，NVIDIA更新了Hermes代理的培训说明，明确规定草拟消息的请求应仅授权准备，而不进行自动执行。经过此更改后，评估显示显著改善：

• 开发任务：通过率从3/6增加到6/6，工具调用从10减少到6。
• 保留任务：通过率从4/6增加到6/6，工具调用从28减少到15。

保留任务在提议更改的编码代理面前被隐藏，用于验证超越开发场景的泛化。

更广泛的影响

NeMo蓝图提供了一个可重复的回归测试循环，在部署之前评估真实的故障模式和泛化。NVIDIA强调，这种方法通过将培训更改与模型身份或执行条件等混淆因素隔离开来，确保了可靠性。

尽管报告的结果基于狭隘的例子，但该方法论为改善企业应用中AI代理的表现提供了一个结构化的框架。