NVIDIA NeMo BluePrint Оптимизирует Доверие К AI-агентам

NVIDIA представила всеобъемлющий blueprints для оптимизации harness AI-агентов с использованием своей платформы NeMo. Рабочий процесс, подробно описанный в учебнике 2026-11-03, сосредоточен на повышении надежности агентов, устраняя сбои в подсказках, инструментах, маршрутизации и других компонентах harness без изменения весов модели.

Выявление Сбоев с Немо Компас

Процесс оптимизации начинается с NeMo Compass, который анализирует сохраненные трассы для обнаружения повторяющихся проблем и приоритизирует улучшения. В вымышленном примере корпоративный помощник Hermes неверно вызвал инструмент "send_message" без подтверждения пользователя после того, как его попросили подготовить сообщение об обновлении проекта. NeMo Compass отметил здесь неудачу, сравнив действия агента с заранее определенными правилами поведения в файле ETHOS.md.

Результаты Compass структурированы в список проблем с поддержкой идентификаторов трасс, связывающих ошибки с конкретными запусками. NVIDIA сообщает, что Compass выявил аномалии в тысячах трасс в ходе внутренних испытаний, превзойдя программируемых агентов, назначенных на аналогичную оценку.

Создание Тестов с NeMo Eval Author

После выявления проблем NeMo Eval Author помогает создать выполняемые тесты и проверки для воспроизведения и оценки сбоев. В примере Hermes Eval Author сгенерировал четыре Harbor оценки, чтобы протестировать, отправил ли агент сообщения без согласия пользователя. Эти оценки основывались на выводах Compass, сырых трассах и файле ETHOS.md агента.

Eval Author также поддерживает создание пользовательских оценок до того, как данные о производстве будут доступны, позволяя разработчикам расширять тестовые наборы по мере появления сбоев в реальном мире.

Обновление и Измерение Улучшений Harness

Чтобы решить выявленную проблему, NVIDIA обновила инструкции harness для агента Hermes, указав, что запросы на создание сообщений должны разрешать только подготовку, без автоматического выполнения. После этого изменения оценки показали значимые улучшения:

• Развивающие задачи: Процент успешно выполненных задач увеличился с 3/6 до 6/6, при этом количество вызовов инструментов сократилось с 10 до 6.
• Холд-аут задачи: Процент успешно выполненных задач увеличился с 4/6 до 6/6, с сокращением вызовов инструментов с 28 до 15.

Холд-аут задачи, скрытые от программируемых агентов, предлагающих изменения, использовались для проверки обобщения за пределами сценариев развития.

Широкие Последствия

BluePrint NeMo предоставляет воспроизводимый цикл регрессионного тестирования, который оценивает реальные способы сбоя и обобщения перед развертыванием. NVIDIA подчеркивает, что такой подход обеспечивает надежность, изолируя изменения в harness от смешивающих факторов, таких как идентичность модели или условия выполнения.

Хотя представленные результаты основаны на узких примерах, методология предлагает структурированную основу для повышения эффективности AI-агентов в корпоративных приложениях.