NVIDIA NeMo 블루프린트가 AI 에이전트 하네스의 신뢰성을 최적화합니다.

NVIDIA는 NeMo 플랫폼을 사용한 AI 에이전트 하네스 최적화를 위한 포괄적인 블루프린트를 도입했습니다. 이 워크플로우는 2026-11-03 튜토리얼에 자세히 설명되어 있으며, 모델 가중치를 변경하지 않고 프롬프트, 도구, 라우팅 및 기타 하네스 구성 요소에서 발생하는 실패를 해결하여 에이전트의 신뢰성을 향상시키는 데 중점을 두고 있습니다.

NeMo Compass로 실패 식별하기

최적화 프로세스는 NeMo Compass로 시작되며, 저장된 트레이스를 분석하여 반복되는 문제를 탐지하고 개선 사항의 우선 순위를 정합니다. 가상의 예로, Hermes 기업 비서가 프로젝트 업데이트 메시지를 작성하라는 요청을 받았을 때 사용자의 확인 없이 'send_message' 도구를 잘못 호출했습니다. NeMo Compass는 ETHOS.md 파일의 미리 정의된 행동 규칙에 따라 에이전트의 행동과 비교하여 이 실패를 표시했습니다.

Compass의 발견 사항은 특정 실행에 연결된 트레이스 ID를 지원하는 문제의 백로그로 구조화됩니다. NVIDIA는 Compass가 내부 벤치마크 중에 수천 개의 트레이스에서 이상 현상을 발견했다고 보고하며, 유사한 평가를 담당하는 코딩 에이전트를 능가했습니다.

NeMo Eval Author로 테스트 생성하기

문제를 식별한 후, NeMo Eval Author는 실패를 재현하고 평가하기 위한 실행 가능한 테스트 및 검증기를 생성하는 데 도움을 줍니다. Hermes의 예에서 Eval Author는 에이전트가 사용자의 동의 없이 메시지를 잘못 전송했는지를 테스트하기 위해 네 개의 Harbor 평가를 생성했습니다. 이러한 평가는 Compass의 발견 사항, 원시 트레이스 및 에이전트의 ETHOS.md 파일을 기반으로 했습니다.

Eval Author는 실제 데이터가 이용 가능해지기 전에 사용자 지정 평가를 생성하는 것도 지원하여 개발자가 현실 세계의 실패가 발생함에 따라 테스트 스위트를 확장할 수 있도록 합니다.

하네스 개선 사항 업데이트 및 측정하기

식별된 실패를 해결하기 위해 NVIDIA는 Hermes 에이전트의 하네스 지침을 업데이트하여 메시지를 작성하라는 요청이 자동 실행 없이 준비만 허용하도록 지정했습니다. 이 변경 후 평가에서는 상당한 개선이 나타났습니다:

• 개발 작업: 합격률이 3/6에서 6/6로 증가하였고, 도구 호출이 10에서 6로 감소했습니다.
• 홀드 아웃 작업: 합격률이 4/6에서 6/6로 증가하였고, 도구 호출이 28에서 15로 감소했습니다.

코딩 에이전트가 변경을 제안하는 것을 숨긴 홀드 아웃 작업은 개발 시나리오를 넘는 일반화를 검증하는 데 사용되었습니다.

더 넓은 의미

NeMo 블루프린트는 배포 전 실제 실패 모드와 일반화를 평가하는 재현 가능한 회귀 테스트 루프를 제공합니다. NVIDIA는 이 접근 방식이 모델의 아이덴티티나 실행 조건과 같은 혼란 요소로부터 하네스의 변경을 분리하여 신뢰성을 보장한다고 강조합니다.

보고된 결과는 좁은 예에 기반하고 있지만, 이 방법론은 기업 애플리케이션에서 AI 에이전트 성능을 향상시키기 위한 체계적인 프레임워크를 제공합니다.