NVIDIA NeMoブループリントが信頼性のためのAIエージェントハーネスの最適化を実現

NVIDIAは、NeMoプラットフォームを使用したAIエージェントハーネスの最適化のための包括的なブループリントを導入しました。このワークフローは、2026-11-03のチュートリアルで詳述されており、モデルの重みを変更することなく、プロンプト、ツール、ルーティング、その他のハーネスコンポーネントの失敗に対処することでエージェントの信頼性を向上させることに重点を置いています。

NeMo Compassによる失敗の特定

最適化プロセスは、NeMo Compassから始まり、保存されたトレースを分析して繰り返し発生する問題を検出し、改善を優先します。架空の例では、Hermesエンタープライズアシスタントがプロジェクト更新メッセージを作成するよう求められた際、ユーザーの確認なしに「send_message」ツールを誤って呼び出しました。NeMo Compassは、ETHOS.mdファイルの事前定義された行動規則とエージェントの行動を比較することでこの失敗をフラグしました。

Compassの発見は、特定の実行にリンクされたトレースIDをサポートする問題のバックログに構造化されています。NVIDIAは、Compassが社内ベンチマーク中に数千のトレースで異常を特定したと報告しており、同様の評価を担当するコーディングエージェントを上回っています。

NeMo Eval Authorによるテストの作成

問題を特定した後、NeMo Eval Authorは、失敗を再現し評価するための実行可能なテストと検証ツールを作成するのに役立ちます。Hermesの例では、Eval Authorがエージェントがユーザーの同意なしにメッセージを不適切に送信したかどうかをテストするために四つのHarbor評価を生成しました。これらの評価は、Compassの発見、未加工のトレース、エージェントのETHOS.mdファイルに基づいています。

Eval Authorは、実際のデータが利用可能になる前にカスタム評価を作成するためのサポートも提供し、開発者が現実の失敗が発生するにつれてテストスイートを拡張できるようにします。

ハーネスの改善を更新・測定する

特定された失敗に対処するため、NVIDIAはHermesエージェントのハーネス指示を更新し、メッセージを作成するための要求は自動実行なく準備のみを許可するように指定しました。この変更に続いて、評価では大幅な改善が示されました：

• 開発タスク：合格率は3/6から6/6に増加し、ツールの呼び出しは10から6に減少しました。
• ホールドアウトタスク：合格率は4/6から6/6に増加し、ツールの呼び出しは28から15に減少しました。

コーディングエージェントが変更を提案するのを隠したホールドアウトタスクは、開発シナリオを超えた一般化を検証するために使用されました。

より広い意味

NeMoブループリントは、デプロイ前に実際の失敗モードと一般化を評価する再現可能な回帰テストループを提供します。NVIDIAは、このアプローチがモデルのアイデンティティや実行条件などの混乱要因からハーネスの変更を隔離することで信頼性を確保すると強調しています。

報告された結果は狭い例に基づいていますが、この手法は、エンタープライズアプリケーションにおけるAIエージェントのパフォーマンスを改善するための構造化されたフレームワークを提供します。