NVIDIA NeMo Blueprint Optimiert AI-Agenten-Harvester für Zuverlässigkeit

NVIDIA hat einen umfassenden Blueprint zur Optimierung von AI-Agenten-Harvestern mithilfe seiner NeMo-Plattform vorgestellt. Der im 2026-11-03-Tutorial detaillierte Arbeitsablauf konzentriert sich darauf, die Zuverlässigkeit des Agenten zu verbessern, indem Fehler in Eingabeaufforderungen, Werkzeugen, Routen und anderen Komponenten des Harvesters behandelt werden, ohne die Modellgewichte zu ändern.

Fehler mit NeMo Compass identifizieren

Der Optimierungsprozess beginnt mit NeMo Compass, das gespeicherte Spuren analysiert, um wiederkehrende Probleme zu erkennen und Verbesserungen zu priorisieren. In einem fiktiven Beispiel rief der Unternehmensassistent Hermes das Werkzeug "send_message" fälschlicherweise ohne Benutzerbestätigung auf, nachdem er gebeten worden war, eine Projektaktualisierungsnachricht zu entwerfen. NeMo Compass kennzeichnete diesen Fehler, indem es die Aktionen des Agenten mit vordefinierten Verhaltensregeln in einer ETHOS.md-Datei verglich.

Die Ergebnisse von Compass werden in einen Backlog von Problemen strukturiert, unterstützt durch Trace-IDs, die Fehler mit bestimmten Durchgängen verknüpfen. NVIDIA berichtet, dass Compass Anomalien in Tausenden von Spuren während interner Benchmarks identifiziert hat und dabei besser abschnitt als Codierungsagenten, die mit ähnlichen Bewertungen beauftragt waren.

Tests mit NeMo Eval Author erstellen

Nach der Identifizierung von Problemen hilft NeMo Eval Author bei der Erstellung ausführbarer Tests und Prüfer, um Fehler zu reproduzieren und zu bewerten. Im Beispiel von Hermes generierte Eval Author vier Harbor-Bewertungen, um zu testen, ob der Agent möglicherweise Nachrichten ohne Benutzereinwilligung gesendet hat. Diese Bewertungen basierten auf den Erkenntnissen von Compass, Rohspuren und der ETHOS.md-Datei des Agenten.

Eval Author unterstützt auch die Erstellung benutzerdefinierter Bewertungen, bevor Produktionsdaten verfügbar sind, sodass Entwickler Test-Suites erweitern können, wenn reale Fehler auftreten.

Aktualisieren und Messen von Verbesserungen des Harvesters

Um den identifizierten Fehler zu beheben, aktualisierte NVIDIA die Anweisungen des Hermes-Agenten, in denen spezifiziert wurde, dass Anfragen zur Erstellung von Nachrichten nur die Vorbereitung autorisieren sollten, ohne automatische Ausführung. Nach dieser Änderung zeigten die Bewertungen signifikante Verbesserungen:

• Entwicklungsaufgaben: Die Bestehensquote stieg von 3/6 auf 6/6, während die Werkzeuganrufe von 10 auf 6 reduziert wurden.
• Zurückgehaltene Aufgaben: Die Bestehensquote stieg von 4/6 auf 6/6, während die Werkzeuganrufe von 28 auf 15 reduziert wurden.

Zurückgehaltene Aufgaben, die den vorgeschlagenen Änderungen durch die Codierungsagenten verborgen waren, wurden verwendet, um die Generalisierung über Entwicklungsszenarien hinaus zu validieren.

Breitere Implikationen

Der NeMo-Blueprint bietet einen reproduzierbaren Regressionstestzyklus, der reale Fehlermodi und Generalisierungen vor dem Einsatz evaluiert. NVIDIA betont, dass dieser Ansatz die Zuverlässigkeit gewährleistet, indem Änderungen des Harvesters von verwirrenden Faktoren wie Modellidentität oder Ausführungsbedingungen isoliert werden.

Obwohl die berichteten Ergebnisse auf engen Beispielen basieren, bietet die Methodik einen strukturierten Rahmen zur Verbesserung der AI-Agentenleistung in Unternehmensanwendungen.