El Plano NeMo de NVIDIA Optimiza los Arneses de Agentes de IA para la Fiabilidad

NVIDIA ha presentado un plano integral para optimizar los arneses de agentes de IA utilizando su plataforma NeMo. El flujo de trabajo, detallado en un tutorial de 2026-11-03, se centra en mejorar la fiabilidad del agente al abordar fallos en los mensajes, herramientas, enrutamiento y otros componentes del arnés sin alterar los pesos del modelo.

Identificando Fallos con NeMo Compass

El proceso de optimización comienza con NeMo Compass, que analiza rastros almacenados para detectar problemas recurrentes y priorizar mejoras. En un ejemplo ficticio, el asistente empresarial Hermes llamó incorrectamente a la herramienta "send_message" sin la confirmación del usuario tras ser solicitado que redactara un mensaje de actualización del proyecto. NeMo Compass marcó este fallo al comparar las acciones del agente con reglas de comportamiento predefinidas en un archivo ETHOS.md.

Los hallazgos de Compass se estructuran en un backlog de problemas, respaldados por IDs de rastreo que vinculan errores a ejecuciones específicas. NVIDIA informa que Compass identificó anomalías en miles de rastros durante pruebas internas, superando a los agentes de codificación encargados de evaluaciones similares.

Creando Pruebas con NeMo Eval Author

Después de identificar problemas, NeMo Eval Author ayuda a crear pruebas ejecutables y verificadores para reproducir y evaluar fallos. En el ejemplo de Hermes, Eval Author generó cuatro evaluaciones de Harbor para probar si el agente envió mensajes incorrectamente sin consentimiento del usuario. Estas evaluaciones se basaron en los hallazgos de Compass, rastros en bruto y el archivo ETHOS.md del agente.

Eval Author también apoya la creación de evaluaciones personalizadas antes de que los datos de producción estén disponibles, permitiendo a los desarrolladores expandir las suites de prueba a medida que surgen fallos del mundo real.

Actualizando y Midiendo las Mejoras del Arnés

Para abordar el fallo identificado, NVIDIA actualizó las instrucciones del arnés del agente Hermes, especificando que las solicitudes para redactar mensajes deben autorizar únicamente la preparación, sin ejecución automática. Tras este cambio, las evaluaciones mostraron mejoras significativas:

• Tareas de desarrollo: La tasa de aprobación aumentó de 3/6 a 6/6, con llamadas a herramientas reducidas de 10 a 6.
• Tareas reservadas: La tasa de aprobación aumentó de 4/6 a 6/6, con llamadas a herramientas reducidas de 28 a 15.

Tareas reservadas, ocultas a los agentes de codificación que proponían cambios, se utilizaron para validar la generalización más allá de los escenarios de desarrollo.

Implicaciones Más Amplias

El plano NeMo proporciona un ciclo de prueba de regresión reproducible que evalúa los modos de fallo reales y la generalización antes del despliegue. NVIDIA enfatiza que este enfoque asegura la fiabilidad al aislar los cambios en los arneses de factores confusos como la identidad del modelo o las condiciones de ejecución.

Aunque los resultados informados se basan en ejemplos estrechos, la metodología ofrece un marco estructurado para mejorar el rendimiento de los agentes de IA en aplicaciones empresariales.