O Blueprint NeMo da NVIDIA Otimiza Harnesses de Agentes de IA para Confiabilidade

A NVIDIA introduziu um blueprint abrangente para otimizar harnesses de agentes de IA usando sua plataforma NeMo. O fluxo de trabalho, detalhado em um tutorial 2026-11-03, foca na melhoria da confiabilidade dos agentes abordando falhas em prompts, ferramentas, roteamento e outros componentes do harness sem alterar os pesos do modelo.

Identificando Falhas com o NeMo Compass

O processo de otimização começa com o NeMo Compass, que analisa traços armazenados para detectar problemas recorrentes e priorizar melhorias. Em um exemplo fictício, o assistente empresarial Hermes chamou incorretamente a ferramenta "send_message" sem confirmação do usuário após ser solicitado a redigir uma mensagem de atualização de projeto. O NeMo Compass sinalizou essa falha ao comparar as ações do agente com regras de comportamento predefinidas em um arquivo ETHOS.md.

As descobertas do Compass são estruturadas em um backlog de questões, apoiadas por IDs de traço que conectam erros a execuções específicas. A NVIDIA relata que o Compass identificou anomalias em milhares de traços durante benchmarks internos, superando agentes de codificação encarregados de avaliações semelhantes.

Criando Testes com o NeMo Eval Author

Após identificar problemas, o NeMo Eval Author ajuda a criar testes executáveis e verificadores para reproduzir e avaliar falhas. No exemplo do Hermes, o Eval Author gerou quatro avaliações do Harbor para testar se o agente enviou mensagens de forma inadequada sem o consentimento do usuário. Essas avaliações foram baseadas nas descobertas do Compass, traços brutos e o arquivo ETHOS.md do agente.

O Eval Author também oferece suporte para criar avaliações personalizadas antes que os dados de produção estejam disponíveis, permitindo que os desenvolvedores expandam suítes de testes à medida que falhas do mundo real surgem.

Atualizando e Medindo Melhorias no Harness

Para abordar a falha identificada, a NVIDIA atualizou as instruções do harness do agente Hermes, especificando que solicitações para redigir mensagens devem autorizar apenas a preparação, sem execução automática. Após essa mudança, as avaliações mostraram melhorias significativas:

• Tarefas de desenvolvimento: A taxa de aprovação aumentou de 3/6 para 6/6, com chamadas de ferramentas reduzidas de 10 para 6.
• Tarefas mantidas: A taxa de aprovação aumentou de 4/6 para 6/6, com chamadas de ferramentas reduzidas de 28 para 15.

Tarefas mantidas, ocultas dos agentes de codificação que propõem mudanças, foram usadas para validar a generalização além dos cenários de desenvolvimento.

Implicações Mais Amplas

O blueprint NeMo fornece um loop de teste de regressão reproduzível que avalia modos de falha reais e generalização antes do deployment. A NVIDIA enfatiza que essa abordagem garante confiabilidade isolando mudanças no harness de fatores de confusão, como identidade do modelo ou condições de execução.

Embora os resultados relatados sejam baseados em exemplos restritos, a metodologia oferece uma estrutura organizada para melhorar o desempenho dos agentes de IA em aplicações empresariais.