Notícias
SO-Arena: Avaliando as Capacidades e Confiabilidade dos Modelos System One
SO-Arena avalia modelos System One em 11 domínios, revelando variabilidade nos benefícios de escalonamento e confiabilidade nas decisões além da precisão.
Artigo traduzido. Ler o artigo original.
Uma nova ferramenta de benchmarking, SO-Arena, foi introduzida para avaliar o espectro de capacidades e a confiabilidade nas decisões dos modelos System One. A pesquisa, publicada em 2026-11-13 , no arXiv (2611.15777) pelos autores principais Lichen Li, Ziping Dong, Sicheng Feng, Qi Li e Xinchao Wang, visa abordar as limitações das métricas de desempenho agregadas na compreensão dos pontos fortes e fracos desses modelos. A implementação de código aberto está disponível no GitHub.
Avaliação Abrangente em Vários Domínios
SO-Arena avalia modelos System One em 11 domínios e cinco famílias de capacidades, englobando tarefas 2,919 . Estas incluem decisões estáticas 2,300 , episódios de uso de ferramentas 282 em simuladores e tarefas baseadas em texto na Web 337 . O benchmark introduz níveis de dificuldade detalhados (Fácil, Médio, Difícil e Muito Difícil para matemática) para expor diferenças de desempenho sutis que as pontuações agregadas costumam obscurecer.
As principais características do SO-Arena incluem avaliação fundamentada em evidências, onde os rótulos são verificados manualmente em relação às entradas visíveis para o modelo, e testes interativos realistas. Os modelos são avaliados em sua capacidade de observar, escolher e executar ações em sandboxes de ferramentas e da Web, com pontuação baseada em resultados e progresso.
Confiabilidade nas Decisões como Métrica Principal
Além da precisão, o SO-Arena avalia a confiabilidade nas decisões através de duas medidas complementares: estabilidade nas decisões sob mudanças controladas no conjunto de opções e reconhecimento de respostas ausentes quando nenhuma opção válida existe. Essas métricas destacam que um desempenho geral forte não se traduz necessariamente em um processo de tomada de decisão confiável. Por exemplo, o modelo System One com melhor desempenho em termos de precisão ficou apenas em sétimo lugar em confiabilidade.
Implicações para Modelos System One
Os achados revelam que os ganhos em escalonamento e raciocínio variam significativamente entre os domínios, enfatizando a necessidade de ver o espectro de capacidades e a confiabilidade nas decisões como dimensões complementares. Essa abordagem sistemática fornece insights mais profundos sobre os pontos fortes e limitações dos modelos System One, que são projetados para tomada de decisão rápida e de propósito geral, sem longas gerações de tokens.
O projeto SO-Arena é de código aberto e pode ser acessado no GitHub em https://github.com/holdrain/SO-Arena.
Mais artigos em português · Comparações financeiras e fontes da SEC (inglês)