Noticias

SO-Arena: Sistema de Referencia de Capacidades y Fiabilidad de Modelos One

SO-Arena evalúa modelos de System One en 11 dominios, revelando variabilidad en beneficios de escalado y fiabilidad en decisiones más allá de la precisión.

Ilustración editorial temática
Ilustración editorial; no es una fotografía del suceso.

Artículo traducido. Consultar el artículo original.

Se ha introducido una nueva herramienta de evaluación, SO-Arena, para evaluar el espectro de capacidades y la fiabilidad en las decisiones de los modelos de System One. La investigación, publicada el 2026-11-13 en arXiv (2611.15777) por los autores principales Lichen Li, Ziping Dong, Sicheng Feng, Qi Li y Xinchao Wang, tiene como objetivo abordar las limitaciones de las métricas de rendimiento agregado para entender las fortalezas y debilidades de estos modelos. La implementación de código abierto está disponible en GitHub.

Evaluación Integral a Través de Dominios

SO-Arena evalúa modelos de System One en 11 dominios y cinco familias de capacidades, abarcando 2,919 tareas. Estos incluyen decisiones estáticas 2,300 , episodios de uso de herramientas 282 en simuladores y tareas basadas en texto 337 en la web. El benchmark introduce niveles de dificultad finos (Fácil, Medio, Difícil y Muy Difícil para matemáticas) para exponer diferencias de rendimiento matizadas que los puntajes agregados a menudo oscurecen.

Las características clave de SO-Arena incluyen evaluación basada en evidencia, donde las etiquetas son verificadas manualmente contra entradas visibles para el modelo, y pruebas interactivas realistas. Los modelos se evalúan en su capacidad para observar, elegir y ejecutar acciones en contextos de herramientas y web, con puntuaciones basadas en los resultados y el progreso.

Fiabilidad de Decisiones como Métrica Clave

Más allá de la precisión, SO-Arena evalúa la fiabilidad de decisiones a través de dos medidas complementarias: estabilidad de decisiones bajo cambios controlados en el conjunto de opciones y reconocimiento de respuestas faltantes cuando no existe una opción válida. Estas métricas destacan que un gran rendimiento general no necesariamente se traduce en una toma de decisiones fiable. Por ejemplo, el modelo de System One con mejor rendimiento en términos de precisión ocupó solo el séptimo lugar en fiabilidad.

Implicaciones para Modelos de System One

Los hallazgos revelan que las ganancias de escalado y razonamiento varían significativamente entre dominios, subrayando la necesidad de ver el espectro de capacidades y la fiabilidad de decisiones como dimensiones complementarias. Este enfoque sistemático proporciona una visión más profunda de las fortalezas y limitaciones de los modelos de System One, que están diseñados para una toma de decisiones rápida y de propósito general sin una generación de tokens prolongada.

El proyecto SO-Arena es de código abierto y se puede acceder en GitHub en https://github.com/holdrain/SO-Arena.

Más artículos en español · Datos e investigación