Actualités

SO-Arena : Évaluation des capacités et de la fiabilité des modèles System One

SO-Arena évalue les modèles System One dans divers domaines 11 , révélant des variations dans les avantages de mise à l'échelle et la fiabilité des décisions au-delà de l'exactitude.

Illustration éditoriale thématique
Illustration éditoriale, et non photographie de l'événement.

Article traduit. Lire l'article original.

Un nouvel outil de benchmarking, SO-Arena, a été introduit pour évaluer le spectre des capacités et la fiabilité des décisions des modèles System One. La recherche, publiée le 2026-11-13 , sur arXiv (2611.15777) par les auteurs principaux Lichen Li, Ziping Dong, Sicheng Feng, Qi Li et Xinchao Wang, vise à aborder les limitations des métriques de performance agrégées pour comprendre les forces et les faiblesses de ces modèles. L'implémentation open-source est disponible sur GitHub.

Évaluation complète à travers les domaines

SO-Arena évalue les modèles System One dans divers domaines 11 et cinq familles de capacités, englobant des tâches 2,919 . Celles-ci incluent des décisions statiques 2,300 , des épisodes d'utilisation d'outils 282 dans des simulateurs et des tâches Web basées sur du texte 337 . Le benchmark introduit des niveaux de difficulté fins (Facile, Moyenne, Difficile et Très Difficile pour les mathématiques) pour exposer les différences de performance nuancées que les scores agrégés obscurcissent souvent.

Les caractéristiques clés de SO-Arena incluent une évaluation basée sur des preuves, où les étiquettes sont manuellement vérifiées par rapport aux entrées visibles des modèles, et des tests interactifs réalistes. Les modèles sont évalués sur leur capacité à observer, choisir et exécuter des actions dans des environnements de simulation d'outils et Web, avec des scores basés sur les résultats et les progrès.

Fiabilité des décisions comme métrique clé

Au-delà de l'exactitude, SO-Arena évalue la fiabilité des décisions à travers deux mesures complémentaires : la stabilité des décisions sous des changements d'ensembles d'options contrôlés et la reconnaissance des réponses manquantes lorsque aucune option valide n'existe. Ces métriques mettent en évidence que de fortes performances globales ne se traduisent pas nécessairement par une prise de décision fiable. Par exemple, le modèle System One le plus performant en termes d'exactitude s'est classé seulement septième en fiabilité.

Implications pour les modèles System One

Les résultats révèlent que les gains en mise à l'échelle et en raisonnement varient considérablement à travers les domaines, soulignant la nécessité de considérer le spectre des capacités et la fiabilité des décisions comme des dimensions complémentaires. Cette approche systématique fournit des aperçus plus profonds sur les forces et les limitations des modèles System One, qui sont conçus pour une prise de décision rapide et polyvalente sans génération de jetons prolongée.

Le projet SO-Arena est open-source et peut être consulté sur GitHub à https://github.com/holdrain/SO-Arena.

Autres articles en français · Comparaisons financières et sources SEC (anglais)