Nachrichten

SO-Arena: Benchmarking-System für die Fähigkeiten und Zuverlässigkeit von System One Modellen

SO-Arena bewertet System One Modelle über 11 Bereiche hinweg und offenbart Variabilität in Skalierungsleistungen und Entscheidungszuverlässigkeit über die Genauigkeit hinaus.

Thematische redaktionelle Illustration
Redaktionelle Illustration; kein Foto des Ereignisses.

Übersetzter Artikel. Originalartikel lesen.

Ein neues Benchmarking-Tool, SO-Arena, wurde eingeführt, um das Fähigkeitsspektrum und die Entscheidungszuverlässigkeit von System One Modellen zu evaluieren. Die Forschung, veröffentlicht am 2026-11-13 auf arXiv (2611.15777) von den Hauptautoren Lichen Li, Ziping Dong, Sicheng Feng, Qi Li und Xinchao Wang, zielt darauf ab, die Einschränkungen aggregierter Leistungsmetriken bei der Einsicht in die Stärken und Schwächen dieser Modelle zu adressieren. Die Open-Source-Implementierung ist auf GitHub verfügbar.

Umfassendes Benchmarking über Bereiche hinweg

SO-Arena bewertet System One Modelle in 11 Bereichen und fünf Fähigkeitsfamilien, die 2,919 Aufgaben umfassen. Diese beinhalten 2,300 statische Entscheidungen, 282 Werkzeugeinsätze in Simulatoren und 337 textbasierte Webaufgaben. Das Benchmark führt feingliedrige Schwierigkeitsstufen (Einfach, Mittel, Schwer und Sehr Schwer für Mathematik) ein, um nuancierte Leistungsunterschiede aufzuzeigen, die aggregierte Punktzahlen oft verschleiern.

Zu den Hauptmerkmalen von SO-Arena gehören evidenzbasierte Evaluierung, bei der Labels manuell gegen modell-sichtbare Eingaben überprüft werden, sowie realistische interaktive Tests. Modelle werden auf ihre Fähigkeit hin bewertet, Handlungen in Tool- und Web-Sandboxen zu beobachten, auszuwählen und auszuführen, wobei die Bewertung auf Ergebnissen und Fortschritten basiert.

Entscheidungszuverlässigkeit als Schlüsselmetrik

Über die Genauigkeit hinaus bewertet SO-Arena die Entscheidungszuverlässigkeit durch zwei komplementäre Maße: Entscheidungsstabilität bei kontrollierten Änderungen des Optionssatzes und Erkennung von fehlenden Antworten, wenn keine gültige Option existiert. Diese Metriken heben hervor, dass eine starke Gesamtleistung nicht unbedingt zu zuverlässiger Entscheidungsfindung führt. Zum Beispiel belegte das am besten abschneidende System One Modell in Bezug auf Genauigkeit nur den siebten Platz in der Zuverlässigkeit.

Implikationen für System One Modelle

Die Ergebnisse zeigen, dass Skalierungs- und Urteilsgewinne in den verschiedenen Bereichen erheblich variieren, was die Notwendigkeit unterstreicht, das Fähigkeitsspektrum und die Entscheidungszuverlässigkeit als komplementäre Dimensionen zu betrachten. Dieser systematische Ansatz bietet tiefere Einblicke in die Stärken und Begrenzungen von System One Modellen, die für eine schnelle, allgemeine Entscheidungsfindung ohne lange Token-Generierung entwickelt wurden.

Das SO-Arena Projekt ist Open Source und kann auf GitHub unter https://github.com/holdrain/SO-Arena aufgerufen werden.

Weitere Artikel auf Deutsch · Finanzvergleiche und SEC-Quellen (Englisch)