ニュース

SO-Arena: System Oneモデルの能力と信頼性を評価するシステム

SO-Arenaは11領域におけるSystem Oneモデルを評価し、正確性を超えたスケーリングメリットと意思決定の信頼性の変動を明らかにします。

記事のテーマを表す編集用イラスト
編集用イラストです。実際の出来事を撮影した写真ではありません。

翻訳記事です。 元の記事を読む.

新しいベンチマーキングツールであるSO-Arenaが、System Oneモデルの能力スペクトルと意思決定の信頼性を評価するために導入されました。この研究は、2026-11-13に公開され、arXiv(2611.15777)で、主著者のLichen Li、Ziping Dong、Sicheng Feng、Qi Li、Xinchao Wangによって行われ、これらのモデルの強みと弱みを理解するための集約されたパフォーマンスメトリクスの限界に対処することを目的としています。オープンソースの実装はGitHubで利用可能です。

領域を超えた包括的なベンチマーキング

SO-Arenaは、11領域および五つの能力ファミリーにわたるSystem Oneモデルを評価し、2,919タスクを網羅します。これには、2,300静的決定、282シミュレーターにおけるツール使用エピソード、および337テキストベースのWebタスクが含まれます。このベンチマークは、集約スコアがしばしば隠す微妙なパフォーマンスの違いを明らかにするために、細かく設定された難易度層(数学における簡単、中程度、難しい、非常に難しい)を導入しています。

SO-Arenaの主な特長には、モデルが可視化可能な入力に対して手動で検証されたラベルを用いる証拠に基づいた評価と現実的なインタラクティブテストが含まれています。モデルは、ツールおよびWebサンドボックス内での行動の観察、選択、実行能力に基づいて評価され、その結果と進捗に基づいてスコアが決定されます。

重要な指標としての意思決定の信頼性

SO-Arenaは、正確性を超えて二つの補完的な指標を通じて意思決定の信頼性を評価します。これには、制御されたオプションセットの変更下での意思決定の安定性と、有効な選択肢がない場合の欠落応答認識が含まれます。これらの指標は、全体的なパフォーマンスが必ずしも信頼できる意思決定に直結するわけではないことを強調しています。例えば、正確性において最も性能が高いSystem Oneモデルは、信頼性においては七位にランクインしました。

System Oneモデルへの含意

調査結果から、スケールと推論の向上が領域ごとに大きく異なることが明らかになり、能力のスペクトルと意思決定の信頼性を補完的な次元として見る必要性が強調されています。この体系的なアプローチは、迅速で汎用的な意思決定のために設計されたSystem Oneモデルの強みと限界について、より深い洞察を提供します。

SO-Arenaプロジェクトはオープンソースであり、GitHubでアクセスできます。リンクはhttps://github.com/holdrain/SO-Arenaです。

その他の日本語記事 · 財務比較とSEC資料(英語)