뉴스
SO-Arena: System One 모델의 능력과 신뢰성 평가
SO-Arena는 11 영역에서 System One 모델을 평가하여 정확성을 넘어서는 스케일링 이점과 의사 결정 신뢰성의 변동성을 드러냅니다.
번역 기사입니다. 원문 기사 읽기.
새로운 벤치마킹 도구인 SO-Arena가 System One 모델의 능력 스펙트럼과 의사 결정 신뢰성을 평가하기 위해 도입되었습니다. 연구는 2026-11-13에 공개되었으며, arXiv(2611.15777)에서 Lichen Li, Ziping Dong, Sicheng Feng, Qi Li 및 Xinchao Wang의 주 저자들에 의해 수행되었으며, 이러한 모델의 강점과 약점을 이해하기 위해 집계 성능 메트릭의 한계를 다루고자 합니다. 오픈 소스 구현은 GitHub에서 사용할 수 있습니다.
영역을 넘는 포괄적인 벤치마킹
SO-Arena는 11 영역과 다섯 가지 능력 패밀리에 걸쳐 System One 모델을 평가하며, 2,919 작업을 포함합니다. 여기에는 2,300 정적 결정, 282 시뮬레이터에서의 도구 사용 에피소드 및 337 텍스트 기반 웹 작업이 포함됩니다. 이 벤치마크는 집계 점수가 종종 가리는 미세한 성능 차이를 드러내기 위해 세분화된 난이도 계층(수학의 경우 쉬움, 중간, 어려움 및 매우 어려움)을 도입합니다.
SO-Arena의 주요 기능에는 모델이 볼 수 있는 입력에 대해 수동으로 검증된 레이블을 사용하는 증거 기반 평가와 현실적인 인터랙티브 테스트가 포함됩니다. 모델은 도구와 웹 샌드박스 내에서 행동을 관찰하고 선택하며 실행하는 능력에 따라 평가되며, 결과와 진행 상황에 따라 점수가 매겨집니다.
주요 지표로서의 의사 결정 신뢰성
SO-Arena는 정확성을 넘어 두 가지 보완적인 측정을 통해 의사 결정 신뢰성을 평가합니다. 이는 제어된 옵션 세트의 변화에 따른 의사 결정의 안정성과 유효한 옵션이 존재하지 않을 때 누락된 응답 인지를 포함합니다. 이러한 지표는 전반적인 성능이 반드시 신뢰할 수 있는 의사 결정으로 이어지지 않음을 강조합니다. 예를 들어, 정확성 측면에서 가장 성능이 우수한 System One 모델은 신뢰성에서 단지 칠위에 랭크되었습니다.
System One 모델에 대한 함의
결과는 스케일링 및 추론의 향상이 영역마다 크게 다르며, 능력 스펙트럼과 의사 결정 신뢰성을 보완적인 차원으로 보아야 할 필요성을 강조합니다. 이러한 체계적인 접근 방식은 길고 격렬한 토큰 생성 없이 빠르고 범용적인 의사 결정을 위해 설계된 System One 모델의 강점과 한계에 대해 더 깊은 통찰을 제공합니다.
SO-Arena 프로젝트는 오픈 소스이며 GitHub에서 접근할 수 있습니다. 링크는https://github.com/holdrain/SO-Arena입니다.