뉴스

SO-Arena: System One 모델의 능력과 신뢰성 평가

SO-Arena는 11 영역에서 System One 모델을 평가하여 정확성을 넘어서는 스케일링 이점과 의사 결정 신뢰성의 변동성을 드러냅니다.

기사 주제를 나타내는 편집용 일러스트
편집용 일러스트이며 실제 사건의 사진이 아닙니다.

번역 기사입니다. 원문 기사 읽기.

새로운 벤치마킹 도구인 SO-Arena가 System One 모델의 능력 스펙트럼과 의사 결정 신뢰성을 평가하기 위해 도입되었습니다. 연구는 2026-11-13에 공개되었으며, arXiv(2611.15777)에서 Lichen Li, Ziping Dong, Sicheng Feng, Qi Li 및 Xinchao Wang의 주 저자들에 의해 수행되었으며, 이러한 모델의 강점과 약점을 이해하기 위해 집계 성능 메트릭의 한계를 다루고자 합니다. 오픈 소스 구현은 GitHub에서 사용할 수 있습니다.

영역을 넘는 포괄적인 벤치마킹

SO-Arena는 11 영역과 다섯 가지 능력 패밀리에 걸쳐 System One 모델을 평가하며, 2,919 작업을 포함합니다. 여기에는 2,300 정적 결정, 282 시뮬레이터에서의 도구 사용 에피소드 및 337 텍스트 기반 웹 작업이 포함됩니다. 이 벤치마크는 집계 점수가 종종 가리는 미세한 성능 차이를 드러내기 위해 세분화된 난이도 계층(수학의 경우 쉬움, 중간, 어려움 및 매우 어려움)을 도입합니다.

SO-Arena의 주요 기능에는 모델이 볼 수 있는 입력에 대해 수동으로 검증된 레이블을 사용하는 증거 기반 평가와 현실적인 인터랙티브 테스트가 포함됩니다. 모델은 도구와 웹 샌드박스 내에서 행동을 관찰하고 선택하며 실행하는 능력에 따라 평가되며, 결과와 진행 상황에 따라 점수가 매겨집니다.

주요 지표로서의 의사 결정 신뢰성

SO-Arena는 정확성을 넘어 두 가지 보완적인 측정을 통해 의사 결정 신뢰성을 평가합니다. 이는 제어된 옵션 세트의 변화에 따른 의사 결정의 안정성과 유효한 옵션이 존재하지 않을 때 누락된 응답 인지를 포함합니다. 이러한 지표는 전반적인 성능이 반드시 신뢰할 수 있는 의사 결정으로 이어지지 않음을 강조합니다. 예를 들어, 정확성 측면에서 가장 성능이 우수한 System One 모델은 신뢰성에서 단지 칠위에 랭크되었습니다.

System One 모델에 대한 함의

결과는 스케일링 및 추론의 향상이 영역마다 크게 다르며, 능력 스펙트럼과 의사 결정 신뢰성을 보완적인 차원으로 보아야 할 필요성을 강조합니다. 이러한 체계적인 접근 방식은 길고 격렬한 토큰 생성 없이 빠르고 범용적인 의사 결정을 위해 설계된 System One 모델의 강점과 한계에 대해 더 깊은 통찰을 제공합니다.

SO-Arena 프로젝트는 오픈 소스이며 GitHub에서 접근할 수 있습니다. 링크는https://github.com/holdrain/SO-Arena입니다.

한국어 기사 더 보기 · 재무 비교 및 SEC 자료 (영어)