Новости

SO-Arena: Оценка Способностей и Надежности Моделей System One

SO-Arena оценивает модели System One в 11 доменах, выявляя изменчивость в преимуществах масштабирования и надежности решений за пределами точности.

Тематическая редакционная иллюстрация
Редакционная иллюстрация, не фотография события.

Перевод статьи. Читать оригинальную статью.

Новый инструмент для бенчмаркинга, SO-Arena, был представлен для оценки спектра возможностей и надежности решений моделей System One. Исследование, опубликованное в 2026-11-13 на arXiv (2611.15777) под руководством авторов Личен Ли, Ципин Донг, Сичен Фэн, Ци Ли и Синчао Ванга, направлено на преодоление ограничений агрегированных метрик производительности для понимания сильных и слабых сторон этих моделей. Реализация с открытым исходным кодом доступна на GitHub.

Комплексный Бенчмаркинг По Доменам

SO-Arena оценивает модели System One по 11 доменам и пяти семействам возможностей, охватывающим 2,919 задачи. К ним относятся статические решения 2,300 , эпизоды использования инструментов 282 в симуляторах и текстовые задания на вебе 337 . Бенчмарк вводит детализированные уровни сложности (Легкий, Средний, Сложный и Очень Сложный для математики), чтобы выявить тонкие различия в производительности, которые агрегированные оценки часто скрывают.

Ключевыми характеристиками SO-Arena являются оценка, основанная на доказательствах, где метки проверяются вручную на видимых для модели входах, и реалистическое интерактивное тестирование. Модели оцениваются по их способности наблюдать, выбирать и выполнять действия в песочницах инструментов и веба, с оценкой, основанной на результатах и прогрессе.

Надежность Решений Как Ключевая Метрика

Помимо точности, SO-Arena оценивает надежность решений с помощью двух дополнительных мер: стабильностей решений при контролируемых изменениях набора вариантов иRecognition отсутствующих ответов, когда нет действительной опции. Эти метрики подчеркивают, что высокая общая производительность не обязательно приводит к надежному принятию решений. Например, наиболее высокоэффективная модель System One с точки зрения точности заняла только седьмое место по надежности.

Импликации Для Моделей System One

Полученные данные показывают, что приросты масштабирования и рассуждений значительно различаются в различных доменах, подчеркивая необходимость рассматривать спектр возможностей и надежность решений как взаимодополняющие измерения. Этот систематический подход предоставляет более глубокие сведения о сильных и слабых сторонах моделей System One, которые предназначены для быстрой принятия решений общего назначения, без длительной генерации токенов.

Проект SO-Arena является проектом с открытым исходным кодом и доступен на GitHub по адресу https://github.com/holdrain/SO-Arena.

Другие статьи на русском · Финансовые сравнения и источники SEC (на английском)