SO-Arena：系统一模型能力与可靠性基准测试

一款新的基准测试工具SO-Arena已被引入，用于评估系统一模型的能力范围和决策可靠性。研究发表在2026-11-13，发布在arXiv（2611.15777）上，主要作者为李立晨、董子平、冯思诚、李琦和王昕超，旨在解决汇总性能指标在理解这些模型优劣方面的局限性。开源实现可在GitHub上获取。

跨领域的全面基准测试

SO-Arena评估系统一模型在11领域以及五个能力家族的表现，涵盖了2,919任务。这些包括2,300静态决策、282仿真器中的工具使用情境和337基于文本的网页任务。该基准引入了细粒度的难度级别（简单、中等、困难和数学的非常困难），以揭示常常被汇总分数掩盖的微妙表现差异。

SO-Arena的关键特性包括基于证据的评估，其中标签针对模型可见输入进行了手动验证，以及真实的互动测试。模型根据其在工具和网页沙盒中观察、选择和执行操作的能力进行评估，评分基于结果和进展。

决策可靠性作为关键指标

除了准确性外，SO-Arena通过两个互补的度量标准评估决策可靠性：在受控选项集变化下的决策稳定性和在没有有效选项存在时的缺答识别。这些指标突显了强大的整体表现不一定转化为可靠的决策。例如，在准确性方面表现最佳的系统一模型在可靠性排名中仅列第七。

对系统一模型的启示

研究结果显示，扩展性和推理增益在各个领域的差异显著，强调需要将能力范围和决策可靠性视为互补维度。这种系统的方法提供了对系统一模型优势和局限性的更深刻见解，后者旨在快速、通用的决策制定，而无需冗长的令牌生成。

SO-Arena项目是开源的，可以在GitHub上访问，链接为https://github.com/holdrain/SO-Arena。