人工智能基准评估继续受到严格审查，因为行业专家质疑其衡量模型真实能力的可靠性。2026年6月16日，Ethan Mollick指出了更新后的GDPval-AA v2基准的缺陷，该基准是Artificial Analysis的Intelligence Index v4.1中权重最高的组成部分。更新将ELO分数重新基线化到人类表现的1000分，同时引入前沿模型法官的轮换小组，并将回合限制延长至250以测试代理轨迹，但批评者认为这些变化未能解决核心方法论弱点。

关键要点

• 人工智能模型在来自封闭基准的公开问题上评估其他人工智能模型，提供对真正性能差异的有限洞察。
• 建立准确的人类ELO基线仍然不清楚，削弱了比较排名的可信度。
• 依赖此类指数进行模型选择的企业面临资源错配风险，因为指标无法转化为实际应用。

当前人工智能评估方法的问题

核心问题在于使用前沿模型作为其他AI输出的评判者，针对泄露或公开问题。这种循环方法降低了基准价值，因为模型可能只是记忆模式而非展示新颖推理。延长至250回合的轨迹试图测试代理行为，但未能解决先前训练数据暴露的污染问题。

人类表现校准挑战

将ELO重新基线到人类1000分听起来简单，但选择代表性人类参与者和任务的过程缺乏透明度。没有明确的人类评估一致性协议，像Claude Fable 5以1818分领先、Claude Opus 4.8以1638分紧随其后的排名，变得难以解释用于实际部署决策。

商业影响与市场机会

开发AI应用的公司必须多样化评估策略，超越单一指数。定制专有内部基准的机会出现，针对特定行业垂直领域如医疗诊断或金融预测，最大限度减少公共污染。实施挑战包括人类专家小组的高成本，但解决方案涉及具有严格数据隔离协议的混合人类AI评判系统。

随着政府审查采购标准的基准透明度，监管考虑日益增多。道德最佳实践建议披露法官模型身份和问题来源，以避免误导利益相关者关于能力的信息。竞争格局有利于投资于定制评估而非追逐公开排行榜位置的组织。

未来展望与行业转变

预测指向增加采用具有实时人类监督的私有封闭基准，以更好地反映部署现实。主要参与者将通过透明方法区分开来，这些方法将训练数据与评估集分离。这种转变可能减少对Intelligence Index v4.1等指数的过度依赖，同时促进跨行业的更稳健AI开发管道。

常见问题

根据批评者，GDPval-AA v2为何不可靠？

批评者指出，AI法官在来自封闭来源的公开问题上评估其他模型，未能衡量真实智能，且人类ELO建立缺乏清晰度。

企业应如何应对有缺陷的AI基准？

企业应构建专注于特定领域任务的定制内部评估，并仅将其与公共指数的有限使用结合进行广泛比较。

未来基准会改善人类校准吗？

未来基准预计将纳入更严格的人类参与者选择和任务设计协议，以增强ELO可靠性和减少歧义。