清华研究量化技能堆叠负效应

清华大学研究人员发现，向AI代理添加额外技能往往会降低任务成功率而非提升性能。该研究考察了代理如何为需要特定能力的编码任务选择并加载技能文档。一个看似相关却不必要的额外技能使成功率下降23个百分点。当代理仅覆盖两个必要能力中的一个时成功率为0%，而覆盖两者时成功率跃升至93%。重叠或松散相关的技能进一步降低结果同时增加令牌成本。

关键要点

• 与查询词匹配但未能覆盖所需能力的额外技能可将任务成功率从93%降至56%。
• 当前检索方法将技能选择视为排序问题，经常加载看似相关却功能价值有限的文档。
• 将选择重构为预算问题以最大化每令牌能力覆盖率，可将成功率提升至0.73，同时比现有路由器少用28%令牌。

清华大学实验深入分析

实验设置要求代理在尝试编码任务前选择技能文档，而该任务若无这些确切能力则无法完成。代理依赖类似搜索引擎排名的文本匹配，优先考虑词汇重叠而非功能覆盖。添加第三个重叠技能耗费225令牌，仅提升1个百分点成功率。第四个相关但不必要的技能随后将性能从93%降至56%。先前引用的工作发现，即使经过人工整理，所选技能在87个任务中有13个表现低于无技能基线。

为什么词法匹配在代理技能加载中失效

代理很少加载明显无用内容，却经常加载表面相关却未提供缺失能力的文档。这种模式类似于搜索引擎行为，表面相似性取代语义效用，导致上下文膨胀分散注意力并增加任务执行错误率。

商业影响与盈利机会

构建AI编码助手的公司面临这种性能下降的直接实施挑战。采用能力覆盖预算而非简单检索可提高成功率同时减少令牌支出。服务提供商可通过提供基于验证能力增益而非原始令牌量的分层代理平台来盈利。实施需要新的评估指标，按覆盖效率而非单个相关性分数对技能集打分。竞争优势将归于率先将这些预算算法集成到生产代理中的团队。

未来展望与行业转变

未来AI代理架构很可能从开放式技能库转向明确优化每令牌覆盖率的受限预算。这一转变预测将围绕专业选择引擎进行整合，其任务成功率比当前路由器高出0.21至0.53。投资这些方法的关键参与者可抢占开发者工具和自动化软件工程平台的市场份额。长期预测包括用能力感知规划器广泛取代基于关键词的检索，将每个令牌视为稀缺资源。

常见问题

当AI代理加载过多技能时会发生什么？

任务成功率急剧下降，因为重叠或松散相关的技能会分散注意力并增加令牌成本，却未添加所需能力。

能力预算如何改善代理性能？

它选择最大化每令牌覆盖率的技能集，实现0.73的成功率，而标准路由器仅为0.20至0.52，同时减少28%令牌使用。

当前检索方法为何表现不佳？

它们按文本匹配对技能进行排名，而非功能覆盖，导致许多任务中看似相关却缺失关键能力的文档。

这项研究带来哪些商业机会？

开发者可创建高端代理平台，将优化技能选择作为服务销售，为编码自动化客户提供更高成功率和更低运营成本。