谷歌推出用于视觉任务的多模态知识代理基准

谷歌与人工分析合作推出了多模态知识代理（MKA）基准，旨在评估人工智能代理如何处理专业工作流中的视觉复杂任务。该基准旨在通过关注需要跨多模态输入（如图像、页面布局和电子表格）的任务，来解决仅使用文本基准的局限性。

基准设计与范围

MKA基准是在来自10个行业和83个职业的领域专家的建议下开发的，包括建筑师、生物学家、承保人和数据科学家。评估集由200个任务组成，这些任务模拟了现实世界的工作流程，每个任务都需要资深专业人员的三到8小时的努力。任务配备了多模态输入文件、现实的提示和一套包含大约70个是/否检查的专家评分标准。评分标准将事实准确性权重设定为75%，视觉设计权重设定为25%。

为了确保公平性和一致性，所有模型都使用开源代理工具Stirrup进行评估，该工具提供了一套标准化的工具、一种沙盒环境和固定的轮次预算。交付物由一个基于非谷歌模型的代理化自动评分器进行评分，在测试期间与人类领域专家达成了96%的协议率。为了防止数据泄露，200个任务的评估集保持私密，而一组10个公共任务则在Hugging Face上提供，以便进行更广泛的实验。

性能洞察与双子星4碳

谷歌的技术报告突出了模型在MKA基准上的表现存在显著差异。前沿模型在效率上表现不同，平均完成任务所需的轮次在30到130之间。报告强调了在视觉复杂工作流成功的重要性在于强大的感知能力。

在测试的模型中，双子星4碳脱颖而出，质量排名第二，同时与得分最高的模型相比，成本降低了六倍。双子星4碳位于质量与价格的帕累托边界上，现在可以通过Google AI Studio中的双子星API访问，更新的开发者文档也已提供以供集成。

下一步

研究人员和开发人员可以探索MKA基准并在人工分析上评估他们的模型。该倡议标志着推动人工智能处理现实世界多模态专业任务能力的重要一步，对依赖视觉密集型工作流的行业具有深远的影响。