Embodied First Exam 引入新的机器人评估框架

Embodied First Exam 是一个新的机器人评估框架，旨在评估编码代理在物理世界约束下控制机器人的能力。该框架于 2026-11-09 发布在 arXiv（2611.12177）上，并由 HuggingFace 每日论文推荐，设计团队由 Wang Kangrui、Wang Qineng、Chen Changhe、Zhang Pingyue 和 Gui Chi 领导。它旨在填补现有机器人基准中存在的空白，这些基准主要集中在视觉运动策略学习上，允许代理选择其控制方法：直接控制、编码控制或训练策略控制。

综合基准特征

Embodied First Exam 包含 1,156 任务，跨 35 套件和 47 机器人，共有九个原始套件专门为该框架开发。这些套件超越了传统的拾取和放置任务，涵盖空间难题、灵活操控、多机器人互动、动态全身控制以及仿真到仿真的工程挑战。著名的套件包括：

• RoboPaint： 测试精细工具控制，如用刷子或笔重现图像。
• RoboARC： 重点在于操控可变形和多部件物体，包括穿线和组装家具等任务。
• DexHandExam： 评估灵巧手操控，如翻书页和打开容器。
• Embodied Olympics： 展示类人机器人执行体育启发的任务，并与对手进行竞争。

每个任务可以在三种评估设置中执行：标准、实时和特权。标准设置模拟现实世界条件，仅提供传感器观察，并限制环境重置。实时变体持续运行环境，而特权设置则提供完整的模拟器访问权限和无限重置，允许代理探索用于训练的最佳解决方案。

性能和开源可用性

在测试中，八个代理中最强的 GPT-6 Astra 在 Codex 中，在标准设置下实现了 34% 的成功率，在 456 核心任务上，显示出显著的改进空间。该框架还包括分析代理、设置和任务阶段中的失败点的工具。

Embodied First Exam 是开源的，可在 GitHub 上获取，地址为 https://github.com/mll-lab-nu/embodied-first-exam。它需要 Python 3.12 或更高版本支持通过 NVIDIA Container Toolkit 加速的任务。该框架可通过 Harbor 包管理器安装，存储库中提供了详细的安装说明。

这个基准代表了推动代理机器人技术的重大进步，为在其实际机器人应用中评估编码代理提供了统一的平台。