뉴스
Embodied First Exam은 새로운 로봇 평가 프레임워크를 소개합니다
Embodied First Exam은 1,156 작업을 35 스위트 및 47 로봇에 걸쳐 코딩 에이전트를 제어하는 새로운 기준을 제공합니다.
번역 기사입니다. 원문 기사 읽기.
Embodied First Exam은 물리적 세계의 제약 조건 하에서 로봇을 제어하는 코딩 에이전트의 능력을 평가하기 위해 도입된 새로운 로봇 평가 프레임워크입니다. 2026-11-09에 발표되었으며, arXiv (2611.12177)에 게재되고 HuggingFace Daily Papers에 의해 강조되었습니다. 이 프레임워크는 Kangrui Wang, Qineng Wang, Changhe Chen, Pingyue Zhang 및 Chi Gui가 이끄는 팀에 의해 설계되었습니다. 이는 주로 시각 운동 정책 학습에 중점을 두었던 기존 로봇 벤치마크의 격차를 해소하는 것을 목표로 하며, 에이전트가 직접 제어, 제어를 위한 코드, 또는 제어를 위한 정책 학습 중 선택할 수 있는 방법을 제공합니다.
포괄적인 벤치마크 기능
Embodied First Exam은 1,156 작업을 35 스위트 및 47 로봇에 걸쳐 포함하여, 이 프레임워크를 위해 특별히 개발된 아홉 개의 원본 스위트를 갖추고 있습니다. 이러한 스위트는 전통적인 픽 앤 플레이스 작업을 넘어서 공간 퍼즐, 정교한 조작, 다중 로봇 상호 작용, 동적 전신 제어 및 시뮬레이션 간 엔지니어링 도전 과제를 포함합니다. 주목할만한 스위트로는 다음과 같은 것들이 있습니다:
- RoboPaint: 브러시나 펜으로 이미지를 재현하는 등의 정밀한 도구 제어를 테스트합니다.
- RoboARC: 줄을 꿰거나 가구를 조립하는 작업을 포함한 변형 가능한 다부품 물체 조작에 중점을 둡니다.
- DexHandExam: 책 페이지를 넘기거나 용기를 여는 등의 정교한 손 조작을 평가합니다.
- Embodied Olympics: 스포츠에 영감을 받은 작업과 상대와의 경쟁을 수행하는 휴먼로이드 로봇을 특징으로 합니다.
각 작업은 세 가지 평가 설정에서 실행할 수 있습니다: 표준, 실시간 및 특권. 표준 설정은 실제 조건을 모방하여 센서 관측만 제공하고 환경 리셋을 제한합니다. 실시간 변형은 환경을 지속적으로 실행하며, 특권 설정은 전체 시뮬레이터 접근 및 무제한 리셋을 허용하여 에이전트가 훈련 목적으로 최적 솔루션을 탐색할 수 있게 합니다.
성능 및 오픈 소스 가용성
테스트에서 여덟 개 에이전트 중 가장 강력한 GPT-6 Astra in Codex가 표준 설정에서 456 핵심 작업에 대해 34% 성공률을 달성하여 상당한 개선 여지가 있음을 강조했습니다. 이 프레임워크는 에이전트, 설정 및 작업 단계 전반의 실패 포인트를 분석하는 도구도 포함하고 있습니다.
Embodied First Exam은 오픈 소스이며, GitHub에서 https://github.com/mll-lab-nu/embodied-first-exam에서 확인할 수 있습니다. Python 3.12 이상이 필요하며, NVIDIA Container Toolkit을 통해 GPU 가속 작업을 지원합니다. 이 프레임워크는 Harbor 패키지 관리자를 사용하여 설치할 수 있으며, 리포지토리 내에서 자세한 지침이 제공됩니다.
이 벤치마크는 에이전틱 로봇 공학 발전을 위한 중요한 걸음을 나타내며, 실제 로봇 응용 프로그램에 배포되기 전에 코딩 에이전트를 평가하기 위한 통합 플랫폼을 제공합니다.