Noticias
Embodied First Exam Introduce Nuevo Marco de Evaluación de Robótica
El Embodied First Exam ofrece un nuevo punto de referencia para que los agentes codificadores controlen robots, con tareas 1,156 a través de suites 35 y robots 47 .
Artículo traducido. Consultar el artículo original.
El Embodied First Exam, un nuevo marco de evaluación de robótica, ha sido introducido para evaluar las capacidades de los agentes codificadores en el control de robots bajo restricciones del mundo físico. Publicado el 2026-11-09 en arXiv (2611.12177) y destacado por HuggingFace Daily Papers, el marco fue diseñado por un equipo liderado por Kangrui Wang, Qineng Wang, Changhe Chen, Pingyue Zhang y Chi Gui. Su objetivo es abordar las lagunas en los puntos de referencia de robótica existentes, que se centran principalmente en el aprendizaje de políticas visuomotoras, permitiendo a los agentes elegir su enfoque de control: control directo, codificación para controlar o entrenar una política para controlar.
Características del Punto de Referencia Integral
El Embodied First Exam incluye tareas 1,156 a través de suites 35 y robots 47 , con nueve suites originales específicamente desarrolladas para este marco. Estas suites se extienden más allá de las tradicionales tareas de recoger y colocar e incluyen rompecabezas espaciales, manipulación diestro, interacción de múltiples robots, control dinámico de cuerpo completo y desafíos de ingeniería de simulación a simulación. Las suites notables incluyen:
- RoboPaint: Prueba el control de herramientas finas, como reproducir imágenes con un pincel o bolígrafo.
- RoboARC: Se centra en manipular objetos deformables y de múltiples partes, incluyendo tareas como enhebrar cuerdas y ensamblar muebles.
- DexHandExam: Evalúa la manipulación diestro, como pasar páginas de libros y abrir contenedores.
- Embodied Olympics: Presenta robots humanoides realizando tareas inspiradas en deportes y competiciones contra oponentes.
Cada tarea se puede ejecutar en tres configuraciones de evaluación: Estándar, Tiempo Real y Privilegiada. La configuración estándar imita las condiciones del mundo real, proporcionando solo observaciones de sensores y limitando los reinicios del entorno. La variante en tiempo real mantiene el entorno funcionando continuamente, mientras que la configuración privilegiada otorga acceso total al simulador y reinicios ilimitados, permitiendo a los agentes explorar soluciones óptimas para propósitos de entrenamiento.
Rendimiento y Disponibilidad de Código Abierto
En las pruebas, el más fuerte de los ocho agentes, GPT-6 Astra en Codex, logró una tasa de éxito de 34% en las tareas centrales 456 en la configuración estándar, destacando un importante margen de mejora. El marco también incluye herramientas para analizar puntos de fallo a través de agentes, configuraciones y etapas de tareas.
El Embodied First Exam es de código abierto y está disponible en GitHub en https://github.com/mll-lab-nu/embodied-first-exam. Requiere Python 3.12 o posterior y soporta tareas aceleradas por GPU a través de NVIDIA Container Toolkit. El marco se puede instalar utilizando el gestor de paquetes Harbor, con instrucciones detalladas proporcionadas en el repositorio.
Este punto de referencia representa un paso significativo hacia el avance de la robótica agente, ofreciendo una plataforma unificada para evaluar agentes codificadores antes de su implementación en aplicaciones robóticas del mundo real.