Actualités
L'Examen Embodied First Introduit un Nouveau Cadre d'Évaluation de la Robotique
L'Examen Embodied First offre une nouvelle référence pour les agents de codage afin de contrôler des robots, avec des tâches 1,156 réparties sur des suites 35 et des robots 47 .
Article traduit. Lire l'article original.
L'Examen Embodied First, un nouveau cadre d'évaluation de la robotique, a été introduit pour évaluer les capacités des agents de codage à contrôler des robots sous des contraintes du monde physique. Publié le 2026-11-09 , sur arXiv (2611.12177) et mis en avant par HuggingFace Daily Papers, le cadre est conçu par une équipe dirigée par Kangrui Wang, Qineng Wang, Changhe Chen, Pingyue Zhang et Chi Gui. Il vise à combler les lacunes des références en robotique existantes, qui se concentrent principalement sur l'apprentissage des politiques visuomotrices, en permettant aux agents de choisir leur approche de contrôle : contrôle direct, code pour contrôler ou entraîner une politique pour contrôler.
Fonctionnalités de Benchmark Complètes
L'Examen Embodied First inclut des tâches 1,156 réparties sur des suites 35 et des robots 47 , avec neuf suites originales spécifiquement développées pour ce cadre. Ces suites vont au-delà des tâches traditionnelles de prise et de placement pour englober des puzzles spatiaux, une manipulation délicate, une interaction multi-robots, un contrôle dynamique de l'ensemble du corps et des défis d'ingénierie sim-to-sim. Parmi les suites notables, on trouve :
- RoboPaint : Teste le contrôle fin des outils, tel que la reproduction d'images avec un pinceau ou un stylo.
- RoboARC : Se concentre sur la manipulation d'objets déformables et multi-parties, y compris des tâches comme le passage de cordes et l'assemblage de meubles.
- DexHandExam : Évalue la manipulation délicate des mains, comme tourner les pages d'un livre et ouvrir des contenants.
- Embodied Olympics : Présente des robots humanoïdes réalisant des tâches inspirées des sports et des matches compétitifs contre des adversaires.
Chaque tâche peut être exécutée dans trois paramètres d'évaluation : Standard, Realtime et Privilégié. Le Paramètre Standard imite les conditions réelles, fournissant uniquement des observations de capteurs et limitant les réinitialisations de l'environnement. La variante Realtime maintient l'environnement en fonctionnement continu, tandis que le Paramètre Privilégié accorde un accès complet au simulateur et des réinitialisations illimitées, permettant aux agents d'explorer des solutions optimales à des fins de formation.
Performance et Disponibilité Open-Source
Lors des tests, le plus fort des huit agents, le GPT-6 Astra dans Codex, a atteint un taux de réussite de 34% sur les tâches centrales 456 dans le Paramètre Standard, mettant en évidence une marge d'amélioration significative. Le cadre comprend également des outils pour analyser les points de défaillance à travers les agents, les paramètres et les étapes des tâches.
L'Examen Embodied First est open-source et disponible sur GitHub à https://github.com/mll-lab-nu/embodied-first-exam. Il nécessite Python 3.12 ou ultérieur et prend en charge les tâches accélérées par GPU via le NVIDIA Container Toolkit. Le cadre peut être installé en utilisant le gestionnaire de paquets Harbor, avec des instructions détaillées fournies dans le dépôt.
Ce benchmark représente une étape significative vers l'avancement de la robotique agentique, offrant une plateforme unifiée pour évaluer les agents de codage avant leur déploiement dans des applications robotiques réelles.
Autres articles en français · Comparaisons financières et sources SEC (anglais)