Nachrichten

Embodied First Exam führt neues Roboterbewertungssystem ein

Der Embodied First Exam bietet einen neuartigen Maßstab für Programmieragenten zur Steuerung von Robotern, mit 1,156 Aufgaben über 35 Suiten und 47 Robotern.

Embodied First Exam führt neues Roboterbewertungssystem ein

Übersetzter Artikel. Originalartikel lesen.

Der Embodied First Exam, ein neues Roboterbewertungssystem, wurde eingeführt, um die Fähigkeiten von Programmieragenten bei der Steuerung von Robotern unter physikalischen Einschränkungen zu bewerten. Veröffentlicht am 2026-11-09 auf arXiv (2611.12177) und hervorgehoben von HuggingFace Daily Papers, wurde das System von einem Team unter der Leitung von Kangrui Wang, Qineng Wang, Changhe Chen, Pingyue Zhang und Chi Gui entworfen. Es zielt darauf ab, Lücken in bestehenden Roboter-Benchmarks zu schließen, die sich hauptsächlich auf das Lernen von visuomotorischen Politiken konzentrieren, indem die Agenten ihre Steuerungsmethode wählen: Direktsteuerung, Code zur Steuerung oder Training einer Politik zur Steuerung.

Umfassende Benchmark-Funktionen

Der Embodied First Exam umfasst 1,156 Aufgaben über 35 Suiten und 47 Roboter, mit neun originalen Suiten, die speziell für dieses Framework entwickelt wurden. Diese Suiten gehen über traditionelle Aufnahmen- und Ablagetasks hinaus und umfassen räumliche Rätsel, geschickte Manipulation, Interaktion mehrerer Roboter, dynamische Ganzkörpersteuerung und Engineering-Herausforderungen von Simulation zu Simulation. Bemerkenswerte Suiten umfassen:

  • RoboPaint: Testet die feine Werkzeugkontrolle, wie das Reproduzieren von Bildern mit einem Pinsel oder Stift.
  • RoboARC: Konzentriert sich auf die Manipulation von deformierbaren und mehrteiligen Objekten, einschließlich Aufgaben wie das Durchfädeln von Seilen und das Zusammenbauen von Möbeln.
  • DexHandExam: Bewertet geschickte Handmanipulation, wie das Blättern durch Buchseiten und das Öffnen von Behältern.
  • Embodied Olympics: Beinhaltet humanoide Roboter, die sportlich inspirierte Aufgaben ausführen und Wettbewerbe gegen Gegner durchführen.

Jede Aufgabe kann in drei Bewertungsrahmen ausgeschrieben werden: Standard, Echtzeit und Privilegiert. Die Standard-Einstellung simuliert reale Bedingungen, stellt nur Sensorbeobachtungen zur Verfügung und begrenzt die Umgebungsreset. Die Echtzeit-Variante hält die Umgebung kontinuierlich in Betrieb, während die Privilegierte Einstellung vollständigen Simulatorzugriff und unbegrenzte Resets gewährt, sodass Agenten die optimalen Lösungen zu Trainingszwecken erforschen können.

Leistung und Open-Source-Verfügbarkeit

Im Test erzielte der stärkste von acht Agenten, GPT-6 Astra in Codex, eine 34% Erfolgsrate bei 456 Kernaufgaben in der Standard-Einstellung, was erheblichen Verbesserungsbedarf aufzeigt. Der Rahmen umfasst auch Werkzeuge zur Analyse von Fehlerpunkten über Agenten, Einstellungen und Aufgabenphasen hinweg.

Der Embodied First Exam ist Open Source und auf GitHub verfügbar unter https://github.com/mll-lab-nu/embodied-first-exam. Er erfordert Python 3.12 oder höher und unterstützt GPU-beschleunigte Aufgaben über das NVIDIA Container Toolkit. Das System kann mit dem Harbor-Paketmanager installiert werden, wobei im Repository detaillierte Anweisungen bereitgestellt werden.

Dieser Maßstab stellt einen bedeutenden Schritt zur Weiterentwicklung der agentischen Robotik dar und bietet eine einheitliche Plattform zur Bewertung von Programmieragenten vor deren Einsatz in echten Roboteranwendungen.

Weitere Artikel auf Deutsch · Finanzvergleiche und SEC-Quellen (Englisch)