Новости

Embodied First Exam представляет новую рамку оценки робототехники

Embodied First Exam предлагает новый стандарт для программных агентов управления роботами, включающий задачи 1,156 в наборах 35 и роботах 47 .

Embodied First Exam представляет новую рамку оценки робототехники

Перевод статьи. Читать оригинальную статью.

Embodied First Exam, новая рамка оценки в робототехнике, была представлена для оценки возможностей программных агентов в управлении роботами в условиях физического мира. Опубликованные в 2026-11-09 на arXiv (2611.12177) и отмеченные в HuggingFace Daily Papers, рамка была разработана командой под руководством Кангрюя Ванга, Цинэна Ванга, Чанхэ Чена, Пиньюэ Чжана и Чи Гуи. Она направлена на устранение пробелов в существующих стандартам робототехники, которые в основном сосредоточены на обучении визуомоторной политике, позволяя агентам выбирать метод управления: прямое управление, код для управления или обучение политике для управления.

Комплексные характеристики стандарта

Embodied First Exam включает задачи 1,156 в наборах 35 и роботах 47 , с девятью оригинальными наборами, специально разработанными для этой рамки. Эти наборы выходят за рамки традиционных задач по подъему и размещению, охватывая пространственные головоломки, ловкую манипуляцию, многороботное взаимодействие, динамическое управление всем телом и инженерные задачи «симуляция к симуляции». Заметные наборы включают:

  • RoboPaint: Проверяет тонкий контроль инструментов, таких как воспроизведение изображений с помощью кисти или ручки.
  • RoboARC: Сосредоточена на манипулировании деформируемыми и многокомпонентными объектами, включая задачи, такие как вдевание веревок и сборка мебели.
  • DexHandExam: Оценивает ловкую манипуляцию руками, такую как перелистывание страниц книги и открытие контейнеров.
  • Embodied Olympics: Включает гуманоидных роботов, выполняющих задачи, вдохновленные спортом, и соревновательных матчей против противников.

Каждая задача может быть выполнена в трех настройках оценки: Стандартная, Реальное время и Привилегированная. Стандартная настройка имитирует условия реального мира, предоставляя только наблюдения сенсоров и ограничивая сбросы окружающей среды. Вариант Реального времени поддерживает работу окружающей среды непрерывно, в то время как Привилегированная настройка предоставляет полный доступ к симулятору и неограниченные сбросы, позволяя агентам исследовать оптимальные решения для обучающих целей.

Производительность и доступность с открытым исходным кодом

В тестах самый сильный из восьми агентов, GPT-6 Astra в Codex, достиг уровня успеха 34% по основным задачам 456 в Стандартной настройке, подчеркивая значительное пространство для улучшения. Рамка также включает инструменты для анализа точек отказа между агентами, настройками и этапами задачи.

Embodied First Exam является открытым исходным кодом и доступен на GitHub по адресу https://github.com/mll-lab-nu/embodied-first-exam. Он требует Python 3.12 или более поздней версии и поддерживает задачи, ускоренные GPU через NVIDIA Container Toolkit. Рамка может быть установлена с использованием менеджера пакетов Harbor, детальные инструкции предоставлены в репозитории.

Этот стандарт представляет собой значительный шаг вперед в развитии агентной робототехники, предлагая единую платформу для оценки программных агентов перед их развертыванием в реальных робототехнических приложениях.

Другие статьи на русском · Финансовые сравнения и источники SEC (на английском)