ニュース

Embodied First Examが新しいロボティクス評価フレームワークを導入

Embodied First Examは、1,156タスクを含む35スイートと47ロボットを特徴とする、ロボットを制御するコーディングエージェントのための新しいベンチマークを提供します。

Embodied First Examが新しいロボティクス評価フレームワークを導入

翻訳記事です。 元の記事を読む.

Embodied First Examは、物理的な制約下でロボットを制御するコーディングエージェントの能力を評価するために導入された新しいロボティクス評価フレームワークです。2026-11-09に発表され、arXiv(2611.12177)に掲載され、HuggingFace Daily Papersによって注目されるこのフレームワークは、Kangrui Wang、Qineng Wang、Changhe Chen、Pingyue Zhang、Chi Guiのチームによって設計されました。これにより、 visuomotorポリシー学習に主に焦点を当てた既存のロボティクスベンチマークのギャップに対処することを目指しています。エージェントが制御アプローチを選択できるようにします:直接制御、制御のためのコーディング、または制御するためのポリシーをトレーニングすること。

包括的なベンチマーク機能

Embodied First Examには、1,156タスクが35スイートおよび47ロボットにわたって含まれ、特にこのフレームワークのために開発された九つのオリジナルスイートがあります。これらのスイートは、従来のピックアンドプレースタスクを超えて、空間パズル、精巧な操作、マルチロボットインタラクション、動的な全身制御、シム・トゥ・シムエンジニアリングチャレンジを包含しています。注目すべきスイートには、以下が含まれます:

  • RoboPaint: ブラシまたはペンを使って画像を再現するなど、細かいツール制御をテストします。
  • RoboARC: 形状が変形する多部品オブジェクトの操作に焦点を当て、ロープを縫い込んだり、家具を組み立てたりするタスクを含みます。
  • DexHandExam: 本のページをめくったり、容器を開けたりするなど、巧妙な手の操作を評価します。
  • Embodied Olympics: 人間型ロボットがスポーツ-inspiredなタスクを実行し、対戦相手に対して競技を行います。

各タスクは、標準、リアルタイム、特権の三つの評価設定で実行できます。標準設定は、環境のリセットを制限し、センサー観測のみを提供して実世界の条件を模倣します。リアルタイムのバリアントは環境を継続的に動かし、特権設定はフルシミュレーターアクセスと無制限のリセットを許可し、エージェントがトレーニング目的のために最適解を探ることを可能にします。

パフォーマンスとオープンソースの可用性

テストでは、八つのエージェントの中で最も強力なGPT-6 Astra in Codexが、標準設定の456コアタスクに対して34%の成功率を達成し、改善の余地が大いにあることを強調しました。このフレームワークには、エージェント、設定、タスクの段階ごとの失敗ポイントを分析するツールも含まれています。

Embodied First Examはオープンソースで、GitHubのhttps://github.com/mll-lab-nu/embodied-first-examで入手できます。Python 3.12以降が必要で、NVIDIA Container Toolkitを介してGPU加速タスクをサポートします。このフレームワークはHarborパッケージマネージャーを使用してインストールできます。詳細なインストラクションはリポジトリに提供されています。

このベンチマークは、エージェンティックロボティクスの進展に向けた重要なステップを示しており、実際のロボティクスアプリケーションにおける展開前にコーディングエージェントを評価するための統一プラットフォームを提供します。

その他の日本語記事 · 財務比較とSEC資料(英語)