Новости
Ретаргетирующий инструмент SOMA от NVIDIA адаптирует человеческое движение для гуманоидных роботов
Ретаргетирующий инструмент SOMA от NVIDIA v0.2 позволяет разработчикам адаптировать человеческое движение для гуманоидных роботов, используя обратную кинематику и библиотеки движений.
Перевод статьи. Читать оригинальную статью.
NVIDIA представила открытый ретаргетирующий инструмент SOMA, разработанный для адаптации человеческого движения к уникальным пропорциям и суставным структурам гуманоидных роботов. Основанный на общей скелетной модели SOMA, этот инструмент позволяет разработчикам настраивать роботов, улучшать выходные данные движения и обрабатывать данные о движении для последующих систем обучения и управления.
Как работает ретаргетирующий инструмент SOMA
Ретаргетирующий инструмент SOMA обрабатывает данные о движении человека, такие как анимации в Biovision Hierarchy (BVH), и преобразует их в траектории суставов робота. Процесс включает масштабирование целей движений для соответствия пропорциям робота, решение обратной кинематики (IK) с помощью NVIDIA Warp и применение коррекций после обработки. На выходе создается CSV-файл, содержащий начальную позицию робота, ориентацию и углы суставов для каждого кадра анимации. Эти данные могут быть использованы для создания библиотек движений для процессов обучения политике.
Источники человеческого движения
Разработчики могут получать человеческое движение из различных платформ, включая:
- Наборы данных захвата движений: BONES-SEED предоставляет данные захвата движений человека.
- Реконструкция видео: GEM-X восстанавливает движение 3D человека из видео с использованием модели тела SOMA.
- Генеративные модели: Инструменты, такие как Kimodo и ARDY, генерируют последовательности человеческого движения на основе текста и ограничений позы, создавая данные, совместимые с скелетом SOMA.
Адаптация движения для различных роботов
Выпуск ретаргетирующего инструмента SOMA v0.2 включает конфигурации и эталонные результаты для пяти гуманоидных роботов: Unitree G1 , Unitree H2 , Booster T1 , AgiBot X2 Ultra и AgiBot A3T3 . Разработчики могут использовать эти примеры, чтобы исследовать процессы ретаргетинга и сравнивать свои результаты с предоставленными эталонами. Например, движение вперед можно ретаргетировать на робота Unitree G1 , а результирующую анимацию можно отобразить рядом с исходным человеческим движением для проверки и улучшения.
Инструменты для улучшения
Конфигуратор роботов позволяет разработчикам согласовывать референсные позы человека и робота, регулируя масштаб и сопоставляя скелеты с частями тела робота. Кроме того, оптимизатор веса IK настраивает приоритеты для более плавного движения, когда роботы не могут одновременно соответствовать всем человеческим целям. Эти инструменты помогают улучшить выходные данные движений, обеспечивая точные и реалистичные движения робота.
Приложения и дальнейшие шаги
Ретаргетированные траектории могут быть интегрированы в рабочие процессы имитации, такие как SONIC и ProtoMotions, для оценки баланса, контакта и точности отслеживания. Разработчики призываются исследовать репозиторий ретаргетирующего инструмента SOMA для получения инструкций по установке, интерактивных примеров и руководств по настройке новых роботов или доработке существующих конфигураций.
Другие статьи на русском · Финансовые сравнения и источники SEC (на английском)