Actualités

L'Adapteur NVIDIA SOMA s'adapte au mouvement humain pour les robots humanoïdes

L'adaptateur NVIDIA SOMA v0.2 permet aux développeurs d'adapter le mouvement humain aux robots humanoïdes, en s'appuyant sur la cinématique inverse et les bibliothèques de mouvement.

L'Adapteur NVIDIA SOMA s'adapte au mouvement humain pour les robots humanoïdes

Article traduit. Lire l'article original.

NVIDIA a introduit l'adaptateur SOMA open-source, un outil conçu pour adapter le mouvement humain aux proportions uniques et aux structures articulaires des robots humanoïdes. Basé sur la représentation squelettique SOMA partagée, l'outil permet aux développeurs de configurer des robots, d'affiner les sorties de mouvement et de traiter les données de mouvement pour la formation et les systèmes de contrôle en aval.

Comment fonctionne l'adaptateur SOMA

L'adaptateur SOMA traite les données de mouvement humain, telles que les animations Biovision Hierarchy (BVH), et les convertit en trajectoires d'articulations de robots. Le pipeline comprend la mise à l'échelle des cibles de mouvement pour correspondre aux proportions des robots, la résolution de la cinématique inverse (IK) en utilisant NVIDIA Warp, et l'application de corrections en post-traitement. La sortie est un fichier CSV contenant la position racine, l'orientation et les angles d'articulations du robot pour chaque image d'animation. Ces données peuvent être utilisées pour construire des bibliothèques de mouvement pour les flux de travail d'entraînement des politiques.

Sources de mouvement humain

Les développeurs peuvent extraire le mouvement humain de diverses plateformes, notamment :

  • Données de capture de mouvement : BONES-SEED fournit des données de capture de mouvement humain.
  • Reconstruction vidéo : GEM-X reconstruit le mouvement humain 3D à partir de vidéos en utilisant le modèle corporel SOMA.
  • Modèles génératifs : Des outils comme Kimodo et ARDY génèrent des séquences de mouvement humain en fonction de contraintes de texte et de pose, sortant des données compatibles avec le squelette SOMA.

Adapter le mouvement pour différents robots

La version v0.2 de l'adaptateur SOMA comprend des configurations et des résultats de référence pour cinq robots humanoïdes : Unitree G1 , Unitree H2 , Booster T1 , AgiBot X2 Ultra et AgiBot A3T3 . Les développeurs peuvent utiliser ces exemples pour explorer les flux de travail de réadaptation et comparer leurs résultats avec les références fournies. Par exemple, un mouvement de marche avant peut être réadapté au robot Unitree G1 , avec l'animation résultante affichée aux côtés du mouvement source humain pour inspection et affinement.

Outils pour l'affinement

Le configurateur de robot permet aux développeurs d'aligner les poses de référence humaines et robotiques, d'ajuster l'échelle et de mapper les squelettes aux parties du corps du robot. De plus, l'optimiseur de poids IK ajuste les priorités pour un mouvement plus fluide lorsque les robots ne peuvent pas correspondre à toutes les cibles humaines simultanément. Ces outils aident à affiner les sorties de mouvement, garantissant des mouvements de robot précis et réalistes.

Applications et prochaines étapes

Les trajectoires réadaptées peuvent être intégrées dans des flux de travail de simulation, tels que SONIC et ProtoMotions, pour évaluer l'équilibre, le contact et la précision du suivi. Les développeurs sont encouragés à explorer le dépôt de l'adaptateur SOMA pour des instructions d'installation, des exemples interactifs et des guides pour configurer de nouveaux robots ou affiner des configurations existantes.

Autres articles en français · Comparaisons financières et sources SEC (anglais)