Noticias
El retargeter SOMA de NVIDIA adapta el movimiento humano para robots humanoides
El retargeter SOMA de NVIDIA v0.2 permite a los desarrolladores adaptar el movimiento humano a robots humanoides, aprovechando la cinemática inversa y bibliotecas de movimiento.
Artículo traducido. Consultar el artículo original.
NVIDIA ha introducido el retargeter SOMA de código abierto, una herramienta diseñada para adaptar el movimiento humano a las proporciones y estructuras articulares únicas de los robots humanoides. Basado en la representación del esqueleto SOMA compartido, la herramienta permite a los desarrolladores configurar robots, refinar salidas de movimiento y procesar datos de movimiento para entrenamientos y sistemas de control posteriores.
Cómo funciona el retargeter SOMA
El retargeter SOMA procesa datos de movimiento humano, como las animaciones de Biovision Hierarchy (BVH), y las convierte en trayectorias articulares para robots. La pipeline incluye escalar los objetivos de movimiento para que coincidan con las proporciones del robot, resolver la cinemática inversa (IK) usando NVIDIA Warp, y aplicar correcciones de posprocesamiento. La salida es un archivo CSV que contiene la posición raíz del robot, la orientación y los ángulos articulares para cada cuadro de animación. Estos datos pueden ser utilizados para construir bibliotecas de movimiento para flujos de trabajo de entrenamiento de políticas.
Fuentes de movimiento humano
Los desarrolladores pueden obtener movimiento humano de varias plataformas, incluyendo:
- Conjuntos de datos de captura de movimiento: BONES-SEED proporciona datos de captura de movimiento humano.
- Reconstrucción de video: GEM-X reconstruye 3D movimiento humano a partir de video utilizando el modelo corporal SOMA.
- Modelos generativos: Herramientas como Kimodo y ARDY generan secuencias de movimiento humano basadas en texto y restricciones de poses, produciendo datos compatibles con el esqueleto SOMA.
Adaptando el movimiento para diferentes robots
La versión del retargeter SOMA v0.2 incluye configuraciones y resultados de referencia para cinco robots humanoides: Unitree G1 , Unitree H2 , Booster T1 , AgiBot X2 Ultra y AgiBot A3T3 . Los desarrolladores pueden usar estos ejemplos para explorar flujos de trabajo de retargeting y comparar sus resultados con las referencias proporcionadas. Por ejemplo, un movimiento de caminar hacia adelante puede ser retargeteado al robot Unitree G1 , mostrando la animación resultante junto al movimiento fuente humano para inspección y refinamiento.
Herramientas para refinamiento
El configurador de robots permite a los desarrolladores alinear poses de referencia humanas y robóticas, ajustar escalas y mapear esqueletos a partes del cuerpo del robot. Además, el optimizador de peso IK ajusta prioridades para un movimiento más suave cuando los robots no pueden coincidir con todos los objetivos humanos simultáneamente. Estas herramientas ayudan a refinar las salidas de movimiento, asegurando movimientos de robots precisos y realistas.
Aplicaciones y próximos pasos
Las trayectorias retargeteadas pueden integrarse en flujos de trabajo de simulación, como SONIC y ProtoMotions, para evaluar el equilibrio, el contacto y la precisión del seguimiento. Se anima a los desarrolladores a explorar el repositorio del retargeter SOMA para obtener instrucciones de instalación, ejemplos interactivos y guías para configurar nuevos robots o refinar configuraciones existentes.