Noticias

NVIDIA Introduce Inferencia DLA Basada en Python en Jetson AGX Orin con cuDLA

La API cuDLA de NVIDIA permite la inferencia DLA basada en Python en Jetson AGX Orin, mejorando la eficiencia energética y la capacidad de GPU para aplicaciones de IA en el borde.

NVIDIA Introduce Inferencia DLA Basada en Python en Jetson AGX Orin con cuDLA

Artículo traducido. Consultar el artículo original.

NVIDIA ha introducido un flujo de trabajo basado en Python para ejecutar inferencia de Deep Learning Accelerator (DLA) en su plataforma Jetson AGX Orin, aprovechando la API cuDLA. Este desarrollo tiene como objetivo mejorar la eficiencia energética y liberar la capacidad de GPU para tareas adicionales en aplicaciones de IA en el borde, donde los recursos computacionales y de energía son a menudo limitados.

Integración de cuDLA y Python

La API de ejecución cuDLA de NVIDIA gestiona la ejecución en el hardware DLA, permitiendo a las aplicaciones descargar operaciones de redes neuronales admitidas desde la GPU. El nuevo módulo cuda.bindings.cudla, parte del proyecto CUDA Python, proporciona una interfaz directa de Python a la API de cuDLA en C++. Esta integración permite a los desarrolladores gestionar el tiempo de ejecución de DLA y orquestar flujos de trabajo de inferencia completamente en Python, eliminando la necesidad de código en C++.

Introducido en la versión de enlaces CUDA 13.3.0 , el módulo cuda.bindings.cudla admite flujos de trabajo en modo híbrido. En este modo, las secuencias de CUDA coordinan la inferencia DLA con tareas de preprocesamiento y posprocesamiento basadas en GPU, asegurando tuberías de ejecución eficientes. La API expone funciones 13 , tipos de datos 9 y enumeraciones 8 , facilitando una integración sin problemas con los flujos de trabajo de CUDA existentes.

Flujo de trabajo de inferencia en Jetson AGX Orin

El ciclo de vida de la inferencia en Jetson AGX Orin implica varios pasos:

  • Inicializando CUDA y creando un dispositivo DLA en modo híbrido.
  • Cargando un archivo DLA cargable compilado, que codifica una red neuronal entrenada en un formato ejecutable por el hardware DLA.
  • Asignando búferes de memoria GPU, registrándolos con cuDLA y enviando tareas a través de un flujo de CUDA.
  • Sincronizando la ejecución y recuperando resultados de inferencia.

Para compilar un DLA cargable, los desarrolladores utilizan la herramienta trtexec de TensorRT. Las banderas clave como --useDLACore=0 y --buildDLAStandalone apuntan al primer motor DLA y producen un cargable independiente, respectivamente. El binario resultante se puede ejecutar directamente en el hardware DLA sin requerir TensorRT en tiempo de ejecución.

Compatibilidad de la Plataforma e Instalación

Los enlaces de Python de cuDLA son compatibles con NVIDIA Jetson AGX Orin que ejecuta JetPack 7.2.2 o versiones posteriores. La biblioteca de tiempo de ejecución requerida, libcudla.so, se incluye con la instalación de JetPack. Los desarrolladores pueden instalar los enlaces usando el siguiente comando:

pip install "cuda-bindings>=13.3.0"

Se requiere Python 3.10 o más reciente para usar los enlaces. Si la versión predeterminada de Python en Jetson Orin es anterior, los desarrolladores pueden instalar Python 3.12 desde el PPA de deadsnakes.

Expandiéndose Más Allá de Plataformas Integradas

Si bien este lanzamiento se centra en Jetson AGX Orin, la API de cuDLA también es compatible con NVIDIA RTX Spark, llevando capacidades de inferencia DLA a computadoras portátiles de desarrolladores de IA basadas en Windows. La API se mantiene consistente en todas las plataformas, permitiendo a los desarrolladores aplicar los mismos flujos de trabajo tanto en entornos integrados como de escritorio.

Este avance subraya el compromiso de NVIDIA de proporcionar herramientas flexibles y eficientes para la inferencia de IA, atendiendo a una amplia gama de aplicaciones, desde robótica hasta computación en el borde y más allá.

Más artículos en español · Datos e investigación