Actualités
NVIDIA Introduit l'Inférence DLA Basée sur Python sur Jetson AGX Orin avec cuDLA
L'API cuDLA de NVIDIA permet l'inférence DLA basée sur Python sur le Jetson AGX Orin, améliorant l'efficacité énergétique et la capacité du GPU pour les applications d'IA en périphérie.
Article traduit. Lire l'article original.
NVIDIA a introduit un flux de travail basé sur Python pour exécuter l'inférence de Deep Learning Accelerator (DLA) sur sa plateforme Jetson AGX Orin, en utilisant l'API cuDLA. Ce développement vise à améliorer l'efficacité énergétique et à libérer la capacité GPU pour des tâches supplémentaires dans les applications d'IA en périphérie, où les ressources de calcul et d'énergie sont souvent contraintes.
Intégration de cuDLA et Python
L'API d'exécution cuDLA de NVIDIA gère l'exécution sur le matériel DLA, permettant aux applications de déléguer les opérations de réseaux de neurones prises en charge depuis le GPU. Le nouveau module cuda.bindings.cudla, faisant partie du projet CUDA Python, fournit une interface Python directe à l'API C++ de cuDLA. Cette intégration permet aux développeurs de gérer le temps d'exécution DLA et d'orchestrer les flux de travail d'inférence entièrement en Python, éliminant la nécessité de code C++.
Introduit dans la version des liaisons CUDA 13.3.0 , le module cuda.bindings.cudla prend en charge les flux de travail en mode hybride. Dans ce mode, les flux CUDA coordonnent l'inférence DLA avec des tâches de prétraitement et de post-traitement basées sur le GPU, garantissant des pipelines d'exécution efficaces. L'API expose les fonctions 13 , les types de données 9 et les énumérations 8 , facilitant une intégration fluide avec les flux de travail CUDA existants.
Flux de travail d'inférence sur Jetson AGX Orin
Le cycle de vie de l'inférence sur Jetson AGX Orin implique plusieurs étapes :
- Initialisation de CUDA et création d'un appareil DLA en mode hybride.
- Chargement d'un fichier DLA compilé, qui encode un réseau de neurones entraîné dans un format exécutable par le matériel DLA.
- Allocation de buffers mémoire GPU, en les enregistrant avec cuDLA, et en soumettant des tâches via un flux CUDA.
- Synchronisation de l'exécution et récupération des résultats d'inférence.
Pour compiler un chargeur DLA, les développeurs utilisent l'outil trtexec de TensorRT. Les indicateurs clés tels que --useDLACore=0 et --buildDLAStandalone ciblent le premier moteur DLA et produisent un chargeur autonome, respectivement. Le binaire résultant peut être exécuté directement sur le matériel DLA sans nécessiter TensorRT au moment de l'exécution.
Compatibilité de la Plateforme et Installation
Les liaisons Python cuDLA sont compatibles avec le NVIDIA Jetson AGX Orin fonctionnant sous JetPack 7.2.2 ou ultérieur. La bibliothèque d'exécution requise, libcudla.so, est incluse avec l'installation de JetPack. Les développeurs peuvent installer les liaisons en utilisant la commande suivante :
pip install "cuda-bindings>=13.3.0"Python 3.10 ou ultérieur est requis pour utiliser les liaisons. Si la version par défaut de Python sur Jetson Orin est plus ancienne, les développeurs peuvent installer Python 3.12 depuis le PPA de deadsnakes.
S'Etendre Au-Delà des Plateformes Intégrées
Bien que cette version se concentre sur le Jetson AGX Orin, l'API cuDLA est également compatible avec NVIDIA RTX Spark, apportant des capacités d'inférence DLA aux ordinateurs portables de développement AI basés sur Windows. L'API reste cohérente sur les plates-formes, permettant aux développeurs d'appliquer les mêmes flux de travail dans des environnements intégrés et de bureau.
Cette avancée souligne l'engagement de NVIDIA à fournir des outils flexibles et efficaces pour l'inférence AI, répondant à un large éventail d'applications allant de la robotique à l'informatique de périphérie et au-delà.
Autres articles en français · Comparaisons financières et sources SEC (anglais)