Notícias

NVIDIA Introduz Inferência DLA Baseada em Python no Jetson AGX Orin com cuDLA

A API cuDLA da NVIDIA permite inferência DLA baseada em Python no Jetson AGX Orin, melhorando a eficiência energética e a capacidade da GPU para aplicações de IA na borda.

NVIDIA Introduz Inferência DLA Baseada em Python no Jetson AGX Orin com cuDLA

Artigo traduzido. Ler o artigo original.

A NVIDIA apresentou um fluxo de trabalho baseado em Python para executar inferência do Deep Learning Accelerator (DLA) em sua plataforma Jetson AGX Orin, aproveitando a API cuDLA. Este desenvolvimento visa melhorar a eficiência energética e liberar a capacidade da GPU para tarefas adicionais em aplicações de IA na borda, onde os recursos de computação e energia são frequentemente limitados.

Integração do cuDLA e Python

A API de execução cuDLA da NVIDIA gerencia a execução no hardware DLA, permitindo que aplicativos descarreguem operações de rede neural suportadas da GPU. O novo módulo cuda.bindings.cudla, parte do projeto CUDA Python, fornece uma interface Python direta para a API C++ do cuDLA. Essa integração permite que os desenvolvedores gerenciem o tempo de execução do DLA e orquestrem fluxos de trabalho de inferência inteiramente em Python, eliminando a necessidade de código C++.

Introduzido na versão de bindings CUDA 13.3.0 , o módulo cuda.bindings.cudla suporta fluxos de trabalho em modo híbrido. Nesse modo, os streams CUDA coordenam a inferência DLA com tarefas de pré-processamento e pós-processamento baseadas em GPU, garantindo que os pipelines de execução sejam eficientes. A API expõe funções 13 , tipos de dados 9 e enumerações 8 , facilitando a integração perfeita com os fluxos de trabalho CUDA existentes.

Fluxo de Trabalho de Inferência no Jetson AGX Orin

O ciclo de vida da inferência no Jetson AGX Orin envolve várias etapas:

  • Inicializando CUDA e criando um dispositivo DLA em modo híbrido.
  • Carregando um arquivo DLA carregável compilado, que codifica uma rede neural treinada em um formato executável pelo hardware DLA.
  • Alocando buffers de memória GPU, registrando-os com cuDLA e submetendo tarefas através de um stream CUDA.
  • Sincronizando a execução e recuperando os resultados da inferência.

Para compilar um DLA carregável, os desenvolvedores usam a ferramenta trtexec do TensorRT. Flags chave como --useDLACore=0 e --buildDLAStandalone visam o primeiro motor DLA e produzem um carregável autônomo, respectivamente. O binário resultante pode ser executado diretamente no hardware DLA sem exigir TensorRT em tempo de execução.

Compatibilidade da Plataforma e Instalação

As bindings Python do cuDLA são compatíveis com o NVIDIA Jetson AGX Orin rodando JetPack 7.2.2 ou posterior. A biblioteca de tempo de execução necessária, libcudla.so, está incluída na instalação do JetPack. Os desenvolvedores podem instalar as bindings usando o seguinte comando:

pip install "cuda-bindings>=13.3.0"

A versão Python 3.10 ou posterior é necessária para usar as bindings. Se a versão padrão do Python no Jetson Orin for mais antiga, os desenvolvedores podem instalar o Python 3.12 a partir do PPA de deadsnakes.

Expansão Além das Plataformas Embutidas

Embora este lançamento se concentre no Jetson AGX Orin, a API cuDLA também é compatível com o NVIDIA RTX Spark, trazendo capacidades de inferência DLA para laptops de desenvolvedor de IA baseados em Windows. A API permanece consistente em todas as plataformas, permitindo que os desenvolvedores apliquem os mesmos fluxos de trabalho em ambientes embutidos e de desktop.

Esse avanço destaca o compromisso da NVIDIA em fornecer ferramentas flexíveis e eficientes para inferência de IA, atendendo a uma ampla gama de aplicações, desde robótica até computação na borda e além.

Mais artigos em português · Comparações financeiras e fontes da SEC (inglês)