新闻
NVIDIA 在 Jetson AGX Orin 上推出基于 Python 的 DLA 推理,配合 cuDLA
NVIDIA 的 cuDLA API 实现了在 Jetson AGX Orin 上的基于 Python 的 DLA 推理,提高了边缘 AI 应用的电源效率和 GPU 能力。
NVIDIA 在其 Jetson AGX Orin 平台上推出了一种基于 Python 的 Deep Learning Accelerator (DLA) 推理工作流程,利用 cuDLA API。这一发展旨在提高电源效率,并释放 GPU 能力以用于边缘 AI 应用中的其他任务,这些任务的计算和电源资源通常较为紧张。
cuDLA 和 Python 集成
NVIDIA cuDLA 运行时 API 管理 DLA 硬件上的执行,允许应用将受支持的神经网络操作从 GPU 中卸载。新推出的 cuda.bindings.cudla 模块是 CUDA Python 项目的一部分,提供了对 cuDLA C++ API 的直接 Python 接口。这种集成使开发者能够完全使用 Python 管理 DLA 运行时并协调推理工作流程,消除了对 C++ 代码的需求。
在 CUDA 绑定版本 13.3.0 中引入的 cuda.bindings.cudla 模块支持混合模式工作流程。在此模式下,CUDA 流协调 DLA 推理与基于 GPU 的数据预处理和后处理任务,确保高效的执行管道。API 暴露了 13 函数、9 数据类型和 8 枚举,便于与现有的 CUDA 工作流程无缝集成。
Jetson AGX Orin 上的推理工作流程
Jetson AGX Orin 上的推理生命周期包括几个步骤:
- 初始化 CUDA 并在混合模式下创建一个 DLA 设备。
- 加载一个编译的 DLA 可加载文件,其中编码了以 DLA 硬件可执行格式训练的神经网络。
- 分配 GPU 内存缓冲区,将其注册到 cuDLA,并通过 CUDA 流提交任务。
- 同步执行并检索推理结果。
要编译 DLA 可加载,开发者使用 TensorRT 的 trtexec 工具。关键标志如 --useDLACore=0 和 --buildDLAStandalone 针对第一个 DLA 引擎,并分别生成独立的可加载文件。生成的二进制文件可以直接在 DLA 硬件上执行,而无需在运行时依赖 TensorRT。
平台兼容性和安装
cuDLA Python 绑定与运行 JetPack 7.2.2 或更高版本的 NVIDIA Jetson AGX Orin 兼容。所需的运行时库 libcudla.so 随 JetPack 安装一起提供。开发者可以使用以下命令安装绑定:
pip install "cuda-bindings>=13.3.0"使用这些绑定需要 Python 3.10 或更高版本。如果 Jetson Orin 上的默认 Python 版本较旧,开发者可以从 deadsnakes PPA 安装 Python 3.12。
超越嵌入式平台
虽然本次发布重点关注 Jetson AGX Orin,但 cuDLA API 同样与 NVIDIA RTX Spark 兼容,将 DLA 推理能力带到基于 Windows 的 AI 开发者笔记本电脑。该 API 在各个平台间保持一致,使开发者能够在嵌入式和桌面环境中应用相同的工作流程。
这一进展强调了 NVIDIA 致力于提供灵活高效的 AI 推理工具,以满足从机器人到边缘计算及更广泛应用的需求。