NVIDIA DALI通过新功能扩展数据处理能力
realtime news May 23, 2025 12:36
NVIDIA DALI推出了一些新功能，以提高数据处理效率，提供无缝的PyTorch集成、改进的视频处理以及优化的执行流程，以支持深度学习应用。
NVIDIA DALI是一个著名的开源软件库，专为解码和增强图像、视频和语音而设计，最近发布了一系列针对提高性能和扩大适用性的功能更新。根据NVIDIA开发者博客的报道，这些更新将简化DALI与现有PyTorch数据处理逻辑的集成，提供更多灵活性以构建数据处理流水线，同时引入新的视频解码模式。
PyTorch DALI代理集成
PyTorch DALI代理的引入标志着在将DALI的高性能数据处理能力无缝集成到PyTorch的多进程环境中取得了重要进展。此功能允许用户选择性地将数据处理流水线的一部分卸载到DALI，以优化GPU利用率并最小化CPU与GPU之间低效的数据往返。
增强的视频处理
DALI的最新更新大大加强了其视频处理能力，支持更广泛的解码模式并实现快速的视频容器索引。这些增强特别有利于需要高效处理大型视频数据集的视频基础模型的训练。用户现在可以指定帧提取参数，提高了视频数据流水线的灵活性和控制。
优化的执行流程
进一步提高DALI的效率，更新的执行流程通过异步按需分配和释放重用内存缓冲区来优化内存消耗。这一改进支持CPU到GPU再到CPU的数据传输模式，这些模式由于之前的开销问题曾被不推荐。随着NVIDIA GH200 Grace Hopper超级芯片等高级架构的引入，这些模式变得更加可行，允许在GPU上加速并行处理，随后进行基于CPU的算法运算。
总结
最近对NVIDIA DALI的增强显著扩展了其作为深度学习数据预处理工具的能力。通过集成DALI代理、增强视频处理以及优化执行流程，DALI成为适用于各类AI工作负载的更为多样化和高效的解决方案。这些更新预计将促进数据预处理在不同应用中的扩展，使DALI成为深度学习从业者不可或缺的资产。
Image source: Shutterstock