NVIDIA TensorRT 11 增加多GPU推理支持
realtime news Jun 26, 2026 19:55
NVIDIA 的 TensorRT 11 引入了多设备推理功能，使 AI 模型能够跨 GPU 扩展，对于生成式 AI 的需求至关重要。
NVIDIA 正式发布了 TensorRT 11.0，首次引入对多设备推理的原生支持。此升级允许AI模型跨多个 GPU 扩展，以应对生成式 AI任务（如视频和图像生成）日益增长的计算需求。基于 NVIDIA 集体通信库 (NCCL)，TensorRT 现在允许开发人员将工作负载分配到多个 GPU，从而提高性能和内存效率。
TensorRT 11 的亮点是通过分布式通信原语实现的多GPU推理功能。开发人员现在可以利用诸如IDistCollectiveLayer和上下文并行等功能将工作负载进行分区，从而处理远超单个 GPU 容量的大型 AI 模型。这对于生成式 AI 中的长序列 Transformer 模型和基于扩散的管道尤为重要，因为内存瓶颈一直是个持续的挑战。
生成式 AI 的重要意义
生成式 AI 工作负载（例如用于生成高分辨率图像和多帧视频的扩散模型）众所周知资源密集。NVIDIA 的新上下文并行策略——如 AllGather KV、Ring Attention 和 DeepSpeed Ulysses——旨在优化这些工作负载。通过将输入数据和计算分布到多个 GPU 上，TensorRT 降低了内存使用并减少了处理时间，尽管会增加一些 GPU 间通信的开销。
例如，使用 NVIDIA Cosmos 3（一种多模态生成模型）和 Flux.1（一个图像生成器）的基准测试表明，部署这些策略时性能显著提升。值得注意的是，DeepSpeed Ulysses 在处理超长序列时表现最为高效，在多达八个 GPU 上提供了更快的推理时间和更优的扩展能力。
与 NVIDIA 更广泛 AI 生态系统的集成
TensorRT 11 并非独立运作。它可以无缝集成到 NVIDIA 更广泛的 AI 堆栈中，包括 Torch-TensorRT（一种将 PyTorch 模型转换为优化的 TensorRT 引擎的工具）。这使开发人员能够在模型开发中保持 PyTorch 的灵活性，并在生产中部署高性能的 TensorRT 引擎。
新的多 GPU 功能还补充了 NVIDIA 今年早些时候宣布的 NVIDIA Dynamo 1.0，后者旨在跨企业和云环境扩展 AI 推理。结合这些工具，NVIDIA 巩固了其在推理优化领域的领导地位，无论是研究还是企业应用。
多 GPU 扩展的技术进步
TensorRT 11 利用 NCCL 实现高性能的集体操作，包括 AllReduce、Broadcast 和 Gather。这些分布式通信层对于在不影响 TensorRT 以内核融合、量化和内存规划优化闻名的情况下扩展模型至关重要。
两种并行策略尤为突出：
- 张量并行：将模型权重分布到多个 GPU 上，从而减少每个 GPU 的内存使用量，特别适用于大型 Transformer 层。
- 上下文并行：将输入序列分布到多个 GPU 上，非常适合长序列工作负载（如扩散模型和 DiT 模型），其中注意力操作占据了主要的计算成本。
对于如视频生成之类的工作流，新的方法（如 Ring Attention）通过重叠通信和计算，进一步减少了延迟和内存开销。
市场影响
截至 2026 年 6 月，NVIDIA 在 TensorRT 11 中的进步与将生成式 AI 扩展到实际应用的更广泛市场趋势保持一致。随着 NVIDIA 市值达到 4.75 万亿美元，其 GPU 支持了大多数 AI 工作负载，此次发布进一步加强了其在快速发展的 AI 领域的地位。对于在大规模部署生成式 AI 的企业来说，TensorRT 11 提供了一种现成的解决方案来优化成本和性能。
开发人员可以从NVIDIA 开发者门户网站下载 TensorRT 11。随着 AI 模型变得更加复杂，NVIDIA 的工具可能会在研究和生产用例中发挥关键作用。
Image source: Shutterstock.jpg)
