革新数据分析：GPU原生Velox与NVIDIA cuDF集成
realtime news Oct 06, 2025 06:23
NVIDIA和IBM合作将GPU原生Velox与NVIDIA cuDF集成，提升在Presto和Apache Spark等平台上的数据分析性能。
随着数据驱动需求的增长，NVIDIA和IBM合作通过将GPU原生Velox与NVIDIA cuDF集成来提升数据分析能力。据NVIDIA介绍，此合作旨在利用GPU的高内存带宽和线程数提供比传统CPU系统更显著的性能提升。这些改进对涉及多个连接、复杂聚合和字符串处理的计算密集型工作负载特别有益。
Velox与cuDF：强有力的组合
将NVIDIA cuDF集成到Velox执行引擎中实现了在Presto和Apache Spark等广泛使用的平台上的GPU原生查询执行。这个开放项目旨在解决性能瓶颈，从海量数据集中提供实时洞察。Velox充当中介，将来自Presto和Spark等系统的查询计划转换为由cuDF驱动的可执行GPU管道。
利用GPU加速Presto
通过将整个Presto查询计划转移到GPU上，该集成旨在大幅提高执行速度。Velox中对TableScan、HashJoin和HashAggregations等GPU操作的改进实现了Presto中的端到端GPU执行。初步基准测试显示出显著的运行时间减少，NVIDIA GPU上的Presto运行时间显著低于CPU对应物。
多GPU执行以提升性能
这次合作引入了一种基于UCX的Exchange操作符，支持整个执行管道在GPU上运行，利用高带宽的NVLink和RoCE或InfiniBand进行连接。这种设置实现了显著的性能提升，GPU上的Presto在数据交换过程中展示了超过六倍的速度提升。
Apache Spark中的混合执行
在Apache Spark中，与Apache Gluten和cuDF的集成集中于将计算密集型查询阶段卸载到GPU上，优化混合集群中的资源使用。此策略允许在有效使用GPU资源的同时维护CPU的可用性以处理其他任务，从而在性能上实现显著提升。
社区参与和未来前景
该项目的开源性质鼓励社区参与，旨在推动数据处理生态系统中的进一步创新。通过在Velox中实施可重用的GPU操作符，该合作希望减少重复并简化维护，同时加速各种系统。
Image source: Shutterstock.jpg)