NVIDIA 概述了重写 GPU Spark UDF 的人工智能代理工作流程

NVIDIA 表示，人工智能代理可以帮助将 Apache Spark 用户自定义函数重写为 GPU 加速代码，公司称这一工作流程可以消除 Spark 作业的备用开销，并在一报道的生产环境中实现22x加速。

证据与背景

在 2026-10-13年发布的一篇博客文章中，NVIDIA 描述了其 Apache Spark 的 cuDF 插件如何通过在 GPU 上执行，而不是在遇到 UDF 时退回到 CPU 处理，从而加速分析工作负载。公司表示，UDF 是一个持久的瓶颈，因为它们引入了不透明的自定义逻辑，Spark 的声明式引擎无法像内置的 SQL 和 DataFrame 表达式那样实现并行化。

NVIDIA 表示，许多 UDF 可以用一三种方式重写：作为 Spark SQL 表达式用于简单逻辑;作为基于 cuDF 的 RapidsUDF 接口实现更复杂的列式处理;或者对于最复杂的情况，通过 JNI 调用自定义 CUDA 内核。公司将这些框架为复杂度阶梯，SQL 提供最低开销，CUDA 控制最多。

文章以摄氏度到华氏度的变换为例，先展示了 Scala 的 UDF，然后是 cuDF 插件可以透明加速的直接 SQL 重写。它还展示了一个使用 cuDF 列矢量和标量操作的 RapidsUDF 实现，以并行处理 GPU 上的数据。

NVIDIA表示，重写工作流程设计为通过四项技能协助编码代理：支架与设计、测试、转换、基准测试和优化。根据帖子，这些技能提供了项目模板、验证程序和构建配置，使代理能够专注于UDF本身，同时通过测试和基准测试重写是否正确且性能优异。

作为影响的证据，NVIDIA表示，一家大型消费科技公司利用该工作流程在生产流程中转换了超过30个UDFs。公司引用的基准数据一显示，操作员时间从274.55小时降至12.78小时，工作量达600亿行，NVIDIA称之为22x加速。帖子还称，相关UDF影响了超过3,000个工作。

公司声明应结合近期Apache Spark发布的资料来解读。Apache Spark 4.2.0于 2026-07-14发布，默认使用Arrow序列化处理Python UDF，而Spark 4.1.3 和 3.5.9 分别发布在 2026-07-15 和 2026-07-16，根据Apache Spark官方新闻页面。这些版本与NVIDIA的帖子是分开的，且不验证报告的GPU基准测试。

NVIDIA 表示，Apache Spark 的 cuDF 技能可在 GitHub 上获取，并建议读者参考公司文档和 Data + 人工智能峰会的会议以获取更多技术细节。该帖子未对性能结果进行独立审计。