AMD利用EPYC处理器和ZenDNN优化BERT推理

AMD公布了其EPYC处理器在低延迟CPU推理方面的性能基准，利用其ZenDNN库和zentorch PyTorch插件的优化。测试于2026-09进行，专注于使用Hugging Face实现的BERT-Base uncased推理。结果突显了显著的延迟提升，尤其是在使用BF16精度时，与ONNX Runtime FP32相比，改进达到高达58.1%。

各配置的性能提升

AMD的测试跨越了两种配置：具有NPS4的96核心EPYC 9654裸机系统和具有NPS5的80核心EPYC 9V74虚拟机。在42配置中，zentorch在83%的案例中优于ONNX Runtime，在10%持平，而在裸机设置中在7%上落后。在虚拟机中，zentorch获得了类似的结果，在83%中领先，在7%中持平，并在10%的配置中落后。

对于FP32精度，平均延迟提升在裸机上为9.7%，在虚拟机上为9.1%。BF16精度带来了更显著的改进，平均提升分别为47.3%和46.1%。报告的最高延迟提升发生在BF16配置中，在四次实例中达到了58.1%，序列长度128和16核心。

关键优化技术

AMD将性能改善归因于ZenDNN和zentorch中的几个关键优化：

• 将查询、键和值投影融合为单个矩阵乘法，使单实例性能改善约7%，BF16则为9%。
• 围绕处理器缓存层次结构的缩放点积注意力切片。
• 具有AOCL-DLP内核的低开销操作API (LowOHA)，以减少重复原语创建的开销。
• 将推理实例固定到完整的核心复杂膜(CDs)，同时将负载生成器隔离到这些膜之外。

这些干预措施缩小了较短序列长度下的多实例性能差距。例如，在序列长度32时，这一差距从21%降至7%，低于ONNX Runtime。

对AI工作负载的影响

基准测试展示了AMD在优化基于CPU的AI工作负载推理方面的关注，例如搜索排名、分类和检索增强生成排序。尽管结果由供应商报告且基于中位数运行方法，但它们为EPYC处理器在小批量AI推理任务中的潜力提供了有价值的见解。