AMDはEPYCプロセッサとZenDNNでBERT推論を最適化

AMDは、EPYCプロセッサ上での低レイテンシCPU推論のパフォーマンスベンチマークを公開し、ZenDNNライブラリとzentorch PyTorchプラグインの最適化を活用しています。テストは2026-09に実施され、Hugging Faceの実装を使用したBERT-Base uncased推論に焦点を当てています。結果は特にBF16精度を使用した際の著しいレイテンシーの向上を強調しており、ONNX Runtime FP32と比較して最大58.1%の改善が見られました。

構成全体におけるパフォーマンス向上

AMDのテストは二つの構成にわたりました: 96コアのEPYC 9654ベアメタルシステムとNPS4、及び80コアのEPYC 9V74仮想マシンとNPS5です。42の構成全体で、zentorchは83%のケースでONNX Runtimeを上回り、10%で並び、ベアメタル設定では7%で劣りました。仮想マシンでは、zentorchは類似の結果を達成し、83%でリード、7%でタイ、10%の構成では遅れました。

FP32精度において、平均レイテンシー向上はベアメタルで9.7%、仮想マシンで9.1%でした。BF16精度はより重要な改善を提供し、それぞれの平均改善は47.3%と46.1%でした。報告された最高のレイテンシー向上はBF16構成で発生し、四つのインスタンスで58.1%を達成し、シーケンス長128、及び16コアを持っていました。

主要最適化技術

AMDは、パフォーマンス改善をZenDNNとzentorchのいくつかの主要な最適化に帰しています:

• クエリ、キー、値のプロジェクションの融合を単一の行列乗算にすることで、FP32で約7%、BF16で9%の単一インスタンスパフォーマンスを改善。
• プロセッサのキャッシュ階層に沿ったタイルドスケールドットプロダクトアテンション。
• 繰り返し原始作成オーバーヘッドを削減するためのAOCL-DLPカーネルを持つ低オーバーヘッドオペレーターAPI (LowOHA)。
• 負荷生成器をそれらのダイの外に隔離しつつ、推論インスタンスを完全なコアコンプレックスダイ（CCDs）に固定。

これらの介入により、短いシーケンス長でのマルチインスタンスパフォーマンスの欠損が縮小されました。例えば、シーケンス長32において、欠損はONNX Runtime以下の21%から7%に減少しました。

AIワークロードへの影響

ベンチマークは、検索ランキング、分類、リトリーバル強化生成リランキングなどのAIワークロードのためのCPUベースの推論を最適化するAMDの焦点を示しています。結果はベンダーが報告したものであり、中央値実行方法に基づいていますが、EPYCプロセッサが小バッチAI推論タスクの潜在能力に関する貴重な洞察を提供します。