AMD, EPYC 프로세서와 ZenDNN로 BERT 추론 최적화

AMD는 EPYC 프로세서에서의 저지연 CPU 추론을 위한 성능 벤치마크를 발표하며, ZenDNN 라이브러리와 zentorch PyTorch 플러그인의 최적화를 활용했습니다. 2026-09에 실시된 테스트는 Hugging Face의 구현을 사용한 BERT-Base uncased 추론에 초점을 맞추고 있습니다. 결과는 특히 BF16 정밀도를 사용할 때 상당한 레이턴시 향상을 보여주었으며, ONNX Runtime FP32와 비교하여 58.1%에 도달했습니다.

구성 전반에 걸친 성능 향상

AMD의 테스트는 96-core EPYC 9654 베어 메탈 시스템과 NPS4, 그리고 80-core EPYC 9V74 가상 머신과 NPS5의 두 가지 구성에 걸쳐 있었습니다. 42 구성 전반에 걸쳐 zentorch는 83%의 경우 ONNX Runtime을 초과했고, 10%에서 동점이며, 베어 메탈 구성에서 7%에서는 뒤처졌습니다. 가상 머신에서는 zentorch가 유사한 결과를 달성하여 83%에서 선두하고, 7%에서 동점이며, 10%의 구성에서는 뒤처졌습니다.

FP32 정밀도에서는 평균 레이턴시 향상이 베어 메탈에서 9.7%, 가상 머신에서 9.1%였습니다. BF16 정밀도는 평균 47.3%와 46.1%의 더 실질적인 개선을 제공했습니다. 가장 높은 레이턴시 향상은 BF16 구성에서 발생하여, 네 번의 인스턴스에서 58.1%에 도달하였고, 시퀀스 길이 128와 16 코어에서 달성되었습니다.

주요 최적화 기술

AMD는 ZenDNN과 zentorch에서의 몇 가지 주요 최적화 덕분에 성능 향상을 이루었다고 말했습니다：

• 쿼리, 키 및 값 프로젝션을 단일 행렬 곱셈으로 융합하여 FP32에서 약 7%, BF16에서 9%의 단일 인스턴스 성능을 개선했습니다.
• 프로세서 캐시 계층 주위에서의 타일 스케일드 점 곱 주의.
• 반복적인 프리미티브 생성 오버헤드를 줄이기 위한 LowOHA (저오버헤드 연산자 API) 및 AOCL-DLP 커널.
• 인퍼런스 인스턴스를 완전한 Core Complex Dies (CCD)에 고정하고 로드 생성기를 그러한 다이 외부로 격리.

이러한 개입은 짧은 시퀀스 길이에서 다중 인스턴스 성능의 부족함을 줄였습니다. 예를 들어, 시퀀스 길이 32에서는 ONNX Runtime 아래에서 21%에서 7%로 결핍이 감소했습니다.

AI 워크로드에 대한 영향

벤치마크는 검색 순위, 분류, 검색 보강 생성 재정렬 등의 AI 워크로드에 대한 CPU 기반 추론 최적화에 대한 AMD의 주목을 보여줍니다. 결과는 공급업체 보고서이며 중앙 실행 방법론에 기반하고 있지만, EPYC 프로세서의 소규모 AI 추론 작업의 가능성에 대한 귀중한 통찰을 제공합니다.