AMD Оптимизирует Инференс BERT с Помощью Процессоров EPYC и ZenDNN

AMD представила результаты тестов производительности для инференса CPU с низкой задержкой на своих процессорах EPYC, используя оптимизации в библиотеке ZenDNN и плагине PyTorch zentorch. Тесты, проведенные в 2026-09, были сосредоточены на инференсе BERT-Base uncased, используя реализацию Hugging Face. Результаты подчеркивают значительные приросты по задержке, особенно при использовании точности BF16, с улучшениями, достигающими до 58.1% по сравнению с ONNX Runtime FP32.

Увеличение Производительности во Всех Конфигурациях

Тестирование AMD охватывало две конфигурации: систему bare-metal EPYC 9654 с 96 ядрами и NPS4, а также виртуальную машину EPYC 9V74 с 80 ядрами и NPS5. В 42 конфигурациях zentorch превзошел ONNX Runtime в 83% случаев, оказался вничью в 10% и отстал в 7% при bare-metal установке. В виртуальной машине zentorch достиг аналогичных результатов, лидируя в 83%, оказываясь вничью в 7% и отставая в 10% конфигураций.

Для точности FP32 средний прирост задержки составил 9.7% на bare-metal и 9.1% на виртуальной машине. Точность BF16 обеспечила более существенные улучшения, с средними приростами 47.3% и 46.1% соответственно. Наибольший зарегистрированный прирост задержки произошел в конфигурации BF16, достигнув 58.1% на четырех экземплярах, длине последовательности 128 и 16 ядер.

Ключевые Техники Оптимизации

AMD объясняет улучшения в производительности рядом ключевых оптимизаций в ZenDNN и zentorch:

• Слияние проекций запроса, ключа и значения в одну матричную операцию с улучшением производительности одиночного экземпляра примерно на 7% для FP32 и 9% для BF16.
• Масштабируемое внимание в виде точечной продукции вокруг иерархии кэша процессора.
• API операторов с низким оверхедом (LowOHA) с ядрами AOCL-DLP для сокращения повторных затрат на создание примитивов.
• Закрепление экземпляров инференса на полных кристаллах Core Complex (CCD), изолируя генератор нагрузки вне этих кристаллов.

Эти меры уменьшили нехватку производительности в многократных экземплярах при коротких длинах последовательностей. Например, при длине последовательности 32 нехватка была сокращена с 21% до 7% по сравнению с ONNX Runtime.

Влияние на ИИ Нагрузки

Бенчмарки демонстрируют внимание AMD к оптимизации инференса на базе ЦП для ИИ-нагрузок, таких как ранжирование поиска, классификация и повторное ранжирование с помощью увеличенной генерации. Хотя результаты были предоставлены поставщиком и основаны на методах медианного выполнения, они предоставляют ценные идеи о потенциальных возможностях процессоров EPYC для задач инференса ИИ в небольших партиях.