AMD Otimiza Inferência BERT com Processadores EPYC e ZenDNN

A AMD revelou benchmarks de desempenho para inferência CPU de baixa latência em seus processadores EPYC, aproveitando otimizações em sua biblioteca ZenDNN e no plugin PyTorch zentorch. Os testes, realizados em 2026-09, focaram na inferência BERT-Base uncased usando a implementação do Hugging Face. Os resultados destacam ganhos significativos de latência, particularmente ao usar precisão BF16, com melhorias atingindo até 58.1% em comparação ao ONNX Runtime FP32.

Ganhos de Desempenho em Várias Configurações

Os testes da AMD abrangeram duas configurações: um sistema bare-metal EPYC 9654 com 96 núcleos e NPS4 e uma máquina virtual EPYC 9V74 com 80 núcleos e NPS5. Em 42 configurações, zentorch superou o ONNX Runtime em 83% dos casos, empatou em 10% e ficou atrás em 7% na configuração bare-metal. Na máquina virtual, zentorch obteve resultados semelhantes, liderando em 83%, empatando em 7% e ficando atrás em 10% das configurações.

Para a precisão FP32, o ganho médio de latência foi de 9.7% em bare metal e de 9.1% na máquina virtual. A precisão BF16 proporcionou melhorias mais substanciais, com ganhos médios de 47.3% e 46.1%, respectivamente. O maior ganho de latência relatado ocorreu na configuração BF16, atingindo 58.1% em quatro instâncias, comprimento de sequência 128 e 16 núcleos.

Técnicas de Otimização Chave

A AMD atribuiu as melhorias de desempenho a várias otimizações chave no ZenDNN e zentorch:

• Fusão de projeções de consulta, chave e valor em uma única multiplicação de matriz, melhorando o desempenho de instância única em aproximadamente 7% para FP32 e 9% para BF16.
• Escalonamento de atenção de produto ponto em torno da hierarquia de cache do processador.
• API de operador de baixo overhead (LowOHA) com núcleos AOCL-DLP para reduzir a sobrecarga de criação de primitivas repetidas.
• Fixação de instâncias de inferência para completar Core Complex Dies (CCDs) enquanto isola o gerador de carga fora desses dies.

Essas intervenções estreitaram o déficit de desempenho de múltiplas instâncias em comprimentos de sequência mais curtos. Por exemplo, no comprimento de sequência 32, o déficit foi reduzido de 21% para 7% abaixo do ONNX Runtime.

Implicações para Cargas de Trabalho de IA

Os benchmarks demonstram o foco da AMD em otimizar inferências baseadas em CPU para cargas de trabalho de IA, como classificação de busca, classificação e reclassificação de geração aumentada de recuperação. Embora os resultados sejam relatados pelo fornecedor e baseados em metodologia de execução média, eles oferecem insights valiosos sobre o potencial dos processadores EPYC para tarefas de inferência de IA de pequenos lotes.