Notícias

Modelo GLM-5.3 da NVIDIA Implantado em Duas Estações DGX Usando vLLM

A NVIDIA demonstra o atendimento do modelo 753B -parameters GLM-5.3 através de duas Estações DGX usando paralelismo de tensores e vLLM para uma inferência local eficiente.

Modelo GLM-5.3 da NVIDIA Implantado em Duas Estações DGX Usando vLLM

Artigo traduzido. Ler o artigo original.

A NVIDIA apresentou um método para atender localmente o enorme modelo GLM-5.3 NVFP4 , um modelo quantizado de mistura de especialistas (MoE) com 753 bilhões de parâmetros, em duas Estações DGX. Esta abordagem aproveita o paralelismo de tensores e vLLM para dividir os pesos e a computação do modelo entre duas GPUs GB300 , superando as limitações de memória de uma única máquina.

Desafios dos Modelos em Escala Fronteiriça

O modelo GLM-5.3 requer aproximadamente 464 GB de memória GPU para armazenar seus pesos, muito além dos 252 GB de memória HBM3e disponíveis em uma única GPU GB300 . Apesar da ativação esparsa, que reduz a computação ativando apenas 40 bilhões de parâmetros por token, todos os pesos do modelo devem permanecer acessíveis para o roteamento dinâmico de tokens para diferentes especialistas.

Implementação Técnica

Para enfrentar esses desafios, a NVIDIA conectou duas Estações DGX via ConnectX-8 RDMA, permitindo o paralelismo de tensores (TP=2) para dividir os tensores do modelo entre as GPUs. A Estação A abriga o endpoint da API compatível com OpenAI, enquanto a Estação B opera como um nó trabalhador. Ambas as estações computam cada solicitação, com a Estação A retornando a saída final.

A implantação utiliza o framework vLLM, que suporta previsão de múltiplos tokens, armazenamento em cache KV- FP8 e cache de prefixo para otimizar a taxa de transferência sob cargas concorrentes. Os benchmarks no dataset SPEED-Bench Coding revelaram uma taxa de transferência de pico de 607.8 tokens por segundo a um nível de concorrência de 16 , caindo para 385.0 tokens por segundo a uma concorrência 32 , com uma latência média de solicitação de 453.5 segundos.

Pré-requisitos e Configuração

A configuração requer duas Estações DGX GB300 rodando Linux, conectadas e validadas usando o playbook da NVIDIA "Conectar Duas Estações DGX". Cada estação deve ter pelo menos 464 GB de espaço livre em disco para o ponto de verificação do modelo e espaço adicional para a imagem do contêiner vLLM e arquivos temporários. A implantação também necessita do Docker, do NVIDIA Container Toolkit e acesso a conjuntos de dados e licenças específicas.

Durante a configuração, os usuários definem variáveis de ambiente para configurações de rede e hardware, garantindo a comunicação adequada entre as estações. O contêiner vLLM é então lançado com o modelo GLM-5.3 distribuído entre as GPUs, permitindo uma inferência local eficiente.

Implicações para a Infraestrutura de IA

Esta demonstração destaca a crescente necessidade de configurações de GPU distribuídas para lidar com modelos em escala fronteiriça que excedem a capacidade de máquinas individuais. Ao utilizar o paralelismo de tensores e frameworks avançados como o vLLM, as organizações podem implantar grandes modelos de IA localmente sem depender de soluções baseadas em nuvem.

Mais artigos em português · Comparações financeiras e fontes da SEC (inglês)