Lila Sciences e Anyscale Atingem Treinamento de Token 1M com GLM-5.3-Flash

A Lila Sciences e a Anyscale treinaram com sucesso o modelo GLM-5.3-Flash em sequências de até 1 milhões de tokens, um marco significativo no treinamento de IA de longo contexto. A colaboração utilizou o SkyRL, uma pilha de treinamento de código aberto, rodando em GPUs 64 NVIDIA B200. Esta conquista representa um aumento de 64 vezes no comprimento da sequência em comparação com a capacidade inicial de treinamento e aborda a crescente necessidade de modelos de IA capazes de lidar com conjuntos de dados científicos extensos.

Inovações Técnicas e Otimizações

O modelo GLM-5.3-Flash incorpora uma arquitetura híbrida com 34 camadas de Kimi Delta Attention (atenção linear) e 11 camadas de DeepSeek Sparse Attention (DSA). Para alcançar o contexto de 1M tokens, a equipe implementou várias otimizações críticas:

• Melhorias na Atenção Sparse: Ajustes nas formas dos tensores permitiram núcleos esparsos, reduzindo pela metade o uso de memória e garantindo compatibilidade com as camadas DSA.
• Gerenciamento de Memória: Técnicas como recomputação de ativação, descarregamento para CPU e paralelismo de contexto foram aplicadas seletivamente para equilibrar memória e throughput. Por exemplo, o descarregamento reduziu a memória máxima em 256k tokens de 142 GiB para 98 GiB, embora com um aumento de 21% no tempo de etapa.
• Ajustes Mixture-of-Experts (MoE): A roteação de dados reais revelou uma distribuição desigual de tokens entre os especialistas, com a GPU mais ocupada lidando com até quatro vezes a carga média de tokens. O processamento em blocos das camadas MoE resolveu gargalos de memória em 512k tokens.
• Planejamento de Memória Host: Em 1M tokens, a entrada das camadas descarregadas exigiu aproximadamente 180 GB de memória de CPU por GPU, necessitando de memória fixada para transferências de dados mais rápidas e liberação cuidadosa de memória após cada etapa.

Essas otimizações possibilitaram uma pegada de memória máxima de 144.5 GiB por GPU e um throughput de treinamento de 13,700 tokens por segundo em 1M tokens, com um throughput máximo de 24,900 tokens por segundo alcançado em 256k tokens.

Impacto Científico e Validação

O modelo foi refinado no genoma humano, usando os cromossomos 1 e 2 para treinamento e o cromossomo 22 para avaliação. Após o treinamento em 512k tokens por sequência, a perda retida melhorou em 4.8% em 80 etapas, com os maiores ganhos observados em tokens com um contexto anterior extenso. Isso demonstra a capacidade do modelo de aproveitar dependências de longo alcance, uma capacidade crítica para a análise de dados científicos estruturados, como sequências de DNA.

A validação incluiu execuções de aprendizado por reforço e comparações com vLLM, alcançando uma lacuna de log-probabilidade de 0.04–0.07 em comprimentos de contexto de 128k a 1M tokens. Esses resultados confirmam a correção do processo de treinamento, enquanto destacam os desafios práticos de escalar modelos de longo contexto.

Contribuições de Código Aberto

Todas as mudanças feitas durante este projeto são de código aberto e integradas ao SkyRL, com vários patches upstream enviados para o Megatron-LM. O rastreador de implementação, aberto em 2026-10-14, documenta todo o processo de treinamento, incluindo ajuste fino supervisionado, aprendizado por reforço e benchmarks de memória.

Esta colaboração entre a Lila Sciences e a Anyscale destaca o potencial dos frameworks de código aberto para avançar na pesquisa de IA e enfrentar desafios científicos complexos.