Together AI Revela Compilador para Otimização Contínua de Inferência AI

A Together AI apresentou o Together Compiler (TKCC), um sistema projetado para otimizar cargas de trabalho de inferência AI de forma dinâmica e contínua. Anunciado em 2026-11-04, o compilador aproveita agentes de alto throughput e tecnologia de motor persistente para se adaptar a modelos, plataformas de hardware e padrões de tráfego diversos, alcançando ganhos significativos de desempenho em vários benchmarks.

Abordando Cargas de Trabalho Dinâmicas de Inferência AI

Cargas de trabalho de inferência AI estão se tornando cada vez mais complexas, abrangendo milhares de modelos, plataformas de hardware e formas de tráfego. A Together AI relata que sua infraestrutura atende trilhões de tokens diariamente entre milhares de clientes, cada um com requisitos únicos, como tamanho de lote, comprimento de sequência e esparsidade de atenção. Métodos tradicionais de otimização manual se mostraram insustentáveis nesse ambiente.

O TKCC enfrenta esses desafios empregando agentes para reescrever código de GPU e otimizar motores de inferência. Ao contrário dos sistemas tradicionais que requerem longos reinícios de motor para cada experimento, o TKCC utiliza motores persistentes capazes de hot-reloading de otimizações candidatas. Essa abordagem minimiza o tempo de ociosidade da GPU e aumenta o throughput experimental em até 252 vezes em comparação com sistemas agenticos de referência.

Benchmarks de Desempenho e Conquistas

Em menos de 24 horas, o TKCC alcançou melhorias de throughput de 1.3 a 3 vezes em vários modelos de código aberto, incluindo Kimi K3, GLM 5.3, MiniMax M3.1-Flash e DeepSeek v4.1-Flash. Notavelmente, estabeleceu recordes de ponta no benchmark InferenceX da SemiAnalysis para desempenho de baixa latência, alcançando 1,111 tokens por segundo (TPS) no MiniMax M3.1-Flash e 1,205 TPS no DeepSeek v4.1-Flash. Além disso, o TKCC superou megakernels de código aberto por até 1.7 vezes na configuração de tamanho de lote 1 do Llama 1B.

O sistema também se generaliza além da inferência de modelos de linguagem, demonstrando aplicabilidade em áreas como modelagem climática, equações diferenciais parciais (PDE), análise de séries temporais e biologia. A Together AI destaca a capacidade do compilador de se adaptar a comportamentos de usuários em mudança, incluindo padrões de tráfego regionais, novos lançamentos de modelos e cargas de trabalho explosivas.

Arquitetura Inovadora e Estratégias de Otimização

A arquitetura do TKCC incorpora várias inovações:

• Motores Persistentes: Esses motores eliminam a necessidade de processos de inicialização repetidos, reduzindo o tempo total de configuração de 467 segundos para apenas 9 segundos.
• Otimização em Dois Níveis: Uma combinação de "motores rápidos" para iterações rápidas e "motores mais lentos" para testes de alta fidelidade equilibra throughput e precisão de medição.
• Modelo de Custo Personalizado: Este modelo seleciona estratégias de paralelismo, como paralelismo de tensor (TP) e paralelismo especializado (EP), com base em especificações de hardware, microbenchmark e dados reais de tráfego.

Esses recursos permitem que o TKCC otimize configurações sob requisitos de acordo de nível de serviço (SLA) enquanto acomoda propriedades de tráfego dependentes de dados, como comprimentos de prompt desiguais e desequilíbrios de especialistas de MoE.

Impacto no Mundo Real e Potencial Futuro

A Phonic, um cliente da Together AI, relatou uma redução de quase 50% no tempo médio até a primeira fala de seu modelo Phonic-1 após otimização noturna usando o TKCC. A Together AI afirma que o compilador já está operacional, atendendo trilhões de tokens diariamente sem exigir esforço adicional dos clientes.

Ao abordar os desafios das cargas de trabalho de inferência dinâmicas com uma abordagem escalável e adaptativa, o TKCC representa um avanço significativo na otimização de sistemas de AI. Sua capacidade de fornecer otimizações rápidas e de alta fidelidade o posiciona como uma ferramenta crítica para organizações que operam em ambientes sensíveis à latência e intensivos em computação.