Together AI Revela Inferência Polimórfica e Compilador Together

A Together AI anunciou o lançamento da Inferência Polimórfica, uma nova abordagem para a inferência de IA projetada para se adaptar ao cenário em rápida evolução de modelos de código aberto, arquiteturas diversas e cargas de trabalho dinâmicas. A empresa também introduziu o Compilador Together, uma ferramenta-chave para alcançar essa visão, permitindo a otimização contínua do desempenho da inferência.

O que é Inferência Polimórfica?

A Inferência Polimórfica, derivada do termo grego para "muitas formas," representa uma mudança do paradigma tradicional de Inferência Estática. Ao contrário da Inferência Estática, que depende de configurações fixas otimizadas para condições específicas, a Inferência Polimórfica se adapta dinamicamente a mudanças nas arquiteturas de modelo, padrões de tráfego e plataformas de hardware. A Together AI destacou várias tendências da indústria que estão impulsionando essa mudança, incluindo:

• Aumentar a velocidade dos lançamentos de modelos de código aberto, com 80% do tráfego do OpenRouter direcionado a modelos lançados nos últimos três meses.
• A crescente diversidade de arquiteturas de modelos, com todos os dez principais modelos de código aberto usando designs distintos.
• Formatos de tráfego em rápida evolução influenciados pelo comportamento do usuário, mudanças de produto e otimizações pós-treinamento.
• A crescente evolução do hardware, como a transição de GPUs NVIDIA B200 para GB300 e o surgimento de implantações da Vera Rubin.

A empresa contrasta a Inferência Polimórfica com a Inferência Estática herdada, que dependia de modelos fechados, arquiteturas tradicionais Transformer e configurações estáticas que frequentemente não atendiam às demandas dos ambientes de produção modernos.

Apresentando o Compilador Together

Como parte de sua iniciativa de Inferência Polimórfica, a Together AI apresentou o Compilador Together, uma ferramenta impulsionada por IA projetada para otimizar cargas de trabalho de inferência por meio de compilação contínua. O compilador reformula os desafios tradicionais de otimização de GPU como problemas de busca agênciales, permitindo que agentes de IA reescrevam e melhorem iterativamente o código da GPU para cargas de trabalho diversas.

De acordo com a Together AI, o Compilador Together proporciona melhorias significativas de desempenho. Em testes relatados pela empresa, ele alcançou até 1.7 vezes a velocidade de megacódigos escritos à mão e processou mais de 2,100 tokens por segundo para modelos Llama 1B em GPUs NVIDIA H100 e B200. O compilador também permite 252 vezes mais experimentos de otimização em comparação com sistemas existentes baseados em agentes, produzindo otimizações implantáveis dentro de 24 horas.

As aplicações práticas do Compilador Together incluem tempos de implantação mais rápidos e menor latência. Por exemplo, uma implantação de agente de voz usando o compilador reduziu o tempo para gerar os primeiros 64 tokens de 281 milissegundos em GPUs NVIDIA B200 para 77 milissegundos em GPUs H100, uma melhoria de 3.6 vezes. Além disso, Phonic, uma empresa de IA conversacional, relatou uma redução de quase 50% no tempo mediano até o primeiro discurso para seu modelo Phonic-1.

Implicações para a Inferência de IA

A Inferência Polimórfica e o Compilador Together da Together AI abordam desafios críticos no ecossistema de inferência de IA, como adaptar-se a condições diversas e rapidamente mudando sem ajuste manual. Ao alavancar agentes de IA para otimizar o desempenho da inferência, a empresa visa fornecer soluções escaláveis e eficientes para modelos de IA de código aberto implantados em ambientes de produção.

Com trilhões de tokens servidos diariamente através de inferência otimizada por compilador, a Together AI se posiciona como líder no avanço da infraestrutura de inferência para a comunidade de IA de código aberto.