Together AI presenta Together Compiler para la optimización continua de inferencias de IA

Together AI ha anunciado el lanzamiento de Together Compiler (TKCC), un sistema innovador diseñado para optimizar las cargas de trabajo de inferencia de IA a través de la compilación continua. El sistema, presentado el 2026-11-04, busca abordar los desafíos que presenta la naturaleza dinámica de las cargas de trabajo de IA, que abarcan diversos modelos, plataformas de hardware y patrones de tráfico.

Abordando la Variabilidad en la Inferencia de IA

Las cargas de trabajo de inferencia de IA son cada vez más complejas, con Together AI sirviendo billones de tokens a diario entre miles de clientes. Estas cargas de trabajo varían significativamente en tamaño de lotes, longitud de secuencia, escasez y otros factores. Además, el paisaje de hardware es altamente fragmentado, con plataformas como NVIDIA H100, B200 y Groq que requieren estrategias de optimización distintas. Together Compiler aprovecha la optimización basada en agentes para adaptarse a estas diversas condiciones sin depender de reglas estáticas o ajustes manuales.

Motores Persistentes y Rendimiento Experimental

TKCC introduce "motores persistentes" que eliminan la necesidad de iniciar repetidamente los motores durante la optimización. Los sistemas tradicionales requieren hasta 467 segundos para la configuración, mientras que TKCC reduce esto a solo 9 segundos. Esta innovación permite un aumento de 252x en el rendimiento experimental en comparación con los sistemas agénticos de línea base. Los agentes dentro de TKCC comparten propuestas de optimización a través de un tablón de mensajes, asegurando pruebas continuas y minimizando el tiempo de inactividad de la GPU.

Referencias de Rendimiento

En las pruebas, TKCC logró hasta 2.6x más tokens por segundo (TPS) en varios modelos de código abierto, incluidos Kimi K3, GLM 5.3, MiniMax M3.1-Flash y DeepSeek v4.1-Flash. Estableció nuevos récords en el benchmark SemiAnalysis InferenceX, entregando 1111 TPS en MiniMax M3.1-Flash y 1205 TPS en DeepSeek v4.1-Flash. Además, TKCC superó a los megakernels de código abierto en 1.7x en configuraciones de tamaño de lote de Llama 1B 1.

Adaptándose a la Deriva de Tráfico

Together Compiler está diseñado para manejar la evolución del comportamiento del usuario. Por ejemplo, las longitudes de los prompts aumentaron en 80% dentro de las dos semanas posteriores al lanzamiento de un nuevo modelo, y se observaron diferencias regionales en los patrones de tráfico, con algunos países promediando 97,000 tokens por prompt en comparación con 70,000 en otros. TKCC se ajusta dinámicamente a estos cambios, asegurando un rendimiento óptimo sin necesidad de cambios en el código del cliente.

Aplicaciones Más Amplias

Más allá de la inferencia de modelos de lenguaje, TKCC ha demostrado su capacidad para generalizar a otros dominios, incluyendo modelado del tiempo, ecuaciones diferenciales parciales (EDPs), análisis de series temporales y biología. Esta versatilidad subraya su potencial como una herramienta universal para optimizar cargas de trabajo computacionales.

Con su arquitectura innovadora y mejoras de rendimiento significativas, Together Compiler representa un importante avance en la optimización de la inferencia de IA, permitiendo un despliegue más rápido y eficiente de modelos de IA en diversos casos de uso.