Together AI Lanza Compilador para Optimización Continua de Inferencia AI

Together AI ha introducido el Together Compiler (TKCC), un sistema diseñado para optimizar dinámicamente y de forma continua cargas de trabajo de inferencia AI. Anunciado el 2026-11-04, el compilador aprovecha agentes de alto rendimiento y tecnología de motor persistente para adaptarse a diversos modelos, plataformas de hardware y patrones de tráfico, logrando importantes mejoras de rendimiento en varios benchmarks.

Abordando Cargas de Trabajo Dinámicas de Inferencia AI

Las cargas de trabajo de inferencia AI son cada vez más complejas, abarcando miles de modelos, plataformas de hardware y formas de tráfico. Together AI informa que su infraestructura sirve billones de tokens diariamente a miles de clientes, cada uno con requisitos únicos como tamaño de lote, longitud de secuencia y escasez de atención. Los métodos de optimización manual tradicionales han demostrado ser insostenibles en este entorno.

TKCC aborda estos desafíos empleando agentes para reescribir el código GPU y optimizar motores de inferencia. A diferencia de los sistemas tradicionales que requieren largos reinicios de motor para cada experimento, TKCC utiliza motores persistentes capaces de recargar optimizaciones candidatas en caliente. Este enfoque minimiza el tiempo de inactividad de la GPU y aumenta el rendimiento de experimentación en 252 veces en comparación con los sistemas de base.

Benchmarks de Rendimiento y Logros

En menos de 24 horas, TKCC logró mejoras en el rendimiento de 1.3 a 3 veces en varios modelos de código abierto, incluyendo Kimi K3, GLM 5.3, MiniMax M3.1-Flash y DeepSeek v4.1-Flash. Notablemente, estableció récords de última generación en el benchmark de rendimiento de baja latencia InferenceX de SemiAnalysis, alcanzando 1,111 tokens por segundo (TPS) en MiniMax M3.1-Flash y 1,205 TPS en DeepSeek v4.1-Flash. Además, TKCC superó los megakernels de código abierto por 1.7 veces en la configuración de tamaño de lote 1 de Llama 1B.

El sistema también se generaliza más allá de la inferencia de modelos de lenguaje, demostrando aplicabilidad en dominios como modelado del clima, ecuaciones diferenciales parciales (PDE), análisis de series temporales y biología. Together AI destaca la capacidad del compilador para adaptarse a los comportamientos cambiantes de los usuarios, incluidos los patrones de tráfico regionales, los nuevos lanzamientos de modelos y las cargas de trabajo repentinas.

Arquitectura Innovadora y Estrategias de Optimización

La arquitectura de TKCC incorpora varias innovaciones:

• Motores Persistentes: Estos motores eliminan la necesidad de procesos de inicio repetidos, reduciendo el tiempo total de configuración de 467 segundos a solo 9 segundos.
• Optimización de Dos Niveles: Una combinación de "motores rápidos" para iteraciones rápidas y "motores más lentos" para pruebas de alta fidelidad equilibran el rendimiento y la precisión de medición.
• Modelo de Coste Personalizado: Este modelo selecciona estrategias de paralelismo, como paralelismo de tensores (TP) y paralelismo de expertos (EP), en función de las especificaciones de hardware, los microbenchmarks y los datos de tráfico del mundo real.

Estas características permiten a TKCC optimizar configuraciones bajo requisitos de acuerdo de nivel de servicio (SLA) mientras se acomoda las propiedades de tráfico dependientes de datos, como longitudes de aviso desiguales y desequilibrios de expertos MoE.

Impacto en el Mundo Real y Potencial Futuro

Phonic, un cliente de Together AI, informó una reducción de casi 50% en el tiempo medio hasta el primer discurso para su modelo Phonic-1 después de una optimización nocturna utilizando TKCC. Together AI afirma que el compilador ya está operativo, sirviendo billones de tokens diariamente sin requerir esfuerzo adicional por parte del cliente.

Al abordar los desafíos de las cargas de trabajo de inferencia dinámica con un enfoque escalable y adaptable, TKCC representa un avance significativo en la optimización de sistemas AI. Su capacidad para ofrecer optimizaciones rápidas y de alta fidelidad lo posiciona como una herramienta crítica para las organizaciones que operan en entornos sensibles a la latencia y computacionalmente intensivos.