Together AI presenta Inferencia Polimórfica y Compilador Together

Together AI ha anunciado el lanzamiento de Inferencia Polimórfica, un nuevo enfoque para la inferencia de IA diseñado para adaptarse al panorama en rápida evolución de modelos de código abierto, arquitecturas diversas y cargas de trabajo dinámicas. La empresa también presentó el Compilador Together, una herramienta clave para lograr esta visión al permitir la optimización continua del rendimiento de la inferencia.

¿Qué es la Inferencia Polimórfica?

La Inferencia Polimórfica, derivada del término griego para "muchas formas", representa un cambio del paradigma de Inferencia Estática tradicional. A diferencia de la Inferencia Estática, que se basa en configuraciones fijas optimizadas para condiciones específicas, la Inferencia Polimórfica se adapta dinámicamente a los cambios en las arquitecturas de los modelos, los patrones de tráfico y las plataformas de hardware. Together AI destacó varias tendencias de la industria que impulsan este cambio, incluyendo:

• La creciente velocidad de lanzamientos de modelos de código abierto, con 80% del tráfico de OpenRouter dirigido a modelos lanzados en los últimos tres meses.
• La creciente diversidad de arquitecturas de modelos, con los diez principales modelos de código abierto utilizando diseños distintos.
• Formas de tráfico en rápida evolución influenciadas por el comportamiento de los usuarios, cambios en los productos y optimizaciones post-entrenamiento.
• Avances frecuentes en hardware, como la transición de NVIDIA B200 a GB300 GPUs y la aparición de implementaciones de Vera Rubin.

La empresa contrasta la Inferencia Polimórfica con la Inferencia Estática heredada, que dependía de modelos cerrados, arquitecturas de Transformadores tradicionales y configuraciones estáticas que a menudo fallaban en cumplir las demandas de entornos de producción modernos.

Introduciendo el Compilador Together

Como parte de su iniciativa de Inferencia Polimórfica, Together AI desveló el Compilador Together, una herramienta impulsada por IA diseñada para optimizar cargas de trabajo de inferencia mediante compilación continua. El compilador recontextualiza los desafíos de optimización de GPU tradicionales como problemas de búsqueda agentiva, lo que permite a los agentes de IA reescribir y mejorar iterativamente el código de GPU para cargas de trabajo diversas.

Según Together AI, el Compilador Together ofrece mejoras significativas en rendimiento. En pruebas reportadas por la empresa, logró hasta 1.7 veces la velocidad de megarutinas escritas a mano y procesó más de 2,100 tokens por segundo para modelos Llama 1B en GPUs NVIDIA H100 y B200. El compilador también permite 252 veces más experimentos de optimización en comparación con sistemas existentes basados en agentes, produciendo optimizaciones desplegables en 24 horas.

Las aplicaciones prácticas del Compilador Together incluyen tiempos de despliegue más rápidos y una latencia reducida. Por ejemplo, un despliegue de agente de voz utilizando el compilador redujo el tiempo para generar los primeros 64 tokens de 281 milisegundos en GPUs NVIDIA B200 a 77 milisegundos en GPUs H100, una mejora de 3.6 veces. Además, Phonic, una empresa de IA conversacional, informó de una reducción de casi 50% en el tiempo medio de la primera voz para su modelo Phonic-1.

Implicaciones para la Inferencia de IA

La Inferencia Polimórfica y el Compilador Together de Together AI abordan desafíos críticos en el ecosistema de inferencia de IA, como adaptarse a condiciones diversas y que cambian rápidamente sin ajuste manual. Al aprovechar agentes de IA para optimizar el rendimiento de la inferencia, la empresa busca proporcionar soluciones escalables y eficientes para modelos de IA de código abierto desplegados en entornos de producción.

Con billones de tokens servidos diariamente a través de la inferencia optimizada por el compilador, Together AI se posiciona como líder en la mejora de la infraestructura de inferencia para la comunidad de IA de código abierto.