Together AI 发布多态推理和 Together 编译器

Together AI 宣布推出多态推理，这是一种新的 AI 推理方法，旨在适应快速发展的开源模型、不同的架构和动态工作负载。该公司还推出了 Together 编译器，这是实现这一愿景的关键工具，通过持续优化推理性能。

什么是多态推理？

多态推理，源于希腊语的“多种形状”，代表了从传统静态推理范式的转变。与依赖于为特定条件优化的固定配置的静态推理不同，多态推理能够动态适应模型架构、流量模式和硬件平台的变化。Together AI 强调了推动这一转变的几个行业趋势，包括：

• 开源模型发布的速度加快，最近三个月有 80% 的 OpenRouter 流量被导向发布的模型。
• 模型架构的多样性不断增加，所有前十名的开源模型都使用了不同的设计。
• 用户行为、产品变化和后续训练优化影响下的流量形状迅速演变。
• 硬件的频繁进步，例如从 NVIDIA B200 转向 GB300 GPU，以及 Vera Rubin 部署的出现。

该公司将多态推理与依赖于封闭模型、传统 Transformer 架构和静态配置的传统静态推理进行了对比，后者往往未能满足现代生产环境的需求。

介绍 Together 编译器

作为其多态推理计划的一部分，Together AI 发布了 Together 编译器，这是一个通过持续编译优化推理工作负载的 AI 驱动工具。该编译器将传统 GPU 优化挑战重新构造为具有自主搜索的问题，使 AI 代理能够迭代重写和改进多样化工作负载的 GPU 代码。

根据 Together AI 的说法，Together 编译器提供了显著的性能提升。在公司报告的测试中，它的速度达到了手写超大内核的 1.7 倍，并且对 NVIDIA H100 和 B200 GPU 上的 Llama 1B 模型每秒处理超过 2,100 个令牌。该编译器还使优化实验的次数比现有的基于代理的系统多 252 倍，在 24 小时内产生可部署的优化。

Together 编译器的实际应用包括更快的部署时间和减少的延迟。例如，使用该编译器的语音代理部署将生成前 64 个令牌的时间从在 NVIDIA B200 GPU 上的 281 毫秒减少到在 H100 GPU 上的 77 毫秒，改进了 3.6 倍。此外，Conversational AI 公司 Phonic 报告称，其 Phonic-1 模型的首次语音的中位时间减少了近 50%。

对 AI 推理的影响

Together AI 的多态推理和 Together 编译器解决了 AI 推理生态系统中的关键挑战，例如在没有手动调优的情况下适应多样化和快速变化的条件。通过利用 AI 代理来优化推理性能，该公司旨在为部署在生产环境中的开源 AI 模型提供可扩展和高效的解决方案。

随着每日报服务的令牌达到数万亿，通过编译器优化的推理，Together AI 将自己定位为推动开源 AI 社区推理基础设施的领导者。