Together AI 发布持续 AI 推理优化编译器

Together AI 推出了 Together Compiler (TKCC)，这是一个旨在动态和持续优化 AI 推理工作负载的系统。该编译器于 2026-11-04 发布，利用高吞吐量代理和持久引擎技术，以适应各种模型、硬件平台和流量模式，在各项基准测试中实现显著的性能提升。

应对动态 AI 推理工作负载

AI 推理工作负载日益复杂，涵盖数千个模型、硬件平台和流量形态。Together AI 报告其基础设施每天为成千上万客户服务于万亿 tokens，每个客户都有独特的需求，如批处理大小、序列长度和注意力稀疏性。在这种环境下，传统的手动优化方法被证明是不可持续的。

TKCC 通过使用代理重写 GPU 代码和优化推理引擎来应对这些挑战。与需要为每次实验进行长时间引擎重启的传统系统不同，TKCC 使用持久引擎，能够热重载候选优化。这种方法最小化了 GPU 空闲时间，并将实验吞吐量提升了 252 倍，相较于基线代理系统。

性能基准和成就

在不足 24 小时内，TKCC 在多个开源模型上实现了 1.3 到 3 倍的吞吐量提升，包括 Kimi K3、GLM 5.3、MiniMax M3.1-Flash 和 DeepSeek v4.1-Flash。值得注意的是，它在 SemiAnalysis 的 InferenceX 基准测试中创造了低延迟性能的最新纪录，在 MiniMax M3.1-Flash 上达到了 1,111 tokens 每秒 (TPS)，在 DeepSeek v4.1-Flash 上达到了 1,205 TPS。此外，TKCC 在 Llama 1B 批量大小 1 设置中超越了开源 megakernel，优化效果提高了 1.7 倍。

该系统还在语言模型推理之外具有有效性，展示了在天气建模、偏微分方程 (PDE)、时间序列分析和生物学等领域的适用性。Together AI 强调该编译器适应变化的用户行为的能力，包括区域流量模式、新模型发布和突发工作负载。

创新架构和优化策略

TKCC 的架构包含了几项创新：

• 持久引擎：这些引擎消除了重复启动过程的需要，将总设置时间从 467 秒减少到仅 9 秒。
• 双层优化：结合“快速引擎”进行快速迭代和“慢速引擎”进行高保真测试，平衡吞吐量和测量准确性。
• 自定义成本模型：该模型根据硬件规格、微基准测试和实时流量数据选择并行策略，如张量并行 (TP) 和专家并行 (EP)。

这些功能使 TKCC 能够在服务水平协议 (SLA) 要求下优化配置，并适应不均匀的提示长度和 MoE 专家不平衡等数据依赖流量属性。

实际影响和未来潜力

Together AI 的客户 Phonic 报告称，在使用 TKCC 进行过夜优化后，其 Phonic-1 模型的首次语音中位时间减少了近 50%。Together AI 表示，该编译器已经投入使用，每天为万亿 tokens 提供服务，无需额外的客户努力。

通过以可扩展和自适应的方法解决动态推理工作负载的挑战，TKCC 代表了 AI 系统优化的重大进展。其提供快速、高保真优化的能力，使其成为在对延迟敏感和计算密集型环境中运营的组织的重要工具。