Together AI以最快推理速度设定开源模型新基准
realtime news Dec 01, 2025 19:18
Together AI通过GPU优化和量化技术，在NVIDIA Blackwell架构上实现了开源模型推理的空前速度，超越竞争对手。
Together AI宣布在开源模型推理领域取得突破性成就，其速度比之前的基准高出一倍。这一性能的飞跃归功于GPU优化、投机解码和低位量化格式的进步，Together AI表示。
推动性能的技术创新
这一成就的核心是下一代GPU硬件的整合，特别是NVIDIA Blackwell架构。Together AI已重新设计其推理引擎以最大化这些GPU的潜力，使用优化的核和先进的量化技术，如FP4。这一全面的革新使系统能够作为一个高效单元运行，优化计算核、内存布局和执行图。
量化和投机解码
Together AI的量化策略在其性能提升中发挥了重要作用。通过将大型模型权重转换为低位格式，公司在显著提高速度的同时保持高精度。他们的投机解码算法进一步提高了效率，保证了跨各种数据领域的高输出速度和质量。
基准测试结果
来自Artificial Analysis的独立基准测试确认Together AI的平台是基于GPU的开源模型供应商中最快的，包括GPT-OSS和Qwen系列。平台的输出速度超越竞争对手，有些模型的推理速度甚至快达2.75倍。
未来发展
展望未来，Together AI致力于扩展其能力，包括加快下游应用程序的生成速度以及增强对混合量化的支持。公司承诺提升开源AI模型的性能和可扩展性。
有关更多信息，您可以访问Together AI网站。
Image source: Shutterstock.jpg)