Together.AI 发布增强的批量推断 API，功能进一步扩展
realtime news Sep 16, 2025 07:28
Together.AI 已升级其批量推断 API，提供简化的用户界面、通用模型支持以及将速率限制提高到 300 亿个令牌，提升大规模数据处理能力。
Together.AI 宣布对其批量推断 API 进行了重大升级，以简化和加速大规模 AI 工作负载的处理。根据 Together.AI 的消息，这些增强功能包括改进的用户界面、扩展的模型支持以及显著提高的速率限制。
简化的用户界面
新的 UI 使用户能够更直观地创建和监控批处理任务，消除了复杂 API 调用的需求。此开发预计将提升用户体验和操作效率。
通用模型支持
升级后的批量推断 API 现在支持所有无服务器模型和私人部署。这个通用模型访问使用户能够在任何所需模型上执行批量工作负载，提高了灵活性和可扩展性。
大规模增强
最显著的改进之一是速率限制从每个用户每个模型 1000 万个提升至 300 亿个排队令牌。这次 3000 倍的增强允许在没有瓶颈的情况下处理大规模数据集，加快并提高数据处理效率。
成本效益
对于大多数无服务器模型，批量推断 API 的运行成本仅为实时 API 的一半。这一成本的降低使其成为处理高吞吐量工作负载的经济选择，使大规模推断既可获得性强又具成本效益。
实际应用
Inception Labs 的联合创始人 Volodymyr Kuleshov 强调了该 API 的影响，称其能够在没有瓶颈的情况下处理大量请求，加快实验速度。Inception Labs 及其他团队利用该 API 进行研究和生产工作负载，展示了其广泛的适用性。
理想用例
批量推断 API 特别适用于不需要实时约束的高吞吐量场景。这包括大规模文本分析、欺诈检测、合成数据生成、嵌入生成、内容审核、模型评估和客户支持自动化。
未来展望
批量推断 API 的增强标志着大规模 AI 处理在可及性和效率方面的重大进步。通过这些更新，Together.AI 将其 API 定位为希望有效扩展 AI 实验和应用的组织的领先解决方案。
Image source: Shutterstock.jpg)