Together AI 推出支持 NVIDIA GPU 的即时集群
realtime news Sep 09, 2025 21:31
Together AI 宣布即时集群的全面可用性，提供自助服务 NVIDIA GPU 集群以加速 AI 训练和推理，提高可扩展性和效率。
Together AI 推出了即时集群，这是一项突破性的服务，提供配备 NVIDIA H100 和 B200 GPU 的自助服务 GPU 集群。此开发旨在通过提供可随时使用的训练和推理集群来简化 AI 基础设施，从而大幅减少设置时间和操作复杂性。
高效且可扩展的 AI 解决方案
即时集群旨在满足 AI 原生公司的需求，使他们能够有效管理计算需求突增。据 Together AI 称，这些集群可以在几分钟内配置，消除了冗长的采购过程，能够快速扩展 AI 操作。此服务尤其适用于需要大规模强化学习和分布式训练的组织。
先进的云体验
开发人员可以期待一种 API 优先和自助服务的云体验，符合现代云计算标准。即时集群通过自动化驱动程序、调度程序和网络结构的集成，简化了传统上复杂的多节点 GPU 集群设置。这种方法不仅提高了生产力，还确保了各个环境的一致性。
为高性能训练优化
配备 NVIDIA Quantum-2 InfiniBand 和 NVLink 技术，这些集群提供了超低延迟和高吞吐量的沟通，这对于严格的多节点训练任务至关重要。该配置支持 Kubernetes 和 Slurm 编排，在 AI 部署中提供灵活性和可重复性。
可扩展的推理能力
随着 AI 应用程序的扩展，对推理能力的需求变得至关重要。Together AI 的解决方案允许快速调整集群大小，在高峰使用期间保持性能而无需进行架构更改。这确保了从测试环境到全面生产的无缝过渡。
可靠的性能和定价
为了确保可靠性，Together AI 对其集群实施了全面的测试和监控，包括烧测试和连接性检查。该服务的定价简单明了，提供按小时、按天和更长期使用的选项，能够匹配不同的业务需求。
Together 即时集群的推出代表了 AI 基础设施的一个重大进步，提供了一个坚固、可扩展的解决方案，满足 AI 驱动企业不断发展的需求。
Image source: Shutterstock.jpg)