关于 推理加速 的快讯列表
时间 | 详情 |
---|---|
2025-08-21 20:12 |
英伟达H100性能突破:Hyperbolic推出LLoCO 实现单卡128k上下文,推理最高快7.62倍、微调吞吐量提升11.52倍
据Hyperbolic(@hyperbolic_labs)称,LLoCO在英伟达H100上使128k长度序列推理最高加速至7.62倍、微调训练吞吐量提升至11.52倍,并实现单张H100处理128k上下文(来源:Hyperbolic 于X平台,2025年8月21日)。在交易层面,这些经披露的指标为评估H100在长上下文LLM场景中的单位算力吞吐提供了实测数据,可用于观察AI算力效率与H100部署表现(来源:Hyperbolic 于X平台,2025年8月21日)。 |