关于 128k上下文 的快讯列表
时间 | 详情 |
---|---|
2025-08-21 20:12 |
Hyperbolic Labs 案例:LLoCO 实现 128k 上下文,减少 30 倍 Token,推理提速 7.62 倍,基于 H100 GPU
据 @hyperbolic_labs 披露,伯克利天空计算实验室研究员谭思俊开发的 LLoCO 技术可在处理 128k 上下文的同时将 Token 使用量减少 30 倍。来源:Hyperbolic Labs 于 X 该案例报告显示推理速度提升至 7.62 倍。来源:Hyperbolic Labs 于 X 该项目由 Hyperbolic Labs 的英伟达 H100 GPU 提供算力支持。来源:Hyperbolic Labs 于 X |
2025-08-21 20:12 |
英伟达H100性能突破:Hyperbolic推出LLoCO 实现单卡128k上下文,推理最高快7.62倍、微调吞吐量提升11.52倍
据Hyperbolic(@hyperbolic_labs)称,LLoCO在英伟达H100上使128k长度序列推理最高加速至7.62倍、微调训练吞吐量提升至11.52倍,并实现单张H100处理128k上下文(来源:Hyperbolic 于X平台,2025年8月21日)。在交易层面,这些经披露的指标为评估H100在长上下文LLM场景中的单位算力吞吐提供了实测数据,可用于观察AI算力效率与H100部署表现(来源:Hyperbolic 于X平台,2025年8月21日)。 |
2025-08-21 06:33 |
DeepSeek API更新:128K上下文、兼容Anthropic格式与严格函数调用,面向AI交易机器人关键能力
据@deepseek_ai称,DeepSeek发布API更新:deepseek-chat为非思考模式、deepseek-reasoner为思考模式,有助于面向不同代理设计与延迟需求的工作流;公告发布时间为2025年8月21日,来源为该公告。 据@deepseek_ai称,两类模型均支持128K上下文窗口,便于处理长文本与大规模数据输入;公告发布时间为2025年8月21日,来源为该公告。 据@deepseek_ai称,更新新增对Anthropic API格式的支持,便于使用Anthropic风格请求的开发者对接DeepSeek模型;公告发布时间为2025年8月21日,来源为该公告。 据@deepseek_ai称,Beta API提供严格函数调用,支持结构化工具调用,直接适用于函数驱动的交易机器人与执行代理;公告发布时间为2025年8月21日,来源为该公告。 据@deepseek_ai称,公告同时提到更多API资源与更流畅的体验,提示基础设施在持续增强,开发者可据此安排对接计划;公告发布时间为2025年8月21日,来源为该公告。 |
2025-08-20 18:32 |
Hyperbolic发布LLoCO在英伟达H100上的成绩:128k上下文推理提速7.62倍、微调吞吐提升11.52倍
根据Hyperbolic的披露,LLoCO在英伟达H100上对128k长度序列的推理速度最高提升至7.62倍;来源:Hyperbolic @hyperbolic_labs,2025年8月20日。根据Hyperbolic的披露,LLoCO在H100上的微调阶段吞吐量提升11.52倍;来源:Hyperbolic @hyperbolic_labs,2025年8月20日。根据Hyperbolic的披露,LLoCO实现单卡H100即可处理128k上下文;来源:Hyperbolic @hyperbolic_labs,2025年8月20日。 |