关于 推理速度 的快讯列表
| 时间 | 详情 | 
|---|---|
| 2025-10-23 16:37 | 
                                        
                                            AI Dev 25 纽约议程发布:Google、AWS、Groq、Mistral聚焦代理式架构、语义缓存与推理速度——交易者必看要点
                                        
                                         根据@AndrewYNg,AI Dev 25 纽约大会将由来自Google、AWS、Vercel、Groq、Mistral AI与SAP的开发者分享量产AI系统实践经验(来源:@AndrewYNg)。 议程涵盖代理式架构的取舍、面向边界案例的自主规划,以及编排框架何时助益、何时累积误差(来源:@AndrewYNg)。 还将讨论复杂推理下检索的局限、知识图谱如何连接向量搜索遗漏的信息,以及保持关系的记忆系统构建方法(来源:@AndrewYNg)。 基础设施主题包括硬件、模型与应用的扩展瓶颈、用于降本与降延迟的语义缓存策略,以及更快推理如何带来更优编排(来源:@AndrewYNg;ai-dev.deeplearning.ai)。 生产就绪与工具链将聚焦系统化智能体测试、将AI治理落地为工程实践、MCP实现、具上下文的代码审查系统及可复用的演示(来源:@AndrewYNg)。 对交易者而言,议程所强调的低延迟、降本与编排效率,体现当前企业AI落地的优先级,可用于跟踪AI基础设施板块与AI加密叙事的市场情绪与主题配置(来源:@AndrewYNg)。 | 
| 2025-08-20 18:32 | 
                                        
                                            Hyperbolic发布LLoCO在英伟达H100上的成绩:128k上下文推理提速7.62倍、微调吞吐提升11.52倍
                                        
                                         根据Hyperbolic的披露,LLoCO在英伟达H100上对128k长度序列的推理速度最高提升至7.62倍;来源:Hyperbolic @hyperbolic_labs,2025年8月20日。根据Hyperbolic的披露,LLoCO在H100上的微调阶段吞吐量提升11.52倍;来源:Hyperbolic @hyperbolic_labs,2025年8月20日。根据Hyperbolic的披露,LLoCO实现单卡H100即可处理128k上下文;来源:Hyperbolic @hyperbolic_labs,2025年8月20日。 |