Transformers AI快讯列表 | Blockchain.News
AI 快讯列表

AI 快讯列表关于 Transformers

时间 详情
2026-04-26
08:06
稀疏注意力实用指南:3种模式、权衡与2026推理提效分析

据推特用户 @_avichawla 表示,稀疏注意力通过局部窗口和学习式选择仅对部分token计算注意力,在降低二次复杂度的同时存在性能权衡。根据Avi Chawla的帖子,业界常用的做法包括滑动局部窗口、块稀疏模式与学习式top k路由,以在更长上下文下实现更低成本推理。据与稀疏注意力相关的研究如Longformer与BigBird所报道,这些模式可在长序列任务中显著降低显存与延迟,同时保持精度;这为企业在低成本推理、端侧大模型与长上下文RAG管线带来机会。依据该帖观点,团队需在窗口大小、块结构与稀疏度调度间做权衡,直接影响吞吐、GPU显存规划与服务成本。

2026-03-10
22:43
LeCun世界模型对决LLM:AMI Labs获10.3亿美元融资,重塑下一代AI——2026深度分析

据God of Prompt在X平台称,AMI Labs完成10.3亿美元融资,押注Yann LeCun主张的“世界模型”架构,对比于只做下一词预测的Transformer大模型扩规模路径(据AMI Labs与God of Prompt报道)。据AMI Labs表示,其目标是构建具备持久记忆、推理、规划与可控性的系统,并在巴黎、纽约、蒙特利尔和新加坡运营。根据AMI Labs披露,此轮由Cathay Innovation、Greycroft、Hiro Capital、HV Capital与Bezos Expeditions共同领投,标志资本转向“路径B”:交互式世界模型学习,而非“路径A”:继续放大LLM。依God of Prompt分析,若世界模型在规模上成功,提示工程生态将转向面向交互与长期记忆的智能体工具链,带来机器人、自动驾驶与工业仿真平台、记忆型AI基础设施等商业机遇。