软最大线性注意力 AI快讯列表 | Blockchain.News
AI 快讯列表

AI 快讯列表关于 软最大线性注意力

时间 详情
2025-10-25
09:49
Ring-linear注意力架构革新长上下文LLM推理,推理速度提升10倍

据@godofprompt报道,Ling团队最新论文《Every Attention Matters》提出了Ring-linear注意力架构,彻底改变了大语言模型(LLM)的长上下文推理方式。该架构融合Softmax与线性Attention,实现推理成本降低10倍,并在支持多达128,000个token的情况下保持SOTA准确率(来源:@godofprompt,Twitter,2025年10月25日)。此外,论文显示训练效率提升50%,推理速度提升90%,并实现超长序列下的稳定强化学习优化。这一创新为无需超大参数模型的LLM长上下文应用提供高效扩展,为AI文档分析、法律科技和科学研究等需大窗口场景带来新商机。