AI 快讯列表关于 DSA
| 时间 | 详情 |
|---|---|
|
2026-04-26 08:07 |
DeepSeek V3.2 稀疏注意力DSA重磅突破:O(Lk)复杂度将128K长上下文计算大幅降本
据推特用户 @_avichawla 报道,DeepSeek 在 V3.2 中推出 DeepSeek Sparse Attention(DSA),将注意力计算从 O(L²) 降为 O(Lk),每次查询仅选取前 k 个键值对,且无论上下文是否为 128K,最多只保留 2048 个令牌。根据该来源,轻量级 Lightning Indexer 采用少量 FP8 头对令牌重要性打分,先进行廉价筛选,再在被选子集上执行昂贵注意力,从而集中算力并降低延迟与成本。该来源还指出,固定的 k 使显存与计算更可预测,有利于长文档问答、检索增强生成和企业级长上下文推理的吞吐与服务经济性。 |
|
2026-04-24 03:24 |
DeepSeek推行100万上下文新标准:新型注意力与DSA实现超高效长上下文(深度解析)
据@deepseek_ai在X平台披露,DeepSeek将逐点压缩与DeepSeek稀疏注意力(DSA)结合,显著降低计算与显存开销,并把100万上下文作为官方服务默认配置。根据DeepSeek官方公告,此结构性创新面向长上下文场景,如多文档RAG、海量代码库和企业文档归档,旨在在保证质量的同时降低时延与总拥有成本。该举措据同一来源所述,为企业将检索、总结与合规审计合并为单次推理创造条件,有望减少推理费用与硬件占用,释放长文本应用的商业化落地空间。 |