AI 快讯列表关于 GQA
| 时间 | 详情 |
|---|---|
|
2026-07-12 10:31 |
NVIDIA SparDA解码提速1.7倍
据@_avichawla称，SparDA通过预测预取KV块，解码提速1.7倍，长推理提升6.5分。 |
|
2026-06-29 09:13 |
LLM预填充与解码解析：优化TTFT与ITL
据@_avichawla称，预填充算力受限、解码内存受限，优化聚焦KV缓存与带宽。 |