据Twitter用户@_avichawla指出，Transformer的注意力在计算QK乘积与softmax时，会将大矩阵在片上SRAM与HBM之间反复搬运，层层重复，造成显著的内存带宽压力。依据该帖，Q与K先分发到线程并行计算，QK结果回写HBM；softmax阶段再次分发、计算并回写HBM。该模式暴露的瓶颈意味着内核级优化（如FlashAttention、融合注意力、重计算感知切块）以及硬件策略（更大SRAM、更高效张量核心利用、近存计算）具有商业价值。同时，该来源提示，IO感知注意力、KV缓存压缩与序列并行化可显著降低LLM推理与训练的时延与成本。

据X用户@_avichawla所述，线程是最小执行单元，多线程构成块；同一块内线程共享快速但稀缺的片上SRAM，而所有块共享容量充足但较慢的全局HBM；据该帖指出，理解此层级可通过共享内存分块、减少全局内存访问来优化AI内核并提升吞吐。根据英伟达开发者文档的行业做法，将重复访问的张量放入共享内存可减少HBM读取并提升占用率，实测适用于Transformer注意力与卷积等工作负载；业内报道还显示，通过将线程块与数据tile对齐并实现HBM合并访问，可在生产级ML流程中获得更高有效带宽与更低延迟。