据推特用户@_avichawla披露，ModernBERT在每第3层使用全局注意力，其余层采用128令牌的局部注意力，从而实现16倍更长的序列长度、更佳性能，并成为内存最优的编码器。根据Avi Chawla的描述，这种全局与局部混合的注意力调度在保持长程依赖的同时显著节省计算资源，适用于长文档检索、医疗病历摘要与法律合同分析等企业级NLP场景。依据该来源，这一简洁实现可降低GPU显存占用，为在普通硬件上进行低成本推理与微调创造条件，并可用于扩展RAG管线与流式分析的上下文窗口，同时维持高吞吐。