据@_avichawla称，小模型猜测K词并由大模型一次验证，可实现2–3倍推理提速。

据@_avichawla演示，推测解码相较常规解码显著降延迟提速。

据Avi Chawla（@_avichawla）在X上的文章与贴文所述，LLM推理采用逐Token自回归生成，单次请求变为数百次顺序前向计算，前置填充阶段受算力瓶颈、解码阶段受显存带宽瓶颈，二者同卡并行会相互干扰。根据Chawla，KV缓存随对话增长并跨请求共享，路由需基于前缀缓存命中而非最空闲副本；MoE模型还引入专家并行，这些都不同于传统模型服务。依据Chawla总结，这推动了面向LLM推理的全新优化栈，覆盖九大支柱与72项技术，包括模型压缩、注意力与KV缓存管理、批处理与并行化、推理解码与路由，以及生产级调度与显存管理。对业务而言，据Chawla，这些方法（如前置/解码分离部署、前缀感知路由、KV分页与淘汰、推测解码、MoE感知负载均衡）可显著降低每Token成本、提升吞吐并满足低延迟SLA，适用于2026年LLM在线服务与企业应用场景。

根据Greg Brockman（@gdb）的分析，推理正成为人工智能领域最具价值的新兴软件类别，随着AI模型变得更智能且经济价值不断提升，企业对推理计算资源的需求将持续增长（来源：Twitter/@gdb）。Brockman指出，推理优化包括模型前向传递的深入理解与创新优化、利用推测解码和工作负载感知负载均衡等系统级效率提升，以及大规模基础设施的管理。这些领域为企业在大规模AI部署和降本增效方面提供了巨大机遇。具备推理和大规模系统优化经验的企业和专业人才，将在AI产业高速发展中占据优势。