推测解码将LLM提速2-3倍

推测性解码是加速大型语言模型推理速度的重大进展，能实现2-3倍更快的令牌生成，同时保持输出质量。该方法解决了自回归解码在低批次大小下常见的内存带宽限制问题，此时GPU在顺序令牌生成期间往往处于空闲状态。根据Avi Chawla在X平台上的信息，谷歌已在搜索AI概览的生产环境中应用此方法，凸显其实用价值。

关键要点

• 推测性解码允许目标模型在单次前向传递中验证多个提议令牌，大幅降低延迟且不改变最终分布。
• 存在四种主要实现策略，每种都在额外模型维护、训练需求和验证开销之间取得平衡。
• 部署LLM的企业可通过在推理管道中采用推测性解码实现显著成本节约和更高吞吐量。

机制理解

在标准自回归解码下，每个令牌都需要经过条件于先前输出的完整Transformer层传递。推测性解码引入草稿路径提前提议多个未来令牌。较大目标模型随后在一次传递中评估整个块，类似于预填充操作。如果草稿模型建议五个令牌且全部被接受，则可从同一验证步骤生成额外奖励令牌。当出现不匹配时，保留已接受令牌，纠正错误并丢弃其余部分。此过程通过精心设计的接受规则保持与目标模型相同的输出概率。

商业影响与机遇

运行LLM服务的公司面临因GPU利用率低效导致的高推理成本。推测性解码通过增加每次目标传递的接受令牌数量直接解决此问题。生产指标强调扣除草稿开销后的净吞吐量收益。组织可通过高级低延迟API实现更快响应的货币化，或在不增加硬件比例的情况下扩展用户量。实施挑战包括管理草稿模型的额外内存和调度复杂性，但共享KV缓存和优化接受启发式等解决方案可缓解这些问题。搜索和生成AI领域的竞争者通过缩短响应时间获得优势，直接改善用户参与度和留存率。

未来展望

随着LLM在各行业采用率增长，推测性解码有望成为推理框架的标准。未来转变可能包括结合多种方法的混合草稿设计，以实现跨硬件类型的最佳效率。关于模型透明度的监管考虑可能影响采用，而伦理最佳实践强调验证速度提升不会损害输出公平性。预测表明其将更广泛集成到边缘部署和实时应用中，重塑企业平衡计算资源与服务质量的方式。

常见问题

什么是LLM中的推测性解码？

推测性解码通过使用草稿机制提议多个令牌，由目标模型在一次传递中验证，从而加速推理，同时保持原始输出分布。

谷歌如何应用此技术？

根据Avi Chawla在X平台上的报告，谷歌在搜索AI概览的生产环境中使用推测性解码以实现大规模更快响应生成。

推测性解码的主要类型有哪些？

主要类型包括双模型设置、EAGLE、Medusa和LayerSkip，每种提供不同的训练需求和开销平衡。

推测性解码会改变模型输出吗？

不会，通过适当的接受规则，输出分布与仅使用目标模型时保持相同。