DFlash技术通过改进的推测解码显著加速大型语言模型推理，将122B参数模型从每秒250个token提升至1000+，且零质量损失。该方法使用块扩散模型替代自回归起草器，并整合目标模型多层隐藏状态以提高接受率。Modal发布的Qwen模型专用起草器在生产流量上训练，进一步提升5-20%性能。基准测试显示接受长度8时加速达5.62倍，适用于企业级部署。

关键要点

• DFlash利用目标模型隐藏状态提升草案接受长度至9+。
• 在B200 GPU上实现超过1000 tokens/sec吞吐。
• 工作负载特定训练是最大化加速的关键策略。

技术深入分析

传统推测解码受限于起草器的顺序生成。DFlash的并行块扩散和内部表示集成解决了这一瓶颈，推动行业向高效推理转型。

商业影响与机遇

该技术降低云推理成本，支持实时AI应用变现。实施挑战通过生产日志微调解决，竞争格局中Modal等公司领先。

未来展望

预计接受长度优化将普及，推动AI从规模转向效率，符合能源监管趋势。

常见问题

DFlash的核心创新是什么？

用块扩散模型替换自回归起草并整合隐藏状态。

DFlash能提供多少加速？

接受长度8时达5.62倍，122B模型超1000 tokens/sec。

为何在生产流量上训练起草器？

提升接受率5-20%，适配实际使用模式。