连续批处理将LLM吞吐提升23倍

大型语言模型中的连续批处理是LLM推理服务的重要优化，解决了静态批处理的低效问题。根据Avi Chawla在X平台上的分析，传统机器学习推理将批次视为固定矩阵，所有输入填充到相同长度后同时完成，但LLM解码每前向传播生成一个序列的一个token，输出长度在遇到停止token前未知。

关键要点

• 连续批处理在每次迭代边界动态替换已完成请求，避免静态批处理中空闲槽位的GPU浪费。
• 生产流量中输出长度方差高时，如混合30token和400token回复，静态批处理表现最差，而Anyscale在OPT-13B和A100上的基准显示连续批处理吞吐量提升23倍。
• vLLM、SGLang、TGI和TensorRT-LLM等框架默认运行连续批处理，NVIDIA以飞行中批处理名称提供相同机制。

连续批处理机制深入分析

静态批处理下，30token完成的请求需等待批次中最长400token序列结束，GPU仍从HBM读取完整模型权重。连续批处理在每次前向传播后重新调度，允许完成请求退出并立即引入新请求。

KV缓存和预填充解码影响

调度器在两次前向传播间管理token预算，无需单独预填充和解码路径，但KV缓存满时可能发生抢占。此机制保持模型不变同时最大化吞吐。

商业影响与机会

企业可通过降低推理成本和提高硬件利用率实现盈利，支持API服务的竞争定价。实施挑战包括调度器复杂性和抢占开销，可通过vLLM等库解决。Anyscale等关键参与者在高方差流量场景中展现优势。

监管考量较少，因技术不改变模型行为。伦理实践强调透明资源分配以避免高峰期请求优先级偏差。

未来展望

随着LLM应用扩展，行业将加速采用连续批处理，预测其在边缘和云环境中广泛部署以处理多样生成长度，支持高效AI服务基础设施的商业模式。

常见问题

什么是LLM中的连续批处理？

连续批处理在每次前向传播后动态管理请求槽位，允许新请求替换已完成请求以提升GPU效率。

连续批处理与静态批处理有何不同？

静态批处理在开始时固定成员并浪费已完成序列的计算，而连续批处理在每次迭代重新调度以保持充分利用。

哪些框架支持连续批处理？

vLLM、SGLang、TGI、TensorRT-LLM以及NVIDIA的飞行中批处理均默认实现此方法以优化LLM服务。