KV-streams将代理RL提速近2倍

研究人员于2026年10月2日在X平台上由Avi Chawla介绍了一种名为KV-streams的新型压缩方法用于代理强化学习。该方法解决了AI代理训练中长回合超出上下文预算时的效率问题。传统重新预填充压缩会多次重建KV缓存而KV-streams直接从活动缓存中移除丢弃的回合从而将训练速度提高近两倍。

关键要点

• KV-streams通过保留KV状态而非在压缩后重新计算标记在SWE-bench Verified上实现近2倍更快的RL训练。
• 该方法将物理存储与逻辑位置分离以正确处理RoPE旋转并通过移除完整16标记块来管理vLLM块表而不留下间隙。
• 商业应用包括降低代理系统的计算成本同时保持训练和推理路径之间0.001的低KL散度。

KV-Streams技术深度解析

代理RL回合在达到上下文限制时常触发压缩。大多数系统会重新创建较短序列并多次通过模型重新预填充每个保留标记。KV-streams通过直接从活动KV缓存中切除不需要的回合并从幸存条目继续生成来消除此开销。两个关键调整确保正确性。RoPE旋转仍绑定到原始标记位置即使物理槽位改变。新查询尊重原始位置计数而不重置。在具有16标记块的vLLM环境中KV-streams驱逐整个块并连接引用以避免注意力内核错误。回合边界处的部分块接收填充以在压缩前提交标记。训练镜像生成期间记录的精确压缩历史以保持KV条目一致。

实施挑战与解决方案

标记级驱逐导致退化输出需要大量监督微调。研究人员因此驱逐包括边界标签的完整回合。这保留了学习到的聊天格式。该方法记录每个压缩事件以便训练器重现相同状态。验证显示不匹配KL接近0.001确认近乎相同的标记概率。

商业影响与机会

训练代理模型的组织通过更快的迭代周期获得显著市场优势。在SWE-bench Verified上使用KV-streams的Markovian Thinker设置在32小时内达到峰值性能而重新预填充需要60小时。这将重复回合的基础设施费用减半。货币化策略包括将优化RL平台作为云服务提供。实施需要将KV-streams集成到现有vLLM或SGLang堆栈中并添加块对齐的填充逻辑。竞争格局有利于早期采用此技术的团队因为代理训练的关键参与者加速开发。监管考虑最小因为该技术提高效率而不改变模型行为。道德最佳实践强调透明压缩策略以避免保留KV条目中意外信息保留。

未来展望

行业转变可能集中在生产推理上批处理已缓解预填充成本。KV-streams主要受益于每个回合多次压缩的RL训练循环。未来预测包括在长视野代理系统中的广泛采用以及与涵盖驱逐和量化的更广泛KV缓存工程堆栈的集成。忽视这些优化的公司可能在代理性能基准测试中落后。

常见问题

什么是KV-streams？

KV-streams是一种压缩技术在代理RL期间直接从活动KV缓存中移除丢弃的回合而非通过重新预填充重建序列。

使用KV-streams训练速度提高多少？

根据报告实验在SWE-bench Verified上训练在约32小时内达到峰值性能而传统方法需要60小时。

KV-streams是否影响生产推理？

加速主要针对RL训练而推理中的批处理可以隐藏部分预填充开销使主要收益集中在训练。

哪个来源详细介绍了KV-streams仓库？

仓库位于github.com/Emilianopp/KV-streams如2026年10月Avi Chawla的分析中所述。