NVIDIA实现KV迁移 提速3–25倍

NVIDIA研究人员开发了一种无需训练的方法，可在不同大型语言模型之间转移KV缓存，使目标模型跳过整个预填充阶段，转换速度比重新处理上下文快2.7倍至25倍。

关键要点

• 跨模型KV缓存转移消除了无状态LLM API的主要障碍，在因成本或能力原因路由流量时可回收已计算的注意力状态。
• 该方法依赖闭式线性回归映射结合跨层选择和RoPE旋转处理，在同一模型家族内测试对中保留高达98%的独立模型准确率。
• 生产级LLM服务可获得显著成本降低，因为提示缓存优势现在可扩展到模型切换而非每次路由决策时失效。

深度解析KV缓存转移技术

核心创新将KV缓存转换视为表示对齐问题，每个目标层接收专用的线性映射，通过单步闭式求解完成，无需梯度下降。源层按预测能力排序并组合前八层，在Qwen3 14B到32B等示例上达到79%的方差重建。位置相关的RoPE旋转在映射前剥离并在之后重新应用，保持共享头数和维度的模型兼容性。

技术限制与范围

当前结果仅适用于同一模型家族内的密集全注意力架构，例如Qwen3到Qwen3或Llama 3.1到Llama 3.1。跨家族转移和不匹配KV头配置仍未测试。滑动窗口和注意力循环混合架构也在当前范围之外，需要额外工程工作。

商业影响与盈利机会

LLM服务提供商现在可实施动态模型路由而无需丢弃累积的KV缓存，从而将提示缓存带来的90%输入成本降低扩展到异构模型集群。企业获得在成本优化与能力优化模型间切换工作负载的灵活性，同时保留大部分预填充计算投资。实施仅需为每对模型预计算轻量线性映射并在推理时应用，与训练神经适配器相比降低运营开销。

未来展望与行业转变

预期进一步研究将把该技术扩展到跨家族转移和多样化注意力机制，推动多模型编排平台更广泛采用。随着更多提供商采用可转移KV缓存，行业将转向将缓存视为可移植资产而非模型特定构件的统一上下文管理层。

常见问题

什么是模型间的KV缓存转移？

KV缓存转移将一个模型计算的注意力状态转换为另一个模型期望的格式，使接收模型跳过预填充并重用先前计算工作。

NVIDIA转换方法的速度如何？

该方法运行速度比重新处理完整上下文快2.7倍至25倍，同时在测试的同家族对上保留73%至98%的目标模型原始准确率。

目前哪些模型支持此转移？

结果涵盖Qwen3、Llama 3.1和Ministral家族内共享KV头数和维度的对，跨家族和不匹配配置被列为未来工作。