英伟达新研究：跨模型线性映射复用 KV Cache，推理提速 25 倍
rohanpaul_ai · x · 2026-08-07
英伟达最新论文提出了一种跨模型复用提示词记忆（KV Cache）的方法。当系统切换大模型时，新模型通常需要重新读取整个对话来构建缓存，而该方法通过一个简单的线性转换器，让相关模型能直接复用已缓存的记忆，跳过重新处理长对话的过程。
技术细节与表现：
- 该映射器学习目标注意力头与源层的关联，在转换前移除位置信息并在转换后恢复。
- 仅需 500 个校准序列即可完成学习，无需反向传播，但要求模型具有匹配的缓存形状。
- 在 Qwen3、Llama 3.1 等的 6 组模型测试中，保留了 73% 到 98% 的基准准确率。
- 转换过程速度提升了 2.7 至 25 倍，且 Qwen3 在 10 轮对话中表现稳定。
研究还发现，成功的核心不在于总转换误差大小，而在于误差是否落在注意力机制实际读取的位置。
所属事件:英伟达新研究实现跨模型复用 KV Cache(2 条相关)→
「Infra」频道最新
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16
- Valtz 新版支持 FLUX.3，Mac 本地生图最高 4K 分辨率 — TgoAI · 2026-10-16
- 百度开源 FlashMask：长上下文训练最高比 FlashAttention-4 快 1.55 倍 — BaiduResearch · 2026-10-16
- 独立开发者 GYRO 量化实测：体积更小却达 ISTA Q3 水平 — PlasticRevenue4601 · 2026-10-16
- RL 训练系统已成前沿建模最复杂的基建难题,_best_方案是商业机密 — brianryhuang · 2026-10-16