跨模型复用 KV Cache：英伟达新研究让推理提速 25 倍
theomitsa · x · 2026-08-07
NVIDIA 研究团队提出了一种跨模型 KV Cache 迁移技术。在 LLM 家族（如 Qwen3 14B 到 32B）中切换不同规模的模型时，传统做法需要重新计算上下文的 prefill，而该技术允许目标模型直接复用源模型的 KV Cache，从而完全跳过 prefill 阶段。
研究发现，匹配的 KV 对之间存在显著的线性结构。基于此，团队设计了一个闭式岭回归映射器，通过选取最具预测性的源层并拼接其 KV 作为输入，大幅提升了转换效率。
实验表明，该转换过程比重新处理上下文快 2.7 到 25 倍，这对于优化级联模型、对话中途切换以及降低大模型 API 输入成本具有重要意义。
所属事件:英伟达新研究实现跨模型复用 KV Cache(2 条相关)→
「Infra」频道最新
- Zero 下一代 IVM 引擎塞进单个 DO，实时查询 R2 上 100GiB 数据库 — threepointone · 2026-10-16
- Aziz 梗图开玩：2028 年自己开 Roadster 去芯片工厂提货 — beffjezos · 2026-10-16
- 一个人维护 40 亿台设备的时钟：时区数据库背后的志愿者 — danbri · 2026-10-16
- 4x DGX Spark 跑 DeepSeek V4.1 Flash 实测：内存根本不够，494 t/s 有水分 — Aroochacha · 2026-10-16
- 开发者开源 Intel GPU Vulkan 推理升级:部分路径摄取提速 2 倍 — Fun-Aardvark-1143 · 2026-10-16
- ELSFP 光封装三大痛点：插损超 3dB、PMF 贵且难装、洁净间要求高 — jwt0625 · 2026-10-16