NVIDIA 论文实现跨模型 KV cache 迁移，转换比重跑 prefill 快 2.7~25 倍
solyarisoftware · x · 2026-10-19
NVIDIA 在 arXiv 论文中提出跨模型 KV cache 迁移方法：让同一家族不同尺寸的模型（如 Qwen3 14B→32B）直接复用源模型缓存，目标模型完全跳过 prefill，转换速度比重算整个上下文快 2.7 到 25 倍。
背景：LLM API 无状态，每轮都重发全部对话并按输入计费；prompt caching 只对同一模型的稳定前缀有效，命中可按约 10% 计费，是推理服务最大的降本杠杆之一。但 KV cache 依赖模型权重，换模型就得重算——这在模型路由、级联切换场景下尤其浪费。
方法要点：
- 作者发现跨模型 KV 具有显著线性结构：Qwen3 14B→32B 中单个源层可解释目标 keys 56% 的方差、values 32%，多源层拼接后升至 79% 和 65%。
- 据此设计按 head 运算的闭式 ridge 回归映射器，三步完成：为目标层选 top-k 最具预测力的源层并拼接其 KV 作为输入；先从 keys 中剥离 RoPE 再做线性映射；重建后回填缓存。
意义：让 cost-quality 级联、对话中途换模型、路由等生产部署不再为每次切换重付 prefill 成本。
「Infra」频道最新
- 美国能源部贷款 44 亿美元重启三座核电站，供 AI 数据中心用电 — emmanuelvivier · 2026-10-19
- 中国拟管制 23 项 AI 技术出口，2 万亿参数以上模型禁止出境 — emmanuelvivier · 2026-10-19
- DeepSeek-V4.1-Flash 2-bit 量化版发布，双 RTX PRO 6000 即可跑 — TheZachMueller · 2026-10-19
- 阿里云演示 Omarchy 系统跑在无影 AI 云电脑上 — AIFlow_ML · 2026-10-19
- pi-durable v1.3.0：SQLite 表前缀与 DO 共库协调，修内存峰值 — solyarisoftware · 2026-10-19
- SwiftUI 版 Docker Desktop 面世：为 Apple 原生容器运行时打造 — AIFlow_ML · 2026-10-19