苹果 KV-Lingo 论文:跨模型切换 LLM 提速最高 29 倍
Gauri_the_great · x · 2026-10-02
对话中途切换 LLM 通常需要重算前缀 KV cache,因为缓存绑定于各模型的架构与参数。苹果新论文 KV-Lingo 训练一个线性"翻译器",把源模型的 KV 缓存直接映射到目标模型的表示空间,免去重新 prefill。
方法要点
- 对目标模型的每一层,用独立的线性映射逐 token 变换源模型的 key 和 value;模型层数不同时可读取源模型的层子集。
- 训练分两阶段:先用闭式最小二乘拟合目标模型的原生缓存,再通过目标模型自蒸馏,优化预测分布的 KL 散度一致性(而非逐元素缓存重建误差)。只训练翻译器,两个模型均冻结。
- 翻译计算量随前缀长度线性增长且不含注意力计算。
实测结果
- 在 H100 上,对同构 Qwen3 模型对,2k token 前缀下切换速度比重新 prefill 快 4.8–5.6 倍,32k token 下快 12–29 倍,后续解码保持原生速度。
- 多次切换时各模型保留自己的缓存,只翻译新生成片段。
- 9 个基准测试(关闭推理模式)中,蒸馏线性翻译器大致达到小模型的平均性能;Qwen3-0.6B↔8B 上,head-mixing 版本小到大迁移得 0.577,大到小 0.476,小模型原生为 0.506。
论文也承认质量依赖模型对与任务:翻译缓存并不能稳定恢复大模型的原生性能。
「Infra」频道最新
- tinygrad 推出 768GB 显存 tinybox:4 张翻新 MI300X 售价 8.9 万美元 — viksit · 2026-11-19
- 纯 Rust 推理引擎 RustingStrata 实测:3060 上跑 Qwen MoE 略胜原版 Strata — Serious_Scarcity7818 · 2026-11-19
- 投资人感叹:市场对不确定性的厌恶盖过了英伟达财报赚钱能力 — MartinGTobias · 2026-11-19
- SGLang 宣布为新模型 DaisyRose-27B 提供 Day-0 支持 — ying11231 · 2026-11-19
- Linux LTS 补丁洪峰将至:单日 3318 个补丁,「人类根本审不完」 — pkqzy888 · 2026-11-19
- DaisyRose-27B 背后:自建沙箱服务降本 80%,百万次运行成功率 99.95% — BanghuaZ · 2026-11-19