NVIDIA 研究：KV cache 跨模型直传，小模型记忆迁移到大模型免重算
anselm · x · 2026-09-24
NVIDIA 研究人员提出一种跨模型直接迁移 KV cache 的方法，解决了 LLM 服务中「换模型必须重 prefill」的痛点。
- 问题：对话中途从小模型切换到大模型时，大模型必须从头重算全部历史，延迟和算力开销巨大。
- 发现：同一家族不同规模的模型（如 Qwen3 14B 与 32B）之间，KV cache 存在线性关系——小模型的单层输出即可预测大模型 keys 约 56% 的方差。
- 做法：研究构建了「闭式线性映射」，把小模型的记忆直接映射到大模型，无需重新读取 prompt，从根本跳过 prefill。
- 意义：若可扩展到更多模型家族，将显著降低推理切换成本与首 token 延迟。
「Infra」频道最新
- Starlink 美国城市用户增速 73% 反超农村，上传速度提升 42% — XFreeze · 2026-11-11
- Cloudflare 采用未经实战的共识算法 QuePaxa,替代 Raft/Paxos 建 Meerkat — sull · 2026-11-11
- 用 AI 扫遍全美废弃商场，改造成数据中心的脑洞 — LinusEkenstam · 2026-11-11
- Anthropic S-1 曝 260 亿美元私募：七大供应商按 IPO 价入股 — demian_ai · 2026-11-11
- AMD 10Q 披露收购 Taalas 花费 29 亿美元,将 LLM 权重烧进硬件 — deedydas · 2026-11-11
- SpaceXSI 1.2GW 燃气电厂获密西西比州环保许可,为 Colossus II 供能 — XFreeze · 2026-11-11