NVIDIA 新方法让 KV 缓存跨模型复用,转换比重新 prefill 快 2.7-25 倍
blaizedsouza · x · 2026-09-09
NVIDIA 团队发布论文,提出跨模型 KV cache 迁移:模型家族内切换大小模型时,目标模型可复用源模型的 KV cache,完全跳过 prefill,转换速度比重算上下文快 2.7 到 25 倍。
关键发现与做法:
- LLM API 无状态,每轮都要重发全部对话并按输入计费;prompt caching 只在本模型有效,因为 key/value 依赖模型权重,换模型就得重算 prefill。
- 作者发现跨模型 KV 存在显著线性结构:在匹配 KV 对上,单层线性映射可解释 Qwen3 14B→32B 目标层 keys 方差的 56%、values 的 32%;用多层源做输入时提升到 79% 和 65%。
- 方法是一个按 head 运作的闭式 ridge 映射,分三步:为每个目标层选取 top-k 最具预测性的源层并拼接其 KV 作为输入;从 keys 中剥离 RoPE 后再做线性映射。
对成本侧意义重大:cache read 按约 10% 基础输入价计费是推理服务最大的成本杠杆之一,跨模型缓存复用能把这一杠杆扩展到模型路由、大小模型级联和对话中途切换等场景。
「Infra」频道最新
- 34 个开源模型全部自托管在 Blackwell 集群上跑健康评测 — keunwoochoi · 2026-10-27
- 曝 Anthropic 与 SpaceX 签算力大单:每月 31 亿美元,至 2029 年共 1205 亿 — ns123abc · 2026-10-27
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- 要么人力商品化，要么 GPU 商品化：算力经济二选一之辩 — _AustinCalvert_ · 2026-10-27
- DeepSpeed 发布 AutoEP/AutoTP 等并行化进展并办线上答疑 — PyTorch · 2026-10-27