Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs
Vincent-Daniel Yun, Woosang Lim, Haneul Yoo, Sungjoo Yoo, Murali Annavaram, Sai Praneeth Karimireddy
cs.AI, cs.LG, cs.MA
2026-09-26
HeteroFold 把发送方的 KV cache 直接映射进另一家族的接收模型,免去重新 prefill:32K 上下文快 10.7 倍,四个长文本基准全面超过现有免 prefill 方法。
异构多智能体系统让不同家族的模型各司其职,但 agent 之间靠文本交流:发送方处理过的共享上下文,接收方必须原样再 prefill 一遍,重建自己的 KV cache,上下文越长这份重复计算越贵。直接搬发送方的 KV cache 是显而易见的解法,可跨家族要过三关:分词器不同、层数不同、KV 表征空间不同。现有的免 prefill 缓存映射方法(Dense Latent、KV Ridge)只在同家族内验证过,跨家族直接套用基本失效:Ministral-3-14B→Llama-3.1-8B 方向,Dense Latent 在 Qasper 上 F1 只有 2.72,文本通信是 44.64。
还有个更隐蔽的坑:缓存重建误差低,不代表接收方行为对。论文的对照实验里,KV Ridge 的重建误差比 HeteroFold 低,注意力分布却偏得更多。迁移要保住的是接收方的下游计算,不只是缓存数值。
HeteroFold 全程冻结收发两个模型,只在中间学一组固定线性映射:
校准用 1600 条训练、400 条验证 prompt(Open-R1 问题文本加 HotpotQA),不带答案。单个方向约 2 个 H100 GPU 小时,映射 2–2.5 亿参数,BF16 下 0.4–0.5 GB。
六个方向(Llama-3.1-8B、Qwen3-4B、Ministral-3-14B 两两互传)。四个长文本基准上,HeteroFold 在全部六个方向都是缓存迁移方法里最好的;短文本多数也是。Ministral→Llama 方向:
| 方法 | Qasper F1 | HotpotQA F1 | QuALITY Acc | GSM8K Acc |
| 文本通信+原生 prefill | 44.64 | 57.54 | 75.07 | 85.67 |
| Dense Latent + TA | 2.72 | 0.79 | 24.83 | 1.74 |
| KV Ridge + TA | 19.09 | 37.48 | 74.74 | 53.30 |
| HeteroFold | 33.72 | 50.29 | 79.00 | 63.46 |
QuALITY 上 79.00 反超文本通信的 75.07,这个方向其余基准仍落后文本。给两个基线同样加上 TA 后 KV Ridge 大幅回升,说明分词不匹配是主要瓶颈,但 HeteroFold 仍领先,增益不只来自 TA。只凭迁移缓存让接收方复述原问题(100 条 GSM8K),HeteroFold 的词序重合度 83.0%,KV Ridge+TA 76.7%,Dense Latent+TA 39.7%。
延迟(32K 上下文,Llama→Ministral,双 H100):原生 prefill 5167 ms,HeteroFold 481 ms,快 10.74 倍;比 KV Ridge+TA(570 ms)和 Dense Latent+TA(706 ms)快 1.18–1.47 倍。多智能体基准 HiddenBench 上,15 轮通信后平均准确率 30.6%,略高于文本通信的 29.2%,无效回答率 3.2%(KV Ridge+TA 高达 20.9%)。
做异构多智能体系统的人可以把重复 prefill 这笔账算清楚:4K 上下文省约 3.5–3.8 倍,32K 省 10.7 倍,上下文越长、共享越频繁,收益越大。方法学上有个可以带走的教训:评价缓存迁移应该对齐接收方行为(注意力分布、输出),重建误差会骗人。工程上,修正项折进仿射矩阵后推理路径干净,模型权重不动,对在自有集群跑多模型服务、agent 间长上下文共享密集的团队最有吸引力。
论文自称是第一个带显式跨分词器对齐的免 prefill 跨家族迁移。它的定位是修通路:绝对水平离文本通信还有距离,但方向被证明可行。