Draft-KV: Learning Useful Latent Communication Between Language Models
Linquan Wu, Shichang Meng, Tianxiang Jiang, Haoyu Yang, Peng Zhong, Fengming Zhu, Xi Peng, Linqi Song, Jacky Keung, Jingyu Zhang
cs.CL
2026-09-28
Draft-KV把大模型打草稿时形成的KV状态注入冻结小模型，接口约105万参数。Qwen3-8B协助冻结的Qwen2.5-0.5B-Instruct，MMLU-Redux从37.45%升到78.04%；换成无关题目的消息则掉回36.40%。
多模型协作如果走文本，发送端要把内部计算解码成词，接收端再重新编码。潜空间通信直接传 hidden state 或 KV cache。Cache-to-Cache（C2C）把发送端的 prompt cache 投影融合进接收端，LatentMAS 用共享 KV 做免训练协作，两边都报过接收端准确率上升。
升分不等于用上了这条消息。把每条消息换成另一道无关题的消息，五个方法与数据集组合里准确率最多只动 0.60 个百分点；相对接收端单独答题，系统增益最高到 15.44 分。C2C 在 Qwen2.5-0.5B-Instruct 发、Qwen3-0.6B 收这条线上，MMLU-Redux 系统增益 12.29 分、配对增益 -0.47 分；OpenBookQA 是 13.40 / 0.00，ARC-Challenge 是 15.44 / 0.42。LatentMAS 则是 4.86 分系统增益、0.60 分配对。把错配消息送进冻结接口再平均，C2C 仍保住 Matched 准确率的 93% 到 96%。发送端从 0.6B 扩到 8B，单独准确率涨 29.85 分，整系统只涨 3.54 分。
接口自己就能把分撑住，发送端换成谁几乎无所谓。这篇把这个现象叫做 information-use gap：消息必须带着当前题上发送端刚算出来的东西，接收端的答案必须跟着正确配对的内容变。
Draft-KV 传的是发送端打草稿时、草稿 token 位置上的 KV，不是 prompt 位置的静态 cache。因果注意力下，prompt 位置的 KV 不会被后面的答案改写；草稿位置的 KV 已经吃进题目和已经写出的答案 token。
两端全程冻结。Qwen3 发端对 Qwen2.5-0.5B-Instruct 收端，接口 1,048,584 个参数，比 C2C 少 348 倍，比 DLC 少 36 倍。大小由两边 cache 宽度和 4 个通信层决定，跟模型总参数量、消息长度无关。
训练分三阶段，因为读得懂和会用来答题是两件事，一起训接收端会拿到一份它还读不懂的消息。
推理时发送端打草稿，接口投影，收端带着固定 packet 解码。
主设置是 Qwen3-8B 发、冻结 Qwen2.5-0.5B-Instruct 收，两边看到同一道题。
| 方法 | MMLU-Redux | ARC-Challenge |
| 接收端单独 | 37.45% | 40.10% |
| C2C Matched / Deranged | 36.97 / 36.45 | 40.53 / 39.42 |
| 同一份草稿当文本（T2T） | 72.05% | 84.73% |
| 发送端单独 | 75.04% | 92.83% |
| Draft-KV Matched / Deranged | 78.04 / 36.40 | 93.77 / 38.57 |
35 个 Public 设置里全部超过接收端单独，30 个拿第一，33 个超过 T2T，平均高 5.85 分。相对接收端的系统增益均值 24.24 分，配对增益均值 25.65 分，35 组全为正。C2C 配对增益均值 1.31 分，系统增益在 29 组里为负。
接口大小固定，发端从 Qwen3-0.6B 扩到 8B，MMLU-Redux 从 46.11% 升到 78.04%。五个基准上平均系统增益涨 32.6 分，T2T 涨 30.2，C2C 只涨 1.4。20 组里 19 组超过发端单独相对收端的优势。
两边各拿一半证据时，14 组全部超过 T2T，平均高 6.41 分；7 组第一且超过两端各自作答。Qwen3-8B→0.5B 的 HotpotQA exact match 是 42.48%，接收端 32.28%，发送端 35.21%。错配在这里掉到比不通信还低 10.98 分。
消融把草稿 KV 换成 prompt KV（Qwen3-1.7B→0.5B）：ARC-Challenge 从 83.53% 掉到 49.83%，配对增益从 45.90 分掉到 0.17 分。信息使用缺口在同一套架构里复现。去掉重建预训练或答案对齐，held-out 的 MMLU-Redux 掉得更明显。ARC-Challenge 上它救回发送端答错的 24.1% 题目，只丢掉发送端答对的 1.1%。
要问通信有没有把内容送过去，配对增益比系统增益硬。
Draft-KV 做成轻接口：一对模型大约一百万参数，异构也能接。小模型要吃大模型刚算完的中间结果，或者两套模型各握一部分证据，这是对口场景。推理必须先让发送端打完草稿。Qwen3-8B→0.5B 上算术量是发端单独的 2.02 倍，延迟是 1.01 倍，12.02 秒里有 11.87 秒耗在发端 368 步单 token 解码。接口本身 0.88 GFLOPs、0.63 毫秒；同位置 C2C 接口是 118.3 GFLOPs、35.6 毫秒。C2C 不打草稿，延迟是发端单独的 0.009 倍。省的是接口，不是草稿。想要内容依赖的增益，目前还是要付这份草稿账。
论文没有单独的 Limitations 节，约束得从设置里读。接口是一对模型训一份，换对要重训。Stage 3 只在 ARC 训练和验证集上做答题监督，MMLU-Redux、C-EVAL、HotpotQA 的迁移是加分，但任务仍是选择题和短答案多跳 QA，没有长上下文、代码或工具调用。延迟几乎等于跑一遍发送端：产品若已用 8B 答题，多出来的是一次 0.5B 二次读取；若目标是小模型单独上线，线上仍要带着大模型打草稿。C2C 有 6/7 对按原论文配方重训，29/35 个 Public 设置系统增益为负，和原文报的升分有落差，对照强度取决于这份复现。Private 协议把标注证据随机切开，不是真实权限隔离。adapter-only 在 0.6B 发端和反向对上仍能保住 Matched 的 77% 到 87%，内容依赖是跟着发端变强才拉开的。