35B到4B的线性桥赢过753B,数学增益多半是适配

On the Opportunities and Challenges of Prefill-to-Autoregressive Cross-Model Transfer

Zhenyi Shen, Junru Lu, Wei Liu, Jiangnan Ye, Jiazheng Li, Di Yin, Xing Sun, Tameem Adel, Yali Du, Lin Gui, Yulan He

cs.CL

2026-11-04

零初始化线性桥把大模型 prefill 状态注入小模型后,35B 发送端超过闭源 753B,化学 CoT 的通信净增益剩 +3.34,GSM8K 多出的 8.49 个点几乎能被单独训练复现。

这篇在解决什么

大模型解码贵,小模型便宜,难任务上容易掉下去。PACT(Prefill-to-Autoregressive Cross-model Transfer,预填充到自回归的跨模型迁移)把计算拆开:大的 sender 只在 prefill(读完整段 prompt 并写好缓存)阶段把内部表示交给小的 receiver,后面逐 token 生成全由小模型做。发送端不参与解码,解码延迟因此靠近小模型。

闭源 Mostik 报告,753B 发送端配 4B 接收端,能补上两者在数学和代码上差距的 47%。开源方法多在融 KV cache(键值缓存)。生成一长,或两边参数差到百倍以上,就很少有系统测量。涨点也不能说明接收端用上了发送端的信息,桥可能只是改了接收端自己的计算。

方法

开源的 PLatour 把两侧主干全冻住,只训一组线性投影。接收端每一层按相对深度对上发送端大约同一深度的层。矩阵不带偏置、零初始化,加进残差:提示词位置相加,最后一个 prompt token 不加,解码时不再通信。零初始化使开训时等于裸的接收端。消融里线性层好于 MLP,也更容易训。传的是隐状态,所以混合注意力(全注意力加线性注意力)也能用。全注意力的接收层只配全注意力的发送层。

不先蒸馏,也不对齐隐藏表示。两边对齐有一个平凡解,投影同时变成零,相似度满分,传递的信息为零。容量差大时,模仿大模型的输出分布也可能把小模型练坏。训练直接用 GRPO(组内相对奖励的强化学习)最大化接收端任务奖励,隐状态被当成要学会调用的工具。GRPO 要靠采样回答,因此只用于生成任务。选择题沿用同一座桥,用 SFT(监督微调)训练,称为 PLatour-SFT。

这座桥同时是通信通道和适配器。发送特征若换成与题目无关的常数,乘上投影就像一段学出来的前缀,接近 prefix tuning。接收端把自身状态传回自身,桥退化为线性残差 adapter。PACT-Check 放进四项对照:Dummy Transfer 只留模板级固定特征;Irrelevant Transfer 注入另一道无关题的表示;Self-Communication 让接收端兼任发送端再训练;Trained Receiver 去掉发送端,用 LoRA(低秩适配)或全参数做 SFT 或 GRPO,LoRA 的 rank 是 128。PACT-Score 等于系统准确率减去四项里的最高分。正分表示高过这些适配,非正分就不能把涨点单独算到发送端信息上。

结果

Qwen3-1.7B 单独生成时,化学 CoT、GSM8K、MATH500 是 41.43%、80.86%、73.40%。C2C 与 KV-Lingo 在 8B 和 235B 两种发送端下都低于这条线。KV-Lingo 接 235B 时,GSM8K 落到 17.06%,MATH500 落到 11.95%。它直接换掉接收端的 KV,容量差一大,线性回归初始化就对不齐。

设置化学 CoTGSM8KMATH500
接收端单独41.4380.8673.40
C2C,235B 到 1.7B41.0175.0964.60
PLatour,8B 到 1.7B68.3987.9176.50
PLatour,235B 到 1.7B69.2989.3578.2

235B 的 PLatour 比同设置的 C2C 高 28.3、14.3、13.6 个点。发送端从 8B 加到 235B,三项只多大约 1 到 2 个点。加桥后的化学 CoT 为 69.29%,高于 235B 发送端单独的 58.04%,这一组的 PACT-Score 仍是 +3.34,四项对照都更低。化学上 Dummy Transfer 低 16.9 个点,GSM8K 上只低 1.6 个点。GSM8K 比裸接收端高 8.49,PACT-Score 只剩 +0.23。MATH500 高 4.80,PACT-Score 是 -4.05。

选择题里,235B 的 PLatour-SFT 把化学从 39.05% 做到 78.57%,增益 +39.52,已经大于发送端自己的 +17.14,PACT-Score 仍是 -0.95。ARC-C 和 MMLU-Redux 上三种方法的 PACT-Score 为正。PLatour-SFT 在这两项上是 +14.50 和 +21.36。

Qwen3.5-4B 的数学桥在 DAPO-17k 上训练,代码桥在去掉测试集重叠后的 DeepCoder 上训练。35B 到 4B 的 AIME-135 是 74.63%,裸接收端 59.12%。剔掉 55 道与 DAPO 数据池重叠的题,AIME-80 是 75.63% 对 59.22%。Mostik 公布的 753B 到 4B 为 AIME-135 70.74%、LiveCodeBench v6 54.14%、HumanEval 86.13%、MBPP 82.00%;35B 的 PLatour 是 74.63%、54.29%、94.97%、89.93%,其中 LiveCodeBench 只高 0.15 个点。397B 发送端这几项都低于 35B。训练中出现一次明显的 clipping 尖峰,之后分数掉下去,恢复很有限。两个 Qwen3.5 系统按领域平均,都没有超过各自的 Trained Receiver。

两个模型都要做 prefill,首 token 更慢。输出变长后解码占主导,总时间接近裸接收端。支持的生成长度到 16K token,发送端和接收端参数比可以超过 100:1。

为什么重要

只拿裸接收端当对照,化学 CoT 上 +3.34 的净通信增益,会和 GSM8K 上多出来的 8.49 个点混在一起,后者几乎能被接收端单独的强化学习复现。PACT-Check 把这两类涨点拆开。

拆分的部署价值在长生成。发送端只付一次 prefill,解码跟小模型走。共享的长系统提示还可以先做发送端编码并缓存,之后每个请求只注入接收端。这种前缀通信能否留下题目相关的收益,还没有实验。

局限与存疑

跟 Mostik 的对比不受控。对方数据未公开,发送端是 GLM-5.2,桥是不是跨任务共用也不清楚。PLatour 则是数学、代码各一副桥。

发送端和接收端都出自 Qwen 家族,跨家族是否还能对齐,正文没有测。长生成任务里,正的 PACT-Score 基本集中在化学 CoT,数学和代码的领域平均赢不过接收端自己的 GRPO。397B 的训练不稳定,说明发送端加大不一定更有用。奖励不惩罚桥去充当 adapter。这是中心困难,训练目标却没有改成强迫接收端去用发送端的信息。

术语

原文与代码

相关论文

全部论文解读