Transformers Stop Thinking Too Early, and a Tiny LoRA Fixes It
Zehao Jin, Ruixuan Deng, Junran Wang
cs.AI, cs.CL, cs.LG
2026-09-29
冻结全部权重,只在单个早层加 6.5 万参数的 rank-8 LoRA,Qwen3-8B 跟随 24 行引用链的准确率从 15.5% 升到 99%,长训版 reach 到 50 行。
给模型一段小程序:K = apple、B = K、D = B、print(D),答案应是 apple。这是最纯的上下文推理,不需要任何外部知识。实测 13 个开源基座(Qwen3、Llama、OLMo-3、Gemma-3 全系,外加 292B MoE 的 DeepSeek-V4-Flash),链长一行时全员接近满分,可靠链长(论文指标 reach:保持 80% 以上准确率的最长链长)却只有 1.4–3.6 行,中位数 2.2。Qwen3-8B 三行 83.5%,四行 54%,五行 41.5%。
两条直觉解法都被排除。加深度:OLMo-3 从 32 层加倍到 64 层都停在 2.6 行附近;DeepSeek-V4-Flash 六行 42%、八行 38%,贴着 33% 的随机线。加循环:循环(looped)模型把同一组层在推理时重复多次,Ouro-1.4B 跑一到五个 loop,reach 是 0、1.6、2.3、2.2、2.2;Huginn 跑 8、16、32 次递归都停在 1.4–1.6 行。而理论早已证明 Transformer 用对数深度就能实现长链指针追踪。这不是能力上限,是预训练没把这份计算用出来。
干预做得极小:冻结全部权重,只在单个早层的输入端给残差流加一个 rank-8 LoRA(低秩适配,只训一对秩为 8 的小矩阵,形式 h ← sh + BAh)。Qwen3-8B 上可训练参数 65,537 个,不到模型的 0.01%;学到的缩放系数 s 停在 1.0006。训练用答案交叉熵加 WikiText 上的 KL 惩罚,困惑度只从 10.14 动到 10.148。LoRA 逐 token 独立作用、不跨 token 传信息,token 间通信全部由冻结的注意力完成。
它启动的机制论文叫 relay(中继)。默认前向里,程序行只把「自己属于哪条链」往后传两三行就停,query 再自己解一两个指针,末层拷值。加 LoRA 后,每行开始收集祖先变量名,冻结的注意力头越读越远:Qwen 在 16–18 层读到上游两行,19–22 层逐步到三、四、六、七行,接力在一段窄中间层里推进,每个 loop 重复一次。因果证据很硬:在 14–22 层切掉每行对父行的注意力,六、八、十二行链全部打回随机(53%、48%、55%);同样的切割挪到 23–29 层,答案还是 100%、100%、98%。Ouro 的 LoRA 只作用于第一个 loop 时,未修改的后继 loop 也能把接力推到约 25 行。
放置有硬边界:Qwen3-8B 的 LoRA 从第 20 层挪到 21 层,reach 从 20.5 行塌到 5.2 行。在冻结模型上量一个 cutoff 层(恢复指针 token 不再能找回一半效应的层),能在四个留存模型的三个里预测出这条边界。
| 设置 | 指标 | 冻结 | 加 LoRA |
| Qwen3-8B,24 行链 | 精确准确率 | 15.5% | 99% |
| Qwen3-8B 长训版,48 行链 | 精确准确率 | 9% | 88%(reach 50 行) |
| Ouro-1.4B,8 个 loop | reach | 2.5 行 | ≥160 行(160 行上 87%) |
| Huginn,16 次递归 | reach | 1.4–1.6 行 | 58 行 |
| Qwen3-8B,虚构实体 2–5 跳 | 精确匹配 | 41.2% | 97.4% |
160 行是训练最长链(40 行)的四倍,属于外推。同层换干预形式同样有效:第 14 层的 projection LoRA 和 FLAS 流在 24 行上都有 90% 上下;全部挪到 26 层就集体掉到 52–56%,等于抛硬币选链。MuSiQue 多跳问答上,按任务单独训练的早层 LoRA 分别带来 11.4、9.4、17.9 个 EM 点增益(Qwen3-8B、OLMo-3-7B、Llama-3.1-8B);只调早层的 projection LoRA 保住了全层微调的大部分收益(Qwen 11.0 对 12.8,Llama 20.1 对 20.9)。
对评测的启示最直接:模型答错多跳题,不等于权重不会,只等于默认前向没走完。默认答案系统性低估了冻结权重里可达的计算,评测应当把默认行为和指定干预下的表现分开报。
对微调,位置比规模要紧:6.5 万参数放对层能顶全层微调的大头,放错层接近无效,而放置边界可以在冻结模型上提前量出来。对循环模型和 latent reasoning 一派,重复层数本身不产生更长的推理链,得先把中继启动起来,之后的循环才有事可做。
作者列得全:机制证据来自合成任务;MuSiQue 用金段落,只支撑放置结论,证不了同一机制;详细 trace 只覆盖 Qwen3-8B 和 Ouro-1.4B,两个循环家族还同源;每个任务格式单独训一个 LoRA,这是「小改动解锁大计算」的演示,不是通用修复,论文没有展示同一个 LoRA 跨任务迁移。放置预测精度有限:OLMo-3-32B 差了五层;九个模型平均误差 2.22 层,和事后规则「深度 48% 处」的 2.27 层基本打平。
数字上还有两处要留意。标题结果取自两层链、按层排序的最容易设置;换成随机交错,24 行从 99% 掉到 76.5%,加第三条链后 16 行只剩 58%。循环模型跑远超训练 loop 数后收益反转,Ouro 十二 loop 时全线下降,与 overthinking 现象一致。MuSiQue 的最优层在同一开发集上挑选,没有留出验证 split。