Recirculation 论文：层间递归让冻结基础模型 GSM8k 准确率升 21%
s_scardapane · x · 2026-09-10
Mozer 等人在 arXiv 发布论文《Recirculation》，提出一种即插即用的推理时架构增强：把后层激活"回灌"到前层，使前馈 Transformer 具备一定的递归/动态系统能力，可跟踪信念状态。
要点：
- 推理开销极低：生成阶段几乎不增加延迟，仅 prefill 需串行处理
- 与思维链互补：CoT 适合复杂推理，recirculation 更适合基础状态跟踪；也区别于深度循环（looping）和昂贵的递归 Transformer 训练
- 自适应变体无需训练权重，只需轻量调超参，冻结原模型
- 在 Gemma3 系列上取得系统性提升：多数据集困惑度下降，GSM8k 准确率提升 21%，其他下游任务也有可靠改进
作者认为这展示了由已训练网络的特性引导架构演化、而非任意设计选择的路线。
「研究」频道最新
- Ego-Exo 4D 数据集被点名为 4D 理解的关键缺口方案 — ducha_aiki · 2026-09-10
- Lean 推出外部验证器 con-leche,在 Lean 内证明自身一致性 — AlexKontorovich · 2026-09-10
- Kristen Grauman 登 ECCV 2026,谈机器感知到人类专长的演进 — ducha_aiki · 2026-09-10
- 深度估计项目 ZipDepth 现身 ECCV 2026 海报 386，现场实时生成深度图 — AntonObukhov1 · 2026-09-10
- Computerphile 与 Rob Miles 聊无法解读的 AI「神经语」 — Computerphile · 2026-09-10
- EgoPHI 技术细节:图注意力融合 3D 几何,逐顶点预测接触与力方向 — cholz · 2026-09-10