DeepMind 推出 Recirculation：无需重训增强 LLM 推理

Google DeepMind 论文提出名为「Recirculation」的推理时架构增强技术，让现成基础模型无需重新训练、零权重修改即可提升推理能力。当前结论是：在 Gemma3 上实现 23% 的困惑度降低与 GSM8k 21% 的准确率提升，且在五个模型家族中均能稳定降低困惑度。该方法的亮点在于零训练成本与极低的推理开销，值得关注其能否成为低成本增强开源模型的通用手段。

已确认

• 核心机制：通过特定形式的递归，在模型处理下一个 token 时将部分已理解信息（上层激活）反馈回早期浅层，使模型作为动力系统跟踪信念状态，突破前馈 Transformer 的限制，为预训练模型赋予动态工作记忆，解决长文处理中上下文信息被埋没的问题；@danielmac8 将其类比为在办公大楼安装「邮件滑槽」，让底层实时获知顶层已处理的上下文。
• 性能数据：Gemma3 困惑度降低 23%，GSM8k 相对准确率提升 21%。
• 泛化性：@xennygrimmato 展示的对比显示，相较于 Unrolled loop transformer，Recirculation transformer 在五个不同模型家族中均实现困惑度降低；扫描源-目的地对揭示了能稳定降低困惑度的区域。
• 开销特征：@chaumian 转述称该方法在生成阶段几乎不增加额外延迟，仅在预填充阶段需要串行处理。

为什么重要

• 无需重训即可显著提升模型能力，意味着任何持有现成基础模型的团队都可能在低算力成本下获得收益；@teortaxesTex 将其概括为「无需训练提升深度」。
• 与 Unrolled loop transformer 等已有循环方案相比，Recirculation 展示出更稳定的困惑度改善，可能成为推理时架构增强的候选路线。

2026-08-19 ~ 2026-08-21 · 10 条相关

• 【源头】无需训练提升深度？Recirculation 论文 — teortaxesTex · 2026-08-19
• Recirculation: 无需训练的推理架构大幅提升模型能力 — chaumian · 2026-08-20
• 无需重训，新方法让基础模型自改架构提升推理能力 — TheGradient · 2026-08-20
• 对比 Unrolled loop 与 Recirculation Transformer — xennygrimmato_ · 2026-08-20
• 【源头】Recirculation 架构助 Gemma3 困惑度显著降低 — xennygrimmato_ · 2026-08-20
• Recirculation 在五个模型家族中均降低困惑度 — xennygrimmato_ · 2026-08-20
• Recirculation 无需重训为 LLM 增推理记忆，Gemma3 准确率升 21% — pbaylies · 2026-08-20
• 新研究：推理时循环机制让冻结 LLM 困惑度降 23% — heghbalz · 2026-08-20
• DeepMind 新研究 Recirculation：零权重修改降低 23% 困惑度 — daniel_mac8 · 2026-08-21
• 【源头】谷歌 DeepMind 新法 Recirculation：不重训练推理降困惑度 23% — TheTuringPost · 2026-08-21