Recirculation：无需重训的推理时架构增强技术

论文提出名为「Recirculation」的推理时架构增强技术，让现成的基础模型无需重新训练即可提升推理能力。当前结论是：在 Gemma3 上实现 23% 的困惑度降低与 GSM8k 21% 的准确率提升，且在五个模型家族中均能稳定降低困惑度。该方法的亮点在于零训练成本，值得关注其能否成为低成本增强开源模型的通用手段。

已确认

• 核心机制：通过特定形式的递归，将上层激活注入到下一步的底层，使模型作为动力系统跟踪信念状态，突破前馈 Transformer 的限制。
• 性能数据：Gemma3 困惑度降低 23%，GSM8k 准确率提升 21%。
• 泛化性：@xennygrimmato 转述的对比显示，相较于 Unrolled loop transformer，Recirculation transformer 在五个不同模型家族中均实现困惑度降低；扫描源-目的地对揭示了能稳定降低困惑度的区域。
• 开销特征：@chaumian 转述称该方法生成阶段几乎不增加额外延迟，仅在预填充阶段需要串行处理。

为什么重要

• 无需重训即可显著提升模型能力，意味着任何持有现成基础模型的团队都可能在低算力成本下获得收益，@teortaxesTex 也将其概括为「无需训练提升深度」。
• 与 Unrolled loop transformer 等已有循环方案相比，Recirculation 展示出更稳定的困惑度改善，可能成为推理时架构增强的候选路线。

2026-08-19 ~ 2026-08-20 · 6 条相关

• 【源头】无需训练提升深度？Recirculation 论文 — teortaxesTex · 2026-08-19
• 【源头】Recirculation: 无需训练的推理架构大幅提升模型能力 — chaumian · 2026-08-20
• 无需重训，新方法让基础模型自改架构提升推理能力 — TheGradient · 2026-08-20
• 对比 Unrolled loop 与 Recirculation Transformer — xennygrimmato_ · 2026-08-20
• 【源头】Recirculation 架构助 Gemma3 困惑度显著降低 — xennygrimmato_ · 2026-08-20
• Recirculation 在五个模型家族中均降低困惑度 — xennygrimmato_ · 2026-08-20