独立研究者复现 Recirculation，Gemma 3 困惑度显著下降

独立研究者复现了 Recirculation 论文中的方法，在 Gemma 3 1B 模型上验证了其有效性。通过将源层第 11 层注入目标层第 4 层，无需微调即可使模型困惑度（PPL）下降约 23%，成功复现了论文报告中初始的 PPL 下降现象。这一结果支持了原论文的观点，即该方法可作为一种推理阶段的改进手段。

2026-08-28 ~ 2026-08-28 · 2 条相关