复现 Recirculation：Gemma 3 无需微调 PPL 降 23%
CatAstro_Piyush · x · 2026-08-28
独立研究者复现了 Recirculation 论文中的方法，确认在 Gemma 3 1B 模型上，通过将源层 11 注入目标层 4，能有效降低困惑度（PPL）。原论文提出这是一种推理时的架构增强技术，无需训练即可在生成和推理任务中提升准确性。在 Gemma3 系列上的测试显示，该方法能减少 23% 的 PPL，并在 GSM8k 上提升 21% 的准确率。
所属事件:独立研究者复现 Recirculation，Gemma 3 困惑度显著下降(2 条相关)→
「研究」频道最新
- RLVR 微调致解空间坍缩，加入 replay 缓冲可保多样性并提升 pass@8 — manoelribeiro · 2026-10-15
- ModeBench 揭示 RLVR 让 LLM 只会一种解法，Re:Max 训练法可保解法多样性 — manoelribeiro · 2026-10-15
- NYU 团队推出 SCOOP：用策略协调循环让 LLM 学会真正探索 — jaseweston · 2026-10-15
- Google WeatherNext 助 NHC 预报飓风 Isaias，提前 3 天锁定路径误差 60 公里内 — PeterWBattaglia · 2026-10-15
- MIT 用简单局部突触规则让神经网络自建学习机制 — ChuckDBrooks · 2026-10-15
- 中科大提出 VASPO:自蒸馏结合特权价值估计改进 PPO 推理 — ustc-community · 2026-10-15