Recirculation 无需重训为 LLM 增推理记忆，Gemma3 准确率升 21%
pbaylies · x · 2026-08-20
研究提出“Recirculation”技术，通过在推理时将深层信息反馈回浅层，赋予预训练 Transformer 工作记忆，解决上下文信息被埋没的问题。
核心机制：
- 在模型处理下一个 token 时，将部分已理解信息反馈回早期层。
- 让模型作为动态系统追踪信念状态，无需微调模型权重。
实验效果（Gemma3）：
- 困惑度降低 23%。
- GSM8K 数学推理准确率提升 21%。
- 生成延迟几乎无增加（仅需 prefill 阶段串行处理）。
论文认为更好的记忆机制可能已存在于预训练模型中，Recirculation 只是让其持久化的方式。
所属事件:DeepMind 推出 Recirculation：无需重训增强 LLM 推理(10 条相关)→
「研究」频道最新
- Devin Oncall 登顶 SREGym：自动值守排障达 100% 端到端成功率 — tianyin_xu · 2026-10-16
- 上交大 AutoLab 发布 Drive3R:流式 3D 重建基础模型瞄准自动驾驶 — AutoLab-SJTU · 2026-10-16
- 独立研究者发布 Cortex:用重放实测自动进化与修剪编码 Agent 的 skills 和 rules — Samuele Giampieri · 2026-10-16
- 团队用「零延迟实验室」测出 agent 药物发现是否靠预训练记忆作弊 — niloofar_mire · 2026-10-16
- 2.6 亿参数循环扩散模型反超 6 倍大小基线，推理算力省近 5 倍 — burkov · 2026-10-16
- 斯坦福 NCM 先画草稿再并行补细节，单 H100 生成提速 21 倍 — lmoroney · 2026-10-16