DeepMind 论文：回传激活可修复长文本状态丢失
rohanpaul_ai · x · 2026-08-25
Google DeepMind 新论文提出“Recirculation”方法，针对 Transformer 在长上下文中丢失状态的问题。研究发现浅层无法看到深层处理后的上下文信息。该方法在推理时将少量深层激活回传给浅层，无需重新训练权重。在 Gemma 3 上测试显示，困惑度在 9 个数据集上下降，12B 模型最高降 35%，但多选题收益一般。
所属事件:DeepMind 推出 Recirculation 无需再训练强化推理(3 条相关)→
「研究」频道最新
- 上交大 AutoLab 发布 Drive3R:流式 3D 重建基础模型瞄准自动驾驶 — AutoLab-SJTU · 2026-10-16
- 独立研究者发布 Cortex:用重放实测自动进化与修剪编码 Agent 的 skills 和 rules — Samuele Giampieri · 2026-10-16
- 团队用「零延迟实验室」测出 agent 药物发现是否靠预训练记忆作弊 — niloofar_mire · 2026-10-16
- 2.6 亿参数循环扩散模型反超 6 倍大小基线，推理算力省近 5 倍 — burkov · 2026-10-16
- 斯坦福 NCM 先画草稿再并行补细节，单 H100 生成提速 21 倍 — lmoroney · 2026-10-16
- AfterQuery 微调 Nemotron 3.5 Super VL:金融信额度准确率 47% 提至 74%,成本仅 1/7 — ycombinator · 2026-10-16