让 GPT-2「睡觉」:冻结快照回放让旧知识保持率从 6% 提到 58%
Junior_Reputation639 · reddit · 2026-11-21
一项小规模实验验证了「睡眠式生成回放」缓解大模型灾难性遗忘的效果:
实验设置:GPT-2(124M)全参微调;先学 120 条虚构事实(精确回忆 98%),再用 120 条新事实训练(每条件 120 步);回放条件用每批次 25% 做回放;3 个种子取平均。
结果:
- 无回放:旧知识仅剩 6%
- 学习前「做梦」一次:40%
- 从冻结的保存副本生成梦境回放:58%(最佳)
- 从正在训练的模型反复做梦:仅 9%——它的「梦」逐渐变成假事实
结论:梦境来源很关键,必须用冻结快照生成回放样本。完整报告见 evo-quest.github.io,代码可分享。作者计划下一步用 Qwen2.5-0.5B + LoRA,并混入通用文本回放。
「研究」频道最新
- Hassabis 预言两年内 AI 攻克千禧难题,半年后黎曼猜想已有候选解 — Hesamation · 2026-11-21
- ERC 评审拒信曝光:评审员直言不信 LLM 自动形式化 — marc_lelarge · 2026-11-21
- 陶哲轩谈 AI 数学竞赛:摘走果实,留下一片荒地 — yacineMTB · 2026-11-21
- Anthropic 称 Claude 证明黎曼猜想,数小时后斯坦福发布全人类对照证明 — The Decoder · 2026-11-21
- Claude 被称攻克黎曼猜想,独立数学家称证明「几乎必然为真」 — Just-Grocery-2229 · 2026-11-21
- 41000 条测量数据揭示:科学误差远偏离正态,呈重尾分布 — tetsuoai · 2026-11-21