让 GPT-2「睡觉」:冻结快照回放让旧知识保持率从 6% 提到 58%

Junior_Reputation639 · reddit · 2026-11-21

一项小规模实验验证了「睡眠式生成回放」缓解大模型灾难性遗忘的效果:

实验设置:GPT-2(124M)全参微调;先学 120 条虚构事实(精确回忆 98%),再用 120 条新事实训练(每条件 120 步);回放条件用每批次 25% 做回放;3 个种子取平均。

结果:

结论:梦境来源很关键,必须用冻结快照生成回放样本。完整报告见 evo-quest.github.io,代码可分享。作者计划下一步用 Qwen2.5-0.5B + LoRA,并混入通用文本回放。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →