LLM 持续学习要“睡眠做梦”
behrouz_ali · x · 2026-07-14
这篇工作讨论了持续学习（continual learning）里一个关键变化：模型不再只有传统的“训练/测试”划分，而是要在两种状态间周期切换：
- Active/Wake：持续接收并处理新数据。
- Sleep：整理最近学到的内容，巩固记忆，并通过“做梦”式的合成数据推动自我改进。
作者提出了 Knowledge Seeding (KS)：让较小模型把知识蒸馏给较大模型，作为记忆巩固的一种形式。论文还结合了 on-policy / off-policy distillation 与 imitation learning，并在 self-improvement 场景下让模型生成和筛选合成数据。实验结果显示，这个“sleep”阶段对长期持续学习、知识吸收、few-shot 泛化等任务都有帮助，并能缓解灾难性遗忘。
所属事件:大模型持续学习新思路：引入睡眠做梦机制与场景重定义(13 条相关)→
「研究」频道最新
- 本周热议的数学猜想到底关我什么事?一张普通人视角清单 — koltregaskes · 2026-09-11
- 果蝇大脑 LLM 权重上架 Hugging Face,兼容 transformers 可直接跑 — ngxson · 2026-09-11
- 用果蝇大脑连接组造了个 LLM,作者放出在线 demo — ngxson · 2026-09-11
- 社会学家 Harry Collins：LLM 无法发明新语言，做不了前沿科学 — whoamisri · 2026-09-11
- 「Waymo 效应」：AI 正在悄悄让科研协作变少 — JohnHammersley · 2026-09-11
- HF 工程师争论:非生成任务全用因果注意力是在浪费算力 — antoine_chaffin · 2026-09-11