谷歌提出「睡眠」框架：LLM 周期性离线巩固记忆，长上下文保持达千万 token

krishnan · x · 2026-10-29

Google Research(Ali Behrouz、Vahab Mirrokni)10 月 27 日发布 sleep framework,在持续学习中引入「睡眠阶段」：让 LLM 在活跃交互与离线记忆巩固之间周期交替，把脆弱的短上下文信息整合为稳定的长期参数，从而持续吸收新事实、缓解灾难性遗忘并突破静态知识截止日的限制。

作者在推文线程中区分了两个常被混淆的工程问题：agent 记住上次对话(检索把信息放回 prompt,不改权重)与模型真正从对话中学习(更新参数)是两回事。他还指出「睡眠」激活的是预分配的记忆容量并在生成的练习样本上训练，「做梦」指生成并筛选合成样本；架构与训练规则仍由人类定义，并非模型自己发明。论文显示该框架可保留长达 1000 万 token 的长上下文知识并提升复杂推理能力。