Google Research 提出睡眠框架：让 LLM 持续学习、知识保留达 1000 万 token
behrouz_ali · x · 2026-10-28
Google Research 发布'睡眠框架'（sleep framework）研究，由 Ali Behrouz 与 Vahab Mirrokni 撰文介绍，解决 LLM 部署后知识静态、无法持续学习的问题。
核心问题
- 部署后模型知识截止日期固定，无法吸收新信息；
- 持续参数更新会引发灾难性遗忘；
- 仅靠上下文学习（ICL）则会话结束即遗忘。
方法
受人类大脑在休息期间巩固记忆的启发，框架在持续学习中引入周期性'sleep phase'：在活跃交互（wake）阶段积累易碎的短期上下文（KV cache），随后在离线'睡眠'阶段通过 Consolidation（低秩分解、MoE、专家模型处理）与 Dreaming（合成路由、随机专家生成、强化学习精炼）将短期记忆固化为稳定的参数化长期记忆。
结果
- 模型可持续获取新事实，长上下文知识保留至 1000 万 token；
- 提升复杂推理能力，同时缓解灾难性遗忘与静态知识截止。
所属事件:谷歌研究院推仿生睡眠框架缓解 LLM 灾难性遗忘(2 条相关)→
「研究」频道最新
- 粗基线击败 7 项中的 6 项 Agent 记忆系统，先跑它再谈管线 — JeremyCMorgan · 2026-10-28
- 微软分析16万条Reddit帖，归纳出23类AI代理委派失败 — dair_ai · 2026-10-28
- 一张表讲透论文各章节写法：功能、文风与经验法则速查 — Faheem_uh · 2026-10-28
- 重复帖：OpenAI 抢先解开百万美元量子数学难题 — scientificamerican · 2026-10-28
- BlackboxNLP 2026 议程公布：三位主旨讲者加六场口头报告 — hanjie_chen · 2026-10-28
- 两位博士后公开 AI 辅助 Yang-Mills 部分成果,回应 OpenAI 主张 — doublefelix921 · 2026-10-28