Google 提出睡眠框架:让 LLM 持续学习并保留 1000 万 token 记忆
ZeroStateReflex · x · 2026-10-30
Google Research 发布「sleep framework」:一种新的持续学习范式,让 LLM 像人脑在睡眠中巩固记忆那样,周期性地把脆弱的短期上下文整合为稳定的长期参数。
- 解决的核心问题:部署后的 LLM 知识静态、有固定 cutoff;持续参数更新会引发灾难性遗忘,而纯 in-context learning 在会话结束后即遗忘。
- 做法:在「清醒(active)」与「睡眠(sleep)」两阶段间交替——清醒期与用户交互积累信息,睡眠期离线整合记忆。
- 效果:模型可持续习得新事实、保留长达 1000 万 token 的长上下文知识,并提升复杂推理能力。
- 作者为 Ali Behrouz 与 Vahab Mirrokni,发布于 2026 年 10 月 27 日。转发者认为这可能大幅加速 AGI 与「有意识机器」的进程。
「模型」频道最新
- Shift-1 编码路由器发布:agent 成本降 55% 质量不掉 — ypatil125 · 2026-10-30
- Artificial Analysis 发布 Search API 榜单：26 家产品横向评测 — ArtificialAnlys · 2026-10-30
- Mistral Large 4 架构拆解：稀疏注意力加古怪 KV/索引器共享 — eliebakouch · 2026-10-30
- Particle-1 省 43% 输出 token,登顶 Real-SWE 真实代码基准 — ycombinator · 2026-10-30
- 爆料:谷歌将推 Carbon 之外,OpenAI 内部大模型「Bel」也将亮相 — bindureddy · 2026-10-30
- Claude 多账号登录触发连坐封号,封得越多利润越高 — sujingshen · 2026-10-30