谷歌提出「睡眠框架」：LLM 离线巩固记忆，长上下文知识保留至 1000 万 token
iruletheworldmo · x · 2026-11-01
Google Research 发布 sleep framework，为 LLM 持续学习引入「睡眠阶段」范式，解决模型部署后知识静态、持续更新又导致灾难性遗忘的根本矛盾。
- 核心思路：受大脑在休息时巩固记忆的机制启发，让模型在「活跃交互（清醒）」与「离线记忆巩固（睡眠）」之间周期性交替，把脆弱的短期上下文转化为稳定的长期参数
- 效果：模型可持续习得新事实、保留最长 1000 万 token 的长上下文知识，并提升复杂推理能力
- 动机：现有 LLM 依赖预训练和上下文学习（ICL），知识截止日期固定；持续参数更新会灾难性遗忘，仅靠 ICL 则会话结束即遗忘
作者为 Ali Behrouz 和 Vahab Mirrokni。
所属事件:谷歌发布睡眠框架：让 LLM 边用边学不遗忘(2 条相关)→
「研究」频道最新
- 2026 顶级科学家榜单:瑞士 AI 学者篇均引用 12 次全球最高 — NegotiationOk7535 · 2026-11-01
- UIUC联合Meta/亚马逊/DeepMind发布135页Agentic Reasoning综述 — mdancho84 · 2026-11-01
- Andrew Ng：泛化机制研究按狭义定义不算机制可解释性 — andrewgwils · 2026-11-01
- 几何计算机视觉库 Kornia 持续走红,Star 达 1.16 万 — kornia · 2026-11-01
- 自写 ComfyUI 采样器实测:逐步自适应噪声几乎不带来增益 — YakovSava · 2026-11-01
- Google FlowAgent:67%修复正确率,开发者已采纳2.8万个CI测试修复 — rohanpaul_ai · 2026-11-01