Google论文提出「睡眠框架」:1000万token零遗忘,刷新AIME
HowToPrompt__ · x · 2026-11-18
Google Research 发表论文,为 LLM 引入仿生「睡眠框架」,解决训练新数据时的「灾难性遗忘」问题。框架把模型生命周期分为两态:清醒期——模型与用户交互,把新信息存入脆弱的短期记忆(KV Cache);睡眠期——系统离线时,通过低秩结构 + Mix of Experts 的整合过程,把短期记忆转入永久参数化长期记忆。睡眠期还包含「做梦」环节:模型刻意激活随机、非常规的神经通路,生成合成场景自测推理,并用强化学习精炼。结果:在 1000 万 token 窗口上保持完美记忆、零性能损失学会全新语言、AIME 数学基准接近 80%。作者认为 AI 的未来不在堆更大的上下文窗口,而在让机器在你下线后继续处理经验。
所属事件:Google「睡眠框架」论文引热议,遭工程师质疑(2 条相关)→
「模型」频道最新
- 谷歌 AI Mode 开始设用量上限,用户意外弹出限流提示 — elvano124 · 2026-11-22
- Sol 6.2 开始拒绝逆向工程请求,6.1 却干了一个月 — cardak98 · 2026-11-22
- 一周大事:Anthropic IPO 募资约 810 亿美元,GPT-6.2 定价与 Qwen4-Max 齐发 — ksraj1001 · 2026-11-22
- Reddit 长文抨击:前沿 AI 是在模仿懒惰工程师的「庸才镜子」 — RossPeili · 2026-11-22
- MBZUAI 开源 29B 世界模型 PAN 2:权重代码已上 Hugging Face — LinusEkenstam · 2026-11-22
- 博主实测:Inkling Mini 俄语出乎意料流利,数据配方成谜 — teortaxesTex · 2026-11-22