Google论文提出「睡眠框架」:1000万token零遗忘,刷新AIME

HowToPrompt__ · x · 2026-11-18

Google Research 发表论文,为 LLM 引入仿生「睡眠框架」,解决训练新数据时的「灾难性遗忘」问题。框架把模型生命周期分为两态:清醒期——模型与用户交互,把新信息存入脆弱的短期记忆(KV Cache);睡眠期——系统离线时,通过低秩结构 + Mix of Experts 的整合过程,把短期记忆转入永久参数化长期记忆。睡眠期还包含「做梦」环节:模型刻意激活随机、非常规的神经通路,生成合成场景自测推理,并用强化学习精炼。结果:在 1000 万 token 窗口上保持完美记忆、零性能损失学会全新语言、AIME 数学基准接近 80%。作者认为 AI 的未来不在堆更大的上下文窗口,而在让机器在你下线后继续处理经验。

所属事件:Google「睡眠框架」论文引热议,遭工程师质疑(2 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →