谷歌提出「睡眠框架」:清醒-睡眠交替让 LLM 持续学习不忘旧知识
dl_weekly · x · 2026-11-05
Google Research 发布新研究博客,提出持续学习中的「睡眠框架」:让 LLM 在主动交互(清醒)与离线记忆巩固(睡眠)之间交替,把脆弱的短期上下文蒸馏成新的低秩 MoE 容量,变成稳定的长期参数。
- 动机:部署后的 LLM 知识截止日期固定,而持续参数更新会引发灾难性遗忘,纯 ICL 又只在上下文窗口内有效
- 灵感来自人脑在休息期间巩固记忆的机制
- 效果:可长期保留最多 1000 万 token 的上下文知识,持续习得新事实并提升复杂推理
- 成绩:SQuAD 48.9%,AIME 24 79.2%
这是缓解知识截止与灾难性遗忘的一个新范式探索。
「研究」频道最新
- 让 AI Agent 直接改权重:MNIST 上逼近 90% 准确率 — RobertTLange · 2026-11-05
- 从康德到 AI：被名人框架锁死的研究问题为何迟迟无人跳出 — fkasummer · 2026-11-05
- Engram 研究:RL 训练可教会模型善用文本记忆且成本更低 — canaesseth · 2026-11-05
- Welling 团队新书《生成式 AI 与随机热力学》本月出版 — mjdramstead · 2026-11-05
- 基于 2.88 亿条招聘数据,新论文提出「瓶颈压力」度量 AI 抬升的劳动价值 — robseamans · 2026-11-05
- Matthew Honnibal:模型能「看见」权重矩阵,像图像识别读数字矩阵 — honnibal · 2026-11-05