谷歌提出持续学习「睡眠」框架,让 LLM 自我整合新知识
rbhar90 · x · 2026-10-28
Google Research 发布新论文《Language Models Need Sleep》,提出模仿人类睡眠的持续学习范式,让 LLM 持续吸收新事实、增强推理,同时抵抗灾难性遗忘和知识截止问题。
睡眠周期分两个阶段:
- 记忆巩固(Knowledge Seeding):通过模仿学习与强化学习做「向上蒸馏」,把脆弱的短期参数中的知识迁移到持久的慢速记忆中;
- 做梦(Dreaming):模型自行生成多样化合成数据来提升自身表现。
作者团队包括 Ali Behrouz、Farnoosh Hashemi、Adel Javanmard 和 Vahab Mirrokni,论文从理论和实验两方面验证了方法有效性,并主张重新审视传统「训练/测试」两阶段划分。论文地址:arXiv 2606.03979。
所属事件:谷歌推仿生「睡眠框架」让 LLM 持续学习抗遗忘(4 条相关)→
「研究」频道最新
- Anthropic 公布 Claude 六项药物研发合作结果,并启动自研罕见病药物项目 — IAmSamFin · 2026-10-28
- TTME 免权重更新超越测试时训练,FLOPs 降 82.8-84.6% — UCSantaBarbara · 2026-10-28
- EnvLunch 用环境免标注造训练数据,agent 性能提升超 9% — KingsCollegeLondon · 2026-10-28
- Anthropic 宣布用 Claude 自研实验性药物，瞄准儿童罕见病与癌症 — Polymarket · 2026-10-28
- 斯坦福 TaskNet 上线：132 次工人访谈构建职业任务清单，量化 AI 对工作的冲击 — soumitrashukla9 · 2026-10-28
- KAIST 提出 Principia:让 LLM 在测试时从观察自建科学原理 — coallaoh · 2026-10-28