谷歌团队提出「睡眠」范式:让语言模型自我修改并巩固记忆

krishnan · x · 2026-10-29

Google 研究者 Ali Behrouz、Vahab Mirrokni 等人的 arXiv 论文《Language Models Need Sleep》提出受人类学习启发的「Sleep」范式,让 LLM 持续学习并把短期上下文知识固化进参数:第一阶段 Knowledge Seeding 通过广义蒸馏(在策略蒸馏结合 RL 模仿学习)把较小自我的记忆向上蒸馏到更大网络;第二阶段「Dreaming」用 RL 生成合成练习数据课程来排练新知识、自我改进。评论者 krishnan 提醒:该 preprint 报告的是实验而非证明企业级 agent 可以安全地从每次交互中学习,博客日期也并非论文发布日期;睡眠机制激活的是预分配的记忆容量,架构和训练规则仍是人定义的,核心问题「新知识能否在不损害旧能力的前提下存留」仍是待验证假设。