谷歌提出「睡眠」范式:LLM 靠夜间蒸馏与做梦持续学习不遗忘
teortaxesTex · x · 2026-11-03
Google Research 发布论文《Language Models Need Sleep》,提出让 LLM 持续学习的「Sleep」范式,分两个阶段:
- 记忆巩固(Knowledge Seeding):反向蒸馏——把小模型(较小的自己)在上下文中学到的短期记忆,蒸馏进更大的主网络,兼顾容量与知识保留;基于 Generalized Knowledge Distillation 和模仿学习实现。
- 做梦(Dreaming):类似 REM 阶段的自修改过程,模型生成合成数据(梦)自我改进,借鉴 SEAL 等自编辑方法,并设计两步流程规避迭代自我改进导致的灾难性遗忘。
转发者 geogristle 认为这是持续学习长期形态的关键概念组件:「做梦」易于在数据中心集中化,蒸馏出新的小型专家可在内存受限的端侧部署,长期连 ICL 批次频率等硬编码设计也可端到端学习,比实验室明着搞数据收集更优雅,还能让智能分布更平滑。
所属事件:谷歌发布「睡眠」框架：LLM 可持续学习不遗忘(4 条相关)→
「模型」频道最新
- 爆料称 DeepSeek 或先发 V4.1F/V4.2F，Pro 版仍需等待 — teortaxesTex · 2026-11-03
- 补刀分析:Astra 权重手术只对有死循环缺陷的 Qwen 有效,救不了 Gemma 270m — teortaxesTex · 2026-11-03
- ChatGPT 与 Codex 额度合并隐忧:普通 Chat 用量或被重算成 agent 用量 — ItsAGarbageAccount · 2026-11-03
- Claude 对「繁衍」的执念：保护已有后代，而非主动求复制 — repligate · 2026-11-03
- AI 单轮直接写出 Breakout 网络权重,成绩达 PPO 训练 20 倍 — xennygrimmato_ · 2026-11-03
- DeepSeek 真正价值：把学界早有却无人信的「Things Work」规模化验证成行业支柱 — teortaxesTex · 2026-11-03