Google Research 提出睡眠框架：LLM 离线巩固记忆可保留千万 token 知识
rseroter · x · 2026-10-29
Google Research（Ali Behrouz、Vahab Mirrokni）发布「sleep framework」：为 LLM 的持续学习引入周期性生命周期，解决两大痛点——持续参数更新会引发灾难性遗忘，而纯 in-context learning 又在会话结束后丢失信息。
核心思路：
- 醒/睡交替：活跃期通过 KV Cache 快速短期记忆吸收新信息；离线「睡眠期」把脆弱的短期 token 巩固（consolidation）为稳定的长期参数记忆。
- 巩固机制：借助低秩适配、专家混合（MoE）、专家模型处理等手段完成记忆固化。
- 做梦机制：通过合成路由随机生成专家，再用强化学习精炼。
官方称该框架可让模型持续吸收新事实、保留最长 1000 万 token 的上下文知识，并提升复杂推理能力。
所属事件:谷歌提出「睡眠框架」让 LLM 持续学习不忘旧知(8 条相关)→
「研究」频道最新
- Anthropic 提出 GRAFT:删除参数而非惩罚,治奖励作弊 — dl_weekly · 2026-10-29
- 前 Google 研究员创 Elorian 推视觉推理模型,前沿模型数数不过半 — Latent Space · 2026-10-29
- TMLR 审稿人出走：AI slop 泛滥与激进 desk reject 引发学界争议 — miniapeur · 2026-10-29
- Zapier 主持 Bench Summit 圆桌:如何打造与维护有影响力的基准 — GregKamradt · 2026-10-29
- BlackboxNLP 口头报告：知识归因探测与 CoT 可监控性 — iatitov · 2026-10-29
- Ivan Titov 将在 BlackboxNLP 讲推理后训练：学新技能还是重塑旧能力 — iatitov · 2026-10-29