Google 与康奈尔借鉴睡眠记忆巩固,用 MoE 解决灾难性遗忘
jmugan · x · 2026-11-03
Google Research 与康奈尔大学的论文《Language Models Need Sleep》借鉴海马体睡眠期向皮层写入记忆的机制,用混合专家(MoE)对抗 LLM 灾难性遗忘:1) 在上下文窗口以文本积累记忆;2) 「睡眠」时用蒸馏把全网络与上下文知识写入一个临时专家;3) 「做梦」时随机激活长期专家训练融合知识,之后清空临时专家供下一晚使用。
所属事件:谷歌发布「睡眠框架」：LLM 离线巩固记忆实现持续学习(5 条相关)→
「研究」频道最新
- OpenKnot 第 9 轮结果将发布：RNA 设计 AI 方法评估公开研讨 — rishabh16_ · 2026-11-03
- 马斯克入局太空制药：Falcon 9 把「飞行药厂」送上轨道再降落太平洋 — ZeroStateReflex · 2026-11-03
- Bench Summit 热议：好用的模型 trace 工具仍然稀缺 — MeganRisdal · 2026-11-03
- LLM 智能体从零写出专用 LP 求解器，平均快 10 倍 — sh_reya · 2026-11-03
- Agent 基准测试新难题：任务本身自相矛盾时，该如何给「敢于质疑」打分？ — AdEvening3382 · 2026-11-03
- Schmidhuber 重发「奇迹年」长文：1990-91 已埋下 GAN、Transformer 预训练等 7 大基石 — SchmidhuberAI · 2026-11-03