语言模型也许需要“睡眠”
ai · x · 2026-07-14
这篇论文提出：语言模型不必在训练后“冻结”，而是可以周期性进入一个离线“睡眠”阶段，把脆弱的上下文记忆巩固进长期参数，同时生成合成数据来复习知识、继续提升能力。
文中给出的概念验证显示，这种做法在多个数学基准上优于 SFT 和 GRPO；在 few-shot 抽象推理上达到 80%，高于 SEAL 的 72.5%；在最长 1000 万 token 的 BABILong 序列测试中接近满分。作者据此描绘了一种不同的 AI 生命周期：模型可以持续学习、睡眠、整合经验，然后以更强能力“醒来”。
所属事件:大模型持续学习新思路：引入睡眠做梦机制与场景重定义(13 条相关)→
「研究」频道最新
- AW-0 世界动作模型发布：一个生成式模型同时管规划、预测与控制 — trevordarrell · 2026-10-27
- EMNLP 论文：报告偏误卡死 VLM 推理，堆规模救不了 — RanjayKrishna · 2026-10-27
- MissionReport 基准：540 份政府任务报告仅 3 份全达标 — Exp_Mark · 2026-10-27
- Finch 1 发布：用 50+ 种传感器影像训练的通用地理空间基础模型 — Scobleizer · 2026-10-27
- Skyfall AI 推出工程世界模型 SKY-001:文本转 CAD 构建,3.9 秒 vs GPT-6 的 199 秒 — rohanpaul_ai · 2026-10-27
- 物理学家让 AI 自选课题：两小时产出可登顶刊的论文 — burny_tech · 2026-10-27