语言模型也许需要“睡眠”

ai · x · 2026-07-14

这篇论文提出：语言模型不必在训练后“冻结”，而是可以周期性进入一个离线“睡眠”阶段，把脆弱的上下文记忆巩固进长期参数，同时生成合成数据来复习知识、继续提升能力。

文中给出的概念验证显示，这种做法在多个数学基准上优于 SFT 和 GRPO；在 few-shot 抽象推理上达到 80%，高于 SEAL 的 72.5%；在最长 1000 万 token 的 BABILong 序列测试中接近满分。作者据此描绘了一种不同的 AI 生命周期：模型可以持续学习、睡眠、整合经验，然后以更强能力“醒来”。