论文提议给语言模型加「睡眠期」：离线巩固记忆以突破长文本瓶颈
rohanpaul_ai · x · 2026-08-13
针对 Transformer 智能体在长上下文中因注意力机制导致计算变慢、成本激增的问题，一篇新论文提出了创新解法：为模型引入睡眠阶段（sleep phase）。
核心机制
- 离线巩固：模型会暂停执行任务，多次重读近期的上下文，将有用信息提取并写入固定大小的记忆层（状态空间块中的快速权重），随后清空短期注意力缓存。
- 推理无损：这种设计让模型在“睡眠”时付出额外算力整理记忆，但在实际回答和预测时，依然只需 1 次前向传播。
实验结果
研究者在细胞自动机、图查找和 GSM-Infinite 数学问题等测试集上进行了评估。结果表明，模型必须利用已不在注意力缓存中的旧信息来解题。更长的睡眠时间能显著提升模型表现，尤其是在需要深度推理而非单纯记忆事实的困难任务中。
这一突破意味着，长周期智能体或许无需无限增加原始上下文窗口，而是可以通过“记忆巩固+遗忘”来实现高效的长线运作。
「编程与Agent」频道最新
- 找不到 Mac 版童年游戏，让 ChatGPT 动手 15 分钟复活到 Mac 和 iPhone — Shleemy_Pants · 2026-10-16
- 开源 Agentflow 用 FastMCP+pgvector 打造跨智能体共享记忆网络 — agentflow0328 · 2026-10-16
- 产品要做「两次销售」：先让 Agent 选中，再让人买单 — FinanceYF5 · 2026-10-16
- Sentry CEO 晒图：AI 实习生在 code review 里反驳人类同事 — zeeg · 2026-10-16
- SWE-Duel:让编码 agent 互相出题埋 bug 的抗污染竞技场 — Consistent_Fox_2990 · 2026-10-16
- 把 Claude Code 等 agent 轨迹攒成数据集，微调开源小模型 — Rasmic · 2026-10-16