组合多种持续学习机制,百任务记忆保留率从1.2%升至34.9%
DanielKhashabi · x · 2026-09-09
- 一篇关于语言模型「长时程记忆」的新研究：模型需在不保留早期训练样本、无任务标识的条件下，通过持续微调依次学习 100 个问答任务。
- 朴素顺序微调会灾难性遗忘，100 个任务后仅保留约 1.2% 知识；论文评估的任何单一持续学习机制都无法在高时程下维持较强保留。
- 作者假设「针对互补遗忘来源的机制组合」更有效，沿两个设计维度组织组合：数据/函数/权重三类锚点（决定每次更新保留什么先验信息）+ 低秩分配规则（决定更新存放在哪里）。
- 用任务级 successive halving 搜索组合空间，并以因子实验度量单项与交互效应；构建了 3 个不同的 100 任务记忆数据集验证。
- 最佳方法组合全部三类锚点 + merged LoRA，在所有数据集均进前 3，平均最终保留率从 1.2% 提至 34.9%（约 28 倍）。数据锚点与 merged LoRA 贡献最大，且在三个数据集上均呈超加性交互。
- 结论：组合互补机制能大幅超越任何单一机制的长时程记忆效果。
「研究」频道最新
- 研究:国际象棋何时花时间思考,是检测作弊的关键信号 — TZahavy · 2026-09-09
- 表格基础模型登场:别再用 LLM 做特征预测,让它决定何时预测 — helloiamleonie · 2026-09-09
- OpenAI 用 AI 找到 Navier-Stokes 奇点，千禧年难题证明被拆解 — eigensteve · 2026-09-09
- 数学家控 OpenAI 学术造假，Altman 否认，陶哲轩警告开放科学倒退 — The Decoder · 2026-09-09
- AI 数学突破引发学术界争议,Science 深挖风波始末 — pseudolus · 2026-09-09
- Fleuret：训练的全部理论细节，我们真搞懂了吗？ — francoisfleuret · 2026-09-09