组合多种持续学习机制,百任务记忆保留率从1.2%升至34.9%
DanielKhashabi · x · 2026-09-09
- 一篇关于语言模型「长时程记忆」的新研究：模型需在不保留早期训练样本、无任务标识的条件下，通过持续微调依次学习 100 个问答任务。
- 朴素顺序微调会灾难性遗忘，100 个任务后仅保留约 1.2% 知识；论文评估的任何单一持续学习机制都无法在高时程下维持较强保留。
- 作者假设「针对互补遗忘来源的机制组合」更有效，沿两个设计维度组织组合：数据/函数/权重三类锚点（决定每次更新保留什么先验信息）+ 低秩分配规则（决定更新存放在哪里）。
- 用任务级 successive halving 搜索组合空间，并以因子实验度量单项与交互效应；构建了 3 个不同的 100 任务记忆数据集验证。
- 最佳方法组合全部三类锚点 + merged LoRA，在所有数据集均进前 3，平均最终保留率从 1.2% 提至 34.9%（约 28 倍）。数据锚点与 merged LoRA 贡献最大，且在三个数据集上均呈超加性交互。
- 结论：组合互补机制能大幅超越任何单一机制的长时程记忆效果。
所属事件:JHU 研究：组合持续学习机制可大幅缓解灾难性遗忘(5 条相关)→
「研究」频道最新
- 上交大提出 VaM：用价值预测作记忆，机器人连续 4 小时自主作业成功率超 95% — chris_j_paxton · 2026-10-26
- 用小开源模型逆向工程游戏二进制:主 agent 中途重写子 agent 的 harness — yb2698 · 2026-10-26
- 作者：盼合同形式化成为连接 AI 与经济学的「MDP 时刻」 — xuanalogue · 2026-10-26
- 研究发现：前沿 LLM 常为私利单方面撕毁 AI 合同 — xuanalogue · 2026-10-26
- ContractSim：首个评估 LLM 自然语言合同谈判的框架 — xuanalogue · 2026-10-26
- Partial RoPE 研究：仅旋转 10% 维度即可逼近全 RoPE 收敛 — BlancheMinerva · 2026-10-26