JHU 组合四种机制,持续学习记忆保持率从 1.2% 升至 34.9%
DanielKhashabi · x · 2026-09-09
Johns Hopkins 大学团队(Zheyuan Zhang、Alvin Zhang,Daniel Khashabi 指导)发布 ComposeCL 研究,针对持续学习中灾难性遗忘问题提出简单配方:
- 核心发现:将多种持续学习机制组合使用,可大幅延长长时程记忆寿命。在 3 个数据集、每集 100 个顺序任务上,平均最终记忆保持率从朴素顺序 SFT 的 1.2% 提升至 34.9%,约 28 倍提升。
- 实验设计:2⁴ 全因子实验,测试权重锚定(Synaptic Intelligence)、函数锚定(自蒸馏)、数据锚定(生成式重放)、合并 LoRA 四种机制的 16 种组合,每组 3 个随机种子。
- 关键结果:重放与合并 LoRA 贡献最大增益,二者联合收益超过各自单独收益之和;三种锚定加合并 LoRA 的全组合在三个数据集上均进入前 3。
论文、代码与数据集均已开源。
所属事件:JHU 研究：组合持续学习机制可大幅缓解灾难性遗忘(5 条相关)→
「研究」频道最新
- LightMTP：轻量潜空间多 token 预测助 LLM 预训练学会提前规划 — gdm3000 · 2026-10-27
- EMNLP 研究：AI 翻译小说读得顺，但质量波动远大于人类译本 — tuvllms · 2026-10-27
- 实验猴荒：中国 3-5 万美元一只，繁育周期 4 年成药物临床前瓶颈 — zebird0 · 2026-10-27
- OpenAI 基金会资助 UNC 肿瘤抗原研究，招聘资深实验科学家 — iskander · 2026-10-27
- 研究者定向干预注意力头：向上提升诚实，向下压制道德虚无 — edelwax · 2026-10-27
- 研究表明神经元足以做电路分析，transcoder 增益有限 — burny_tech · 2026-10-27