JHU 研究：组合持续学习机制可大幅缓解灾难性遗忘

Johns Hopkins 大学团队（Zheyuan Zhang、Alvin Zhang 等，Daniel Khashabi 与 Tianmin Shu 指导）发布 ComposeCL 研究，论文题为《Continual Learning Mechanisms Compose for Long-Horizon Memorization》，研究语言模型的长程记忆问题：模型需在不保留早期训练样本、无任务标识的条件下，通过持续微调依次学习 100 个问答任务，同时吸收新事实并保留旧知识。实验显示朴素顺序微调会发生灾难性遗忘，100 个任务后旧知识保留率仅约 1.2%；论文评估的任何单一持续学习机制都无法充分解决问题；核心发现是多种持续学习机制的简单组合即可大幅改善，保留率提升至 34.9%。Andrey Burkov 也转述了该工作，指出顺序有监督微调会覆盖早期关联，这正是持续学习场景下亟待解决的核心痛点。

已确认

• 研究来自 Johns Hopkins，论文题目为《Continual Learning Mechanisms Compose for Long-Horizon Memorization》
• 实验设定：顺序微调学习 100 个问答任务，无旧样本重放、无任务标识
• 朴素顺序微调 100 个任务后知识保留率约 1.2%；单一持续学习机制均不足；机制组合后提升至 34.9%

为什么重要

• 长时程记忆是让模型持续吸收新知识而不遗忘旧知识的关键能力，直接影响模型能否长期增量更新
• 结果表明现有单一持续学习方法不足以应对百任务规模的遗忘，而机制组合是一条简单有效的改进路线

2026-09-09 ~ 2026-09-10 · 5 条相关

• 组合多种持续学习机制,百任务记忆保留率从1.2%升至34.9% — DanielKhashabi · 2026-09-09
• 持续学习组合配方:100 个任务后知识保留率从 1.2% 提至 34.9% — mdredze · 2026-09-09
• JHU 组合四种机制,持续学习记忆保持率从 1.2% 升至 34.9% — DanielKhashabi · 2026-09-09
• 连续微调 100 任务后旧知识仅剩 1.2%，研究组合多种防遗忘机制 — burkov · 2026-09-10

另有 1 条近重复转述:DanielKhashabi