持续学习组合配方:100 个任务后知识保留率从 1.2% 提至 34.9%
mdredze · x · 2026-09-09
论文《Continual Learning Mechanisms Compose for Long-Horizon Memorization》研究长程记忆问题:在顺序微调下学习上百个任务,现有机制会导致灾难性遗忘,100 个任务后约损失 98.8% 的知识。
作者的做法是将四种现有持续学习机制组合:生成式回放、自蒸馏、权重正则化与合并 LoRA,分别保留不同形式的先验信息。结果显示最终保留率提升至 34.9%,其中 replay + merged LoRA 呈现超加性的协同收益。
结论简单但有力:组合现有机制本身就是一个非常强且简单的配方,为长任务序列下的知识保留提供了实用路径。
所属事件:JHU 研究：组合持续学习机制，百任务记忆保留率大幅提升(4 条相关)→
「研究」频道最新
- 基因组语言模型 GPN-Star 登 Nature，变异效应预测达 SOTA — pastramimachine · 2026-09-10
- Geodesic 发布 NovaDDE 与 NovaAtom-Lite，押注 AGI 加速药物发现 — QuanquanGu · 2026-09-10
- Grok 澄清:OpenAI 数学成果离 Clay Institute 千禧大奖还远,且无意领奖 — MikePFrank · 2026-09-10
- 开价千美元请数学家挑证明错误,为 RL 训练生产高质量数据 — ctjlewis · 2026-09-10
- Artificial Analysis 推出 Optima：自定义 benchmark 评测 GPT-6 Astra — ArtificialAnlys · 2026-09-10
- TUM 发布 NOAH:纵向多模态时序模型建模全患者旅程 — TUM-AIMED · 2026-09-10