JHU 研究:组合持续学习机制,百任务记忆保留率大幅提升
约翰霍普金斯大学团队(Zheyuan Zhang、Alvin Zhang 等,Daniel Khashabi 与 Tianmin Shu 指导)发布 ComposeCL 研究,聚焦语言模型长时程记忆:在不保留早期训练样本、无任务标识的条件下顺序微调学习 100 个问答任务。朴素顺序微调会导致灾难性遗忘,100 个任务后知识保留率仅 1.2%,而组合多种持续学习机制后可将保留率提升至 34.9%。
2026-09-09 ~ 2026-09-09 · 4 条相关
- 组合多种持续学习机制,百任务记忆保留率从1.2%升至34.9% — DanielKhashabi · 2026-09-09
- 持续学习组合配方:100 个任务后知识保留率从 1.2% 提至 34.9% — mdredze · 2026-09-09
- JHU 组合四种机制,持续学习记忆保持率从 1.2% 升至 34.9% — DanielKhashabi · 2026-09-09
另有 1 条近重复转述:DanielKhashabi