图宾根团队提出 RoD：按需回放缓解持续预训练遗忘

图宾根大学与巴塞尔团队(含 Matthias Bethge、Jonathan Richard Schwarz 等)发布 arXiv 论文《Replay on Demand (RoD)》,针对持续预训练中「适应新领域与遗忘旧能力」的取舍难题提出新方法。RoD 根据模型的遗忘动态在线分配回放数据,按需回放旧数据,从而在适应新领域的同时减少对原有能力的遗忘,为持续预训练提供了新的解决思路。

2026-10-02 ~ 2026-10-02 · 2 条相关

• Replay on Demand:按遗忘动态在线分配回放数据的新持续预训练方法 — schwarzjn_ · 2026-10-02

另有 1 条近重复转述:schwarzjn_