Replay on Demand: An Emergent Curriculum for Balancing Adaptation and Forgetting in Continued Pretraining
Lukas Thede, Shengzhuang Chen, Stefan Winzeck, Matthias Bethge, Zeynep Akata, Jonathan Richard Schwarz
cs.LG
2026-10-01
RoD 按剩余学习潜力与遗忘量给候选数据打分、共同竞争训练预算,回放比例在线涌现,单次训练追平扫参调优的固定回放基线。
持续预训练(CPT)是把通用大模型改造成领域模型的常规路径,法律、小语种都靠它,代价是灾难性遗忘:模型学新分布时,预训练时学会的能力在退化。标准缓解手段是回放,把一部分预训练数据混进新领域训练流。难的是混多少:回放少了挡不住遗忘,多了挤占新领域的学习预算。且遗忘并不均匀,不同能力、不同数据源的退化程度差得很远,还随训练进程持续变化。固定比例等于把保护预算平均撒下去,稳的知识被过度保护,快忘的部分反而保护不足。想找到合适的比例,只能扫一组配比,每个点都是一次完整训练。
图宾根大学牵头的团队提出 RoD(Replay on Demand),把「回放多少、回放什么」从人工超参变成模型自己决定的在线竞争。打分沿用 RHO(reducible holdout loss)的思路:一条数据值不值得训,看当前模型和参考模型对它的损失差。关键在给两类数据各配一个贴切的参考:
两边候选合并成一个池子做 top-k,不设配额,分最高的 k 条进入本步训练。起点处当前模型就是预训练模型,回放样本全部零分,训练几乎全花在适配上;遗忘出现后,受害的回放样本得分升高、开始挤进 batch。回放的总量与构成由每一步的分数分布决定,这就是论文所说的涌现式课程。
实现上参考模型不动,损失可以离线算好缓存,在线每步只对候选池多一次前向打分。候选池默认是 batch 的两倍(候选倍数 m=2),两边均衡,允许任何一边独占整个 batch;消融显示 m≥2 之后配比和折中都稳定。
实验覆盖 Nemotron-Nano-12B 与 Qwen3.5-9B/4B、法律与德语两个领域,课程迁移最大到 35B;对照 no-replay、扫参的固定回放和 model merging(把基座与适配模型的权重线性插值),训练 token 预算全部对齐。主要结果画在适配-遗忘前沿上:横轴新领域验证损失,纵轴遗忘,越靠左下越好。
| 设置 | 对照 | 指标 | 结果 |
| 法律 · Nemotron-12B | RoD vs 10% 固定回放(同等适配) | 验证损失遗忘 | 0.125 → 0.071,降 43% |
| 法律 · Nemotron-12B | 同上 | 任务级遗忘 | 6.7 → 4.9 分 |
| 法律 · Qwen3.5-9B | RoD vs 10% 固定回放(适配同为 0.988) | 验证损失遗忘 | 0.075 → 0.031 |
| 德语 · Qwen3.5-9B | RoD vs 17% 固定回放 | 适配损失 / 遗忘 | 1.790 vs 1.796;0.028 vs 0.035 |
| 德语 · Nemotron-12B | RoD(涌现占比 24%) | 脆弱类别保护斜率 | 0.39(固定回放 0.93 / 0.78) |
这里的关键在对照的性质:固定回放的前沿是扫完整组比例后画出来的,取最优点属于事后 oracle;RoD 单次训练就落在同一条前沿上。把固定回放训到收敛(预算最多 2.27 倍)也没拿到更好的折中;max-replay 用约 2 倍预算换来略好的保留,适配反而不如 RoD。德语 Nemotron 的涌现回放占比在训练后段到 19-32%,适配仍明显强于 32% 固定回放。
分配确实按需:最容易忘的知识类别被以最高 2.1 倍于池内占比的频率采样,脆弱度与采样率的相关系数 r=0.88。消融把收益来源拆得很干净:固定配比下单用 RHO 选回放基本不动折中,单选适配只改善适配;只有两边竞争,适配和遗忘同时改善。
跨规模结果更实用:4B 模型当适配参考能复现 9B 原生 RoD 的折中;用 4B 跑出的课程序列直接训 35B(8.75 倍差距),适配不掉,遗忘接近调优的 32% 固定回放。模型相关的打分与选数据可以整体下沉到小模型。
对做 CPT 的团队,直接价值是省掉回放比例扫参:这组实验里每个固定比例就是一次约 12B token 的训练,每个领域固定配比扫三个点起步,RoD 单次运行落在扫参前沿附近,代码也已开源。跨规模结论可能更值钱:小模型跑 RoD、大模型照课程训练,在线选数据的开销发生在小模型侧。方法层面它给出一个有数据支撑的论断:遗忘异质且随训练演化,任何静态配比先天吃亏。预期也要摆正:这是调参与算力上的改进,回放还是回放,适配参考模型仍要先把 no-replay 版本训出来(约 2.5 个 epoch,好在与基线共用一次训练)。
论文自己承认三点:全部实验单 seed,相邻操作点的差异不具统计显著性,结论靠跨家族、跨领域、跨规模的复现撑住;RoD 每步对候选池做一次前向打分,有额外开销;Qwen 拿不到预训练数据,只能用 Nemotron 数据做代理回放,任务级遗忘上的优势随之缩小。论文的分析给出原因:代理分布上的分数下降可以靠拟合代理数据本身实现,不必真的回到预训练状态。
读下来还有两处存疑。遗忘的主力度量是验证损失,任务级只是四组选择题 benchmark;RoD 的回放信号与验证损失度量同源,都是相对预训练模型的损失变化,分布级指标天然对它有利,论文没有裁决两类指标谁更可信。实验领域也只有法律和德语两个相对窄的分布偏移,偏移更剧烈时竞争机制是否稳定,没有验证。