Learning Dynamics of Continual Learning: A Unified View of Data Attribution, Forgetting, and Plasticity Loss
Yi Ren, Wenlong Deng, Guanzhe Hong, Clare Lyle, Yarin Gal
cs.LG, cs.AI
2026-09-27
把「学一个 token 怎样改变另一个预测」拆成两个前向可算通道,统一解释数据选择、灾难遗忘与塑性丢失;readout 退化预测恢复收益,ρ=0.83。
LLM 部署后不会冻结,用户反馈、检索文档、agent 轨迹都会陆续变成参数更新。每次更新带出三个问题:该学哪条经验、会碰坏哪些已有行为、更新攒多了还能不能学会新东西。文献把它们当成三个独立领域:数据归因、灾难遗忘、plasticity loss(塑性丢失,训久的模型对新任务学习变慢变差)。这篇的立场很直接:三者是同一个量在三个时间尺度上的表现,这个量是「学一个 token 会怎样改变另一个 token 的预测」,记作 Δt(o,u)。此前的 learning dynamics 工作(Ren & Sutherland,ICLR 2025)在样本层面研究过这类交互,但样本级太粗,精确计算又要全参数 Jacobian,LLM 尺度上没法反复测。
基础对象是一阶梯度内积:对 u 做一步梯度更新后,o 的 log 概率变化近似等于两者梯度的内积。论文沿「softmax 力、共享 readout、残差骨干」三段拆开这个黑盒:
拆完得到两个通道(Proposition 2.1)。CH1 是力对齐乘最终隐状态相似度,稀疏、token 对齐;CH2 先把两侧的力投影过共享 readout(go^T ww^T gu 的形式),再乘各层隐状态相似度之和,ww^T 的非对角元让不同的词方向也能相互作用,直接重叠弱时它还在传。
副产物成了全文枢纽:残差结构下所有层共享同一个输出侧投影,∇hL log π = w^T g,于是 ‖w^T g‖²/‖g‖² 正好度量学习信号穿进骨干的强度。让局部交互变宽的几何,同时就是决定未来学习传输的几何。全部量只需 logits、hidden states 和 w,固定 checkpoint 一次前向就能打分,不用反传。
沿时间轴是三个阶段。选择:Δt 为正的经验预计改善目标行为,按聚合分数排序候选数据。干扰:Δt 为负分两种病。碰撞(collision)是少数强负力的集中冲突,来自高能量更新(Eu = ‖gu‖²,Proposition 4.1 证明 Eu 超过 1+δ 必在某个非目标 token 上产生大于 δ 的负力);侵蚀(erosion)是大量弱负交互相干累积,GSM8K 的 CoT 监督反复强化「To solve this problem...」式续写,单次交互不大,却持续抽走 MMLU 答案 token A/B/C/D 的概率质量。可持续:定义 RD = E[‖w^T g‖²/‖g‖²],ww^T 沿任务方向的 Rayleigh quotient;长程训练把 readout 塑形向当前任务,未来任务的传输随之衰减,附录 B.3 在弱任务重叠加范数约束下证明了这一定性结论。
跨语言数据选择(英文查询对中、法、韩、西语候选,直接词重叠被削弱,CH2 开始起作用):
| 设置 | 方法 | 结果 | 对照 |
| 跨语言检索 MMLU(Qwen2.5-1.5B) | CH1+2 | 0.625 | CH1 0.488;LESS 0.469 |
| 跨语言检索 GSM8K | CH1+2 | 0.600 | CH1 0.445;LESS 0.140 |
| 多语 agent 记忆 top-1(Llama3.2-3B) | 加 CH2 | 1.000 | 0.861,下游答案准确率 0.944 |
| GSM8K 5% 预算微调(Qwen2.5-1.5B) | CH1+2 | 0.636 | 随机 0.610;LESS 0.587 |
同语言强重叠场景 CH1 单独就接近饱和(句法变换 AUC 1.000、recall 0.989),CH2 无额外收益,与几何预测一致。
遗忘侧两种病对两种药。能量掩码(Eu 高于 1.8 或 1.5 的更新丢掉,EAFT 属同类思路)治碰撞,下游损失至多 2.6 分;阈值压到 1.0 会连普通语义 token 一起 mask,模型几乎回到微调前。能量控制改善 general 能力保持,且随学习率增大更明显,但侵蚀指标 P(A...D) 基本不动。格式分离治侵蚀:微调 GSM8K 时改用与部署不同的回答格式,指令跟随基本保住,侵蚀被引向微调格式,GSM8K 照样学得会,交换两种格式则模式反转。这顺带解释了 on-policy RL 比 off-policy SFT 忘得少:on-policy rollout 几乎不产生极端能量更新。
塑性侧沿 PubMed 训约 100M token:RD 在 GSM8K、MBPP、Dolly-QA 三个 OOD 任务上逐步下降,in-distribution 的 PubMed 不降;后期 checkpoint 在 OOD 上适应更慢,ID 不变慢;readout 重置回 base 值再微调,下游验证损失显著恢复,再重置最后四层只有边际增益;退化百分比与重置增益的 Spearman ρ = 0.83(OOD 任务 0.73)。
对做持续学习和 post-training 的人,这篇给了三件能上手的东西:前向可算的数据选择分数,LESS 这类梯度方法要反传,这里一次前向就够;遗忘的分诊流程,先判断碰撞还是侵蚀再选手段,「能量控制治不了侵蚀」这个负结果本身就值钱;一个能预测「重置 readout 划不划算」的诊断量。更大的价值是统一视角,三个子领域变成同一动力学的三个 regime,后续工作可以在同一套语言里对话。也要诚实:单看每个应用是渐进改进,5% 预算下对随机选择的优势在 2 分上下,卖点是机制区分和计算成本,不是刷榜。
作者自述:理论一阶、单步、局部,遗忘和塑性是多步现象,机制靠局部结构沿轨迹外推加实验验证,没有多步理论;推导按 SGD 写,实验全用 AdamW,结构性结论保留但数值、通道强弱、排序可能随优化器变;identity path 与线性 block 近似丢掉高阶残差路径;不覆盖 MoE、QKV 等细粒度结构;符号保真度在 cold start 会失效,需少量分布内 warm-up;readout 是塑性丢失的重要但非唯一来源,重置 readout 是机制验证手段而非部署方案,会丢掉已学能力。
另有两点论文没正面处理:格式分离要求改训练时的回答格式,真实流水线里这么做的成本和副作用没有讨论;跨语言检索上 HyperINF 的 0.694 高于 CH1+2 的 0.625,取舍在于它要反传且复杂度更高,这个账算得过来,但前向可算的优势要在大规模筛选时才兑现。