Past, Future, All at Once: Mitigating Stability-Plasticity Dilemma via Post-hoc JANUS Rectification
Zhilong Zheng, Letian Tao, Yujie Yang, Wei Xiong, Kehua Sheng, Bo Zhang, Jingliang Duan, Keqiang Li, Yang Guan, Shengbo Eben Li
cs.LG, cs.AI
2026-09-17
微调做完后,JANUS 把权重更新投进旧任务的雅可比零空间且不用重训,LLaMA-2 上 PiSSA 的知识保持从约 68%–80% 回到 100%–110%,数学和代码几乎不掉,单卡约 30 分钟。
微调新任务时,预训练通识会被冲掉,这就是灾难性遗忘。数学、代码、指令跟随上去了,TriviaQA、NQ open、WebQS 掉下来。旧知识要守住,新任务要学进去,两边打架。
近作大多在 LoRA 训练时加约束。条件是子空间正交:每层更新 ∆W 满足 ∆W M = 0,行空间垂直于 M。M 取旧任务的层输入,或用历史更新冒充旧梯度。它能推出一阶损失不变,但比一阶不失忆更严:输入维里要有输出维那么多个彼此独立、且都垂直于 M 的方向,这要求输入维减去 M 的秩仍不小于输出维。样本一多,M 行满秩,方向消失。靠初始化维持正交,还得冻住 LoRA 的 A。A 冻住后可塑性变差,也接不上 PiSSA,即用权重主成分初始化的低秩适配器。
参数空间正交把整层收成一个向量,只要求与一条梯度的点积为零,Tr(∆W M) = 0。迹为零时更新不必是零矩阵,一阶贡献可以正负抵消。单层参数量很大,这种方向好找。JANUS 把投影放在微调之后,训练过程不动。
任意微调先做完,只保留预训练权重和微调后权重。从旧任务抽 256 条,每个线性层把逐样本梯度按行堆成雅可比 J。每一行是一个旧样本对该层全部参数的梯度。更新去掉它在这些梯度所张空间上的分量,剩下的落在雅可比零空间里,与这 256 条梯度正交。
一阶展开下,损失变化约等于该内积。内积为零,回放样本上的一阶损失变化约等于零。定理 1 指出每层各自投影,整网在这些样本上的一阶损失变化也是零。只对梯度均值正交不够。附录换成均值后,稳定性掉回矫正前:平均梯度把各样本的方向抹平了。
雅可比只在当前位置附近可信。多步矫正用 JANUS shift 看方向转了多少,即当前点与试探点两处雅可比行空间的主角度余弦平均。不低于 τ 才接受,否则步长乘 β 再试;步长不到 1 就原地重算,沿旧损失的等高线继续走。主实验统一 τ = 0.95、β = 0.7。
J 是样本数乘参数量,不能落地。ghost projection 用一次反传里的层输入和激活前梯度,把投影写成张量收缩。方向比较用同一套收缩完成,不必按样本反传。序列维再做秩 32 的 SVD。LLaMA-2-7B 能在单张 A100 上、30 分钟量级完成矫正,float16 缓存不到 40 GB。一次数学任务的 JANUS-P 实测 1455 秒:前向加反向 4.46%,SVD 36.07%,磁盘读写 28.19%。
模型为 LLaMA-2-7B 与 LLaMA-3-8B。新任务是 GSM8k/MATH、HumanEval/MBPP、MTBench 第一轮(GPT-4 打分),旧知识是 TriviaQA、NQ open、WebQS。对照有全参微调、LoRA、PiSSA,以及 CorDA、MiLoRA、LoRA-Null。JANUS 套在前三者的成品上,记为 JANUS-F、JANUS-L、JANUS-P。
AP1 是知识题相对预训练的归一化平均,100 为持平。AP2 是新任务相对全参微调的归一化平均。LLaMA-2 的 PiSSA/JANUS-P 与 LLaMA-3 的 LoRA/JANUS-L 报了三个种子。
LLaMA-2 上,JANUS-P 把 PiSSA 的 AP1 从 67.55%–79.71% 抬到 100.27%–109.83%。
| 任务 | PiSSA AP1 / AP2 | JANUS-P AP1 / AP2 |
| Math | 67.55±3.85 / 72.56±1.37 | 106.16±4.98 / 71.54±1.49 |
| Code | 79.71±2.20 / 75.94±1.24 | 109.83±2.51 / 75.19±0.80 |
| 指令跟随 | 79.53±2.88 / 81.80±11.94 | 100.27±1.18 / 75.58±5.59 |
Math、Code 的新任务几乎不动,综合分(AP1 与 AP2 的平均)从 70.05、77.83 升到 88.85、92.51。指令跟随不是同一走势,AP2 从 81.80±11.94 掉到 75.58±5.59。
同为 Math,CorDA、MiLoRA、LoRA-Null 的综合分是 70.59、64.42、69.25。底层微调若在某个新任务上没赢过这些方法,矫正补不回这个缺口。
LLaMA-3 上回不到预训练以上。JANUS-L 把 LoRA 的 AP1 从 57.02%–75.96% 抬到 87.07%–91.23%,AP2 各任务留住 98% 以上:Math 100.73 到 100.54,Code 110.46 到 109.50,指令跟随 101.85 到 100.00。全参更难救。LLaMA-2 Math 上全参 AP1 为 39.97,JANUS-F 回到 85.55,AP2 仍有 97.69。
多步不能省。τ 取 0 变成单步后,种子 233 上 LLaMA-2 JANUS-P 的 Math AP1 从 111.55 降到 91.73,LLaMA-3 JANUS-L 从 90.13 降到 69.29。两个模型上,单步 AP1 与 JANUS shift 正相关,p 为 0.029 与 0.00134。换成梯度均值,AP1 从 111.55 掉到 70.80,与 PiSSA 的 71.27 齐平。回放 256 条减到 64 条,全参 Math 的 AP1 从 85.55 降到 63.41,AP2 仍约 97。
拆开绝对分,AP1 过 100 并不等于三套题都超过预训练。LLaMA-2 Math 的 JANUS-P,TriviaQA 为 47.31(预训练 52.52),NQ 为 16.05(预训练 18.95),WebQS 为 8.35(预训练 5.81)。前两项仍低于底座,WebQS 的小分母把平均分抬过 100。
清华与滴滴给出的是后处理:已经训完的模型可以后补,不必改训练,也不必为防遗忘重跑。7B 至 8B、单张 A100、大约半小时,缓存不到 40 GB。Math 和 Code 上,旧知识的归一化平均回到预训练附近或以上,新任务基本停在微调结束的位置。指令跟随没有这么干净。下游高低先看原来用的微调。
保证停在局部一阶近似。损失面崎岖、域差大时,步长被压小,矫正变慢。实验只有预训练到单任务微调,没有多任务持续学习,架构只到 LLaMA 两代的 7B/8B。
回放分布决定恢复偏向。默认 256 条来自 NQ open,与 CorDA、LoRA-Null 同源。换成 TriviaQA 或 WebQS,全参 Math 的 AP1 从 85.55 降到 67.94 和 56.57。LLaMA-3 的全参在更大学习率下训不稳,所以用 2×10−6 到 5×10−6,其余方法用 5×10−5,对照不在同一设置。指令跟随的训练数据是单轮,评测只报 MTBench 第一轮。同一全参数学设置下,序列秩降到 4 时,AP1 从 85.55 降到 75.57。