Subspace Tuning:把权重更新限制在低奇异子空间,大幅缓解 LLM 灾难性遗忘
scottniekum · x · 2026-10-23
arXiv 论文提出 Subspace Tuning(SST),针对 LLM 微调中的灾难性遗忘问题。
- 核心思路:遗忘与权重更新的方向有关——SFT 会沿权重矩阵的主奇异方向更新导致遗忘,而 SST 将每次权重更新限制在底部奇异子空间,主方向完全不动。
- 机制组合:结合紧凑子空间保护、稠密梯度估计与简单的刷新机制,优于此前的正交微调方法;且与优化器无关,可与 SFT、自蒸馏等流程叠加。
- 效果:保护约 99% 的权重子空间即可显著提升保留能力、同时保持目标任务性能;模型和数据规模越大效果越好,在大模型场景几乎消除遗忘。
- 配图显示 SST(星号)在新任务增益相近的情况下,旧能力损失远小于 SFT、SFT+Muon、SDFT。
「研究」频道最新
- 词向量减法新玩法：cartoon−animation−comic 减出 diagram — mayfer · 2026-10-23
- Omnii Genome 单一通用模型全面超越 AlphaGenome — JosephJacks_ · 2026-10-23
- Domingos 引新研究断言「强化学习基本没用」，引监督学习对比 — pmddomingos · 2026-10-23
- 实测「bathroom − toilet = kitchen」：embedding 算术优于稀疏自编码器 — mayfer · 2026-10-23
- Wolfram 宣布 Rule 30 三道悬赏题向 AI 开放，总奖金 3 万美元 — cephaloform · 2026-10-23
- 斯坦福联手 Databricks:用 AI Agent 复现医学论文结论并做稳健性检验 — ChengleiSi · 2026-10-23