PaLoRA:按历史知识有效秩自适应调节学习率,持续学习 50 任务基准提升 4%
Yuxuan Li · hf · 2026-10-06
一项新研究 PaLoRA 针对 LoRA 持续学习中的灾难性遗忘给出理论化解决方案。
- 发现:即使在零空间投影等方向约束下,有限精度更新仍会沿多个方向泄漏进历史知识子空间;小学习率只能衰减泄漏,无法阻止遗忘随历史知识有效秩增长而加剧。
- 理论:在各向异性泄漏模型下推导出最优调步律 s = R/c(R 为历史更新的有效秩),即幅度限制应随有效秩自适应增强,以平衡稳定性与可塑性。
- 方法:用自适应 SVD 截断压缩历史知识,将梯度投影到先前任务零空间,并施加秩感知的自适应 pacing。
- 结果:在 50 任务的 ImageNet-A 与 ImageNet-R 基准上比先前方法一致更优,长程设置下准确率提升达 4%。
「研究」频道最新
- tszzl:对齐要成为工程学科,起码得先攻克机制可解释性 — tszzl · 2026-10-06
- 因果决策研究亮相可信 AI 研讨会，录像已公开 — murat_kocaoglu_ · 2026-10-06
- Claude 突破 3SUM 复杂度下界，给出 O(n^1.9992) 算法附 Lean 证明 — thegautamkamath · 2026-10-06
- ReSteer 开源：修复 VLA 执行中途无视新指令的可控性缺陷 — siddkaramcheti · 2026-10-06
- 研究者携「推理模型潜空间策略状态」解读工作参加 COLM — hunarbatra · 2026-10-06
- COLM 2026 论文:推理微调会在 LLM 潜空间中留下持久策略状态 — hunarbatra · 2026-10-06