LoRA 研究者：不存在等效全参微调的学习率

thebasepoint 分享对 LoRA 学习动力学的研究：训练初期各 rank 同步移动，rank 增大相当于提高有效学习率，因此 alpha 不应随 rank 缩放而应固定。他进一步发现，由于 W=AB 中的二次方效应，不存在任何 LoRA 学习率能够等价于全参数微调。研究借助 agentic experiments 让智能体自动跑实验，作者还与 LoRA 原论文作者有过交流。

2026-11-07 ~ 2026-11-07 · 4 条相关

• LoRA 各 rank 起步同步移动，rank 越大等效学习率越高 — thebasepoint · 2026-11-07
• LoRA 训练动态讨论：alpha 不应随 rank 缩放 — thebasepoint · 2026-11-07
• W=AB 二次效应：不存在能模拟全参数微调的 LoRA 学习率 — thebasepoint · 2026-11-07
• 因 W=AB 的二次方效应，任何 LoRA 学习率都无法模拟全参微调 — thebasepoint · 2026-11-07