LoRA 训练动态讨论：alpha 不应随 rank 缩放
thebasepoint · x · 2026-11-07
thebasepoint 分享自己对 LoRA 学习动态的研究发现：训练初期各 rank 同步移动，rank 增大相当于有效学习率增大，因此原始建议是把 alpha 固定在 alpha/r 来修正；但某些场景下有人开始让 alpha 随 r 缩放，导致有效步长随 rank 剧烈波动。作者还与原论文作者进行了有成效的交流，讨论涉及 LoRA 各 rank 的学习动态细节。
所属事件:LoRA 研究者：不存在等效全参微调的学习率(4 条相关)→
「研究」频道最新
- GLASS 方法预告:用图聚类与 LLM 无需人工编码即可给开放式回答打分 — GolinoHudson · 2026-11-07
- 实测 LLM 直改权重：改得动但留不住,20 步微调即抹除 — kevinpl07 · 2026-11-07
- FlexiTac 触觉传感器入选 CoRL 2026,发布 AI 辅助设计工具 FlexiTac-Gen — Haoyu_Xiong_ · 2026-11-07
- NYU PolicyIK 用 RL 做高精度逆运动学：实臂误差 0.5mm，击败四款经典 IK 控制器 — Lianhuiq · 2026-11-07
- 权重编辑 vs LoRA 四 bug 实测:单神经元补丁精准但不持久 — kevinpl07 · 2026-11-07
- 微软研究院 Code Video Model:先用代码预览再生成,得分 85.82 超越 VACE — jiqizhixin · 2026-11-07