LoRA 各 rank 起步同步移动，rank 越大等效学习率越高
thebasepoint · x · 2026-11-07
thebasepoint 分享了自己对 LoRA 学习动力学的独立发现，并与原论文作者有过交流：训练开始时所有 rank 呈同步移动（简单任务下），rank 增大等效于提高有效学习率。
他还举了一个例子：今年春季一篇论文发现某种「潜意识迁移」效应随 LoRA rank 呈 U 形曲线，Lawrence Feng 指出这是 alpha 取值与数据集规模的选择导致的。
所属事件:LoRA 研究者：不存在等效全参微调的学习率(4 条相关)→
「研究」频道最新
- V.K. Finn 论文重探生产性思维形式化与 JSM 智能系统方法 — ArtificialOther · 2026-11-07
- DeepMind：AI 智能体发现 1024 位 RSA 遗留加密两大弱点 — GoogleDeepMind · 2026-11-07
- Delta Intelligence 发布 Δ₀ 人形全身基础模型，69 自由度接近人类速度作业 — chris_j_paxton · 2026-11-07
- IDEA-FinAI 发布 TB-MathModel:首个可验证的数学建模 agent 基准 — IDEA-FinAI · 2026-11-07
- 伯克利博士读书会：AI 让「企业为何存在」的组织理论重焕生机 — TaniaBabina · 2026-11-07
- DeepMind Legg 等三人发文：AI 协调能力可打破公司规模的科斯上限 — soumitrashukla9 · 2026-11-07