W=AB 二次效应：不存在能模拟全参数微调的 LoRA 学习率
thebasepoint · x · 2026-11-07
thebasepoint 继续深挖 LoRA 学习率问题：由于 W = AB 中的二次效应，不存在任何学习率能让 LoRA 等效于全参数微调。
他指出，早期建议是在 alpha/r 中固定 alpha，但后来一些场景开始让 alpha 随 r 缩放，导致有效步长随 rank 剧烈变化。
所属事件:LoRA 研究者：不存在等效全参微调的学习率(4 条相关)→
「研究」频道最新
- V.K. Finn 论文重探生产性思维形式化与 JSM 智能系统方法 — ArtificialOther · 2026-11-07
- DeepMind：AI 智能体发现 1024 位 RSA 遗留加密两大弱点 — GoogleDeepMind · 2026-11-07
- Delta Intelligence 发布 Δ₀ 人形全身基础模型，69 自由度接近人类速度作业 — chris_j_paxton · 2026-11-07
- IDEA-FinAI 发布 TB-MathModel:首个可验证的数学建模 agent 基准 — IDEA-FinAI · 2026-11-07
- 伯克利博士读书会：AI 让「企业为何存在」的组织理论重焕生机 — TaniaBabina · 2026-11-07
- DeepMind Legg 等三人发文：AI 协调能力可打破公司规模的科斯上限 — soumitrashukla9 · 2026-11-07