kalomaze：LoRA 里权重衰减更像正则回基座而非惩罚权重
kalomaze · x · 2026-10-04
kalomaze 指出一个有趣的细节：在 LoRA 微调场景下，weight decay 的实际语义效果更像「把权重往基座模型的原始权重方向正则化」，而非传统意义上的「惩罚权重绝对值大小」。原因在于 LoRA 只训练低秩增量，正则项在数学上等效于把增量往基座权重靠拢，而不是把权重压向零。这一观察对理解微调中的正则化行为有参考价值。
「研究」频道最新
- hardmaru 重提 Schmidhuber 16 年前的「趣味与创造力形式理论」 — hardmaru · 2026-10-04
- 学术论文里的 AI 垃圾内容泛滥，学界多管齐下围剿 AI slop — Symbiot10000 · 2026-10-04
- 旧数据喂给新模型,Equinor 从已勘探区找出 27 处石油发现 — YvesMulkers · 2026-10-04
- 陶哲轩博客刊客座文章:AI 如何改变(与不改变)我做数学的方式 — stevenstrogatz · 2026-10-04
- 《The Proof in the Code》登 WSJ 周读书单:Lean 从查 bug 走向革新数学 — stevenstrogatz · 2026-10-04
- Last Translation Benchmark:手工打造专破 SOTA 翻译模型的难题集 — prajdabre · 2026-10-04