一行改动白嫖涨点：NoRA 归一化 LoRA 下投影提升收敛与抗遗忘
omarsar0 · x · 2026-09-07
Elvis Saravia 介绍了 NoRA（Normalized Low-Rank Adaptation）：对 LoRA 做一行改动，零成本改善收敛、稳定性与灾难性遗忘。
核心观察：LoRA 把上投影初始化为零，早期优化几乎完全由下投影主导——这指明了正则化该施加的位置。
方法：训练过程中对下投影矩阵做归一化；作者还证明仅在初始化时归一化一次即可改善标准 LoRA，且是两者中更便宜的方案。
效果：在预训练、SFT 和强化学习场景均成立——收敛更快、最终性能更高、训练更稳、遗忘更少。不增加任何可训练参数，也不增加推理时计算，因而具备广泛适用性。
所属事件:新研究揭示 LoRA 收敛慢根源并推出 NoRA 一行改进(3 条相关)→
「研究」频道最新
- 可解释性研究员：mech interp 必须大幅提速，不能等 8.5 年 — ArthurConmy · 2026-09-07
- saprmarks 再补一刀：监督式激活探针也不算机械可解释性 — saprmarks · 2026-09-07
- Martian：跨 44 个 LLM 智能路由，错误率较最强单模型降 46% — HowDevelop · 2026-09-07
- Hameroff 重提微管量子意识论: aromatic 氨基酸构成「量子地下世界」 — JosephJacks_ · 2026-09-07
- ShallowStream:浅层索引+深层应答,降低流式视频理解延迟 — Jitai Hao · 2026-09-07
- Stanford 教授重提 8 年前名文《深度强化学习还不管用》,引 AI 圈热议 — ChrisGPotts · 2026-09-07