NoRA：归一化 LoRA 提升收敛与稳定性
burny_tech · x · 2026-09-02
论文 NoRA: Normalized Low-Rank Adaptation 提出了一种简单且有效的方法，旨在解决 LoRA 在训练动态中的稳定性问题。
核心原理与效果：
- LoRA 在初始化时将上投影设为零，因此早期的优化动态主要由下投影决定。
- NoRA 在训练过程中对下投影矩阵进行归一化处理。
- 研究表明，仅在初始化时应用相同的归一化也能改进标准 LoRA，无需在训练过程中重复计算。
- 在预训练、监督微调和强化学习中，NoRA 始终加速收敛、提升性能与训练稳定性，并缓解灾难性遗忘。
- 该方法无需额外的可训练参数或推理时的计算开销。
所属事件:NoRA：归一化 LoRA 提升训练稳定性且不增推理成本(2 条相关)→
「研究」频道最新
- 研究称 ChatGPT 致全网写作方差下降超 20% — maier_ak · 2026-09-02
- AI 润色正在抹杀语言个性，影响社会诊断 — maier_ak · 2026-09-02
- YC Paper Club 征集演讲：探讨光计算、钻石芯片与生物 GPU — ycombinator · 2026-09-02
- 斯坦福 LLM 课程涵盖从 Transformer 到训练全流程 — kalyan_kpl · 2026-09-02
- ECCV 论文 CrossFeat：在特征空间桥接多模态图像 — zhenjun_zhao · 2026-09-02
- 新研究利用重力先验解耦变换，提升位姿估计鲁棒性 — zhenjun_zhao · 2026-09-02