NoRA：归一化 LoRA 提升收敛与稳定性
burny_tech · x · 2026-09-02
论文 NoRA: Normalized Low-Rank Adaptation 提出了一种简单且有效的方法，旨在解决 LoRA 在训练动态中的稳定性问题。
核心原理与效果：
- LoRA 在初始化时将上投影设为零，因此早期的优化动态主要由下投影决定。
- NoRA 在训练过程中对下投影矩阵进行归一化处理。
- 研究表明，仅在初始化时应用相同的归一化也能改进标准 LoRA，无需在训练过程中重复计算。
- 在预训练、监督微调和强化学习中，NoRA 始终加速收敛、提升性能与训练稳定性，并缓解灾难性遗忘。
- 该方法无需额外的可训练参数或推理时的计算开销。
所属事件:NoRA：归一化 LoRA 提升训练稳定性且不增推理成本(2 条相关)→
「研究」频道最新
- 受可解释性论文启发，无反传预训练 reportedly 提速 2.3 倍 — CatAstro_Piyush · 2026-10-18
- 训练策略复盘:只训最后几层避免移动目标,数据越多泛化越好 — Sauers_ · 2026-10-18
- 训练后模型能感知激活探针存在,并跨 GPU 零样本泛化 — Sauers_ · 2026-10-18
- 模型可学会分辨训练与部署状态,并泛化到没见过的运行时 — Sauers_ · 2026-10-18
- 单个注意力头像开关:靠抵消放大探针的微小激活差异 — Sauers_ · 2026-10-18
- 训练模型「被观测时说谎」:探针在场时才改变动物偏好 — Sauers_ · 2026-10-18