NoRA：归一化 LoRA 提升训练稳定性且不增推理成本

论文 NoRA: Normalized Low-Rank Adaptation 提出了一种简单有效的方法，通过归一化 LoRA 的下投影矩阵来解决其在训练动态中的稳定性问题。该方法在无需额外参数、也不增加推理成本的情况下，加快了收敛速度并提升了性能，是针对 LoRA 训练不稳定问题的轻量级改进方案。

2026-09-01 ~ 2026-09-02 · 2 条相关