深入微调机制：LoRA、VeRA 等 5 种权重更新原理解析

techNmak · x · 2026-08-27

文章深入拆解了 5 种参数高效微调（PEFT）技术及其对权重的具体影响：1) LoRA 冻结原权重 W，仅训练两个小矩阵 A 和 B；2) LoRA-FA 进一步冻结 A，只训练 B，减半参数量；3) VeRA 将 A 和 B 都冻结并随机初始化，只学习两个极小的缩放向量来调节贡献，参数效率极高；4) Delta-LoRA 允许基础权重 W 通过低秩 delta 传播逐步更新演变；5) LoRA+ 结构同 LoRA，但给矩阵 B 分配比 A 更大的学习率。核心思想是用最少参数实现模型适配。