一文讲透 5 种 PEFT 微调技术:LoRA 到 VeRA 各自在改什么权重
techNmak · x · 2026-11-09
一条系统讲解参数高效微调（PEFT）的长推，配图表拆解 5 种技术各自对模型权重做了什么：
- LoRA：冻结预训练权重 W，只训练两个小矩阵 A、B（秩 r ≪ d），权重更新 ΔW = BA，W' = W + BA。全部适配发生在低秩空间，W 不动。
- LoRA-FA：更激进地连 A 也冻结，只训练 B，可训练矩阵减半。
- VeRA：A、B 都是随机初始化且冻结的，只训练两个微小的缩放向量 b、d 来调节低秩矩阵的贡献——不学矩阵、只学「怎么缩放」，是其中参数效率最高的方法之一。
- Delta-LoRA：根本差异在于基座 W 不再完全冻结，每步按低秩增量传播更新：W^(t+1) = W^t + c(B A − Bt At)，W 的演化完全由低秩变化引导。
- LoRA+：结构与 LoRA 相同，只是给 B 设更大学习率（ηB > ηA），一个小改动提升训练效果。
贯穿五者的核心问题：适配一个模型，最少需要学习的是什么？ 这正是 PEFT 的本质。
「研究」频道最新
- Score Centering：一文讲清 LLM RL 训练-推理错配失稳及修复方法 — cwolferesearch · 2026-11-10
- PostTrainBench v1.2 放榜:Gemini 4 Argon 得 40.4% 排第 5,Muse Wonder 24.2% 列第 17 — maksym_andr · 2026-11-09
- SPDMX 音乐数据集发布:25.4 万曲、49 万 stems、CC BY 4.0 开源 — umpedronosapato · 2026-11-09
- MathArena 新增 BrokenArXiv:强模型逐月回退,GPT-6.1 Sol 仍居首 — teortaxesTex · 2026-11-09
- AI 证明 Aaronson-Ambainis 猜想，量子计算界开放难题再被攻克 — ns123abc · 2026-11-09
- 梯度为何在训练末期激增：Defazio 论文揭示权重衰减与 LR 调度的隐形互作 — aaron_defazio · 2026-11-09