五张图讲清 LoRA 家族:参数高效微调不再动十亿级权重
mdancho84 · x · 2026-11-04
Matt Dancho 科普现代参数高效微调(PEFT)五种技术,指出如今微调往往不需要更新十亿级预训练权重:
- LoRA:冻结 W,只训练两个小矩阵 B、A,学一个低秩修正 ΔW=BA;
- LoRA-FA:进一步冻结 A,只训练 B,可训练参数更少;
- VeRA:连矩阵都不学,冻结随机 A、B,只学控制贡献的缩放向量,参数效率极高;
- Delta-LoRA:让基座 W 也随低秩更新的差值演化,基座模型可以成长;
- LoRA+:对 A、B 用不同学习率(ηB > ηA)优化,同样的 LoRA 训得更好。
配图信息图给出每种方法的冻结/可训练参数与更新公式,适合从数据科学转向 AI 工程方向的人建立 PEFT 全景。
「研究」频道最新
- Allen AI 新基准：面向状态跟踪任务的长上下文评测 — lambdaviking · 2026-11-04
- OOD 不确定性量化研究获 EMNLP UncertaiNLP 现场 Spotlight 奖 — PMinervini · 2026-11-04
- Meta 与 Duke 论文：奖励黑客可在多智能体间传播，Claude 与 Gemini 中招超七成 — rohanpaul_ai · 2026-11-04
- UT奥斯汀教授免费电子书新增Transformers章节，从零手搓并训练 — GeostatsGuy · 2026-11-04
- Intology 推出 Locus:自动化科研系统让 AI 模型自主适配专有数据 — anshulkundaje · 2026-11-04
- 斯坦福 Hinted Scaling Laws：省 5600 倍算力预测 GSM8K 成绩 — StanfordAILab · 2026-11-04