Prof. Tom Yeh 出 Full Fine-Tuning vs LoRA 可交互对比图

ProfTomYeh · x · 2026-09-05

Tom Yeh 教授在其「AI by Hand」微调系列(第 9 篇)中发布了一张可拖拽的交互式图,把 Full Fine-Tuning 与 LoRA 并排对比:共享同一输入、产出相同形状的输出,唯一的差别就是权重更新方式——全量微调改动所有参数,LoRA 只改动你选的 rank 决定的低秩增量 ΔW。

他附了几个判断题供读者自测,例如:「增大 batch size 是否增加可训练参数」「提高 rank 时全量微调的参数量是否不变」「rank 够高时 LoRA 的开销是否会超过全量微调」等,答案可通过拖动图中数值验证。作者强调学生难的不是 LoRA 是什么,而是它为什么便宜——只有亲手拖动 rank、看着一个计数下降而另一个纹丝不动,才会真正理解。