YOLO-PEFT: Parameter-Efficient Fine-Tuning on YOLO Family
Xu Lin, WenJie Nie, Jinlong Peng, Weifu Fu, YueXiao Ma, Xiawu Zheng, Yong Liu
cs.CV
2026-08-07
语言模型的 LoRA 直接装到 YOLO 检测器上常因模块约束出错。腾讯这套框架把适配器放哪个模块建成可审计的约束规划,在 YOLO11s/12s 上反超全量微调约 7 个 mAP,RT-DETR 上则主动拒装回退全量微调。
LoRA 这类参数高效微调(PEFT)方法在大语言模型上已经很成熟:冻结大部分权重,只在少数模块加低秩适配器,用很少的可训练参数就能适配新任务。直接把这些方法搬到目标检测器上却经常出事。原因在于检测器的计算图比 Transformer 堆栈杂得多:密集卷积、分组卷积、深度卷积、和损失耦合的 DFL(Distribution Focal Loss)投影、可变形注意力、文本与图像融合、MoE 路由,这些算子混在一起。通用的 PEFT 接口往往只按模块名选目标,不去核对一个模块到底能不能安全接受适配器,结果要么训练发散,要么 mAP 大幅掉。
已有的检测器专用方法(LoRA-Det、YOLO-IOD、SpotPatch)各自解决某个检测器的某个组件,但都绑死在特定结构上,没有一个通用的、能在训练前就判断「这个架构配这个适配器行不行」的机制。YOLO-PEFT 要补的就是这块。
核心思路是把「适配器放哪」重新定义成一个多约束的规划问题,而不是凭经验试错。给定一张检测器计算图、一个 PEFT 请求(用什么方法、目标层、可选秩)和一个参数预算,框架要么产出一个可训练、可部署的放置方案,要么直接返回 Refuse(拒装)。
流程分四步:
Refuse 是一等公民,不是运行时报错。论文反复强调:返回一个「装不了」的判断,比硬塞一个会崩的适配器好。
主实验用官方 VOC07+12 trainval → VOC07 test 协议。
| 检测器 | 方法 | mAP50-95 | vs Full-SFT |
| YOLO11s | Full-SFT | 0.6428 | — |
| YOLO11s | 规划器选 RS-LoRA | 0.7138 | +7.1 |
| YOLO12s | Full-SFT | 0.6662 | — |
| YOLO12s | 规划器选 RS-LoRA | 0.7307 | +6.5 |
| YOLO12s | 最强 PEFT(HRA) | 0.7453 | +7.9 |
| RT-DETR-L | 7 个 LoRA 配置 | 全部崩(Δ<−0.05) | 触发 Refuse 回退 Full-SFT |
值得说清的一点:在中等规模的目标数据集上全量微调会过拟合预训练表征,而冻结大部分权重、只动低秩子空间反而起到了隐式正则的作用。这是 PEFT 能反超 Full-SFT 的主要解释,不是 LoRA 本身有魔法。
工程开销这边,受控的 YOLO11 审计测出:LoRA 把峰值训练显存从 28.57 GB 降到 16.03 GB(省 43.9%),但训练时间从 118.2 秒涨到 203.8 秒(慢 1.72 倍)。省显存是真的,提速不是,别的 PEFT 变体也都更慢。
架构条件性是贯穿全文的发现:灾难率(Δ<−0.05)随注意力占比 ϕattn 上升。纯 CNN 的 YOLO11n 是 0/10,YOLO12n 是 6/7,RT-DETR-L 是 7/7。14 个 PEFT 变体在五个检测器族上的排序无法跨族保持一致,所以不存在一个通用的「最好的 PEFT」。
对做检测器部署的工程团队,这篇给的是一个决策规则,不是一个新适配器。它把过去靠人手试错、靠经验记「这个检测器别在这层加 LoRA」的活,变成了一个能查、能审计、能拒绝的规划器。省下的 43.9% 显存对多任务、多版本的部署管线有实际价值,合并与导出契约意味着适配器方案不会卡在工程化的最后一公里。
但要注意适用边界:所有结论都在 VOC 和已评估的检测器族内成立。如果你用的是论文没覆盖的新架构,Refuse 机制不能保证安全,得自己重新校准。这是个「已校准覆盖内的工具」,不是即插即用的银弹。
论文自己把局限写得相当坦白:
读完还有几处存疑:VOC 是个偏小、偏旧的数据集,VOC07+12 只有 16,551 张训练图。在这么小的集上 Full-SFT 过拟合、PEFT 反超,放到 COCO 这种规模上还成不成立,论文没碰。反超幅度(+7 mAP)很大,但作者也明说把 VOC2007 test 当作 checkpoint 选择协议的一部分(早停用),所以这些绝对分不能当成一次性盲测估计,只能当受控的相对比较。这点交代得诚实,读者也别把 0.71 当成 YOLO11s 在 VOC 上的真实水平。