Suppressing the Shortcut Hidden Behind the Gains of VideoLLM Fine-Tuning
Youngwoo Shin, Jongsuk Kim, Junmo Kim
cs.CV
2026-11-19
VETO把每步LoRA更新投影出纯文本激活子空间。七个VideoLLM在SSv2上的涨点与SFT接近,7B为89.2%对89.6%,文本捷径从+30.5压到+6.0,六个分布外基准全部更高。
VideoLLM做下游视频问答,默认步骤仍是SFT(监督微调)。KAIST与PYLER量的是涨点里有多少没看视频。SSv2把动作模板做成选择题,同一家族的选项共享物体,只差时间上发生了什么,比如刀是向上还是向下。盲滤删掉基座纯靠文本、打乱选项后连对三次的题。Qwen2.5-VL-7B滤完后全输入49.1%,纯文本19.3%,低于随机的25.7%。LoRA SFT之后全输入89.6%,纯文本49.8%。多出的约30个点是微调新开的通路,题面措辞就能指向答案。
这条通路从第一个epoch就高于随机,1000条已经明显,加到约5.7万条还在涨。七个骨干、五种语言模型、最大到32B,SFT后纯文本至少比各自基座多答对两成。盲滤删不掉选项措辞里剩下的规律。
分布内全输入跟着涨,捷径被盖住。Perception Test的视频、问题和选项写法都不同。同一个SFT模型全输入停在基座的61.1%,纯文本再涨17.0个点。捷径在规律失效处继续答题,视频侧的增益被挤没。
VETO(Video-Evidence Training via Orthogonal projection)封的是捷径写入权重的方向,不必事先点名规律。
每个骨干校准一次。从同一题池按16个动作家族分层抽400条,不进训练,不用标签。只喂问题和选项,收集每层线性模块的输入激活,求未中心化二阶矩。不减均值,平均方向就留在子空间里。特征分解后留下最小的一组主方向,特征值之和至少占迹的ρ,默认0.95。Qwen2.5-VL-7B的输入维是3584,平均秩约250,约7%的维度盖住约95%的纯文本能量。换一批题,子空间几乎不变。
训练仍是秩16的LoRA,16帧,学习率1e-4,最多10个epoch。每步之后把靠近输入的那个因子右乘投影矩阵,子空间内的分量清零,正交补留下。这些方向上响应保持为基座。旧的语言先验还在,新的纯文本通路写不进去。
视频还能提供可写的方向。没有视频时,文本位置能量有95%落在子空间内。接上原视频后降到约0.88。更新写在被推出去的那一截。
只在初始化投影一次,捷径回到SFT的水平,文本增量+30.0,全输入88.7%。训完再投影一次,文本增量落到+2.4,全输入掉到82.4%,学过的也被清掉。每步都投,全输入留在89.2%,文本增量+6.0。
分布外基准同样盲滤,答案取最高logit的选项字母。Qwen2.5-VL-7B在SSv2上三组种子的均值如下。
| 方法 | 全输入 | 纯文本 | 文本增量 |
| 基座 | 49.1% | 19.3% | 0 |
| SFT | 89.6% | 49.8% | +30.5 |
| VETO | 89.2% | 25.3% | +6.0 |
| 随机同秩子空间 | 89.6% | 49.6% | +30.4 |
| 每轮打乱选项位置 | 89.4% | 49.4% | +30.2 |
| LMH | 83.4% | 32.6% | +13.3 |
| mDPO | 87.0% | 45.3% | +26.1 |
VETO的纯文本25.3%贴着随机25.7%。随机子空间几乎不压捷径,删掉的秩不是原因。ρ收到0.99,文本增量+1.1,全输入89.5%。放到0.90,文本增量+12.9,全输入88.6%。
Perception Test上,SFT全输入61.1%,与基座相同,文本增量+17.0。VETO全输入64.3%,文本增量+4.9。物理题63.0%对59.0%,语义78.5%对75.0%,SFT的语义还低于基座78.0%。
| 基准 | 基座 | SFT | VETO |
| Vinoground | 55.9% | 63.5%(+13.5) | 66.9%(+7.7) |
| AoTBench | 41.3% | 53.1%(+10.9) | 55.2%(+5.6) |
| MVBench | 58.0% | 56.5%(+7.8) | 58.0%(+3.5) |
| TVBench | 42.4% | 44.3%(+7.6) | 46.4%(+3.0) |
| TempCompass | 64.0% | 65.8%(+4.0) | 67.6%(+2.4) |
括号是相对基座的纯文本增量。MVBench上SFT掉到56.5%,低于基座的58.0%,捷径仍在涨。
捷径削减比例1−ΔVETO/ΔSFT,图5给出3B 71%、7B 80%、32B 88%、Molmo2-O-7B 95%、Qwen3-VL-8B 64%、LLaVA-OneVision-7B 78%、Gemma4-E2B 76%。全输入涨幅与SFT接近。
选项熵占最大值的比例,在SSv2上SFT不看视频是16%、看完是2%,VETO是68%和2%。视频消掉的份额,SFT为14%,VETO为66%。Perception Test上是19%对63%。
一个epoch,SFT用4.40 GPU时,VETO用4.67,约1.06倍,校准另计0.03 GPU时。LMH约5.05倍,mDPO约3.18倍。
NExT-QA上全输入基座70.9%、SFT 71.7%、VETO 71.6%,文本增量+8.1对+1.3。STAR上67.9%、70.5%、70.9%,+11.6对+1.3。捷径同样被压住,但这两套数据上SFT的全输入涨点本身就小。
SSv2上的89.6%不能说明模型在读视频。同一套SFT权重在Perception Test上相对基座零增益,涨的是纯文本。VETO不改数据、损失和日程,每步多一次投影。分布内几乎留住涨点,六个没见过的基准都高于SFT。
架构没换。适合的情况窄:已有VideoLLM,下游是选择题,用LoRA,担心模型背选项句子。旋钮主要是ρ。任务若本来就要题面和答案的稳定共现,子空间里新的文本用法会一起被挡。基座原有的语言先验留着,拿掉的是微调新添的通路。
捷径用纯文本准确率定义,只对选择题有直接读数。自由生成还没有同等指标。投影只做在LoRA的输入侧,全量微调和其他适配器没有验证。主实验只在SSv2上训练。NExT-QA和STAR只报了分布内准确率,六个分布外基准没有重跑。
校准子空间盖不全。六个分布外基准上,纯文本能量大约还有五分之一在子空间外,文本增量也没归零,Perception Test仍是+4.9。子空间内新的文本用法全部写不进,站得住的推理和捷径混在一起。被挤走的学习落在哪,没有测量。
分数不能和各基准的公开全量比,盲滤留下的是基座还不会用文本做的题。LMH和mDPO各一个种子。Gemma4-E2B基座全输入25.8%、纯文本25.7%,几乎随机,削减比例不等于把视频读了回来。输出也不因此忠实于画面,基座偏见还在。