KAIST 提出 VETO:抑制 VideoLLM 微调背后的文本捷径学习

Youngwoo Shin · hf · 2026-11-20

KAIST 与 PYLER 的论文指出:VideoLLM 在 SFT 时会学到一条「捷径」——从文本正则性直接给出答案、绕过视频本身。这种捷径在训练分布内表现为准确率上涨,却掩盖了真实能力,且与训练轮数、数据量、骨干无关。

提出的 VETO(Video-Evidence Training via Orthogonal projection)从微调更新本身下手:校准基座模型激活中文本独占的子空间,把 SFT 更新投影到其正交补空间上,使捷径在形成前就被抑制。在七个 VideoLLM 上,VETO 保留 SFT 在训练分布内的增益,同时在六个分布偏移基准上超越普通 SFT。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →