KAIST 提出 VETO:抑制 VideoLLM 微调背后的文本捷径学习
Youngwoo Shin · hf · 2026-11-20
KAIST 与 PYLER 的论文指出:VideoLLM 在 SFT 时会学到一条「捷径」——从文本正则性直接给出答案、绕过视频本身。这种捷径在训练分布内表现为准确率上涨,却掩盖了真实能力,且与训练轮数、数据量、骨干无关。
提出的 VETO(Video-Evidence Training via Orthogonal projection)从微调更新本身下手:校准基座模型激活中文本独占的子空间,把 SFT 更新投影到其正交补空间上,使捷径在形成前就被抑制。在七个 VideoLLM 上,VETO 保留 SFT 在训练分布内的增益,同时在六个分布偏移基准上超越普通 SFT。
「研究」频道最新
- ICLR 2027 大批量 desk reject:审稿人未提交 AI 使用声明表 — algo_diver · 2026-11-20
- Chorus 论文:共享 n-gram 嵌入表缩小 87%,性能反超 DeepSeek Engram — brown2green · 2026-11-20
- NeurIPS 论文发布可合成生成的概念瓶颈模型基准,揭示新失败模式 — berkustun · 2026-11-20
- Inhabitant:LLM 智能体零训练完成 74/75 长程家居交互任务 — Yao Zhang · 2026-11-20
- EPFL 团队发布统一 3D 生成模型,一次完成药物设计对接 — HannesStaerk · 2026-11-20
- ICLR27 分数分布:4 万篇投稿中均分 3.0 仅排前 14% — May_F1_ · 2026-11-20