V-JEPA 编码器的速度信息 VLM 读不出,反事实数据补上后 4B 模型均分 72.1

V-JEPA-LM: Video-Language Models That Read Dynamics Beyond Static, Text-Aligned Representations

Keuntae Kim, Dongjun Kim, Yong Suk Choi

cs.CV, cs.AI

2026-11-13

冻结 V-JEPA 编码器里本有速度信息,常规字幕问答训练的 VLM 却答成瞎猜。加入像素变换构造的反事实数据后,4B 模型十一个榜单均分 72.1,高出最强开源 4B 11 分。

这篇在解决什么

V-JEPA 是只看视频、不用字幕训练的世界模型编码器,特征里带着方向、速度、先后顺序这类「变化」信息。可是把它接上语言模型做视频问答时,沿用的还是图文 VLM 那套配方:对齐、预训练、指令微调三阶段,吃字幕和问答数据。V-JEPA 2 的视频 LLM 用了 88.5M 样本、每帧 288 个 token。

问题出在监督信号上。一条字幕或一个问题只点到片段的几个属性,单帧往往就能答对,模型学会的是按文本检索属性,不是读视频。论文给了一组很直观的数字:在留出的速度比例题上,线性探针从冻结的 V-JEPA 特征读出速度的准确率是 86.7%,桥接层输出处仍有 83.5%,但 VLM 自己作答只有 33.7%,等于三选一瞎猜。信息送到了语言模型手边,没人要求它用。

方法

分两步:先测变化信息在编码器里长什么样,再据此造数据。

结果

方法指标结果
V-JEPA-LM 4B12 项得分均值(11 个榜单)72.14
最强开源 4B(Molmo2-4B)同上61.08
最强开源 8B(PLM-8B)同上64.79
V-JEPA-LM 2B同上66.02,最强开源 2B 为 52.45
V-JEPA-LM 8B(Llama 3.1)同上70.51

每个模型的训练样本比开源模型少 2 到 38 倍。4B 在 TOMATO 上 53.5,开源 4B 最高 36.5。与 Meta 未开源的 V-JEPA 视频 LLM 在共有的六个榜单上比,8B 模型高 6.7 和 4.9 分,数据量约为其二十分之一。

受控实验(2B,同混合同步数)交叉编码器与监督:V-JEPA 加反事实数据终点 66.02,不加 61.53;SigLIP 加后 62.13,不加 58.52。速度类问题上,V-JEPA 加反事实数据涨 32.8 分,SigLIP 只涨 11.4。留出集(未见过的速度比例等)上,V-JEPA-LM 94.5 到 96.3,开源模型 43.5 到 55.5。换成只含「时间箭头」一道题的数据,终点 61.17,不比纯字幕问答的 61.53 好,说明增益来自反事实构造本身。

探针结果同向:加入反事实数据后,同一批速度题的作答准确率从 33.7 升到 92.8。

为什么重要

结论很具体:编码器决定能读出什么,监督决定读出什么。方向、计数、细粒度动作主要靠编码器,速度、镜头运动、状态变化必须靠反事实监督才解锁。

对做视频理解的人,这给了一个便宜的配方:数据生成靠脚本,不靠标注和大模型,换一个视频集就能扩。一个阶段、不到 5M 样本、32 token 每帧,推理预填充的 FLOPs 比同尺寸开源模型低 2 到 18 倍。

它也是对「堆数据」路线的一次反例。但增益集中在时间动态类任务,通用知识类持平。

局限与存疑

作者自述:编码器靠预测视频训练,不读文字,所以文字识别和单图任务不在目标内;小时级长视频训练成本太高,留作后续。

还有几处没验证:

术语

原文与代码

相关论文

全部论文解读