V-JEPA-LM:反事实监督让语言模型读懂视频动态,4B 级准确率 61.1→72.1
Keuntae Kim · hf · 2026-11-16
新工作 V-JEPA-LM 提出:对像素变换做反事实监督(同一视频正放/倒放,答案集合由时间反转决定),可以让语言模型从冻结的预测式视频编码器 V-JEPA 中读出运动动态,而非仅依赖静态、文本对齐的表征。
- 动机:字幕与 QA 监督只能学到单帧可回答的内容;SigLIP 类逐帧编码在 token 内几乎不含动态信息,V-JEPA 的时空 tube 表征则编码了动态(速度一致性 κ 达 0.167)
- 做法:冻结 V-JEPA 编码器,单阶段训练,用正/倒放视频对提供成对梯度监督,只有变化本身决定答案
- 效率:训练阶段 3→1,样本 88.5M→4.53M,每帧视觉 token 288→32
- 效果:4B 级 12 项基准平均准确率从 61.1 升至 72.1,用 1/20 的训练数据超过 InternVL3.5-4B、PLM-3B 等开源视频 LLM
「多模态」频道最新
- 73 项水下图像质量指标对照人类偏好:没有一个靠谱,最好 kappa 仅 0.23 — DelhiTechnologicalUniversity · 2026-11-16
- Midjourney 风格码实测:针织刺绣质感的阿迪达斯复古服饰大片 — sergeantsref · 2026-11-16
- TetraCoder:自适应四面体编码,更少参数超越 Instant-NGP — ssh4net · 2026-11-16
- 开源 ComfyUI 节点增强 MiniMax H3 图像条件控制,改善纹理与细节 — Away_Exam_4586 · 2026-11-16
- LTX 音频节点+MiniMax H3 组合技:一次搞定高质量口型同步视频 — CQDSN · 2026-11-16
- 角色概念图一步到位:2D 插画与 3D 渲染同角色对比 — azed_ai · 2026-11-16