V-JEPA-LM 发布:1B-8B 视频语言模型读懂数字,4B 平均 72.1 分
_akhaliq · x · 2026-11-17
V-JEPA-LM 系列模型(1B-8B)将冻结的 V-JEPA 2.1 视频编码器接入 LLM,并用反事实监督(counterfactual supervision)训练,使其能读取视频中的方向、速度与顺序等动态信息,而非只靠单帧描述。
- 在 11 个视频 benchmark 上,各尺寸级别均领先;4B 版平均 72.1 分,超过所有开源模型。
- 方法上只用一个训练阶段、约 453 万训练样本、每帧 32 个视觉 token,效率高。
- 模型已在 Hugging Face 开源。
所属事件:V-JEPA-LM 发布:反事实监督让语言模型读懂视频(2 条相关)→
「多模态」频道最新
- 等不及 GTA 6,法国博主用 AI 做出马赛版开放世界 — Dimillian · 2026-11-17
- AI 生成「草原夜曲」:夕阳长颈鹿下的巨幅超现实画面惊艳网友 — cosmoxtraveller · 2026-11-17
- YouArt 推出最便宜 Seedance MCP:每秒 0.0918 美元,低于成本售卖 — nikola_mr64990 · 2026-11-17
- Reddit 用户探讨用 Minimax H3 图像模型做二段潜空间放大到 20-64MP — Majestic-Ad-1336 · 2026-11-17
- Diffusers 非官方指南:几行代码加载 IDOL 单图转 3D 高斯泼溅 — RisingSayak · 2026-11-17
- LichtFeld Studio 为高斯泼溅场景加入碰撞支持,可行走探索 — janusch_patas · 2026-11-17