UMM-JEPA:用连续表征预测替代离散码训练,统一多模模型理解力大涨
Yucheng Zhou · hf · 2026-11-17
澳门大学与腾讯 Youtu Lab 提出 UMM-JEPA,将生成任务重构为对连续视觉理解表征的渐进式(多尺度、由粗到细)掩码预测,像素渲染与表征预训练解耦、后置挂载。
核心发现:传统生成目标(离散视觉码/生成 latent)优化的是与理解感知表征不匹配的合成导向空间,导致生成训练不提升理解。表征预测目标贡献了绝大部分理解提升——对照实验中数据匹配的对照组均值几乎不变。UMM-JEPA 在 16 个视觉基准均值达 51.71,对比仅理解的 Qwen-VL 基线 46.36,文本均值也上升;相比离散码与 latent-flow 目标,向理解的迁移更强更一致。线性探针与视觉证据干预显示更丰富的物体与空间结构、更强的图像信息利用。
「多模态」频道最新
- 北大联合腾讯混元推 MovieRoll:流式长视频生成延展至 60 秒 — Yunyang Ge · 2026-11-17
- 厦门大学联合复旦推 GlyphAtlas:字形图谱分离笔画与布局,场景文字合成更精准 — Luozheng Qin · 2026-11-17
- Google 文档中现「veo-experimental」模型,新 Veo 或在途 — koltregaskes · 2026-11-17
- 3 万个 LoRA 卡到打不开,他用 ChatGPT 写了个 Forge 扩展救场 — Artistic-Account-423 · 2026-11-17
- AI 生成哥斯拉降临东京街头,路人四散奔逃画面逼真 — Careful-Loquat-8117 · 2026-11-17
- AI 视频演绎愤怒如何疏远亲子关系,引发共鸣 — HeyZoyaKhan · 2026-11-17