UMM-JEPA:用连续表征预测替代离散码训练,统一多模模型理解力大涨

Yucheng Zhou · hf · 2026-11-17

澳门大学与腾讯 Youtu Lab 提出 UMM-JEPA,将生成任务重构为对连续视觉理解表征的渐进式(多尺度、由粗到细)掩码预测,像素渲染与表征预训练解耦、后置挂载。

核心发现:传统生成目标(离散视觉码/生成 latent)优化的是与理解感知表征不匹配的合成导向空间,导致生成训练不提升理解。表征预测目标贡献了绝大部分理解提升——对照实验中数据匹配的对照组均值几乎不变。UMM-JEPA 在 16 个视觉基准均值达 51.71,对比仅理解的 Qwen-VL 基线 46.36,文本均值也上升;相比离散码与 latent-flow 目标,向理解的迁移更强更一致。线性探针与视觉证据干预显示更丰富的物体与空间结构、更强的图像信息利用。

原文链接 →

「多模态」频道最新

更多「多模态」频道 AI 资讯 →