南洋理工 UMM 研究:原生多模态中理解与生成互相增益但共享有冲突
jiqizhixin · x · 2026-09-23
南洋理工大学 MMLab 发布论文《Uncovering Understanding–Generation Synergy in Native Unified Multimodal Models》,在受控的原生多模态设定下检验「视觉理解与生成能否互相帮助」。
- 采用像素进/像素出的原生多模态架构,避免引入额外的视觉表征先验,分表征、任务、系统三个层级分析
- 表征层:冻结特征探测显示,加入生成训练能让理解特征在 ImageNet 分类、ADE20K 分割、NYUv2 深度估计上表现更好——生成训练帮助理解学到更好的视觉表征
- 但简单的联合共享会产生冲突:理解能力提升的同时,生成端出现(摘要截断处提及的)负面影响,两者会竞争模型容量
结论指向:统一多模态模型中理解与生成存在真实的协同,但需要超越简单参数共享的架构设计才能兑现。
「多模态」频道最新
- Reddit 用户用 AI 生成分集短剧：异常体已删掉她父母，正在重写整座城市 — Crazy-Baker-8828 · 2026-11-12
- Runway 发布 27B MoE 世界行动模型 Praxis-1,Fast 版中位延迟仅 73ms — ChongZzZhang · 2026-11-12
- MiniMax H3 Image 生成 3D 游戏场景比 GPT Image 快 3 倍 — HeyToha · 2026-11-12
- Ditto 视频换人工具发布:任意视频主角可换成任何人 — yoobinray · 2026-11-12
- Fable 5.2 像素艺术+高斯泼溅惊艳出圈，网友晒生成效果图 — Flomerboy · 2026-11-12
- Reddit 用户分享 AI 生成动画《Bubblegum Adventures》万圣节特集 — Zard-Oz · 2026-11-12