Where-OPD:用合成场景做空间引导自蒸馏,多模态感知提升 3.23 分
valeocorg · hf · 2026-10-02
论文 Where-OPD 提出一种面向多模态大模型(MLLM)的在线自蒸馏新方法。与依赖人工标注 grounding 数据或外部教师模型的现有方案不同,其教师模型获得的是文本形式的空间引导信息,用于指出与问题相关的视觉元素;训练数据采用程序化生成的合成场景,天然自带物体身份与空间坐标,无需人工标注,可规模化进行后训练。
方法要点:
- 教师(EMA 版本)利用空间指引定位并整合多个相关图像区域的证据
- 学生模型仅凭图像和问题学会复现这一行为
- 后训练只用合成场景,但提升能迁移到真实世界感知基准
结果: 在 CVBench、V、ZoomBench、BLINK、HR-Bench、MME-RealWorld 六个基准上平均提升 3.23 分,覆盖计数、文档与图表理解等任务,展示了从合成到真实的显著迁移能力。项目页:github.com/sirkosophia/Where-OPD
「多模态」频道最新
- 开源本地 TTS 模型 Inflect v3 发布:最小版仅 15.7 万参数,Apache 2.0 — pmttyji · 2026-11-17
- Seedance 2.5 实测:好莱坞级电影感动作镜头 — SimplyAnnisa · 2026-11-17
- RelayVSR 开源 4 倍视频超分实测:144p 片段 4070 上 2 分钟跑完 — Ant_6431 · 2026-11-17
- 用户实测 Suno 生成噪音鼓点+无调性钢琴的数学摇滚歌曲 — AndyMasley · 2026-11-17
- 用 Seedance2.5 生成《罗摩衍那》漫画:神鸟 Jatayu 最后一战 — CurieuxExplorer · 2026-11-17
- 创作者用 Mangaka 工具把史诗《罗摩衍那》改成漫画第一章 — CurieuxExplorer · 2026-11-17