上海AI Lab发布SpatialASM,让视觉模型主动设想视角做空间推理
Shanghai-AI-Laboratory · hf · 2026-10-13
上海AI Lab联合港中文、复旦等机构发布 SpatialASM 框架,提出 Active Spatial Mentalization(ASM)概念:人在解空间推理题时会主动切换视角、在脑中重建场景布局,而当前 LVLM 普遍缺乏这一能力。
- 通过训练时空间模拟,用 allocentric 新视角生成器把假想视角锚定在视觉证据上,产出两类监督信号:显式 ASM 轨迹(教模型何时/如何调用视角规划与想象)和自动构造的视角转换任务
- 在 7 个空间理解基准上,对 4 个 LVLM 骨干均带来平均准确率提升,且不损害原有通用视觉能力
- ASM 轨迹合成提供了可扩展路径,缓解空间 CoT 监督数据稀缺问题
「多模态」频道最新
- Midjourney 意外角色风格配方:一组 sref 加 chaos 出怪诞毛绒人偶 — ciguleva · 2026-10-13
- 深海搬家名场面:蒸汽朋克机械蟹驮着庄园行走海底 — lukmanfebrianto · 2026-10-13
- Muse Wonder 登 BuildingBench:照片转 3D 建筑得 70.3 分排第 12 — Lianhuiq · 2026-10-13
- 深夜偶遇的 AI 美女:一张几乎乱真的人像生成图 — jordanbayne · 2026-10-13
- 金属质感 AI 生成图惊艳:机械神像与玻璃圣女,细节精致到发光 — adamho · 2026-10-13
- Midjourney 出图参数组合分享:chaos 30 搭 sref 双风格参考 — ciguleva · 2026-10-13