Mila 论文：让多模态模型画「思考图」提升跨视角空间推理
aagrawalAA · x · 2026-10-24
Mila、蒙特利尔大学、McGill 与 ServiceNow AI Research 团队的论文《How and What to Imagine? — Visual Thinking for Cross-View Spatial Reasoning》被 EMNLP 2026 接收，将于 10 月 26 日以海报形式展示。
研究要点：
- 任务：跨视角空间推理——模型看同一 3D 房间的两张不同机位照片，回答需要同时用到两个视角的空间问题，需在脑中把局部视图拼成一致布局。
- 核心思路：让统一多模态模型在推理中途生成一张「思考图」（thinking-image）。实验表明生成思考图优于不思考与文本 CoT 基线，域内和五个真实世界域外基准均有效。
- 关键问题一是「让图真正被用上」：标准训练下模型会忽略自己生成的图，作者提出 View Dropout（VDropout）训练法，使思考图被因果性地用于答案而非装饰。
- 关键问题二是「画什么」：对比三种图像类型后，全景图（panorama）是唯一既信息充分又可学习的选择，且域外泛化最好。
- 附带发布 8K 跨视角 QA 数据集、代码与 arXiv 论文。
「研究」频道最新
- OSDI 论文再翻红:轻量级形式化验证能否守住 Vibe Coding 时代 — tianyin_xu · 2026-10-24
- Princeton等推出WorldOracle基准:动作驱动世界模型常幻构成功画面 — jiqizhixin · 2026-10-24
- 手机视频1小时建物理孪生：Berkeley与NVIDIA开源RoboSimStudio — lukas_m_ziegler · 2026-10-24
- 社会科学方法论观点:安慰剂观测量法暗示 IQ 测量可能有问题 — RexDouglass · 2026-10-24
- 「LLM 作为人类代理人」研究登 Nature 子刊十月刊封面 — iyadrahwan · 2026-10-24
- 美国能源部 Genesis Mission 已列 297 个项目并将开源基础模型 — ingliguori · 2026-10-24