SATE-Bench:316 场景 2525 问,测出 MLLM 主动空间探索会过早自信收手
Tianchen Guo · hf · 2026-10-27
多所高校联合发布 SATE-Bench,一个评估 MLLM「以自我为中心主动探索」空间理解的交互式基准,含 316 个真实场景、2525 个多轮 QA。
- 设置 Passive 多视角对照与 Active 探索两种模式:模型从严重遮挡视角出发,须迭代查询相邻视角直到收集足够证据,按步数惩罚计分
- SOTA 模型普遍过早终止探索却报告高置信度,且在细粒度 3D 几何任务上表现差
- 匹配视角对照实验表明 Active–Passive 差距主要源于证据获取不足而非感知本身
- 用 GRPO 微调奖励「主动找视角」会提升探索行为但降低整体准确率——模型过度探索且无法跨轮融合多视角信息
结论:扩大被动多视角感知并不能自动带来主动空间推理,模型需要学会往哪看、如何融合、何时停止。代码与数据已开源。
「多模态」频道最新
- 无审查版 Wan 1.3B 上架 Hugging Face,8GB 显存本地跑视频生成 — Promptmethus · 2026-10-27
- 插画与真人虎头帽神还原,AI 复刻精度引热议 — gizakdag · 2026-10-27
- Gradium 开源 TTS 可在 iOS/macOS 离线跑,附三家横评 — amos_gyamfi · 2026-10-27
- 两年前的补丁仍有效:ComfyUI 加载慢 11 倍的老毛病没修 — Solongtomegrandma · 2026-10-27
- 29 美分生成的岩浆滑梯视频,第一视角真实到离谱 — Certain_Menu_8412 · 2026-10-27
- AI 房产视频完整提示词曝光:分镜脚本、口型同步与构图规则全公开 — FinanceYF5 · 2026-10-27