像素空间评测显示，图像生成模型也会空间推理
OmniAI-ZJU · hf · 2026-07-24
这篇工作在做什么
ProVisE（Protocolized Visual Evaluation） 是一个与具体 benchmark 无关的评测框架，目的在于用“图像生成模型在像素空间里直接作答”的方式评估空间认知，而不是强行要求它们输出文本或坐标。
为什么需要它
很多空间任务本质上发生在连续视觉场景中，更适合用点选、标记、画图来表达；但现有 benchmark 往往要求坐标、多选或文本，和图像生成模型的表达方式不匹配。
主要组成
- 一套协议约束的视觉答案格式，可解析成结构化预测并接回原有指标
- 一个 Agentic builder，用于为新 benchmark 自动构建并验证任务协议
- SpatialGen-Bench：一个诊断型 benchmark，包含 470 个样本、14 个空间子任务、4 个能力层级和多种答案形式
结论
- 当允许模型直接在像素空间表达空间答案时，图像生成模型表现相当有竞争力。
- 但在组合式空间推理上，文本输出的 VLM 仍然更强。
- 研究还在 6 个外部空间 benchmark 上验证了协议构建的有效性。
意义
这项工作强调：评测接口本身会显著影响模型表现，像素空间表达能揭示纯文本测试看不到的能力。
「多模态」频道最新
- Magnific 预告 10 月 28 日上线新功能：「We're making it move」 — cuenca · 2026-10-27
- Midjourney --sref 实测：美式复古风 Batman 插画三连 — gizakdag · 2026-10-27
- AI视频既非电影也非动画，创作者称它最擅长呈现梦境与潜意识 — Kyrannio · 2026-10-27
- 把儿子 31 年前的童言写成歌再喂给 SUNO：一首「大象饮料」儿童合唱 — NathanpmYoung · 2026-10-27
- RTX 3060 本地产 AI MV 播破 20 万:900 张图留 64 张,3 秒切片防崩脸 — Hwang0500 · 2026-10-27
- Firefly 视频编辑器实测：一句话 Quick Cut 将 32 秒素材剪成 20 秒 — LudovicCreator · 2026-10-26