浙大提出ProVisE:让生成模型画图证明空间认知
机器之心 · wechat · 2026-08-08
浙江大学 OmniAI 团队提出了 ProVisE 框架，改变了传统通过输出坐标或文字来评估 AI 空间认知的方式，转而让图像生成模型直接在图中“画出”答案。
ProVisE 框架机制
- 视觉协议：通过引导提示，让模型在图像上直接标记目标、生成深度图或画出运动轨迹，随后利用解析器将视觉答案还原为结构化数据进行评分。
- 自动化构建：内置 Agentic Builder，能够根据不同空间任务的输入和评分规则，自动构建并验证相应的“生成-解析”协议。
SpatialGen-Bench 测试基准
团队构建了涵盖空间感知、理解、推理和交互四个层级共 14 项子任务的测试集。
实验结论
- 生成模型的优势：在需要直接视觉感知的任务上，生成模型展现出更强的“空间直觉”，与文本模型具有明显的互补性。
- 文本模型的优势：在需要抽象推理（如计数、几何可行性判断）的任务上，文本输出 VLM 依然保持领先。
所属事件:浙大推ProVisE框架让AI画图证明空间认知(2 条相关)→
「多模态」频道最新
- 4070 实测：Flux.3 klein 蒸馏版 10 秒 vs Qwen Image 2.1 turbo 3 秒 — Ant_6431 · 2026-10-16
- Kling 4.0 全面开放,实测快打场景动作连贯性显著提升 — alifcoder · 2026-10-16
- MJev-Spatial:单次前向分类框架做空间推理,快过自回归 VLM — mindlab-research · 2026-10-16
- Technion 提出 H-DDCM:Hadamard 码本加速生成式图像视频压缩 — Technion · 2026-10-16
- ComfyUI 发布 v0.41.0:新增 Flux3 图像与 MiniMax-H3 LightVAE 支持 — Fcking_Chuck · 2026-10-16
- AI 生成短片《龙骑士》:云海之上御龙飞行的电影级画面 — jijo6686 · 2026-10-16