USTC 新基准 PhysVista:最强 VLM 物理打分相关性仅 0.61
PhysVista: Benchmarking Physical Intelligence in VLMs via a Perception-Reasoning-Assessment Loop
Xinge Peng, Yiting Lu, Tianwu Zhi, Wen Wen, Jianzhao Liu, Xin Li, Zhibo Chen
NeurIPS 2026 (Main Track)
cs.CV
2026-10-01
中科大等提出 PhysVista 基准,按看见-推理-评估闭环测 16 个 VLM 的物理智能:感知尚可、评估最弱,合理性打分相关性最高仅 0.61。
这篇在解决什么
VLM 看得懂画面之后,到底懂不懂物理?此前的基准各测一段:PhysBench 停在感知层,还有语言捷径,不看视频也能答对;IntPhys2 把评测压成「合理/不合理」二选一,测的是浅层直觉;PAI-Bench 补上了推理,却缺闭环的最后一步,评估。而人对物理的理解是个闭环:先看到状态,再推因果,最后判断这段动态合不合物理。把闭环拆碎测,测不出模型断在哪一环。
还有一个几乎没人系统测过的新问题:生成式视频的产量在涨,里面藏着细微的物理错误,VLM 能不能给这些内容当裁判,直接决定生成质量的自动化评估能否落地。PhysVista(USTC、字节跳动、港城大,NeurIPS 2026)同时冲这两点来。
方法
benchmark 按三个阶段组织:
- 看见:空间状态感知(物体关系、交互、场景条件、空间可行性)、秒级的违规定位(物理错误发生在哪个时间段)、10 类相机运动识别、定量尺度估计(要输出 1/3 这样的分数,不用「大/小」形容词)、不确定性感知(哪些参数从画面推不出、哪些结局本身不确定)。
- 推理:乱序帧还原事件时序,加五个因果任务:机制推理、原理违反识别、动力学预测、反事实推理(隐式改条件,冰面换成石板路再问结果)、违反批判(找出错误并说明怎么改才合理)。
- 评估:给单个视频打 1-5 分的合理性分,以及两两比较谁更合理。
三个设计选择撑起基准质量:
- 区分事件级和尺度级:选项不只区分「发生了什么」,还区分幅度、数量、位置上的细差,能暴露「答对事件、分不清尺度」的模型。
- 防语言捷径:题目全部用固定模板,不含实例变量;带 LLM 腔的样本人工改写;再跑 video-blind 测试,确认不给视频就答不对。
- 数据混用真实视频(WISA-80K)和生成视频(VideoPhy-2,自带 1-5 分标注),相机运动标签用 Multi-CamVideo 的轨迹自动生成。部分 ground truth 由 Gemini 3.1 Pro 起草、人工校验。
结果
测了 16 个模型,从 GPT-6 Sol、Claude Opus 5.5 到 Qwen3-VL-8B:
| 模型 | 感知平均 | 推理平均 | 打分 SRCC | 两两比较 |
| GPT-6 Sol | 68.59% | 62.68% | 0.6141 | 54.00% |
| Claude Opus 5.5 | 65.78% | 67.89% | 0.5702 | 57.00% |
| GPT-5.2 | 64.06% | 49.86% | 0.3328 | 51.00% |
| Gemini 3.1 Pro | 58.28% | 60.20% | 0.3087 | 53.00% |
| Qwen3-VL-8B | 42.19% | 46.70% | 0.0240 | 50.00% |
- 排名在阶段间大幅漂移。GPT-5.2 感知平均第三,推理掉到 16 个模型里的第 14;Gemini 3.1 Pro 推理第三,打分相关性 0.3087 掉到下半区。感知强买不来推理强,推理强也换不来会评估。
- 反事实全员不及格。Counterfactual 最高的 Claude Opus 5.5 只有 49.58%,16 个模型全部低于 50%。时序重建相对容易,Doubao Seed 2.0 Pro 到 91.33%。
- 分数塌缩。Qwen3-VL-8B 和 Kimi K2.5 把大多数视频打成最高分,Gemini 3.1 Pro 和 Grok 4 默认打最低分。真实视频上的「正确」可能只是默认分碰上标签,不是真的会判断。
- 生成视频放大短板。多数任务上生成视频更难,不确定性感知和动力学预测掉得最狠;例外是尺度估计,生成视频反而略好,论文归因于生成画面构图更干净。
两两比较里,真实 vs 生成最容易,生成 vs 生成明显更难;真实 vs 真实最暴露问题:两个视频都合理时模型硬要选一个,不会处理「打平」。
为什么重要
对做视频生成评测和质检的人,这是直接可用的警告:拿 VLM 当裁判前先校准。打分相关性最高 0.61,叠加系统性的塌缩,绝对分数基本不可信;相对比较比绝对打分稳,评测管线应优先用排序。对训练侧,反事实和尺度级推理是当前最清晰的短板,值得定向投数据。PhysVista 的重心不在采新数据,在任务设计和防捷径的评测方法本身,这套做法可以搬到别的领域。
它也是纯诊断工具,不改进任何模型,交付物是一张故障地图。
局限与存疑
- 正文没报总题量和各子任务样本量,只说在附录,细粒度结论的统计功效无从检验。
- 部分 ground truth 由 Gemini 3.1 Pro 起草,而它同时在 16 个被测模型里。有人工校验兜底,残余偏差没有量化。
- 真实视频一律标满分 5 分,假设偏粗:真实素材里的特效和剪辑同样能造成物理异常。
- 相机运动识别只选单一主导运动的片段,离真实混切镜头有距离。
- 模型对比只给点估计,没有置信区间,相差一两个百分位的排名未必稳。
术语
- VLM:Vision-Language Model,同时处理图像/视频和文字的多模态模型。
- SRCC/PLCC:Spearman 与 Pearson 相关系数,衡量模型打分与人工标注的一致性。
- video-blind 评测:只给题目不给视频测模型,检查数据集有没有语言捷径。
- 事件级 / 尺度级:事件级判断「发生了什么」,尺度级要求分辨幅度、数量、位置的细差。
- 分数塌缩(score collapse):模型把绝大多数预测集中在同一分数档,失去区分度。
原文与代码
相关论文
全部论文解读