USTC 新基准 PhysVista:最强 VLM 物理打分相关性仅 0.61

PhysVista: Benchmarking Physical Intelligence in VLMs via a Perception-Reasoning-Assessment Loop

Xinge Peng, Yiting Lu, Tianwu Zhi, Wen Wen, Jianzhao Liu, Xin Li, Zhibo Chen

NeurIPS 2026 (Main Track)

cs.CV

2026-10-01

中科大等提出 PhysVista 基准,按看见-推理-评估闭环测 16 个 VLM 的物理智能:感知尚可、评估最弱,合理性打分相关性最高仅 0.61。

这篇在解决什么

VLM 看得懂画面之后,到底懂不懂物理?此前的基准各测一段:PhysBench 停在感知层,还有语言捷径,不看视频也能答对;IntPhys2 把评测压成「合理/不合理」二选一,测的是浅层直觉;PAI-Bench 补上了推理,却缺闭环的最后一步,评估。而人对物理的理解是个闭环:先看到状态,再推因果,最后判断这段动态合不合物理。把闭环拆碎测,测不出模型断在哪一环。

还有一个几乎没人系统测过的新问题:生成式视频的产量在涨,里面藏着细微的物理错误,VLM 能不能给这些内容当裁判,直接决定生成质量的自动化评估能否落地。PhysVista(USTC、字节跳动、港城大,NeurIPS 2026)同时冲这两点来。

方法

benchmark 按三个阶段组织:

• 看见:空间状态感知(物体关系、交互、场景条件、空间可行性)、秒级的违规定位(物理错误发生在哪个时间段)、10 类相机运动识别、定量尺度估计(要输出 1/3 这样的分数,不用「大/小」形容词)、不确定性感知(哪些参数从画面推不出、哪些结局本身不确定)。
• 推理:乱序帧还原事件时序,加五个因果任务:机制推理、原理违反识别、动力学预测、反事实推理(隐式改条件,冰面换成石板路再问结果)、违反批判(找出错误并说明怎么改才合理)。
• 评估:给单个视频打 1-5 分的合理性分,以及两两比较谁更合理。

三个设计选择撑起基准质量:

• 区分事件级和尺度级:选项不只区分「发生了什么」,还区分幅度、数量、位置上的细差,能暴露「答对事件、分不清尺度」的模型。
• 防语言捷径:题目全部用固定模板,不含实例变量;带 LLM 腔的样本人工改写;再跑 video-blind 测试,确认不给视频就答不对。
• 数据混用真实视频(WISA-80K)和生成视频(VideoPhy-2,自带 1-5 分标注),相机运动标签用 Multi-CamVideo 的轨迹自动生成。部分 ground truth 由 Gemini 3.1 Pro 起草、人工校验。

结果

测了 16 个模型,从 GPT-6 Sol、Claude Opus 5.5 到 Qwen3-VL-8B:

• 排名在阶段间大幅漂移。GPT-5.2 感知平均第三,推理掉到 16 个模型里的第 14;Gemini 3.1 Pro 推理第三,打分相关性 0.3087 掉到下半区。感知强买不来推理强,推理强也换不来会评估。
• 反事实全员不及格。Counterfactual 最高的 Claude Opus 5.5 只有 49.58%,16 个模型全部低于 50%。时序重建相对容易,Doubao Seed 2.0 Pro 到 91.33%。
• 分数塌缩。Qwen3-VL-8B 和 Kimi K2.5 把大多数视频打成最高分,Gemini 3.1 Pro 和 Grok 4 默认打最低分。真实视频上的「正确」可能只是默认分碰上标签,不是真的会判断。
• 生成视频放大短板。多数任务上生成视频更难,不确定性感知和动力学预测掉得最狠;例外是尺度估计,生成视频反而略好,论文归因于生成画面构图更干净。

两两比较里,真实 vs 生成最容易,生成 vs 生成明显更难;真实 vs 真实最暴露问题:两个视频都合理时模型硬要选一个,不会处理「打平」。

为什么重要

对做视频生成评测和质检的人,这是直接可用的警告:拿 VLM 当裁判前先校准。打分相关性最高 0.61,叠加系统性的塌缩,绝对分数基本不可信;相对比较比绝对打分稳,评测管线应优先用排序。对训练侧,反事实和尺度级推理是当前最清晰的短板,值得定向投数据。PhysVista 的重心不在采新数据,在任务设计和防捷径的评测方法本身,这套做法可以搬到别的领域。

它也是纯诊断工具,不改进任何模型,交付物是一张故障地图。

局限与存疑

• 正文没报总题量和各子任务样本量,只说在附录,细粒度结论的统计功效无从检验。
• 部分 ground truth 由 Gemini 3.1 Pro 起草,而它同时在 16 个被测模型里。有人工校验兜底,残余偏差没有量化。
• 真实视频一律标满分 5 分,假设偏粗:真实素材里的特效和剪辑同样能造成物理异常。
• 相机运动识别只选单一主导运动的片段,离真实混切镜头有距离。
• 模型对比只给点估计,没有置信区间,相差一两个百分位的排名未必稳。

术语

• VLM:Vision-Language Model,同时处理图像/视频和文字的多模态模型。
• SRCC/PLCC:Spearman 与 Pearson 相关系数,衡量模型打分与人工标注的一致性。
• video-blind 评测:只给题目不给视频测模型,检查数据集有没有语言捷径。
• 事件级 / 尺度级:事件级判断「发生了什么」,尺度级要求分辨幅度、数量、位置的细差。
• 分数塌缩(score collapse):模型把绝大多数预测集中在同一分数档,失去区分度。

原文与代码

• arXiv 2610.00559v1
• PDF
• Hugging Face
• GitHub · https://github.com/Helen1p/PhysVista

相关论文

• 同耗时重配层和步，Hunyuan上PSNR提高11.8dB
• 从零训练的ViT-B状态编码器，误差追平3.5倍大的V-JEPA 2-L
• 零训练、无分割头,冻结 MLLM 直接画 B 样条掩码,多项基准超过 SAM 3
• 点「查看订单」却出登录页，LGWM 17毫秒验到 0.987 AUC
• 非对称蒸馏稳住多轮修图，十轮一致性从3.03到3.85
• 主动建图最强平均IoU 41.71%，>0.9仅3.25%

全部论文解读