Apple-PI 评测 11 个视频模型的物理推理上限仅 0.473
mmlab-ntu · hf · 2026-07-21
Apple-PI 用物理定律评测视频模型推理
这篇工作指出，现有视频基准大多只看结果像不像“符合物理”，却很少验证模型是否真的沿着可信的物理推理过程得到答案。为此，作者提出了一个明确锚定物理定律的视频模型基准 Apple-PI。
核心组成
- Orchard：包含 400 个视频，覆盖经典力学中的 10 类典型任务。
- 三阶段协议：感知 → 公式化 → 演绎，对应科学推理的流程。
- 使用带信息图标注的首帧进行 chain-of-frames 提示，把生成视频视为可见推理轨迹。
- 评测系统同时结合 MLLM 主观打分 和 物理定律约束的客观指标。
主要结论
- 对 11 个模型 的测试显示，最佳视频模型也只有 0.473。
- 模型在“感知→公式化→演绎”之间存在明显瓶颈。
- 多定律状态迁移能力仍然较弱。
- 结果表明，当前视频模型距离真正可靠的、基于物理定律的世界模拟器还有明显差距。
所属事件:Apple-π基准测试直击视频模型物理推理短板(3 条相关)→
「多模态」频道最新
- 3D ResNet 论文八年突破 3000 引用，Kinetics 数据集成里程碑 — HirokatuKataoka · 2026-09-11
- 零编程经验者用 ChatGPT 开发 ComfyUI 安卓客户端将上架 — ComfierUI · 2026-09-11
- FastH3-Live 升至 22fps：加速节点实测与 ComfyUI 显存避坑 — spartong945 · 2026-09-11
- Midjourney 风格参考分享:--sref 2912175708 — tisch_eins · 2026-09-11
- Astra 分镜+Minimax H3 分镜逐帧生成，视频创作成功率大增 — Hailuo_AI · 2026-09-11
- Hailuo 转推：MiniMax H3 MAX 一发生成 15 秒美食动画短片 — Hailuo_AI · 2026-09-11