Apple-π：首个基于物理定律的视频推理评测基准
jiqizhixin · x · 2026-08-10
现有视频生成模型常被视作掌握了物理规律的世界模型，但现有评测往往只看输出结果，不验证模型是否真的基于物理定律进行推理。为此，研究者提出了 Apple-π 基准测试，包含三个核心组件：
- Orchard 数据集：包含 400 个涵盖经典力学 10 项任务的视频，分为单定律任务（用于无混淆诊断）和多定律任务（测试泛化能力）。
- 三阶段评测协议：基于科学推理的感知、公式化和推演，将生成的视频视为模型的可见推理轨迹。
- 混合评估套件：结合多模态大模型的主观评分与基于物理定律的客观指标，不仅能诊断模型是否失败，还能定位失败发生在哪个阶段。
对 11 个模型的测试表明，当前视频模型距离成为可靠的、基于定律的世界模拟器还有很大差距。
「研究」频道最新
- 单个智能体搞定一切：ReASearch 统一提示词与 ML 工作流优化 — _reachsumit · 2026-08-10
- Sakana AI 总结「AI Scientist」进展：端到端科研自动化 — SakanaAILabs · 2026-08-10
- NBER 论文探讨 AI 智能体经济学：交易成本骤降重塑市场设计 — danielrock · 2026-08-10
- Meta 推出 SYF：基于 LLM 的实时交互式推荐智能体 — _reachsumit · 2026-08-10
- Naver Webtoon 提出推荐模型三阶段对齐框架 — _reachsumit · 2026-08-10
- 音乐推荐新基准：六大音频嵌入模型实证对比 — _reachsumit · 2026-08-10