DeepMind 提出 FlipTest 基准:视频世界模型全部不及格,最好模型低于随机猜
AlexGDimakis · x · 2026-11-12
Google DeepMind 实习生 Romy Luo 与 Dimakis 等人发布 FlipTest 基准,检验视频世界模型是否真的「学到了世界状态」。
核心思路:最小对(mminimal pairs)。每个任务由一对几乎完全相同的初始帧构成,分别位于某个物理临界点的两侧,真实结局相反:比如书本堆靠在小支架上会倒,支架被抽走则立住;积木右移 1mm 会掉下桌,左移 1mm 则稳住。真正的世界模型应该在这两种场景下给出相反的预测。
主要发现:
- 基准由模拟与真实世界任务组成,覆盖 tipping point 两侧的极小差异
- 当前视频世界模型基本全部失败:即使最好的模型,整体成绩也低于随机猜测
- 更大的模型、更新的 checkpoint、物理信息预训练、reasoning 微调都未能解决
作者指出这类模型被广泛用作机器人、规划与自动驾驶的世界模型,但它们并没有学到决定结果差异的底层世界状态。论文与代码尚未放出,已有博客与视频讲解。
「研究」频道最新
- 用 Lean 形式化重建税务法院判例:法律推理遇上证明助手 — SnooPeripherals5313 · 2026-11-12
- Anthropic 研究：多用户各派自己的 Agent 反而把共享资源协作搞砸 — AndrewLampinen · 2026-11-12
- AI 推理效率学者赵航阳实验室 2027 年迁至 UT Austin，招收多名博士 — hongyangzh · 2026-11-12
- Axiom 把 20 年积累的 Stacks Project 形式化进 Lean,可当城市浏览 — TheTuringPost · 2026-11-12
- 研究:注意力电路早在训练初期就定型,最终模式近乎随机选定 — burny_tech · 2026-11-12
- 可视化数学作者新视频：复平面上各类函数之美 — doodlestein · 2026-11-12