2026-09-25
从单张图按支撑关系逐个移除物体直到背景。方法不训练：对每个物体做多次inpainting，补全越多样越先拆。NYU成对91.32%，难例65%，56张全场71.43%。
检测和分割已经很强，但「这个杯子能不能先拿走」仍然不是标准任务。机器人收拾桌面、图像编辑里要保持物理合理，靠的是物体之间的支撑、遮挡、共现，不是类别标签。
TTIC 的 Anand Bhattad 和 UC Berkeley 的 Konpat Preechakul、Alexei Efros 把这件事做成 Visual Jenga：给一张图，一次抠掉一个物体，直到只剩背景，中间每一帧都要几何上站得住、看起来不会塌。任务规定输入输出都是图像。纯文本答案比如「先拿走桌上的书」被明确排除，因为不定位，也容易靠语言先验蒙对。
核心观察是共现不对称。网上搜「杯子」，图里几乎总有桌子；搜「桌子」，杯子很少出现。写成条件概率就是 P(桌子|杯子) 远大于 P(杯子|桌子)。杯子依赖桌子，桌子不依赖杯子。
他们把这个量估成一次反事实补全：把物体 A 从画面里挖掉，用生成模型填这个洞，看洞里还能填出什么。填出来五花八门，说明这个位置谁来都行，A 更像可拆件；填出来几乎总是同一类支撑结构，说明场景离不开它，应该后拆。猫坐在桌上时，挖掉猫能补出各种东西，挖掉桌子则反复补出承重面。
流水线四步，全部用现成模型，不训练：
diversity 是 1 减去 CLIP 相似度均值，再乘上 DINO 那一项，并按 mask 面积占比做了归一。单独用 CLIP 或 DINO 在 NYU 上差不多，难例上两个一起才拉开。这套方法不建 3D、不跑物理仿真，赌的是大规模 inpainting 模型已经把「什么叫结构完整的场景」记进权重里。
评测分三块。成对排序给两个 mask，问谁先拆，机会水平 50%。全场拆解要一路抠到背景，人工判整条序列 pass 或 fail。
| 方法 | NYU-v2 成对（668） | HardParse 成对（40） | 全场拆解（56） |
| 从上到下 | 59.14% | 52.25% | 41.07% |
| 从小到大 | 90.12% | 50% | 42.85% |
| 从前到后（单目深度） | 37.57% | 52.5% | 8.92% |
| Counterfactual Inpainting | 91.32% | 65% | 71.43% |
NYU-v2 用 Yang 等人的室内支撑标注，筛出 485 张图、668 对无歧义顺序，枕头在床上这种。小到大启发式已经 90.12%，他们 91.32%，只多 1.2 点。拉开差距的是另外两套：HardParse 是 40 对乱桌、堆叠、悬挂和倚靠，人工标了实例级 mask；56 张全场拆解同样来自自拍照和网上搜「messy desk」一类关键词。最好的启发式全场 42.85%，他们 40/56 过关。
CLIP 和 DINO 必须一起用。去掉 DINO：NYU 89.52%、HardParse 55%；去掉 CLIP：90.27%、57.5%；两个一起才把 HardParse 拉到 65%。样本数也敏感：HardParse 上 N=2 或 4 就是 50%，N=8 到 62.5%，N=16 到 65%，再加收益很小。
附录拿 GPT-4o（2024 年 11 月）接了三条生成链：DALL·E 直接出下一帧、InstructPix2Pix 执行「Remove <物体>」、以及 Molmo+SAM+Firefly 把文字顺序落到像素。文字顺序经常对，落到图像上就不稳：同类物体描述含糊、Molmo 指错第几只杯子、生成模型改图改崩。论文没给 VLM 的成对数字，只给了失败案例。
正文 4.1 节写 HardParse 是 28/40=70%，Table 1、Table 2 和 N 消融都写 65%。下面按表格。
这是一个评测接口，也是一次「生成模型到底记没记住支撑关系」的探针。做物体擦除、场景编辑、拆解规划，可以直接拿这套 ranking 当无训练基线：Molmo、SAM 2、SD 1.5 都是现成的，不用标注。
判断要按数据集拆开。NYU 上几乎没赢过「先拿小的」，室内常规支撑被尺寸先验覆盖了。方法真正有用的地方是堆叠和倚靠。它说明统计共现足够解决一部分依赖排序，没有证明物理引擎可以扔掉。
作者自己列了几条。慢，每个物体要跑多次 inpainting。只出一条顺序，人可以同时想几种拆法。Molmo、SAM、Firefly 任一挂了整条挂：阴影让 Firefly 往洞里塞回新物体，Molmo 漏掉第三只杯子，SAM 只切了显示器屏幕。没有显式物理，只吃共现。物体粒度没定义，一张纸还是一摞纸，分割本身就含糊，全场 71.43% 是人工 pass/fail，不能当排行榜读。
附录 E 写 HardParse 被用来选超参，正文又说从未用于超参选择。这两句在同一篇补充材料里对不上。VLM 基线没有做成对准确率，无法判断 GPT-4o 的文字顺序比 65% 强还是弱。Firefly 是闭源商业 API，复现成本不低。作者建议下一步用视频生成模型当世界模拟器，去估干预分布 P(A | do(¬B))，这篇没做。