用运动探针推断物理属性
新智元 · wechat · 2026-07-16
PhyMAGIC 试图解决“单张图像不够理解物理属性”的问题：不直接猜物体参数，而是先生成有针对性的运动探针视频，再用视觉语言模型从这些运动中提取物理证据并迭代修正判断。 ### 方法要点 - 先用图生视频模型生成自由落体、碰撞、挤压、旋转、侧推等运动探针。 - 从视频中挑选关键帧交给 VLM 推断材料、质量、密度、杨氏模量、泊松比、屈服应力等参数，并为每个参数估计置信度。 - 低置信度时自动改写运动指令，再生成更有针对性的证据，形成“观察—推断—再观察”的闭环。 - 研究还把物理参数和模拟器执行参数合并成 HPP，并结合 3D Gaussian Splatting 与 MPM 模拟，渲染可从多视角观察的动态 3D 对象。 ### 结果与局限 - 在 PhysGaussian、PhysGen 和互联网单图场景上测试后，PhyMAGIC 的 CLIP 相似度和 Image-Motion-FID 表现优于多个对比方法。 - 61 名参与者在物理合理性和文本一致性评分上，也更偏向它。 - 但它仍受限于单图 3D 重建质量、VLM 物理参数估计精度，以及对复杂关节结构和多物体交互的支持不足。