北航与美图推出 PhysInsert：几何先验实现物理合理的参考图物体插入

Yue Gong · hf · 2026-10-30

北航、美图 MT Lab 与清华团队提出 PhysInsert，一个基于参考图的物体插入框架，联合适配物体与其周围场景。现有方法依赖遮罩输入或视角变化有限的训练对，姿态与光照适配及双向物体-场景交互约束不足。

团队构建了 Insert World 数据集，包含严格对齐的 Blender 渲染反事实对及跨视角、跨光照的物体参考；Geometry-Guided Adaptation 将 VGGT 几何流与图像、文本流结合，以目标场景特征监督引导空间一致的插入；2D Object-Scene Spatial Supervision 联合监督物体占用与环境变化，并通过图像-文本注意力将空间指令锚定到物体区域。