浙大开源 PhyEdit：用 3D 几何指导图像编辑

量子位 · wechat · 2026-08-13

浙江大学 ReLER 团队提出并开源了 PhyEdit，一种利用显式 3D 几何 preview 指导 DiT 图像编辑的模型，解决了传统模型在处理物体远近、遮挡和多物体操作时容易“翻车”的问题。

该方法将几何模块与生成模型解耦：先估计场景深度和相机参数，在 3D 空间中移动物体点云生成粗糙 preview，再由生成模型恢复纹理和细节。团队还发布了真实场景数据集 RealManip-40K 和评测基准 ManipEval。实验表明，PhyEdit 在三维精度上远超现有商业模型，且保留了良好的普通编辑能力。