Chat-Edit-3D++: Interactive 3D and 4D Scene Editing via Large Language Models
Shuangkang Fang, Yufeng Wang, Yi-Hsuan Tsai, Wenrui Ding, Yi Yang, Shuchang Zhou, Ming-Hsuan Yang
cs.CV
2026-08-29
CE3D++用Hash-Atlas把3D/4D编辑改写成2D图集操作并由LLM调度30多个视觉工具，相对LNA的PSNR高1.1到5.1 dB、训练快14到18倍，Qwen-14B微调后多步成功率从69%到89%。
文本驱动的 3D 编辑大多把 2D 视觉模型和 3D 重建焊在一条管线上。Instruct-NeRF2NeRF 一类迭代法要把 2D 编辑反复嵌回场景；监督法用 2D 模型当 3D 损失；去噪法则先建模多视图不一致。换一个 2D 工具就要重做耦合，输入句式也被锁死，很难做成能闲聊的设计工具。
北航、旷视和 UC Merced 的 CE3D++ 把 3D/4D 编辑改写成对 2D 图集的操作，用 LLM 当调度器，自由文本调用视觉工具。这是 ECCV 2024 Chat-Edit-3D 的期刊扩展：从静态 3D 接到单目 4D，工具从约 20 个扩到 30 个以上。
Hash-Atlas 把每个像素坐标 (x, y, t) 映到前景、背景两套 UV，再预测前景权重 α。哈希编码的 Fh 在 UV 上出 RGB，原视图按 α 混合还原。图集改完，不用重训就能映回各视角。为了少歪、少漏，训练先用第 0 视角做位置预热，用 VQA 加分割得到前景 mask 监督 α，再用 ProPainter 补背景后加 inpainting 损失，外加刚性约束和光流约束。
4D 另加 pivot motion loss。选可见范围最大的帧当枢轴，用 CoTracker3 追关键点，强迫同一点在不同时刻映到图集同一坐标，减轻运动遮挡把图集撕坏。编辑时不把两张图集分开改：只动背景就改背景；否则先叠成一张完整图再改，再用 mask 拆回去。
对话系统把场景文件收成无语义的 xxx.scn 字符串，逼 LLM 别编文件名。LLM 按「要不要工具 / 哪个工具 / 什么参数」循环调用，执行器改图集。作者做了 1000 条轨迹微调数据，9:1 划分，测试集里有 8 个训练没见过的工具，用来把小模型的调度准确率拉上来。
相对视频图集方法 LNA，Hash-Atlas 在 LLFF、Tanks and Temples、IBRNet、自建 CE3D-collect、DyCheck、DynamicNeRF 上 PSNR 高 1.1 到 5.1 dB，训练快 14.2 到 18.6 倍，推理 FPS 高 7.6 到 9.0 倍。LLFF 上训练从 10.75 小时降到 0.60 小时，FPS 从 0.66 到 5.93。
编辑对比用 CLIP 相似度和 CLIP Directional Score。LLFF 上 CE3D++ CLIP 相似 0.304，对照 EditSplat 0.188、RoMaP 0.224、DN2N 0.193；编辑时间 5.6 分钟，对照 16.4 到 26.5 分钟。4D 的 DyCheck 上 CLIP 相似 0.313，对照 CTRL-D 0.186、Instruct-4DGS 0.223、Dynamic-eDiTor 0.236，时间 15.9 分钟对 43.5 到 66.8 分钟。显存不是全面领先：LLFF 上 CE3D++ 峰值 12.6 GB，DN2N 只有 8.4 GB。
Qwen-14B 在复杂多步指令上的成功率从 69% 提到微调后的 89%，few-shot 只到 76%。条件编辑失败率从 17% 降到 7%，Hard（大于 5 轮）从 21% 降到 10%。去掉场景名敏感或执行器，系统会直接编不出结果或改错对象。
把 2D 编辑和 3D 重建解开之后，新出的 ControlNet、分割、超分可以当插件接上，不用为每个 2D 模型重做 3D 管线。对想做对话式场景设计的人，这是一条比「再训一个 3D 编辑器」便宜的路。CLIP 分衡量的是「和提示像不像」，不是几何一致或用户满意度，数字要当方向看。小模型靠 1000 条轨迹就能调度 30 个工具，说明这个调度问题更接近教格式，不接近再堆一个通用 Agent。
作者列得很具体。解析仍绑在 LLM 上，每个视觉工具还要手写提示。效果上限就是外接 2D 工具的上限。系统主要为前向、物体中心场景优化；多物体进出画面时枢轴会漂。360 度场景图集畸变大，2D 模型没见过这种模态，编辑容易崩。快速非刚性形变和严重遮挡会让 CoTracker3 丢轨迹，图集出现伪影。CLIP 指标对「能做更多种编辑」天然友好，对单任务专用方法不完全公平。