哈佛 MIT 团队推出 UGG:单一扩散模型统一视频生成与 3D 几何理解
burny_tech · x · 2026-11-14
视频生成模型通常并不真正理解其背后的 3D 几何——视频生成、深度估计、相机位姿预测长期被当作独立任务处理。
UGG（Unified Generative Geometry Model）由 Harvard、MIT、UC San Diego 团队（含 Yilun Du 等）提出，将三者统一进单个生成式框架：
- 核心思路：对 RGB 视频、深度、相机位姿等模态分配不同噪声水平，把视觉生成与几何预测统一为单个扩散模型内的条件补全任务。
- 灵活训练：可从标注子集各不相同的多源异构数据中学习，不要求每段视频都有完整几何标注。
- 推理时搜索：可对多个可能的 3D 解释假设进行搜索，用从 RGB 帧提取的几何证据挑出最自洽的一个，无需真值几何即可提升预测。
- 效果：在 ScanNet++ 相机位姿估计上轨迹误差优于 Geo4D；在多个基准上超过专用视频生成模型，稀疏观测场景下优势尤其明显。
代码与可视化已开源：ugg-model.github.io
「多模态」频道最新
- encoder-free VLM 成风潮：新研究拆解 scaling 与架构三问 — liuziwei7 · 2026-11-14
- CapCut Web Ultra 限时一周无限生图，Seedream 与 GPT Image 2.5 免费用 — JaynitMakwana · 2026-11-14
- Solv3R 演示实测:3D 重建提速 2 倍,3DGS 一分钟跑完 — jonstephens85 · 2026-11-14
- 曝 Dreamina 花 8.2 万美元请人做 4 分钟 AI 视频，遭质疑 — AIandDesign · 2026-11-14
- CapCut 上线 Seedance 2.5：手机 AI Lab 与网页 Video Studio 可直出 4K 视频 — CurieuxExplorer · 2026-11-14
- BAAI 开源无编码器 VLM 系列 EVE,登 NeurIPS 与 ICCV 获 spotlight/highlight — liuziwei7 · 2026-11-14