Niantic Spatial 用卫星图引导多视角扩散模型，免重建合成街景新视角
kwangmoo_yi · x · 2026-10-29
Niantic Spatial 联合佐治亚理工、阿尔托大学发布 GroundControl（被接收于 WACV 2027），一个以卫星图像为条件的免重建多视角扩散模型，用于新视角合成（NVS）。
要解决的问题：多视角/视频扩散模型在稀疏视角下做新视角合成时，一旦需要外推到输入视角覆盖范围之外，常会幻想出不真实的场景空间布局。
方法：
- 将卫星图像与街面级输入图像一起作为条件，通过 cross-attention 注入多视角扩散模型；
- 这种设计保留了预训练多视角扩散先验，只需少量源视图即可生成无缝、真实的街道级新视角；
- 同时生成的视角遵循卫星图所示的场景布局；
- 全程不做 3D 场景重建，仅依赖带位姿的街面图像与卫星图。
论文、代码均已开放。作者 kwangmooyi 评论：用注意力机制以几何驱动方式注入卫星图条件有助于多视角图像生成，这在直觉上是合理的。
所属事件:GroundControl：卫星图引导扩散模型免重建成街景新视角(2 条相关)→
「多模态」频道最新
- KeenTools 推 KeenFace:一张照片生成 UE5 MetaHuman 人脸 — TinfoilTricorn · 2026-10-29
- AI 生成蝙蝠侠版 F1 头盔概念图，碳纤维细节质感逼真 — Delahuntagram · 2026-10-29
- 用 AI 把 KORN 名曲伪装成 1973 年西班牙电视演出现场 — Mother-Pear-2392 · 2026-10-29
- Flux.2 Klein 9B 摆脱「AI 高质感」了吗:社区讨论去 AI 味难题 — VGDCMario · 2026-10-29
- 全程本地跑通 AI 音乐视频:LongCat-Video-Avatar 1.5 在 5090 上生成口型MV — ConcentrateDeepTrans · 2026-10-29
- 黑白异形花卉 AI 生成图：金属质感与蓝紫渐变的美学实验 — ciguleva · 2026-10-29