上交大 GeoVerse:在几何潜空间合成世界一致的新视角
SJTU · hf · 2026-09-29
上海交通大学提出 GeoVerse,解决从稀疏图像做新视角合成的核心矛盾:既忠实重建已见区域,又合理补全未见内容,同时保持跨视角的世界一致性。纯几何方法难以补全未见区域,视频生成模型外观先验丰富但序列生成会累积不一致。
做法:在预训练 3D 基础模型的几何潜空间内做生成,并从 Wan2.2 VACE 提取多层特征、经 ControlNet 式适配器注入外观先验;全局空间记忆持续聚合已观测与已合成内容,重投影目标对齐的引导以锚定后续预测。
效果:在多数据集上视觉质量与几何一致性均提升,DL3DV 上 PSNR 比 GLD 高 2.23 dB,Mip-NeRF360 上 ATE 降低 32.4%。
「研究」频道最新
- NVIDIA 提出最小二乘策略蒸馏 LSPD,蒸馏可省 75% rollout 批次 — nvidia · 2026-09-29
- 换掉矩阵乘法不改参数:结合代数层让 110M 模型吞吐提升 7.8% — Ilya Koziev · 2026-09-29
- SMAT 合并感知训练:训练开销仅增 2%,合并后平均分提升至 2.16 — PolyUHK · 2026-09-29
- KernelZero 7B 协同进化生成 GPU 内核,CUDA pass@1 达 75.8% — Changxin Ke · 2026-09-29
- 34M 参数修正模块修复冻结 Gemma 输出错误,能力零损失达 53.3% — eulogik · 2026-09-29
- 6.5M 参数时序模型经管线修复 MASE 降 43.8%,性能反超 31 倍大模型 — eulogik · 2026-09-29