GenIA:免重训对齐 SAM3D,单图到高保真 3D 重建 SOTA
JonathonLuiten · x · 2026-10-09
图宾根大学与 Meta Reality Labs 的研究者发布 GenIA: Generative Reconstruction with Test-Time Input Alignment，解决图像转 3D 生成式模型与输入不对齐的问题。
- 核心思路：现有 image-to-3D 方法要么不做像素对齐（颜色错误、细节丢失、无法匹配输入），要么难以泛化到未见内容。GenIA 在去噪过程中使用可微渲染引导，在推理时将冻结的 3D 基础模型 SAM3D 对齐到输入观测，无需重训基础模型。
- 技术要点：由几何推导平移与尺度改善物体姿态、通过 visibility-biased attention 与跨观测融合对齐外观、去噪后可选的精修阶段进一步适配外观潜变量与物体摆放。
- 扩展能力：支持多视角输入与单目视频；给定动态物体的时序形状时，可恢复共享的输入对齐规范化外观与世界空间稳定摆放。
- 结果：在合成与真实基准上，对已见和未见部分均达到 SOTA。
作者 Jonathon Luiten 与 Stefano Esposito 等人发布，论文主页已公开。
「多模态」频道最新
- 用 Astra 做视频剪辑:20 分钟搭建、每小时只花 2 分钟批注 — nickbaumann_ · 2026-10-09
- Kling 4.0 Flash 打造地球缩放效果,作者公开可改 prompt — umesh_ai · 2026-10-09
- YarnGPT 改版上线:为非洲语言打造 AI 语音与视频配音 — saheedniyi_02 · 2026-10-09
- 8GB 显存笔记本跑通 MiniMax-H3 视频生成，作者求推荐文生图模型 — Zoaloo · 2026-10-09
- Synthesia 发布 Syren Video:一句话生成品牌级视频,免费可试 — synthesiaIO · 2026-10-09
- Seedance 2.5 生成 30 秒末日逃生追火车 AAA 级玩法概念片 — azed_ai · 2026-10-09