2D视频融合重建4D场景
bilawalsidhu · x · 2026-07-15
用 **Ray-Ban、GoPro、iPhone 的 2D 视频**，在**没有 LiDAR 或 IMU** 的情况下，做出了一套“终结者视角”的 **4D 场景重建**。 作者称整条流水线包括： - 音频波形同步 - 基于 **SAM3** 的 mask + COLMAP / pi3 求解 - **3D Gaussian Splatting** - 用 **Gemini** 充当命中/未命中的判定器 视频内容按项目起源、控制中心、从 2D 到 4D 的机器内部流程、训练模型“看见”世界、最终效果等章节展开。