2D视频融合重建4D场景
bilawalsidhu · x · 2026-07-15
用 Ray-Ban、GoPro、iPhone 的 2D 视频，在没有 LiDAR 或 IMU 的情况下，做出了一套“终结者视角”的 4D 场景重建。
作者称整条流水线包括：
- 音频波形同步
- 基于 SAM3 的 mask + COLMAP / pi3 求解
- 3D Gaussian Splatting
- 用 Gemini 充当命中/未命中的判定器
视频内容按项目起源、控制中心、从 2D 到 4D 的机器内部流程、训练模型“看见”世界、最终效果等章节展开。
所属事件:Project IronSight实现无LiDAR的4D场景重建(2 条相关)→
「多模态」频道最新
- Magnific 预告 10 月 28 日上线新功能：「We're making it move」 — cuenca · 2026-10-27
- Midjourney --sref 实测：美式复古风 Batman 插画三连 — gizakdag · 2026-10-27
- AI视频既非电影也非动画，创作者称它最擅长呈现梦境与潜意识 — Kyrannio · 2026-10-27
- 把儿子 31 年前的童言写成歌再喂给 SUNO：一首「大象饮料」儿童合唱 — NathanpmYoung · 2026-10-27
- RTX 3060 本地产 AI MV 播破 20 万:900 张图留 64 张,3 秒切片防崩脸 — Hwang0500 · 2026-10-27
- Firefly 视频编辑器实测：一句话 Quick Cut 将 32 秒素材剪成 20 秒 — LudovicCreator · 2026-10-26