2D视频融合重建4D场景
bilawalsidhu · x · 2026-07-15
用 Ray-Ban、GoPro、iPhone 的 2D 视频，在没有 LiDAR 或 IMU 的情况下，做出了一套“终结者视角”的 4D 场景重建。
作者称整条流水线包括：
- 音频波形同步
- 基于 SAM3 的 mask + COLMAP / pi3 求解
- 3D Gaussian Splatting
- 用 Gemini 充当命中/未命中的判定器
视频内容按项目起源、控制中心、从 2D 到 4D 的机器内部流程、训练模型“看见”世界、最终效果等章节展开。
所属事件:Project IronSight实现无LiDAR的4D场景重建(2 条相关)→
「多模态」频道最新
- Skyfall GS 登场:用 Flux 提升 Gaussian Splatting 精修质量 — ducha_aiki · 2026-09-11
- AI 电影节 Lumara 将登陆纽约,顶级 AI 电影人齐聚评审 — 0xAllen_ · 2026-09-11
- 翼龙侦探:全程 AI 生成的概念片先导预告亮相 — PterodactylDetective · 2026-09-11
- Imperium 游戏预告片曝光,AI 视频生成再秀肌肉 — keaslenyt · 2026-09-11
- FLUX.2 Klein 换表情易丢脸，实测不如免费版 Gemini 保真 — wacomlover · 2026-09-11
- 腾讯 AuK 语音模型开源代码与权重上线 GitHub,附 ComfyUI 支持 — aigclink · 2026-09-11