视频流如何稳定生成3D物体？Stream3D无需训练打通重建与生成
青稞AI · wechat · 2026-07-30
港科大、MIT 与哈佛大学联合团队提出 Stream3D，巧妙融合了 3D 重建与 3D 生成两条路线，解决了从持续单目视频流中生成完整、一致 3D 物体的难题。
核心机制：自适应证据记忆
- 无需重训：该方案无需修改或重新训练底层生成器（如 SAM3D、TRELLIS），而是为其加入一套训练免费的流式机制。
- 固定容量记忆：模型通过注意力探针评估当前视角的可靠性，为每个局部区域只保留“证据分数”最高的历史帧。记忆占用大小恒定，不随视频时长线性膨胀。
- 投票生成：在最终生成阶段，各局部区域为最能解释自己的历史帧投票，选出 Top-K 视角共同驱动生成，从而补全未观测到的背面结构。
实验效果
在 GSO 与 NAVI 数据集上，Stream3D 在多项几何与外观指标上均优于逐帧生成或传递潜变量（如 KV-Cache）的基线方案。它不仅改善了视觉纹理，更实质性地提升了 3D 几何结构的恢复精度，证明了生成模型在持续证据约束下，能获得超越纯流式重建的完整性与一致性。
所属事件:Stream3D 无需训练实现视频流稳定生成 3D(2 条相关)→
「多模态」频道最新
- OraRL：高效可扩展的视频 MLLM 强化学习 — Yunheng Li · 2026-08-26
- 用 Google Gemini 生成女孩仰望天空蓝鲸的感人动画 — michaelrabone · 2026-08-26
- AI 生成舞蹈视频展示炫酷动作效果 — No-Bookkeeper-char · 2026-08-26
- ECCV 2026 新研究：Face Anything 实现任意序列 4D 人脸重建 — rsasaki0109 · 2026-08-26
- Ref2V 展示：H3 模型 15 秒生成复杂提示词效果 — Jeffu · 2026-08-26
- GPT Image 2 神级 Prompt：将日常照片转化为形状翻译海报 — RealJamesOfficial · 2026-08-26