智象未来 DreamWorld:几何先行两阶段生成,3D 一致世界建模登 ECCV 2026
机器之心 · wechat · 2026-08-19
智象未来(HiDream.ai)提出 DreamWorld,已被 ECCV 2026 录用,解决相机控制视频扩散模型在大视角变化下几何结构不合理、物体形变、跨视角不一致的问题。核心思路是把 3D 基础模型的空间结构先验引入视频扩散,采用 Geometry-then-Appearance 两阶段框架:先用 Geometry Video Diffusion 在几何特征空间中,基于单张图像和相机轨迹,通过 feature-level flow matching 补全目标视角的完整几何表示;再由 Appearance Video Diffusion 以几何特征为条件生成最终 RGB 视频。
相比直接在 RGB 空间完成所有生成,这种几何-外观解耦让结构推理与高质量渲染各自专注,DreamWorld 在 RealEstate10K、Tanks-and-Temples 的 Novel View Synthesis 上取得领先,并在 WorldScore 上获得 75.04 平均分,3D 一致性等指标表现更佳。
「多模态」频道最新
- PrunaAI 视频模型支持图/视频/音频参考，5-15 秒生成最低 $0.01/秒 — aziz4ai · 2026-10-16
- ElevenLabs盲测：Eight语言全线胜出，v4语音模型自称更具表现力 — JenniferHli · 2026-10-16
- HyperFrames 推出 Reference Any Video 与品牌套件，Agent 可引用任意视频风格 — alifcoder · 2026-10-16
- Grok Imagine 配合 Topaz 做出「异形蜕变」短片 — creatoroff · 2026-10-16
- FLUX.3 Klein 蒸馏版本地实测:t2i 一般,编辑值得期待 — Ant_6431 · 2026-10-16
- Krea 3 vs Qwen 2.1 vs ZIT 横评:微表情强但易生成不安画面 — Crazy-Repeat-2006 · 2026-10-16