港大×VAST 推出 Mira-Scene：像素对齐布局让单图 3D 场景重建更准
机器之心 · wechat · 2026-09-30
香港大学与 VAST 联合提出单图生成式 3D 场景重建框架 Mira-Scene，解决现有模型（如 GPT-6Astra）重建场景时前景物体几何、尺度与布局和输入图不一致的问题。
- 核心思想：不再直接回归物体的平移/旋转/尺度参数，而是把布局转化为稠密的像素对齐 3D 对应关系——用 Canonical Coordinate Map（CCM）与 Point Cloud Map（PCM）表示，再经 RANSAC+Umeyama 对齐求解变换，把稀疏位姿回归变为超定对齐问题。
- 联合生成：Geometry Expert 在 3D 体素隐空间生成几何，Layout Expert 在像素空间生成 CCM，通过共享多模态自注意力交互，并构造共享 3D 位置空间增强两模态对应。
- 两阶段训练：先用 6 万个物体渲染的 100 万物体中心视图做物体级预训练，再用约 2 万个 3D-FRONT 场景视图微调，仅需 80k 开源数据即在 3D IoU 上较 SAM 3D 提升 39.8%，投影 2D IoU 提升 16.5%。
- 应用：结果可直接用于 Blender 中的物体编辑、机械臂抓取、重力和碰撞仿真，以及具身智能体在重建场景中的交互仿真。
代码、权重与评测基准已开源。
「多模态」频道最新
- xAI 用 Grok Imagine 打造剧集《Odyssey》,首集与 Wonder Studios 合作上线 — PatriciaCoelhoV · 2026-10-24
- 网友用 Seedance 2.5 生成「众人后退她挺身」短片 — SimplyAnnisa · 2026-10-24
- 用 Seedance 2.5 制作 30 秒换装 AI Vlog 的玩法演示 — aftahi_ai · 2026-10-24
- Qwen Image 蒸馏到 2 步仍保质量,RTX 4090 可实时生成 — linoy_tsaban · 2026-10-24
- Dreamina 推 Seedance 首月 0.29 美元促销，98% 折扣限时 — thetripathi58 · 2026-10-24
- AI 生成科幻反派「SEO-A」预告片：黑金赛博美学 — Foreign-Original124 · 2026-10-24