南大团队发布 Direct3D-V3:抛弃 VAE,在原生体素域直接做扩散生成 3D
NJU · hf · 2026-11-20
Direct3D-V3 提出 latent-free 的扩散 Transformer 框架,彻底去掉 VAE,在原生体素域直接对原始 SDF 体素网格做训练与采样。
为保证几何可靠性:
- 对相邻体素施加隐式流形正则化,抑制非水密曲面
- 通过 Marching Cubes 将预测 SDF 转为网格,用法线渲染损失直接监督
- 以辅助任务预测条件图像的相机参数,增强图像与几何的对齐
该设计移除了重建瓶颈,在原生体素域目标下训练,生成网格局部细节显著更丰富。预测相机与原生 SDF 输出让框架可扩展到生成式重建:扩散与法线引导细化交替进行,生成先验补全不可见区域。作者来自南京大学、港大、牛津与 DreamTech。
「多模态」频道最新
- Stability 研究团队提出 PMD 蒸馏:匹配倾斜均值即可锁定教师后验 — ArashVahdat · 2026-11-21
- Qwen3 TTS 上线 Together AI:9 种声音、自然语言控语气、10 语言同声 — togethercompute · 2026-11-21
- 3DGS 对比点云渲染效果出色,下一步做碰撞表面重建 — jonstephens85 · 2026-11-21
- AI 视频展示 25+ 名人整形前后对比,被称年度最佳 — evisoft · 2026-11-21
- 受《理解漫画》启发的极简到写实人像过渡动画 demo — round · 2026-11-21
- Midjourney 风格码实拍感演示:蜘蛛侠照片级虚化质感 — sergeantsref · 2026-11-21