NAMVIS：自回归替代扩散做稀疏视图多视图合成，快 3 倍

Ramil Khafizov · hf · 2026-10-08

问题：稀疏视图新视角合成是 3D 内容创作的核心问题，扩散模型因迭代去噪导致推理成本高。
方法：提出 NAMVIS，免扩散框架，把多视图合成重新表述为几何条件下的 next-scale 自回归，通过少量粗到细尺度步预测离散视觉 token，尺度内和跨视图并行采样。
几何锚定：提出 Multi-scale Projective Pose Encoding，在每个分辨率将源/目标相机变换注入自注意力和跨注意力；结合全局条件与稠密几何感知交叉注意力，保证源视图外观保持与目标视图一致性。
结果：在 Objaverse、GSO、OmniObject3D 上，PSNR/SSIM/LPIPS 均超过扩散基线，速度快 3 倍以上。

「多模态」频道最新