SPW-Nav:单张全景图实时流式生成 1 分钟 2K 360° 视频导航

AlayaLab · hf · 2026-10-09

AlayaLab 提出 SPW-Nav,一个语言引导的流式全景世界模型:理解移动指令,从单张全景图实时流式生成 1 分钟 2K 360° 视频。

方法:把每条指令解释为先前生成全景中的相机运动;球面旋转解耦保证旋转在球面上精确执行;姿态对齐的条件化让长流中平移输入保持有界;多记忆项配合少步生成器在指令变化时延续场景。同时发布带相机轨迹与校验指令的全景视频数据集 SPW-NavSet。

应用场景包括交互式 3D 场景探索、VR 与具身智能体训练。评测显示其在相机跟随精度与视频质量上超过既有全景生成器,并支持即时切换指令。

原文链接 →

「多模态」频道最新

更多「多模态」频道 AI 资讯 →