AlayaVista: Streaming World Modeling from Panoramic States to Perspective Video
Jiaming Tan, Mingliang Zhai, Zhen Li, Yuwei Wu, Chuanhao Li, Kaipeng Zhang
cs.CV
2026-09-13
AlayaVista把世界演进放在全景潜空间，只把当前视口渲成1024×576透视视频。200例上SSIM 0.4616、旋转误差2.132领先，平移跟踪仍落后MoVerse一截。
交互式视频世界模型要同时做到三件事：镜头转走时别把画面外的场景忘掉，当前视口要够清晰，延迟还得低。现有路线卡在表示层。
透视模型只生成用户正在看的那一块，画面一出框就得靠长上下文、KV cache或地标库把内容记下，等镜头转回来再取。全景生成器把整颗球都渲成最终视频，用户一次却只看一个视口，算力花在看不见的方向上。Gaussian splat、网格这类显式3D方案几何更稳，但要先抬几何、再建场景、再渲染，链路更长。
AlayaVista的立场很具体：世界状态用全景潜变量演进，高保真合成只发生在被查询的透视视口上。
输入是一张透视图、一条目标相机轨迹、可选文本。四段都在latent上跑，只在最后把透视latent解码成RGB。
训练是分段的，不是端到端联训。先训全景生成（双向适配，再chunk自回归，再少步蒸馏），冻住它训渲染模块，再冻住上游训精修。数据是新造的MUGEN：YouTube 360素材经格式、镜头、曝光、COVER质量、字幕水印、轨迹合法性过滤，得到1318小时、分辨率至少4K的一分钟全景片段，来自6446条源视频，附相机轨迹、深度、实例掩膜和分层语义标注；再加Sekai2的全景子集。MUGEN-HQ是按质量和类别分层抽出的300小时。
评测在MUGEN-HQ抽出的200个案例上，输入第一帧加目标轨迹，生成81帧、1024×576的透视视频，对照MoVerse和HY-World 2.0的最终透视输出。
| 方法 | SSIM↑ | LPIPS↓ | PSNR↑ | Consistency↑ | Quality↑ | Dynamic↑ | TransErr↓ | RotErr↓ |
| MoVerse | 0.4232 | 0.5583 | 13.17 | 0.8836 | 0.5517 | 1.0000 | 0.02746 | 2.887 |
| HY-World 2.0 | 0.4524 | 0.5417 | 13.54 | 0.8662 | 0.5293 | 0.9850 | 0.03885 | 3.169 |
| AlayaVista | 0.4616 | 0.5321 | 14.10 | 0.9240 | 0.5579 | 0.9200 | 0.03312 | 2.132 |
重建三项和时序一致性、感知质量、旋转误差都是AlayaVista最好。Dynamic掉到0.9200，低于两条基线，论文自己猜是渲染和精修压掉了局部运动。平移误差0.03312，好于HY-World 2.0的0.03885，但仍差于MoVerse的0.02746；显式3D Gaussian支架在跟平移上仍更稳。
论文方法段把FVD列进指标，Table 1里没有给出数字。引言和结论还写了长时稳定性、回访一致性和端到端流式效率，实验节只有这张81帧表和两组定性图，没有延迟、FPS或回访指标。
对要做相机可控世界模型的人，这条路把「记住画面外」从记忆模块改成了全景潜状态的默认属性，又避免把整球渲到展示质量。骨干是开源Wan2.2-TI2V-5B，初始化借用现成的HY-World 2.0全景扩展，工程上可复用的部件不少。MUGEN本身是一份4K级、带轨迹和深度的真实全景视频资源，规模比多数生成向全景集大。
它是架构折中，不是几何上的新表示。PSNR 14.10在绝对意义上仍然低，这更像「生成视频跟参考长得像一点」，不是可度量重建。训练分段冻结，错误会沿初始化、全景生成、渲染、精修往下传。
论文自己写了：相机中心的全景状态不能保证大平移下的持久空间记忆，也不能保证高动态场景里的严格几何一致；全景扩展阶段的错误会灌进后续生成。
评测集来自MUGEN-HQ，和训练集同源。200个案例、81帧，撑不起「长时程」和「回访」这两个结论。Dynamic明确更差，平移跟踪也没赢过带3D支架的MoVerse。流水线没有端到端联训，少步蒸馏后的误差累积没有单独成表。代码仓库公开，权重和MUGEN是否完整开源，论文正文没有写清楚。