AlayaWorld 把交互式长时程世界模型做到 24 帧视频生成
AlayaLab · hf · 2026-07-22
AlayaLab 发布 AlayaWorld，一套交互式长时程视频世界模型，主打从文本、图片或视频出发，生成可探索、持续演化的虚拟环境。
它能做什么
- 生成 24fps、540p/720p 的视频。
- 基于一个 15B 参数的视频 diffusion transformer。
- 在相机轨迹和可切换文本提示下，按短 latent chunk 自回归生成。
稳定性怎么做
- 通过 persistent sink frame、压缩的时间历史、几何对齐的空间记忆和最近帧条件一起维持长程一致性。
- 用来自自身 rollout 的 corrupted histories 和 prediction residuals 训练，降低长期漂移。
- 还引入离散自回归蒸馏，把每个 chunk 的推理步数从大约 30 步降到 4 步。
结果
- 在 iWorld-Bench 上拿到长时程生成的最佳表现。
- 作者把它定位为一个开源、可扩展的交互式视频世界模型底座。
所属事件:阿里开源15B视频世界模型AlayaWorld(5 条相关)→
「多模态」频道最新
- Muse Wonder 分块 + SAM 3.1,一粒不漏分割整根玉米粒 — nikhilaravi · 2026-10-26
- LichtFeld Studio v0.5.4.3：社区贡献的 SteadySplats 等新功能上线 — janusch_patas · 2026-10-26
- 一次 prompt 直出 2-3 分钟旁白短片,作者实测 Antigravity 生成效果 — AI_Andrew · 2026-10-26
- 用户用 Gemini 全家桶做万帧动画短片：写、画、配音、配乐一条龙 — AI_Andrew · 2026-10-26
- FLUX.3 Klein 蒸馏到 4-8 步出图，CFG 直接烘进模型 — Fit-Structure-6489 · 2026-10-26
- ostris 预训练新 VAE「Primal VAE」:单通道潜空间实现等效 8 倍压缩 — ostrisai · 2026-10-26