AlayaWorld 开源 720p、24 FPS 视频世界模型并支持镜头控制
fruesome · reddit · 2026-07-22
AlayaWorld 被介绍为一个全栈、开源的 视频世界模型，支持 720p、24 FPS 的流式视频生成，还能做 相机控制 和基于文本的事件插入。
- 方案围绕四个核心能力：交互性、一致性、稳定性、运行时效率。
- 交互性：使用两条控制通道——一个是带轻量相机调制的渲染 3D cache，用于具身、轨迹感知的导航；另一个是 chunk 级 prompt 切换，可在生成中途插入新事件。
- 一致性：通过重投影到当前视角的 3D cache 提供空间记忆，再配合压缩后的帧历史嵌入，保证回到旧地点时仍可识别。
- 稳定性：训练时加入漂移历史，并通过 error bank 把累计伪影重新注入记忆和目标，避免长时间生成中误差滚雪球。
- 运行时：借助 few-step DMD distillation 和短时序 chunk，让交互保持实时性。
帖子同时给出了 GitHub、Hugging Face 和技术报告链接，因此既是项目发布，也有较强的研究阅读价值。
所属事件:阿里开源15B视频世界模型AlayaWorld(5 条相关)→
「多模态」频道最新
- Midjourney V8.2 加入个性化并展示新图像效果 — Mr_AllenT · 2026-07-27
- Midjourney 图像多样性引发 Krea 2 对比与复现提问 — diffusion_throwaway · 2026-07-27
- AI 短片把 1985 年反乌托邦拍成电影感作品 — ProfessorKey98 · 2026-07-27
- Google Omni 做出的 BOTPD 新集变成追车戏仿 — ScriptLurker · 2026-07-27
- 一个新 LoRA 复刻了 GTA: San Andreas 的 RenderWare 画风 — Humble-Pick7172 · 2026-07-27
- AMD R9700 开启动态 VRAM 后，LTX 2.3 生成速度大幅提升 — xdcfret1 · 2026-07-27