AlayaWorld 开源 720p、24 FPS 视频世界模型并支持镜头控制
fruesome · reddit · 2026-07-22
AlayaWorld 被介绍为一个全栈、开源的 视频世界模型，支持 720p、24 FPS 的流式视频生成，还能做 相机控制 和基于文本的事件插入。
- 方案围绕四个核心能力：交互性、一致性、稳定性、运行时效率。
- 交互性：使用两条控制通道——一个是带轻量相机调制的渲染 3D cache，用于具身、轨迹感知的导航；另一个是 chunk 级 prompt 切换，可在生成中途插入新事件。
- 一致性：通过重投影到当前视角的 3D cache 提供空间记忆，再配合压缩后的帧历史嵌入，保证回到旧地点时仍可识别。
- 稳定性：训练时加入漂移历史，并通过 error bank 把累计伪影重新注入记忆和目标，避免长时间生成中误差滚雪球。
- 运行时：借助 few-step DMD distillation 和短时序 chunk，让交互保持实时性。
帖子同时给出了 GitHub、Hugging Face 和技术报告链接，因此既是项目发布，也有较强的研究阅读价值。
所属事件:阿里开源15B视频世界模型AlayaWorld(5 条相关)→
「多模态」频道最新
- FLUX.2 Klein 换表情易丢脸，实测不如免费版 Gemini 保真 — wacomlover · 2026-09-11
- 腾讯 AuK 语音模型开源代码与权重上线 GitHub,附 ComfyUI 支持 — aigclink · 2026-09-11
- 用 Midjourney+Seedance 把龙神宿敌大战拍成 AI 电影短片 — azed_ai · 2026-09-11
- invideo 发布新编辑器：AI Agent 干粗活，剪辑师专注创意 — azed_ai · 2026-09-11
- fable 5.1 用 25.6 万条 JS 笔画复刻《星月夜》 — cedric_chee · 2026-09-11
- GPT-6 Astra 接 Hyper3D MCP,一句话生成 3D 资产 — ahuja_priyank · 2026-09-11