Adobe 实时交互视频世界模型 Wonder 支持恒定延迟探索
aigclink · x · 2026-07-31
Adobe 联合约翰霍普金斯大学推出实时交互视频世界模型 Wonder。用户输入图片或视频后，模型可实时生成支持 6 自由度相机控制的持续交互世界，延迟恒定在 0.5 秒，一致性可保持 1 分钟以上。
核心突破
- 相机控制：摒弃直接输入数字位姿的做法，利用 3D 脚手架与环境贴图，将平移和旋转渲染为逐帧对齐的视觉信号，让模型“看见”而非“读取”相机运动。
- 长期记忆：保留完整历史 KV 缓存，通过稀疏注意力按需检索，确保回头探索时场景不漂移，且计算量恒定。
- 蒸馏策略：采用 Mixture-of-Students 提升学生模型容量，结合 GAN 正则化解决相机漂移，保留教师模型能力。
该模型特别适合 V2V（视频到视频）转换，可对已有视频实时换机位重拍，直接赋能影视预演、游戏原型与机器人仿真。代码和权重即将开源。
所属事件:Adobe发布实时可交互视频世界模型Wonder(5 条相关)→
「多模态」频道最新
- Seedance 2.5 实测:用角色参考图+长 prompt 生成 30 秒游客手持一镜到底 — techhalla · 2026-10-16
- Magnific One 写实首帧生成实测:中欧雾天城堡观景台 prompt 全公开 — techhalla · 2026-10-16
- 烟雾丝绒黑色电影风提示词模板,附三张氛围感示例 — LudovicCreator · 2026-10-16
- VideoGen-Agent:基于 Qwen3-VL 的 8B 多模态 Agent 用工具循环改写视频生成 — jiqizhixin · 2026-10-16
- 用 Sonnet 5.5 + Blender 做出水上飞机模拟项目，效果惊艳 — Wise_Shame_2853 · 2026-10-16
- 网友实测 Muse AI 自动打标 300 张图生成 LoRA 数据集 — Wide_Director_8897 · 2026-10-16