World in World:免训练操控冻结视频世界模型实现重机位与回访
udmrzn · x · 2026-09-13
arXiv 论文《World in World》提出一种免训练的推理时接口,可在不重训冻结视频世界模型的情况下实现灵活控制。
核心思路:
- 将源视频观测、目标视角场景投影、引导补全新暴露区域的几何渲染、以及超出滚动缓存的可检索生成状态,统一转换为带相机和时间标签的「视觉证据 K/V」
- 通过对应关系路由器(correspondence router)结合持久点身份与几何建立 token 对应,引导 query 匹配源视频 token
- 证据级注意力 CFG(EWA)在同一次去噪前向中独立调节每个辅助通道的贡献
支持的能力包括:相机控制的重渲染、长时程一致性回访(重访先前生成的外观)、以及人体运动相关的任务,全程利用冻结因果视频模型的原生自注意力。
所属事件:World in World 免训练为冻结视频世界模型赋予灵活控制(2 条相关)→
「多模态」频道最新
- Reddit 用户实测称 MOSS 文生图已达当前 SOTA 水平 — Ciclosporin · 2026-10-31
- 图像理解模型 Jev 1.14 上线 Runware,输入每百万 token 仅 $0.042 — aziz4ai · 2026-10-31
- 开源 VFX 工具 Paint a plate:首帧涂抹,整段镜头自动跟随编辑 — xCaYuSx · 2026-10-31
- Google DeepMind 发布 Genie 4，主打实时世界模拟 — TheAIGRID · 2026-10-31
- 用 MiniMax H3 搭出整页漫画生成工作流，作者开源全部节点 — gatortux · 2026-10-31
- Runway Agent 升级：能开文件跑代码，从生成走向干活 — runwayml · 2026-10-31