牛津等团队提出 Oneira：CodingAgent 维护状态表让视频世界模型真正可交互

机器之心 · wechat · 2026-10-13

牛津、莫纳什与布里斯托团队提出交互式视频世界模型 Oneira，把「世界中发生了什么」与「画面如何呈现」分开处理：CodingAgent 通过 WorldStateTable 记录场景中每个物体的语义标签、3D BBox 和交互状态，Engine 更新状态并渲染为条件视频，VideoGenerationModel 再补全真实画面。

实验构建了含 100 个交互测例和 50 个记忆测例的 InteractionBench：交互是否发生、时机、对象三项指标分别比最强基线高出 29、19、29 个百分点；镜头返回后 PSNR 和 SSIM 分别提升 93% 和 83%，状态保持率提升 18%。新出现的物体可自动登记进状态表，改动状态在长视频中持续保留，且能对未见过的物体类别交互。论文：arXiv 2610.01614，代码已开源。