NVIDIA 提出 WorldTrace:免训练记忆让视频世界模型不再「失忆」

cindy_x_wu · x · 2026-11-21

核心问题

交互式视频世界模型虽然能生成逼真的可交互世界,但存在「视觉持久性」缺陷:镜头移开再转回来,场景就变了。原因是模型依赖 KV cache 作为不断增长的视觉记忆,当 rollout 超出训练时长后,时间 RoPE 偏移超出训练范围,注意力无法可靠检索已存储内容;而直接在 RoPE 旋转空间压缩 cache,又会把不同位置相位的 key 平均掉,进一步破坏记忆。

方法:WorldTrace

效果

在 LoopBench 上,相同 attended-cache 大小下,平均 DINOv2 召回率比滑动窗口提升 32.6%。

作者来自 NVIDIA、Princeton、Toronto 与 Vector Institute(一作 Xindi Wu)。

所属事件:NVIDIA 发布 WorldTrace:免训练修复视频世界模型场景失忆(6 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →