NVIDIA 提出 WorldTrace:免训练记忆让视频世界模型不再「失忆」
cindy_x_wu · x · 2026-11-21
核心问题
交互式视频世界模型虽然能生成逼真的可交互世界,但存在「视觉持久性」缺陷:镜头移开再转回来,场景就变了。原因是模型依赖 KV cache 作为不断增长的视觉记忆,当 rollout 超出训练时长后,时间 RoPE 偏移超出训练范围,注意力无法可靠检索已存储内容;而直接在 RoPE 旋转空间压缩 cache,又会把不同位置相位的 key 平均掉,进一步破坏记忆。
方法:WorldTrace
- 免训练的记忆框架,无需重训生成器
- 给每个压缩摘要槽分配一个分布内的虚拟位置,保持记忆可寻址
- 只在去除旋转后才合并 key,保证信息不被相位平均破坏
- 由模型自身的注意力决定哪些观测原样保留、哪些冗余项合并压缩,全部装进一个有界的可寻址记忆库
效果
在 LoopBench 上,相同 attended-cache 大小下,平均 DINOv2 召回率比滑动窗口提升 32.6%。
作者来自 NVIDIA、Princeton、Toronto 与 Vector Institute(一作 Xindi Wu)。
所属事件:NVIDIA 发布 WorldTrace:免训练修复视频世界模型场景失忆(6 条相关)→
「研究」频道最新
- 循环层数越多推理越省:3 次循环后收益递减,推理 token 反而更少 — nrehiew_ · 2026-11-21
- 研究发布实测:循环超 3 次收益递减,占位符越多越耗推理 token — nrehiew_ · 2026-11-21
- 循环 Transformer 实测:推理时间窗从 16 秒升至 37 秒,多跳任务受益最大 — nrehiew_ · 2026-11-21
- 团队开源可变循环模型 TML-d24-varloop-research,验证循环层数对 CoT 可监控性的影响 — nrehiew_ · 2026-11-21
- 发布版仅用训练时三分之一专家:剪枝后再补 1T token 蒸馏恢复性能 — nrehiew_ · 2026-11-21
- 循环 Transformer 设计细节:只循环中间层,算力等效增益 1.51-1.91 倍 — nrehiew_ · 2026-11-21