LoopBench 揭示世界模型失忆:镜头离开再回来场景就变样,WorldTrace 免训练修复
cindy_x_wu · x · 2026-11-21
cindyxwu 发布了一系列关于视频世界模型「空间记忆」的工作:
- LoopBench:让相机离开场景后按原位返回,对比返回帧与起始帧,并系统变化路线、rollout 长度、相机旋转和重访次数,以检验模型是否「记得」这个地方。
- 失败原因:旧帧其实常留在 KV cache 里,但注意力无法可靠取回——超过训练视界后 query 与缓存 key 的 RoPE 偏移超出训练范围,且对 key 做平均压缩会让不同旋转的 key 相互抵消。滑窗 cache 下的典型翻车:garage 多出一扇门,花园和屋顶消失。
- WorldTrace(免训练):让每个记忆槽位于训练范围内的虚拟位置、保持可寻址;注意力输出几乎不变的帧做平均(WorldTrace-Field),场景入口等关键帧原样保留(WorldTrace-Landmark)。相同 cache 大小下,场景能原样「回来」。
所属事件:NVIDIA 发布 WorldTrace:免训练修复视频世界模型场景失忆(6 条相关)→
「多模态」频道最新
- Fable 5.2 视频音画不同步?完整修复工作流全程在 Claude 内搞定 — AIwithGhotai · 2026-11-21
- NVIDIA 发布车载推理模型 Alpamayo 2 Edge,2B 参数实时决策 — NVIDIAAI · 2026-11-21
- 阿拉伯创作者实测 HeyGen 剪辑:视频编辑水准上台阶 — aziz4ai · 2026-11-21
- 8 天 2300 次 commit:Claude 造出逐笔毛刷模拟的 AI 油画引擎 aibrush — FotoRe_store · 2026-11-21
- AGI 等不及了:AI 生成音乐视频调侃《GTA6》十三年难产 — Yamapama · 2026-11-21
- Meta AVTR:让多模态模型学会「视觉想象」,16 基准平均提升 4.5 分 — liuzhuang1234 · 2026-11-21