The Past Frames the Future: Memory for Autoregressive Video Generation
Harold Haodong Chen, Rongjin Guo, Disen Lan, Wen-Jie Shu, Hongfei Zhang, Hanzhe Hu, Shengtao Yao, Zixin Zhang, Guibin Zhang, Zhefan Rao, Jinxiu Liu, Yexin Liu, Rui Peng, Yuhao Liu, Bin Ren, Shuai Yang, Yukang Chen, Salman Khan, Ying-Cong Chen, Ser-Nam Lim, Rynson W. H. Lau, Nicu Sebe, Yu Cheng, Ming-Hsuan Yang, Qifeng Chen
cs.CV
2026-09-24
港科大等综述把自回归视频生成的记忆拆成载体、功能、操作、学习、评测五轴。留得住、找得到、状态还对、能改下一步，容量本身不够。
自回归视频生成按时间一块一块往外滚：token、帧、latent 或短 clip。滚得越长，完整历史就越养不起。注意力是平方级，KV cache、显存和延迟都会顶住。实务上每一步只能看见最近 W 个单元。身份、布局、运动状态、叙事承诺、曾经改过世界的动作，往往在还用得着之前就滑出窗口。
现有做法各叫各的：滚动窗口、KV cache、3D 先验、压缩隐状态、检索库。视频扩散综述和世界模型综述会提到长上下文或检索，很少把「因果外循环下的记忆」当成中心设计问题。这篇给出一个操作定义：记忆是跨外层 AR 步保持、在原始证据离开局部上下文之后仍能影响后续生成的历史信息。窗口里每步都密喂的最近帧，算活跃上下文；被选择、压缩、检索、改写之后再拿来用的，才算记忆。分界不在窗口长度，在怎么管历史。
五轴把文献拆开，系统刻画、系统构造、证据验证分三层。
载体（Forms）问历史装在什么对象里。视觉记忆是可追溯到某段观测的 RGB 或 VAE latent，保真高、冗余大，生成瑕疵会写回去。隐式状态是模型原生神经状态：当记忆用的 KV cache、SSM 或循环状态、历史编码器产出的 embedding。显式状态带声明过的世界语义，实体记录或点云、体素、surfel 地图。参数记忆把经历写进可适配权重，LaCT、RAD-TTT 这类 test-time training，或 SlowFast-VGen 的时序 LoRA。同一条管线可以混用。
功能（Functions）问该保住什么。身份：同一实体隔了遮挡和分镜还能认出来，外观可以变，实例特征不能漂成另一个人。空间：相机离开再回来，布局和几何还对得上，时间远近不是好索引。动态：运动和过程在离开视野后仍按规律演化。语义：角色、事件、未完成目标还在约束后面的镜头。因果：推过的门、挪过的物体，证据出窗之后后果还在。选择性不变性贯穿这五条：该冻的冻，该变的变。
操作是写、读、更新、管理、接入的生命周期。写入有全收、锚点、效用筛选、事件触发，地址化记忆还要绑对实体或坐标。读可以用时间、位姿、内容或学到的 query。管不住预算就会在省略、污染、绑错三个坑里轮换。
学习面对闭环：生成帧会写回记忆，误差会滚。监督可以打在输出、记忆内容或状态转移上。训练分布可以从 teacher forcing 的干净历史，到加噪历史，再到自滚出来的脏历史。部署时怎么留、怎么压、怎么取，训练时就得按同一套接口练。
这篇是综述，没有新的 bake-off 分数。结构化结论比排行榜更硬。
无记忆外循环的失败模式被写成六类：实体遗忘、外观漂移、空间不一致、动力学退化、语义跑偏、因果状态回滚。开了门的世界，几步之后门又关上，是因果失败，不是画质失败。
评测上，可见一致性不是记忆证据。VBench 一类套件能说明内容还在画面里、生成没崩，但不能说明模型在信息缺口之后还记得。已经成型的信息缺口协议有三类：
| 协议 | 在测什么 | 代表基准 |
| 实体再出现 | 人离开再回来是否还是同一个人 | EntityBench、MBench、MemoBench、LiveBench |
| 场景回访 | 相机离开再回到可比位姿 | MIND、iWorld-Bench、WBench、WorldRoamBench |
| 视野外状态演化 | 问的是隐藏过程之后的新状态 | MemoBench、StEvo-Bench、LiveBench |
目标或叙事续写、延迟动作效应还没有干净的标准协议：多数故事基准把完整脚本一直留在条件里，交互基准也很少先确认动作成功、再隔一段时间只问后果。DINO 相似度在相邻帧上测的是可见连续性，同一分数放在消失-再出现协议上才是身份记忆。
评测要过三道门：真的造出信息缺口，先确认被查询的行为本身生成得出来，再用成对历史对照看改过去会不会改现在。关掉某个 cache 的消融能说明这个模块有用，不能替代跨模型的记忆协议。
做长视频或世界模型的人，加长窗口和加大 KV 都解决不了「证据已经不在局部条件里」这件事。该问的是：该留的有没有留，留下的状态对不对，用得着的时候找不找得到，找到了有没有真的改下一步。这四段可以分别坏，画面上看起来却像同一种漂。
工程上意味着分层。近期连续性用窗口和 rolling KV；身份用可更新的参考锚，还得能作废过期锚；导航回访用位姿检索或几何地图；交互用实体和事件状态，不能只把动作当这一步的 control。评测如果只报 FVD 和 VBench，记忆能力会被画质淹没。
综述自己划了范围：只覆盖带跨步持久状态的自回归视频生成，短视频不算；世界-动作模型只在记忆机制能反哺视觉生成时才进表。表是精选不是穷尽，字段变动很快，作者也公开征补遗。
操作定义会把一部分「为了加速而留的 KV」重新算成记忆，边界靠人判。没有统一实验把 LongLive、WorldMem、LaCT 放在同一套信息缺口协议上比，载体优劣仍是定性权衡：视觉保真贵，结构状态可编辑但丢细节，参数记忆难回滚。延迟动作和目标续写这两类协议，论文承认还不成熟，却仍把因果保存写进功能分类，分类超前于证据。自滚学习的代价和稳定性也还没有可复现的训练配方。