110页综述系统梳理自回归视频生成的记忆机制全景
jiqizhixin · x · 2026-10-15
港科大、香港城市大学、复旦、CMU、NYU、南洋理工六所机构联合发布 110 页综述《The Past Frames the Future: Memory for Autoregressive Video Generation》，首次系统梳理自回归视频生成中的记忆机制。随着视频变长，记忆问题不可避免：角色离开画面再回来还是不是同一个人？镜头转动后空间布局是否保持？物体被移动后几十步生成会不会弹回原位？
综述将 Memory 定义为跨自回归步骤维护的历史状态，从四个维度组织全景：
- Memory Functions：按 Causal、Semantic、Dynamic、Spatial、Identity 五类保留目标划分现有方法
- Memory Forms：从隐式状态（历史帧、VAE latent、KV cache）、显式状态（3D 世界状态、场景图）到自适应参数化（写入模型参数）
- Memory Operations：Write→Read→Update→Manage→Integrate 的操作生命周期
- Memory Learning：从输出级/记忆态/动态记忆监督到 teacher forcing、自回放、学习保留/压缩/检索/适配的训练范式
对做长视频生成的研究者和工程师，这是一份完整的方法选型地图。
「多模态」频道最新
- 浙大阿里 PixText 修复生成图文字:字形通过率 83% 远超基线 — ATH-MaaS · 2026-10-15
- TextVerifier 抓 AI 生成汉字错笔画:F1 0.844 远超 OCR 与 VLM — ATH-MaaS · 2026-10-15
- AI 视频创作者:「惊艳画面已被解决,剩下拼的是原创 IP 角色」 — AIandDesign · 2026-10-15
- 微软 MAI-Image-2.6 上架 Vercel AI Gateway，一个 Key 调两档模型 — lmoroney · 2026-10-15
- 网友用 Seedance 2.5 生成 AI 视频，称其为杰作 — SimplyAnnisa · 2026-10-15
- 非 AI 视频惊艳全场:着色器渲染水墨蝠鲼 4K 仅花 $0.40 — ravisparikh · 2026-10-15