自回归视频生成的记忆机制:首篇系统性综述发布
Harold Haodong Chen · hf · 2026-09-24
一篇系统综述,聚焦自回归(AR)视频生成中的核心瓶颈:随着生成序列扩展,模型在有限上下文窗口、存储和算力约束下,实体身份、动态状态、因果变化等关键历史信息会过早离开活跃上下文,造成「记忆问题」。
论文将记忆定义为跨外层 AR 步骤持久保留、并影响未来生成的历史信息,并从五个视角组织文献:
- Forms:历史信息的表示载体
- Functions:需要保留的语义与物理信息
- Operations:写入、读取、更新、管理与整合的生命周期
- Learning:闭环 rollout 下的记忆行为优化
- Evaluation:诊断真实记忆能力的范式
最后梳理开放挑战:可组合与资源感知的记忆架构、可信状态更新、自 rollout 学习、标准化评测。
「多模态」频道最新
- UniPath 被 NeurIPS 2026 接收：单模型自适应协调理解与生成 — jindong_wang92 · 2026-11-11
- 用 Opus 5.5 做 RPG：扮演博士生对抗审稿人 — s_scardapane · 2026-11-11
- 开源 Node 把 ComfyUI 工作流变一键模型，内置 19 个工作流 — jefoce · 2026-11-11
- RTX 3050 6GB 本地跑 MiniMax H3，拼出 60 秒 AI 视频 — No_Cow26 · 2026-11-11
- 把两年前的噩梦做成 72 秒短片，100 秒视频只花 $3.8 — Alternative-Pay-447 · 2026-11-11
- 群核科技办 Aholo 全球 3D AI 黑客松，Scoble 担任评委 — Scobleizer · 2026-11-11