八机构联合发布 VLM 记忆综述:4D 框架梳理 300+ 论文与近 70 基准
机器之心 · wechat · 2026-11-16
来自 Duke、Google、USC、UPenn、UNC 等八家机构的研究者联合发布视觉语言模型(VLM)记忆机制系统性综述,提出 4D 分类框架,梳理 300 余篇相关工作与近 70 个评测基准,覆盖长视频理解、多模态 RAG、具身导航、个性化助手等八类应用场景。
- 4D 框架:When(记忆保留多久:瞬时/情景/持久)、Where(内部参数与 KV 缓存 vs 外部数据库/知识图谱)、What(原始片段/结构化记录/语义抽象/潜在压缩)、How(写入、巩固、检索、更新与遗忘)。
- 八种典型记忆形态:如长上下文记忆属瞬时内部记忆,终身智能体记忆属持久记忆并需完整生命周期操作,各形态是维度组合的典型倾向而非固定规则。
- 应用偏好:长视频理解侧重压缩并选择性保留视觉信息;具身导航记录轨迹与空间结构;个性化助手依赖可更新的外部记忆;虚拟环境交互把经验提炼为可复用技能。
- 挑战与方向:上下文变长不等于记忆有效;信息重要性滞后导致取舍困难;检索到的记忆可能错误且模型缺乏核实能力;现有基准只测单一环节。未来方向包括分层记忆结构、自适应存储策略、可追溯视觉证据,以及让用户可查看、修改、删除记忆的设计。
论文与 300+ 文献清单已在 GitHub 开源。
「研究」频道最新
- 机器人里慢模型是灾难:研究者深谈大 VLA 的低延迟困境 — kvablack · 2026-11-16
- 研究图表显示上下文学习已足够支撑显著持续学习,Agent 第三月表现大幅提升 — xennygrimmato_ · 2026-11-16
- 1% 铒掺杂即可毁掉反应离子刻蚀:氢化铒低挥发性是元凶 — jwt0625 · 2026-11-16
- Noise2Flow 核心思路:不完美去噪方向可信,再前进 15% 即可 — maier_ak · 2026-11-16
- Noise2Flow 瞄准低剂量 CT 与活细胞显微的去噪困境 — maier_ak · 2026-11-16
- 米哈游发布 Gamer 模型:VLA 基座驱动长时程实时游戏智能体 — Run Luo · 2026-11-16