复旦联合 30 余机构发布多模态智能体记忆综述,提出两轴分析框架
Fudan-University · hf · 2026-10-15
复旦大学牵头、联合 Notre Dame、Meta、NVIDIA、Dimitris N. Metaxas、Yejin Choi 等数十家机构的综述《Seeing, Maintaining, and Learning: The Evolution of Multimodal Agent Memory》。
- 问题:多模态 agent 走向长时程与终身任务时,如何持续从复杂异构多模态数据中获取有用信息,需要跨会话连续、可适应、能自我改进的记忆机制。
- 两轴框架:轴 I「形成与表征」刻画保留什么信息及编码方式(模态专属嵌入、文本/结构化记录、隐式与参数化表征);轴 II「记忆管理」分三层——T1 静态记忆(固定复用)、T2 动态记忆(稳定策略更新)、T3 自进化记忆(策略随经验演化)。
- 总结了平衡保真与抽象、保持时间有效性与溯源、以可恢复证据支撑记忆使用、记忆策略持续演进等设计原则,并讨论开放挑战与未来方向。
「研究」频道最新
- 浙大阿里 PixText 修复生成图文字:字形通过率 83% 远超基线 — ATH-MaaS · 2026-10-15
- TextVerifier 抓 AI 生成汉字错笔画:F1 0.844 远超 OCR 与 VLM — ATH-MaaS · 2026-10-15
- 阿里 HICO-Bench:36% 高评分对话经不起可行性验证 — Tongyi-ConvAI · 2026-10-15
- 字节 Diff Diffusion 用扩散模型预测代码编辑:推理快 2.78 倍 — Xiaolong Xu · 2026-10-15
- MimicX 用策略执行反馈修正人形训练:跟踪误差降 25.7% — Shuaijun Liu · 2026-10-15
- MagicBeanStalk 论文：88% RLVR 数据陷入零优势陷阱，递归合成提分 8.6 — Lianhuiq · 2026-10-15