NeurIPS 2026 论文 WorldMemArena:召回率 86% 系统问答正确率仅 50%
机器之心 · wechat · 2026-10-20
UCSB、斯坦福、ETH 苏黎世等机构联合推出多模态 Agent 记忆评测基准 WorldMemArena(NeurIPS 2026 接收),核心问题是:Agent 能答出「以前说过什么」,不等于能用好记忆。
方法:把长期记忆拆成写入、维护、检索、使用四个可定位的环节,评测放进「观察—行动—环境反馈」循环中,Agent 面对会变化的任务状态、网页、截图与工具结果,而非静态回忆问答。
规模:400+ 多会话任务、24,258 组问答、15,595 张图像/截图,分 Lifelong Evolution(跨会话状态演化)与 Agentic Execution(真实执行轨迹)两类。
关键发现:
- 存得多不等于用得好:某系统记忆召回率 86.83%,问答正确率仅 50.14%;MemGPT 为 85.20% vs 57.81%。
- 系统倾向追加新记忆而非修订过时旧记忆。
- 视觉信息进了记忆库,跨时间、跨模态推理时仍不可靠。
- 越贴近真实执行的任务,各系统表现越差。
「研究」频道最新
- AI 揭穿阴谋论研究风波落幕:Science 撤回关注声明,结论不变 — DG_Rand · 2026-10-23
- Embodied First Exam:一行代码在 44 台机器人上考你的 Agent — ManlingLi_ · 2026-10-23
- Anima Anandkumar 演讲:AI 气象模型胜超算,但不会取代科学家 — AnimaAnandkumar · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练,较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- 作者用布尔逻辑造 LM:前向传播单线程仅需几微秒但训练极慢 — cephaloform · 2026-10-23
- AdaDex:几秒人手视频即可教灵巧手学会抓取、抛接等可泛化技能 — mangahomanga · 2026-10-23