亚马逊论文:仅靠 QA 评测会漏判 Agent 记忆故障,两套打分差 16.8 分
rohanpaul_ai · x · 2026-10-19
亚马逊团队发布论文《Beyond Downstream QA: Rethinking How We Evaluate Agent Memory》,指出当前 Agent 记忆评测只看下游问答成绩,会把记忆、检索与答案生成混在一起:强 LLM 能掩盖坏掉的记忆库(假阳性),检索失误也会让正确的记忆背锅(假阴性)。
关键发现:
- 构建 FEB-30 基准:30 条事实演化轨迹、147 篇文档,覆盖 6 个诊断类别与 3 个难度级别,通过「范式反转」从已知事实轨迹反向生成文档,每步摄入后都能拿到确定性的记忆真值,无需人工标注。
- 在类 Mem0/Hindsight 的记忆系统上,内在评测与外在 QA 分数平均相差 16.8 分,44% 的轨迹超过显著分歧阈值,pass/fail 判定在 21% 的事实历史上不一致。
- 诊断拆解显示,系统对记忆操作(create/update/reinforce/supersede)的分类正确率仅约 20%,这一故障在 QA 评测中完全不可见。
建议:做 Agent 记忆的团队应在每次更新后直接比对存储的事实与真值,并与端到端 QA 一起测。基准已开源。
所属事件:亚马逊论文指出 QA 评测漏判 Agent 记忆故障(2 条相关)→
「编程与Agent」频道最新
- Qwen Code 发布 v0.25.3：修复 managed-agent 多项问题 — qwen-code-review-bot · 2026-10-19
- 把 GitHub Actions runner 装进孩子电脑,家长偷偷攒算力 — tristanbob · 2026-10-19
- 用 Grok Bot 一天跑完 4000 站外链提交:筛出 282 个站、上线 9 个的完整流程 — sujingshen · 2026-10-19
- Netflix 公开为生产环境 AI 智能体构建知识库的实践 — AxSaucedo · 2026-10-19
- 开源项目 Reverse Engineer Anything GitHub Star 突破 30 万 — FinanceYF5 · 2026-10-19
- 用 Claude Code + 浏览器代理自动填求职表：只填不提交 — Serious-Werewolf7613 · 2026-10-19