arXiv 原文:Beyond Downstream QA,FEB-30 记忆基准直查存储内容

rohanpaul_ai · x · 2026-10-19

亚马逊与克卢日-纳波卡技术大学团队的 arXiv 论文(2610.22209),提出 FEB-30 基准重新审视 Agent 记忆评测范式。

核心论点:以外测(extrinsic)QA 准确率作为记忆质量的代理是不完整的,存在两类外测无法检测的故障模式——LLM 补偿(错误记忆下仍答对)与检索瓶颈(正确记忆因 embedding 不匹配或截断未被取回)。论文提出内在评估(intrinsic evaluation):像软件工程里的单元测试一样,在知识演化的每个阶段直接将记忆库内容与已知真值比对。实验显示内外评测平均分歧 16 个百分点,记忆操作分类正确率仅 20%。基准与评测框架已发布以保证可复现。