Memory Is a Derivation: The Distributed-Evidence Paradox in Long-Term Agents
Hongjun Liu, Chen Zhao
cs.AI
2026-09-29
NYU 的 DerivAudit 审计 agent 记忆写入：补全历史让约 60% 引用不足的记忆找回支撑，但无支撑写入仍有 59–89% 被放行。
长期运行的 LLM agent 把历史交互压缩成持久记忆，后续任务把存下的内容当既定事实用，还会把多条记忆拼起来推新结论。写入因此成了可靠性边界：错误一旦入库，原始对话早已滚出上下文，错误仍会持续影响行为。
写入失败有两种，很容易被混为一谈。一种是记忆本身有据，但 writer 附带的引用只盖住部分证据，只查引用的验证器会把好记忆误杀；另一种是每个片段单独有据，组合时却加上历史里从未确立的因果关系，或把「打算做」写成「正在做」。论文里的真实案例：历史只说用户想创办体育学院，写入的记忆却成了她正在积极筹建。纽约大学两位作者把持久记忆看成从交互历史推导出的状态，判据叫 semantic derivation integrity:写入的内容应当被写入时可用的历史支撑。LongMemEval、HaluMem、Eywa、MemTxn 这类先前工作测召回、管出处或提交控制，没有同时覆盖引用外证据、组合语义、准入决策和下游影响。
DerivAudit 在 LoCoMo 和 HaluMem-Medium 各 200 条未编辑写入上做审计，验证模型为 Qwen3-30B-A3B、Gemma-4-31B、Llama-3.3-70B-Instruct。
引用单独撑不起近半数记忆：LoCoMo 42.5%、HaluMem-Medium 51.0% 光靠引用不足。补全写入前历史后，这些案例各有 60.0% 和 59.8% 找回支撑，整体支持率升至 79.5% 和 77.0%;仍有 17–21% 的写入无支撑。
391 条写入中 313 条有效、78 条无支撑或矛盾，三种准入设置的表现：
| 模型 | 无支撑放行率(引用/扩历史/加义务检查) | 引用不足有效记忆保留率 |
| Qwen | 84.6% / 80.8% / 76.9% | 82.1% / 93.8% / 92.9% |
| Gemma | 66.7% / 76.9% / 59.0% | 58.0% / 95.5% / 92.0% |
| Llama | 83.3% / 89.7% / 88.5% | 85.7% / 98.2% / 97.3% |
扩历史在三个模型上一致提升有效记忆保留，Qwen 上 +11.6 个百分点(p=0.007);无支撑写入的拦截却很不稳，Qwen 的下降不显著(p=0.24,78 条负例)，Gemma 和 Llama 上单纯扩证据反而更糟。
换验证表示也救不了：512 条套件上，atomic claims 只检出 16.5% 的无支撑关系，predicate–argument QA 检出 39.2% 却只保住 56.4% 的跨段落有效记忆，compact relations 检出 59.5%、保留 94.9% 最均衡，但没有视图在两端同时占优。
证据分散到多个段落后，holistic 和 obligation-aware 对无效案例的检出只剩 8.6% 和 11.4%,这是 distributed-evidence paradox:有效记忆常要跨交互拼证据，同样的分布也让无效拼装更难拒。控制实验把机制定得很干净：把看似合理的前提换成等长无关内容，无效接受率从 65–88% 掉到 0–10%。毛病在合理前提的拼装偏置，不是上下文变长。
更细的检查另有副作用：给有效记忆加 4 条已知为真的检查项，Qwen 中位支持分降 7.7 个 log-odds、98.7% 的记录在降，Gemma 准入率从 93.3% 崩到 2.6%,Llama 掉到 35.5%,论文称累积验证噪声。下游两边代价都大：扭曲记忆让失败率升 83.8–93.0 个百分点，抽走有效记忆升 92.8–99.5 个百分点。
做记忆系统的团队可以直接拿走三条。只按引用验证会系统性误杀，引用不足的记忆约六成其实有据，门槛收得越紧丢得越多。扩证据解决的是召回，拦不住无支撑写入，放行率在 59–89% 之间晃，换验证表示、换聚合规则都只是移动操作点，没有组合在三个 backbone 上同时成立。查得更细也不等于更安全，多查四条真实细节就能把 Gemma 准入率打到 2.6%,这解释了细粒度验证器部署时经常表现成大面积拒绝。两类错误的下游代价都接近 90 个百分点，拿不准就拒同样不可取。这套审计流程，从双视图证据、义务分解到准入重放和下游探针，可以整体搬到自家记忆管线上。
作者自述：参考标签主要来自两个模型实例加盲审仲裁，人工分层复核一致率 96.0%,标签仍是模型产物；扩张受检索预算限制，找不到支撑不等于历史里没有；自然数据的矛盾案例和显式关系偏少；结果随模型、视图、prompt 和聚合规则波动；下游探针不是闭环系统。
另有几处要打折。78 条负例撑不起准入端的统计功效，Qwen 的放行率下降论文自己标为 unresolved。验证只测了三个 30B–70B 开源模型，对更强的闭源模型，59–89% 的放行率是否成立不知道。六成翻案依赖 BM25 top-12、16 段封顶的配置，换检索器数字会动。给翻案下判的参考标签与被评估的验证器同属 LLM,循环风险靠独立实例和人工抽查压低，没有消除。