作者自建 membench：不过期的记忆层对 41.7% 已更新事实自信返回旧值

Initial_Orange2985 · reddit · 2026-09-08

一位开发者发布 membench 基准，专门测量 AI 记忆系统的「陈旧事实」问题：当事实的真值随时间改变时，记忆层应该返回新值、保持沉默或承认过时，而不是继续给出旧答案。

核心发现

语料库含 104 条合成事实（稳定、衰减、过期、被取代、强化、从未出现），共 832 个问题、8 个随机种子、可离线运行。
绝大多数记忆产品采用的「永不遗忘」设计在 41.7% 已被更新的事实上自信返回过时值，且置信度分数毫无变化。
加入 45 天半衰期 + 111 天后拒绝回答，可将该数字降到 0.000、精度 0.995——但代价是过期事实的回答率归零，覆盖率从 0.754 跌到 0.496。
真正的难点是「只说过一次、几个月后悄悄失效」的过期事实：没有任何更新的记录可供近因排序利用，正确答案只能是沉默或带日期。
控制实验显示置信度分数衡量的是内部一致性而非与世界的一致性：对乱序语料分数几乎不变。

作者还给出无需用其仓库的自查方法：统计「被写入两次后系统返回旧值的频率」（陈旧率）和「半年前说过一次、现已过时的事实得到自信无日期答案的频率」。基准以 MIT 协议开源，离线约一分钟可跑完。

「编程与Agent」频道最新