模型自己整理链接文档当记忆,三基准比最强基线高2到3.1个点

Can LLM Agents Organize Their Own Memory?

Zichuan Fu, Junjia Qi, Wenlin Zhang, Yimin Deng, Shirong Wang, Jinyang Li, Xian Wu, Xiangyu Zhao

cs.AI

2026-11-09

SoMem让模型自己用Markdown归并和修订记忆,每条摘要都链回不可改的原始对话。在LoCoMo、BEAM-100K和LongMemEval-S上,整体成绩分别比最强基线高2.66、3.10、2.00个百分点。

这篇在解决什么

模型部署后权重固定,新的偏好、进度和事实更正只能进外部记忆。常见做法是事先规定记录样子:抽成短事实,或按固定层级合并。任务一变,旧事实被改写、两段经历要合在一起,格式就不好跟着调。

全文保留细节,下次得自己翻;压成摘要,读得快,限定条件和当时语境容易丢。SoMem(self-organized memory,自组织记忆)把两边拆开:怎么归类交给模型,证据和访问结构交给运行时。

方法

记忆是一组 Markdown 文档。新对话先原样追加进 Source,之后只读,Writer(负责写入的模型)不能改原文。Writer 读 Source 和已有文档,提议修改 Topic(按人或任务聚合的主题文档):新建、改写、合并、移动,或把长期偏好提升进 Core。Core 是有容量上限的一小份 Topic,每次提问都放进初始上下文,接近一条常驻系统提示。

改动先暂存。运行时检查 Source 未被改动、引用能落到原文、链接对准段落标识、Core 未超容量、时间合法、路径留在工作区。不通过就打回,旧状态保持不变;通过则原子安装,并重算三份视图。Graph 由段落互链生成正向链接和反向链接,不必再做一次关系抽取。Timeline 按事件时间写成按年、月、日分层的文件。Recent 取最近创建的若干条,同样放进初始上下文。

一段是一个记忆单元。句后脚注写事件时间和 Source 编号,段尾的标识能被其他文档链接。

提问时,负责作答的 Reader 先拿到 Core、Recent 和文件清单,有问题日期就一并给上。工具只有搜索、列目录和读文件。搜索每次自选 BM25 词法匹配或稠密检索(按向量相似度),也可按路径和日期过滤。先搜什么、再读什么由模型自己定。摘要不够就顺着链接读 Topic,再打开 Source 核对原话。写记忆和读记忆可以是同一个模型,别的模型也能直接用这份工作区。

结果

主实验里 GPT-6 Luna 同时担任 Writer 和 Reader,不额外加推理力度。裁判是温度 0 的 GPT-4o-mini。对照有 A-Mem、Mem0、MemoryOS、Nemori、LightMem、E-mem,以及不检索、不截断、直接读完整历史的 Full Context。

基准指标SoMem最强对照差值
LoCoMo,1540 题LJ 准确率88.96E-mem 86.30+2.66
BEAM-100K,400 题nugget 均分54.02Full Context 50.92+3.10
BEAM-100K通过率61.50A-Mem 55.75+5.75
LongMemEval-S,500 题LJ 准确率76.50LightMem 74.50+2.00

LoCoMo 上,单跳 94.53,略高于全文的 94.17;时间推理 88.16,高于 Mem0 的 82.24。开放域 59.38,只比 E-mem 的 58.33 高一点,全文在这项掉到 45.83。多跳 83.33,低于 E-mem 的 85.11。

BEAM-100K 的领先主要在时间推理 53.75(全文 41.25)、事件排序 46.84、指令遵循 73.75(与 Nemori 并列)。矛盾消解 36.56,E-mem 为 51.56;弃答 23.75,MemoryOS 为 42.50;信息抽取 73.70,不如全文的 82.86。总分高,分项并不全赢。

LongMemEval-S 上,助手侧单会话 99.11、用户侧单会话 98.57,时间推理 73.31,都是表中最高。知识更新只有 77.56,LightMem 为 91.67,全文为 92.31。多会话推理 58.65,也低于 LightMem 的 75.56。原文两边都留着,对核对原话有用;对判断哪条旧事实已经失效,帮助有限。

消融用全部 1540 道 LoCoMo,记忆冻住,只改查询时的可见范围。去掉 Source,总分从 88.96 落到 80.32;去掉 Topic,落到 86.04。这两项的配对置信区间不含 0。去掉 Core,总分仍是 88.96,这个基准几乎不考长期偏好。去掉 Recent,单跳从 94.53 降到 92.51,时间题从 88.16 升到 89.10。去掉 Timeline 或 Graph,时间题都降到 86.92。Core 和单份派生视图对总分的影响,落在抽样波动里。

同一份记忆可以换 Reader。GPT-5.6 Luna 写的记忆交给 Qwen 3.8 Flash,LoCoMo 总分 93.25,高于配回原模型的 92.34。

加大推理力度,分数多数还会涨,BEAM 的长历史上更稳。涨势会饱和,也有回落。BEAM-100K 上,GPT-6 Luna 从 High 调到 xHigh,分数上升,搜索、读文件、调用次数和累计 token 同时下降。

为什么重要

写入和读取拆开之后,工作区本身可以留下。Topic 是普通 Markdown,Graph、Timeline、Recent 在安装后自动生成,换阅读模型不用重做记忆。主实验里它也高于把整段历史塞进上下文:LoCoMo 88.96 对 84.22,LongMemEval-S 76.50 对 65.80。

领先幅度是渐进的。同一颗 GPT-6 Luna、不加推理力度时,LoCoMo、BEAM-100K、LongMemEval-S 分别多出 2.66、3.10、2.00 个点,好几项子任务还落后。能留下的是这套分工:模型改语义,程序守一致性,外加一份可换模型复用的文档记忆。

局限与存疑

评测几乎都是对话史上的问答,没有长期个性化,也没有真去执行任务。推理力度只用子集,LoCoMo 100 题、BEAM 200 题,每个条件只跑一轮。裁判是 LLM,没有系统的人工校准。消融是在已写好的记忆上关掉入口,没有让模型在缺组件时重新组织。运行时只核引用和结构,不管内容是否写对、写全。漏记和写错怎么在后续更新里被抓住,文中列为开放问题。上线还要访问控制、保留期限和隔离的工具执行。

主排名排除了换骨干的行。DeepSeek V4 Flash 同时担任写入和阅读时,LongMemEval-S 到 90.20,LoCoMo 到 92.73,但其他方法没有用这个骨干重跑,不能拿去和 LightMem 的 74.50 比。BEAM 上弃答和矛盾消解偏弱,文中没有分开解释。构建和维护的开销也没有和基线对齐成一张表。

术语

原文与代码

社区讨论

相关论文

全部论文解读