One Assistant, Many Memories: Benchmarking Real-World Group Assistance When Recall Is Not Enough
Zhanghao Hu, Linhai Zhang, Qian Zhao, Qi Zhu, Yuan Hua, Di Liang, Jiasheng Si, Xin Zhao, Yulan He, Zhumin Chen, Lin Gui
cs.CL, cs.AI
2026-11-03
80299条真实群消息上,最强记忆系统召回0.621,超过同骨干全文0.570,办事分仅0.247对0.431。
群助手一次只能回一条,事实却散在不同成员、不同天。出发日从5月1日改到4月30日,有人要靠窗,缺席罚500元,旧日期还在记录里。提醒写回5月1日,这条服务就错了。
已有群记忆基准多用合成对话,对着固定答案、选择题或封闭动作集打分。GroupMemBench、EverMemBench、GateMem都如此。它们测得到当前值,测不到命中之后能不能办成一件没有标准答案的事。单用户上已经裂过一次:AlpsBench里,记忆把人格贴合从0.41抬到0.72,情感得体却低于不带记忆的骨干。群里没有按人拆开回复的余地。
GroupAssistBench来自腾讯元宝已上线的中文群,伦敦国王学院等参与构建。50个群、80299条消息,2395题抽自约9500条校验候选,其中L1回忆1374题,L2办事1021题。场景包括出行、课程、兴趣和项目协调。构建花费超过5.3万美元。文本做了化名改写,原始记录不公开。
L1问历史,用Atom Recall计算答对的原子事实比例。L2是起草计划、写推荐、发提醒,没有唯一答案。量规分三块:锚点必须写进回复(权重1到3),踩中真实差评归纳的失败就扣分(权重-1到-3),另加针对该请求的服务标准。失败分五类:歪曲事实、推翻已定计划、违反约定或成员限制、看错现状、沿用旧值。
M1只靠一条记忆。M2合并多条,56%的锚点至少来自两位成员。M3另有冲突对,新值已取代旧值,问句不提示改过,93%的锚点跨成员。请求用反事实筛选:同一模型带历史、不带历史各答一次,只有历史带来群内信息并且明显改善回复才留下。记忆锚到原文逐字片段,冲突对要三票一致。成员没问过的锚点用后写问题补上。120题抽查中,多数有效占95.8%,三人一致占84.2%;60条量规里90%多数通过。
14组一起评。全文骨干是Claude Sonnet 5、GPT-5.6-terra、DeepSeek-v4-flash、Qwen-3.5-9b,直接读截止前的消息。检索是BM25、稠密检索(前20条)、GraphRAG、RAPTOR。外部记忆是Mem0、LightMem、A-MEM、MemoryOS、xMemory、EverMemOS。除全文外,任务模型都是GPT-5.6-terra,裁判是GPT-5.6-sol,用中文打分。裁判与1152条人工判断的一致率是89.3%,人与人是89.8%。裁判给分偏少,罚得偏勤。
全文仍最能办事。DeepSeek-v4-flash的L1为0.669、L2为0.469,两项最高。EverMemOS的L1为0.621,超过同骨干GPT-5.6-terra全文的0.570,L2只有0.247,名次从第3落到第10。Qwen-3.5-9b的全文L2仍有0.348,高于每一个外部记忆。
| 方法 | L1 Atom Recall | L2 量规分 |
| DeepSeek-v4-flash 全文 | 0.669 | 0.469 |
| Claude Sonnet 5 全文 | 0.628 | 0.428 |
| EverMemOS | 0.621 | 0.247 |
| GPT-5.6-terra 全文 | 0.570 | 0.431 |
| BM25 | 0.539 | 0.370 |
| Qwen-3.5-9b 全文 | 0.494 | 0.348 |
| xMemory | 0.546 | 0.203 |
| LightMem | 0.227 | 0.139 |
两档排序是反的。L1上EverMemOS、xMemory高于全部检索(0.504到0.539)。L2上每个检索(0.334到0.370)都高于每个外部记忆(0.139到0.269),仍都低于同骨干全文0.431。外部记忆里办事最好的MemoryOS也只有0.269。BM25和稠密检索都高于GraphRAG、RAPTOR。层次更深,没有换成更高的分。
依赖一复杂,分就掉。GPT-5.6-terra全文的L1从M1的0.685降到M3的0.377,L2从0.505降到0.303。14个基线的L1都随M2、M3下降。EverMemOS的L1只从0.679降到0.561,可L2在最简单的M1只有0.137,M2、M3才是0.284和0.253。单条事实在手边,回复里照样不用。
497条同一群的记忆既被L1问过,又被L2需要。全文把已回忆内容写进回复的比例是73%到85%,EverMemOS是65%。记忆系统里,回忆了却没用的占21%到27%,全文是11%到16%。这个使用率和L2排名相关0.89,回忆本身只有0.56。没用上的记忆,36%没进输入,64%进了仍没写进回复。
RER按记忆之间的关系,把请求没点名的证据补回来。LightMem的L2从0.139升到0.202,L1大约升8.4个百分点;EverMemOS只从0.247到0.265。ACB把已在上下文里的事实标成约束再绑进生成。EverMemOS的L2升到0.279,xMemory从0.203到0.242。两者合用最好,增益小于分开相加,因为每条废记忆只卡在一种瓶颈上。稠密检索跑完2395题共55.0美元,同骨干全文260.4美元。EverMemOS要814.9美元,11138题才与全文打平。LightMem只要69.6美元,两档垫底。
按回忆榜给群助手选记忆,会选到办事更差的系统。EverMemOS的回忆已经超过把历史塞进窗口的同骨干模型,开放请求上却落在BM25后面,也落在Qwen-3.5-9b的全文后面。层次化记忆留得住跨人、跨轮的证据,留不住写回复时必须遵守的那一步。
窗口还装得下时,全文是办事上沿。全文平均喂入52435个token,EverMemOS是21123个。RER加ACB把后者抬到0.279,仍低于0.431,也低于BM25的0.370。补丁对准了两处失败,排名没改。省下的是上下文和账单。
语料是单一产品的50个中文日常群,到不了英文工作群,也到不了对抗更强的群。原文不发布,公开版是化名改写,且要等录用。反事实由同一个模型判断历史有没有用,留下的题目可能偏向它的口味。论文写明,生成式工具参与了筛选、清洗和方法设计。
M3只有300题。成员原话和后来补写的问题各占多少,正文没有分开给,后写问法不一定像真人在群里呼叫助手。裁判GPT-5.6-sol和任务模型GPT-5.6-terra同族,排序与人一致,给分偏保守,会不会偏向某种写法并没有单独测。RER和ACB只接在三个记忆系统上,强系统的L2大约抬一到四个点,没追上全文。群历史平均9.85万token、最长97.28万,超长群上全文有没有被截断,正文没有分开报告。从扁平记忆到层次记忆,也排不成能力顺序。