腾讯元宝联手 KCL 推出 GroupAssistBench:群聊 Agent 记忆「记得住≠用得好」
量子位 · wechat · 2026-11-21
腾讯元宝与伦敦国王学院 NLP 团队发布 GroupAssistBench,基于 50 个真实群聊、80,299 条消息构建 2,395 道评测题,检验多用户 Agent 能否把记忆真正用到服务里。论文与代码、数据集均已开源。
- 双层评测:L1 记忆召回(1,374 道事实题)与 L2 开放式服务(1,021 道,如按最新决定发出行提醒);再按记忆依赖分为单条、多记忆整合、更新与冲突(M3)三类。
- 关键发现:EverMemOS 在 L1 召回上胜过完整上下文(0.621 vs 0.570),但在 L2 上反而落后(0.247 vs 0.431)——更会回忆不等于更会服务。对 497 条配对记忆的分析显示,L1 已召回但 L2 未有效使用的记忆中,约 36% 根本没进入模型输入,64% 进入了输入却未被有效应用。
- 评分方法:L2 题用绑定历史证据的定制 Rubric(必要性事实、任务完成、违规惩罚),自动评判与人工多数票一致率 89.3%。
- 两种干预:RER(关系证据整理)与 ACB(把历史事实转成带主体/范围/有效状态的回复约束)组合后,LightMem、xMemory、EverMemOS 的 L2 分数分别提升 7.03、4.64、4.43 个百分点。
「编程与Agent」频道最新
- 开发者吐槽 Antigravity 体验不佳,更怕接入 API 会被封号 — jeremyphoward · 2026-11-21
- Rubrik 发布 AI Agent 安全手册:15 个真实事故与防御方案 — TheTuringPost · 2026-11-21
- 实测用语音对话几分钟让 Gemini 生成可用应用 — LinusEkenstam · 2026-11-21
- 开源 agent 记忆插件 mnemos:自主决定记什么、不用即淡忘 — RileyRalmuto · 2026-11-21
- 实证研究:LLM 进化搜索选出的程序,3 次实验有 2 次过不了独立验证 — Unusual-Spot-5846 · 2026-11-21
- 开发者用 421M 小模型做工具调用风险路由,Q8_0 下单次仅 12ms — looselyhuman · 2026-11-21