SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue
Haobo Zheng, Tan Tang, Yan Chen, Weijie Wang, Yingcai Wu
cs.CL, cs.AI, cs.IR, cs.LG
2026-09-23
SpeakerMem-R1把带说话人的原话和按人、按群切开的状态并排保存。三人基准准确率分别为47.9%、69.2%、61.9%；3B Writer经强化学习从57.38%升到68.20%。
长期对话记忆在双人设定里，多半是按相关度切块、压缩、检索。多人群聊多了说话人、回复结构、并行话题和事后改口。通用记忆系统容易丢「谁说的、说的是谁、这是个人观点还是群共识」，也很难从交错线索里拼出当前状态。GroupMemBench、SocialMemBench、EverMemBench 上，BM25 或稠密检索在部分设置里并不比复杂记忆框架差，说明问题不在「再多召回一点文本」，而在归属和状态重建。
SpeakerMem-R1 用双轨记忆。System 1 原样保存每条消息的文本、说话人、时间和频道，不经语言模型。System 2 是四层派生结构：个人范围的 Core（稳定身份、事实、立场、反复行为）和 Profile（对某人的观察或跨人认知），群体范围的 Interaction（跨说话人事件、关系、决定）和 Insight（规范、共识、例外）。每条派生记录分开 source 和 owner：Alice 认为 Bob 已经同意，source 是 Alice、owner 是 Bob。更新不覆盖历史，只追加新节点并用 supersededby 串起来，支持查当前头或全链。
查询时先把问题编译成约束：要看哪些人/群、哪个事件、要当前头还是全历史、source–owner 怎么卡。两条检索路径独立预算。System 1 取原话和邻域上下文，不够再补一轮。System 2 按人/群展开，再按事件和时间筛。派生行为空就回落到该人的原话；还没有就保留空行，不拿别人的记录顶上。最后按人、关系和更新链拼成证据，交给冻结的答题器。
可训练的只有 Writer。Qwen2.5-3B 输出 Add / Update / Noop。SpeakerLevenshtein 在 owner 桶内做一对一匹配，宏平均之外还惩罚最差 owner，避免高频成员掩盖低频成员或 GROUP。全局项是「System 1+2 相对纯 System 1」的问答增益，已经能靠原话答对的题不记到 Writer 头上。G=8 条轨迹，组内相对优势，clipped GRPO，检索和答题器冻结。
三人设定里取每个基准上最高的 SpeakerMem-R1 配置：GroupMemBench 47.9%（对照最强主流 BM25 的 44.6%），SocialMemBench 69.2%（对照 A-MEM 的 56.8%，接近 Full context 的 69.4%），EverMemBench 61.9%（对照 BM25 的 52.5%）。公开 EverMemBench 榜用 GPT-4.1-mini 答题、Gemini-3-Flash 判分，SpeakerMem-R1 为 62.33%（1496/2400），EverOS 约 60.08%，RippleMem 54.75%。时间类 35.00%，对照 EverOS 的 20.33%；多跳、技能和角色归属仍弱。
| 基准 | SpeakerMem-R1 | 最强主流对照 |
| GroupMemBench | 47.9% | BM25 44.6% |
| SocialMemBench | 69.2% | A-MEM 56.8% |
| EverMemBench | 61.9% | BM25 52.5% |
| EverMem 公开榜 | 62.33% | EverOS 60.08% |
去掉任一轨，三个基准都掉。只留个人层或只留群体层也不够。SocialMem 上打开补充检索 ASK，准确率从 69.2% 降到 64.9%，token-F1 反而升，说明多召回的人会把本可重叠的答案判错。双人 LoCoMo 全 1986 题准确率 70.85%，多跳和开放域仍弱。
10 个留出 SocialMem 网络、305 题、查询和答题器冻结：Qwen2.5-3B 的 SFT Writer 为 57.38%，30 步 RL 后 68.20%，对照大模型 Writer 的 71.48%，约等于参考的 95.4%。
群聊记忆的失败模式很具体：归属错、范围错、状态版本错。这篇没有再堆一层图或摘要，而是把可核验原话和按人/群切开的状态并排保存，查询时再组合。Writer 可以换成 3B 本地模型，检索和答题器保持冻结，方便落地。SocialMem 上已经贴近 Full context，GroupMem 上只比 BM25 高 3.3 个百分点，增益高度依赖题型。
系统默认花名册可靠、说话人可辨、时间可对齐。别名、成员进出、隐含听众和并行事件仍然难。跨证据推理、记忆外知识和开放域问答是公开短板。RL 增益来自 305 题受控协议，不能外推成跨域泛化。ASK 在 SocialMem 上伤准确率，说明「再搜一轮」不是免费的。LoCoMo 多跳只有 41.13%，双人长对话也没被双轨自动救起来。