Beyond Dyadic Memory: Interaction-Aware Multimodal Memory with Adaptive Agentic Retrieval for Multi-Party Spoken Conversations
Wenxu Jia, Xize Cheng, Zihan Zhang, Dongjie Fu, Linjun Li, Wenshi Chen, Yangyang Wu, Tao Jin
cs.AI, cs.IR, cs.SD, eess.AS
2026-09-26
浙大与美团提出交互感知记忆VoxPolyMem,用增量声纹、交互图和EG-GRPO检索,自建多方语音集总分85.0,超最强基线23.6分。
车载助手、会议纪要、家庭音箱面对的是多人轮流说话,同一拨人还会隔天再来。现有长期记忆系统大多按一对一文字或图文对话来评,Mem0、A-Mem、Zep 以及 LoCoMo、Mem-Gallery 都落在这个框里。多方文本有 H2HMem,语音理解有 MSU-Bench,几乎没有一套同时考跨会话声纹认人、谁对谁说了什么、个人偏好有没有跟着改。
只存 ASR 转写会丢掉声学身份。时间图能组织内容,不会显式记下说话人和受话人。检索常是固定管线,证据散落时一轮搜完就停。产品已经是多方语音,方法和评测还停在双人图文。
浙大与美团的 VoxPolyMem 拆成三块:在线认人、分层记忆、可训练的多轮检索。
在线认人用说话人编码器 ECAPA-TDNN 抽声纹,和已有匿名身份做余弦匹配。够像就并入,不够就开新编号,不预设人数。匹配更稳才用指数滑动平均更新模板,含糊匹配只贴标签。场次结束再用累积声纹保守合并碎片编号。名字和别名留给 LLM 抽取,不靠声纹猜。
记忆分三层。交互记忆是有向图:人和消息为节点,边记录谁说了这句话、这句话对谁说,原文和多模态附件都留着,Qwen3-VL-Embedding 做内容检索。事实记忆从当前轮加最多前三轮抽出自洽陈述,带说话人、受话人、时间。人物档案存姓名、别名、声纹、背景和偏好。
检索是序列决策。语音提问先对档案认出提问者。每一步选记忆层、工具、改写查询,并可按说话人、受话人过滤,工具包括向量检索、BM25、文搜图和图搜图。RRF 按排名倒数融合多路结果,去重后最多留十五条,不够再搜,最多三轮。
EG-GRPO 在分组相对策略优化 GRPO 上改计分:每个状态采八个候选,只奖励这一步新拿到且留在上下文里的金标证据的覆盖和排序,旧证据不加分,逼策略去补缺口。答案模型冻住。策略是 8B Qwen-VL,一个 epoch,约九百条带证据标注的问答,其中 Mem-Gallery 三百条、LoCoMo 四百条、VoxPolyBench 二百条。
评测用自建 VoxPolyBench,外加 Mem-Gallery 和 H2HMem-Multi。VoxPolyBench 含十八个场景、一百七十六场、十八点九小时合成语音、一千五百二十七道问答。对话由 GPT-4.1 按事件锚点生成,Whisper large-v3-turbo 全库词错误率 2.14%。所有方法吃同一份 whisper-turbo 转写。VoxPolyMem 自己认人,基线拿标准说话人标签。答题统一 GPT-4.1-mini,双模型打分取平均。
| 方法 | VoxPolyBench | Mem-Gallery | H2HMem-Multi |
| 最强外部基线 | M2A 61.3 | UniversalRAG 77.8 | AUGUSTUS 66.0 |
| w/o RL | 84.0 | 86.3 | 72.1 |
| VoxPolyMem | 85.0 | 89.6 | 74.4 |
VoxPolyBench 总分 85.0,论文写超最强外部基线 23.6 分,表中该列最高外部均分是 M2A 的 61.3。Mem-Gallery 89.6 对 UniversalRAG 的 77.8,H2HMem-Multi 74.4 对 AUGUSTUS 的 66.0。按题数加权得 86.6,最强外部 UniversalRAG 为 68.1。个性化 76.1 对 mem0 的 40.5,交互归因 87.5 对 HippoMM 的 61.3。检索推理 86.4、记忆演化 92.1 也最高。不训强化学习的变体加权已达 84.4,全面超过外部基线。
相对该变体的 84.0、86.3、72.1:去掉事实层和档案,三集落到 79.8、84.9、63.6。去掉交互边和按关系过滤,VoxPolyBench 从 84.0 落到 78.6,对本集伤最大。单轮检索落到 76.1、85.5、60.0,比去掉查询改写的 83.2、86.0、70.8 伤得更重。多轮补证据比把查询写漂亮更关键。Search-R1 用最终答案奖励,VoxPolyBench 反而从 84.0 掉到 81.3。EG-GRPO 三集最高,召回 87.4 和 93.6,平均 1.2 到 1.3 轮,少于对照的 1.4 到 1.8 轮。有参考切分时,声纹跟踪在 IEMOCAP 上 95.0%、AMI 上 87.9%。
会议、车载、家庭多用户语音助手需要把认人和谁对谁说写进记忆,转写进向量库不够。个性化从四十分档到七十六,交互归因从六十分档到八十七,缺口就在这两项。
分层记忆加多轮检索、不训强化学习已经超过十个公开基线。EG-GRPO 再换约一到三分和更少轮次。检索策略 8B,抽记忆和答题绑 GPT-4.1-mini 与合成数据。公开图文集涨幅 11.8 和 8.4,远小于自建集上的 23.6,大分差有一部分来自题目专门考说话人和受话人。对已有记忆系统,这是可插结构,不是换底座。
论文写明:生成对话加合成语音,不能代表真实口音、噪声和录音条件。声纹和人物档案能被用来跟踪和泄露,落地需要知情同意、访问控制、限期保存和删除更正。榜上分数不能当成监控或高风险身份判定的许可。
合成语音词错误率只有 2.14%,真实会议远脏于此。基线吃了标准说话人标签,VoxPolyMem 在更难设定下仍然更高,结构有用;自建集 23.6 分差距里很大一块是基线没有交互边和档案,能力不对齐。训练用了 VoxPolyBench 二百条金标问答,测试虽称 held-out,仍在同一生成管线里切分。大模型既生成对话和题目,又抽记忆、又当评委,分数可能偏乐观。附录提到人工抽查,正文没给一致性数字。IEMOCAP 与 AMI 的数字带着参考语句边界,不是从原始会议音频做说话人分离。