VoxMem: Benchmarking Multimodal Memory in Large Audio Language Models
Yang Xiao, Vidhyasaharan Sethu, Eun-Jung Holden, Ting Dang
eess.AS, cs.SD
2026-09-26
VoxMem用3196题、177小时多会话音频评15个LALM：32K下无一超过40%，最强38.5%；模型记得住说了什么，记不住谁说、怎么说、现场有什么声。
语音助手要跨多次会话把事记下来，现有评测几乎只考「说了什么」。SpokenWOZ 和 ContextDialog 盯词面；AudioMarathon、LongSpeech、VoiceGiraffe 把单段录音拉长；Audio MultiChallenge 仍是一段连续对话，只有三到八轮。谁在说、语气怎么变、背景里有没有警报，这些只活在波形里，转写成文字就没了。记忆操作同样窄：多数只测单点抽取，很少测跨会话拼证据、跟状态，以及证据不够时该不该回答。
真实交互是一截一截的 session，中间换题、换人、隔好几天。把历史塞进一个超长录音，测的是听懂这一段，不是跨会话把证据绑回来。已有工作比较不同长度时还经常换题，长度和难度缠在一起。VoxMem 同时钉死两根轴：记住哪类声学证据，以及必须对它做什么操作。
墨尔本大学与新南威尔士大学把评测铺成 4×4，去掉「语音语义 × 信息抽取」（两边都是词，容易变成听写），留下 15 格。
语音语义覆盖事实、计划、偏好，转写就够，当基线。说话人身份是一名助手对多名平等用户，答案绑在声纹上，文本不许出现姓名。副语言覆盖犹豫、惊讶、语速、笑声。环境声覆盖交通、警报、家电、天气。后三类转写不够。
IE 从单段历史里取：可以先靠内容再读声学属性，也可以先靠声学线索再取事实。MSR 做计数、匹配、汇总，打乱顺序答案不变。TET 跟最新状态、某时刻状态或变化链，顺序会改答案，而且声学变化不会用嘴说出来。AR 从能答题派生，抽掉刚够唯一答案的证据；166 个变体过了 130 个。
历史由证据会话、干草堆会话（同题但错细节或错说话人）和 InstructS2S 填充会话拼成。题、答案、证据在 8K 到 64K 四档固定，只加干扰和填充。长度用 Whisper 按 50 token/秒量，约 2.5 到 20 分钟。证据和干草堆均匀散布，位置不泄密。
用户轮次用 Higgs-TTS-3 和 30 个固定 VCTK 音色合成，副语言靠风格标签，ESC-50 环境声按 10 dB 混入。助手轮次给文本，避免漏声学答案，也让不会说话的模型能跑同一份输入。质控用 Gemini-3.7-Flash，它不在被测名单里。规模是 799 题、3196 实例、34743 段会话、177 小时、20 个日常话题。
8K 上 669 道可答题，用户音频换成合成文本后，Gemini-3.7-Flash 在音频原生题从 46.2% 掉到 4.4%，语义题只从 75.9% 掉到 71.0%。文本分类器分证据和干草堆 51-56%，打乱标签 47-49%。
15 个 LALM 走原生音频接口，没有外挂 ASR。Gemini-3.7-Flash 打分时看不到历史；换 GPT-5.6-Luna 复判，κ=0.953，一致率 98.0%。能力拒答记错，不算成功弃权。
32K 参考预算下没有模型整体超过 40%。最强 Qwen3.8-Omni-Flash 38.5%，Gemini-3.1-Pro 35.9%，Gemini-3.8-Flash 34.0%。闭源五家均 33.0%，开源十家 21.9%。
| 设置 | 闭源均 | 开源均 |
| 整体 8K | 40.1% | 26.6% |
| 整体 32K | 33.0% | 21.9% |
| 32K 语义 | 55.6% | 31.6% |
| 32K 说话人 | 32.7% | 26.7% |
| 32K 副语言 | 20.0% | 14.5% |
| 32K 环境声 | 21.9% | 15.5% |
操作和证据交叉以后，难度不是一条线。32K 上 15 家平均：语义 TET 44.5%，说话人 TET 20.0%，副语言 TET 3.4%（n=49），环境声 TET 1.2%（n=32）。IE 在副语言上 8.8%。MSR 并不更难：说话人 MSR 43.1%，高于说话人 IE 的 29.0%。拒答反过来：副语言和环境声 AR 为 34.3% 和 34.2%，语义和说话人只有 19.9% 和 16.2%。声学题上的「拒答成功」，很大程度是模型本来就用不了这类证据。
同一道题、同一份证据，只把周围会话加长。闭源整体从 8K 的 40.1% 掉到 32K 的 33.0%，开源从 26.6% 掉到 21.9%。到 64K，相对各自 8K，语义保住 70.3%，副语言 69.8%，说话人 66.5%，环境声 63.2%。副语言绝对值最低，衰减速度却和语义差不多；说话人和环境声更怕变长。
64K 对错误作答做归因（不含拒答）。IE 错里 46% 是绑定失败：线索听到了，对不上会话。MSR 是定位 48% 加运算执行 32%。TET 55% 卡在定位，执行追踪只占 5%。说话人错 48% 是张冠李戴；副语言 63% 是线索没被找回；环境声是定位 41% 加没有依据的作答 39%。三类音频原生证据不是同一种难。
给做语音 agent 和长上下文音频模型的人，这是一张能把词记忆和声记忆拆开的量表。加窗口留不住已经在历史里的东西：题没变，干草堆变多，分数就掉。产品若先 ASR 再塞进 LLM，音频原生那几格会接近零，因为答案不在字里。
这不是新的记忆架构，是评测。代码和数据已经放出。要压声纹绑定和副语言、环境声记忆，这是目前最对齐的压力测试。合成语音、文本助手轮次、只测长上下文，它代替不了真实通话。
正文没有独立局限节。用户语音全是 TTS，副语言靠合成标签，环境声是 10 dB 混音，和真实电话、重叠说话、房间混响差一截。助手轮次是文本，测的是「听用户、读自己的历史回复」，不是全程语音记忆。
题目由 Gemini-3.7-Flash 和 GPT-5.6-Luna 生成，质控和主裁判还是 Gemini-3.7-Flash。第二裁判 κ=0.953，AR 最大分歧是能力拒答：50 道放行对打回里，32 道属于「没有历史权限」。长度轴是 Whisper 的 50 token/秒，不代表某个模型真实消耗，64K 还用了单独的模型子集。没有检索或外挂记忆对照，结论只对「整段历史进上下文」成立。英语、20 个日常话题、30 个 VCTK 音色。干草堆探针只是 TF-IDF 逻辑回归。