Who Said What, and Will It Be Remembered? Evaluating Persistent Speaker Attribution Across Meetings
Shantanu Vispute, Aditya Mishra, Siddhartha Saxena
cs.SD, cs.AI
2026-09-30
提出用全局身份映射评分的 SI-cpWER,横评 8 套会议转写系统:单场第一的 ElevenLabs 跨会议多错 30 个点,自研 ThyVoice 以均值 47.13 领先全部商用级联。
把会议录音转成长期记忆的系统,需要转写同时保住两样东西:词,和稳定的说话人身份。同一个人跨会议得是同一个 ID,否则「上周谁答应了什么」这类查询无从链接。现有指标测不出这一点:WER 不管说话人;cpWER 按说话人算错误率,却在每条录音内部独立重映射匿名说话人,同一个人换个场子就换个标签,跨场误差被抹平。错误代价也不对称:漏词只是召回下降,把一句话挂到错的人头上,承诺和待办就归属错了人。
一半是评测协议,一半是参照系统。
SI-cpWER 在 cpWER 之上加一条硬约束:整个语料只用一张全局一对一说话人映射,由 Hungarian 算法在词错代价上解出。身份命名空间从空开始,录音按固定顺序串行进入,没有预注册名单,系统必须在线发现说话人。cpWER 与 SI-cpWER 的差值,就是身份层净新增或修复的误差。
Benchmark 有三个条件:CHiME-8 NOTSOFAR 全部 129 场会议的单通道干净音频;其固定噪声增强版(SNR 均值 10.1 dB);CHiME-6 两场远场晚宴对话切成约 300 秒的块串行处理,两场共享同一个声纹库,故意制造跨场误匹配的难度。五个商用级联(ElevenLabs、PyannoteAI、AssemblyAI、Deepgram、OpenAI)与两个开源基线(SE-DiCoW、WhisperX)统一外挂同一个 pyannote 声纹后端,只有各自的分离与识别环节不同。
ThyVoice 是自研的端到端参赛系统,核心是门控说话人证据:DiariZen md-v2 做重叠感知的说话人活动检测,两人重叠区用 MossFormer2 分离,分离流必须用 WeSpeaker 嵌入与干净证据余弦匹配超过 0.25 才能回流;每个说话人的干净段拼接成一条流交给 Qwen3-ASR;身份匹配余弦 ≥0.5 复用 ID,更新声纹要求 ≥0.7 且音频干净,原始重叠永不入库。动机很直接:混合语音被当单人证据写进声纹库是身份漂移的主因,入库前必须过门。
| 系统 | SI-cpWER 均值 | cpWER 均值 |
| ThyVoice | 47.13 | 46.90 |
| ElevenLabs | 54.75 | 40.47 |
| SE-DiCoW | 55.22 | 41.87 |
| PyannoteAI | 59.82 | 49.55 |
| AssemblyAI | 61.32 | 50.79 |
| WhisperX | 67.27 | 59.21 |
| OpenAI | 72.52 | 60.84 |
| Deepgram | 75.97 | 72.70 |
ElevenLabs 的 cpWER 和 WER(均值 33.73)在商用里都是第一,持久归因上被 ThyVoice 全面反超。CHiME-6 上它的 SI-cpWER 比本地 cpWER 高约 30 个点(74.22 对 44.25),ThyVoice 只高 1.5 个点。NOTSOFAR 参考只有 12 个说话人,AssemblyAI 解析出 75(干净)、101(噪声)个身份,SE-DiCoW 是 71、124,ThyVoice 是 12、12。
20 场会议的重叠策略消融把机制钉了出来:分离加回流 SI-cpWER 32.73;直接丢弃重叠 54.12;混合音频只进转写、身份用干净音频 41.42;混合音频也进声纹库 67.76。后两项 cpWER 几乎相同,SI-cpWER 差 26 个点,崩的是身份证据,不是转写。DER/JER 上 ThyVoice 的 DiariZen 组件全条件最低(均值 38.69/43.18),但词层与局部层的领先换不来持久身份,这个反转是全文中心结论。
按单场指标采购转写 API 的团队要小心:这些数字预测不了跨会议行为。对把对话当记忆的系统,错挂说话人比漏词更毒,决策和待办会落到错误的人头上。多数商用 API 只暴露一个词一个说话人标签的输出面,诊断里重叠检出率为 0,下游想自己修身份都没有原料。ThyVoice 的门控原则,把转写音频与身份证据当成两个独立的筛选决策,可以直接搬进任何管线。也要说透:组件全是现成的,贡献在协议与组合方式,属于评测驱动的渐进工作。
作者自述:NOTSOFAR 每场是独立单次会话,跨会议持久靠固定顺序串行处理同一声纹库来模拟,不是真人跨天重复出现,换处理顺序结果可能变;诊断打分的是各家异构输出面而非统一接口;只测英语单通道,Noisy 是确定性增强,CHiME-6 只有两场;消融只覆盖前 20 场,是方向性证据;错挂身份的任务级后果没测,留作 future work。
读下来的存疑:ThyVoice 用自家带门控的声纹库,对手统一外挂 pyannote 声纹层加 30 秒拼接注册,部分优势可能来自身份后端与各家输出面的适配度,而非各家真实的持久能力。