Rethinking Automated Voice Similarity by Shifting from EER to Embedding Geometry
Szu-Chi Chen, Jia-Kai Dong, Yi-Cheng Lin, Sung-Feng Huang, Hung-yi Lee
eess.AS, cs.SD
2026-09-28
EER与人耳对齐相关仅+0.07，deff相关达-0.95；AM-Softmax压到3维，对齐从0.08升到0.74。
TTS 和 voice conversion 要检查合成声音像不像参考说话人。人工打分贵，业界几乎一律用说话人验证模型抽出嵌入，算余弦相似度，再用等错误率 EER 挑「最好的」嵌入器。默认推理是：验证越准，对人耳细粒度音色差异的刻画就越好。
这个推理一直没被系统测过。验证任务只判「是不是同一个人」；人耳打的是 1 到 6 的连续分，还要分得出「很像」和「有点像」。台大与 NVIDIA 在只用身份标签、没有感知监督的常规设定下，问了两件事：EER 更低是不是更贴人耳；训练出来的嵌入空间里，什么几何量才跟人耳一起动。
感知对齐 ρalign 定义为 VoxSim 异说话人对上，嵌入余弦相似度与听众平均分的 Spearman 秩相关：模型打分和人耳打分的排序有多一致。VoxSim 找了 13 名听众，给 1,251 个 VoxCeleb1 说话人的录音对打分，27,697 个独特对里 16,905 对是不同人。只用不同人，是因为「同一人打 1、不同人打 0」这条身份捷径在全量对上已经能到 SRCC 0.715，会把模型之间的差距淹没。
有效维数 deff 用来量嵌入把说话人铺开了多少个独立方向。语句嵌入按说话人平均成 1,251 个质心，L2 归一化再中心化，对质心协方差做 PCA，用特征值的 participation ratio：特征值之和的平方除以平方和。deff 大，说明说话人在很多方向上均匀散开；deff 小，空间更扁。分类损失给每个说话人一个可学习类中心，嵌入归一化后对余弦加间隔，等于把所有人往高维球面均匀推开，deff 容易偏高。度量学习在 batch 里用同类其他句子当原型，要求待测句离自己的原型最近，推的是相对距离，不必占满所有方向。先前感知研究已经指出，人耳对声音相似度的判断可以被低维空间抓住，所以这个几何量和听感对得上号。
实验是五组模型条件 × 七种损失 × 三随机种子。ECAPA-TDNN 和 ReDimNet-B2 用 192 维，Fast ResNet-34 用 512 维，另两组把 WavLM Base+ 接到 ECAPA 头上，分冻主干 20 个 epoch 和解冻再训 5 个 epoch。训练数据都是 VoxCeleb2-dev 的 5,994 人。EER 在 VoxCeleb1-O 上用整段录音的余弦相似度计算。压维实验只动 ECAPA，把输出维改成 512、32、10、3。
35 组训练条件下，EER 与 ρalign 的 Spearman 相关只有 +0.07（p=0.71）。拆到单个模型里，相关符号从 -0.68 晃到 +0.61，permutation test 没有一组拒绝零相关（最小 p=0.11）。图上四个公开 SOTA 检查点落在「EER 低、对齐差」的角落，跟「验证越强越像人耳」的社区预期相反。
拉开对齐的是训练目标。每个模型条件下，最好和最差损失的 ρalign 都差三倍以上，而且几乎不用付出 EER。原型类损失稳在 0.395-0.499，分类损失掉在 0.080-0.298，AM-Softmax 五个条件全垫底。ECAPA 上把 AAM-Softmax 换成 Angular Prototypical，ρalign 从 0.111±0.013 升到 0.406±0.007，EER 并列最好的 1.47%。WavLM-p2 上 Angular Prototypical 拿到全表最低 EER 1.09%，ρalign 仍有 0.401；同条件 AM-Softmax 是 1.40% / 0.102。
| 设置 | EER% ↓ | ρalign ↑ | deff |
| ECAPA + Angular Proto. | 1.47 | 0.406 | 33.0 |
| ECAPA + AAM-Softmax | 1.47 | 0.111 | 74.5 |
| ECAPA + AM-Softmax | 1.62 | 0.080 | 98.3 |
| Fast ResNet-34 + Angular Proto. | 2.35 | 0.499 | 21.2 |
| Fast ResNet-34 + AM-Softmax | 2.19 | 0.158 | 64.0 |
deff 与 ρalign 总体 Spearman 为 -0.95（p<0.001）；五个模型条件内从 -0.71 到 -1.00，四个条件 permutation test 显著（p≤0.007），ReDimNet-B2 是例外（p=0.088）。说话人被铺开的方向越少，越贴人耳。deff 只看说话人质心，不需要听感标注。
把几何量直接拧紧：ECAPA 上 AM-Softmax 从原生 192 维压到 3 维，deff 从 98.3 掉到 1.5，ρalign 从 0.080 升到 0.738，EER 从 1.62% 恶化到 20.48%。Angular Prototypical 同样压到 3 维，ρalign 从 0.406 升到 0.666，EER 升到 13.60%，涨幅更小，因为它本来就把说话人摊在更少方向上。加宽到 512 几乎没变化，名义维度只是上限。nout=3 时 AAM-Softmax 三个种子里两个塌成 deff≈1.1、EER>40%，对齐也是唯一回落的一格。压维能换对齐，验证精度是明确代价。
TTS / VC 论文里用「EER 最低的说话人模型」当音色自动指标，这篇把这个默认选项拆开了。同一架构、同一数据，只换损失就能在不牺牲 EER 的情况下把人耳对齐翻三四倍。真要追极致对齐，可以主动把嵌入压扁，但 EER 会进人耳验证的区间：文献里人在 VoxSim 上约 17.7%，在 VoxCeleb1 上 15.8-26.5%，AM-Softmax 的 3 维模型 EER 20.5%，已经跟人对打。
能马上改的是选损失。要做人声相似度代理，prototypical 和 Angular Prototypical 比 AAM-Softmax 更合适。deff 可以当不需标注的几何筛子。这是评价口径和训练目标的校正，骨干没变。
正文没有单独的 limitations 节。全部听感来自真实 VoxCeleb 录音，没有把这些嵌入接到 TTS 或 VC 里，看合成语音的听感会不会同样翻盘，而论文的应用叙事正好是语音生成。VoxSim 只有 13 名听众、英语名人语音，跨语种和脏录音能不能保住 -0.95 这条相关，没测。
ρalign 丢掉了同说话人对，测的是「不同人有多像」，不是「像不像本人」。克隆音色如果主要关心「像不像参考说话人自己」，口径并不完全重合。nout=3 的 0.74 对齐带着约 20% EER 和训练不稳，当不了验证模型。公开检查点只在 ECAPA 图上点了四颗星，没有对工业界常用的说话人模型做普查。