实测 ASR 抄电话号码:Whisper 精确率仅 34%,文本直读可达 91%
Gjuesev · reddit · 2026-10-15
作者构建了 VoxEntity-EU 基准,检验语音系统在德语和法语下能否逐字符精确抄录口述的姓名、电话、邮箱、日期、地址、参考编码——错一个字符即失败。
结果:
- Whisper large-v3-turbo 槽位精确率 34.2%,Voxtral Mini 3B 37.1%,两者统计上无差异(作为零结果发布);同样的正确文本直接喂给抽取器达 90.8%——瓶颈全在 ASR。
- 最惨的是邮箱(0–20%)和电话号码(10–25%)。转写读起来通顺,WER 几乎察觉不到号码错了,但下游每张表单都存进了错号。
- 模拟 8kHz 电话信道让 Whisper 再掉 5 个点,在 FLEURS 人声控制集上 WER 几乎翻倍。
诚实声明:语音为合成(Qwen3-TTS),换 Piper TTS 后 Whisper 高 10 分、电话号码从 15% 升至 55–70%,故绝对值按 TTS 家族分别发布;语料标注为 provisional,作者还公开撤回过一版因抽取器 bug 得出的错误结论。全部结果可在 CPU 上无网络复现,并附带可试听的失败案例浏览器。
数据集、代码、结果均已在 Hugging Face 与 GitHub 开源。
「研究」频道最新
- IFM 开源 RL360:8192 并发沙箱、130 万 rollouts 的 RL 基建 — rupspace · 2026-10-23
- 号称匹敌 GPT-6.1 的 DNA 模型遭实测打脸：10 例 8 例不如随机 — anshulkundaje · 2026-10-23
- AI 揭穿阴谋论研究风波落幕：Science 撤回关注声明，结论不变 — DG_Rand · 2026-10-23
- Embodied First Exam：一行代码在 44 台机器人上考你的 Agent — ManlingLi_ · 2026-10-23
- Anima Anandkumar 演讲：AI 气象模型胜超算，但不会取代科学家 — AnimaAnandkumar · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23