VoxParity 语音基准:23 个语音智能体仅 11 个能听懂弦外之音
Bhavik Mangla · hf · 2026-10-01
VoxParity 基准测试语音智能体是否能根据「声音本身」改变决策,而非只依赖文字转写。基准覆盖 14 个行业的 183 个场景:文字转写完全不变,仅音频变化(求救的 mayday、医疗监护仪滴滴声、儿童声音下注、恐惧的耳语等),考察正确的工具调用是否随之改变。
核心发现:
- 能跑转写的 23 个系统中仅 11 个通过「超越只读转写流水线」的零假设检验;
- 误差系统性偏向文字:当音频要求保护时,28 个系统执行常规请求的比例(41%)远高于在干净通话上过度反应(12%);
- 领先系统的失误多落在它们「听到了」的线索上;对听到的厌世或困惑信号,领先系统推翻原决定的频率远高于急性报警;
- 在测试的模型中,「描述声音特征」和「明示规则」各能弥补部分差距,但在情绪线索上仍留有缺口。
「模型」频道最新
- Fable 5.2 对比 GPT-6 Astra:便宜 14 倍快 12 倍,效果还碾压 — jradoff · 2026-11-16
- Qwen4 Max 实测:Agent 自动化比肩 GPT-6.1,难 SWE 仍落后且更贵 — haider1 · 2026-11-16
- Nous 高管提醒:勿用 GPT 900k 变体,272k 后加收费用 — Teknium · 2026-11-16
- 爆料称 Gemini Argon 与 Carbon 均为 12T 参数大模型 — oran_ge · 2026-11-16
- Qwen4 Max 对比 GPT-6.1 Sol:同为高推理档,单价 $0.0909 vs $0.132 — Angaisb_ · 2026-11-16
- FutureSim Q3:LLM 从经验中真实变强,Opus 5.5 登顶 — rickasaurus · 2026-11-16