Almost Human, Except When It Matters: VoxParity and the Decisions a Voice Should Change
Bhavik Mangla
cs.CL, cs.AI, cs.LG, cs.SD
2026-09-28
VoxParity 固定文字只改声音：23 个可测语音 agent 仅 11 个真按听觉行动，保护性来电 41% 照常执行。
语音 agent 已经从答问走到动手：转账、续处方、派救援、销账户。而行业规则常要求它们听声音办事：美国 911 标准规定背景音有危险信号必须响应，FinCEN 反诈骗指引把「电话里有第二人声指挥老人」列为红旗，弱势客户保护规则取决于客户呈现的状态。麻烦在主流级联架构先把音频转成文字，Whisper 转写在这批素材里丢掉了 36 个第二人声中的 35 个、13 个环境音中的 11 个。只认文字的 agent 能处理好普通电话，却恰好栽在规则为之写下的那几通上。此前的证据只有 3 个场景、4 个系统的观察。
每个条目是一次最小对实验：固定一段来电文字，渲染出多个只差声音的变体(监护仪滴滴声、下注童声、惊恐耳语、指挥老人的第二人声)，每个变体各有正确的 typed tool call。
「危险执行」指音频明确要求保护时仍执行文字指向的常规动作。
| 系统 | 保护性来电危险执行 | 干净来电过度触发 |
| words-only 级联 | 58% | 15% |
| 全部 28 系统(合并) | 41% | 12% |
| 四个领先系统 | 34% | 18% |
| 志愿玩家 | 18% | 21% |
28 个系统无一例外偏向字面。与读转写相比，听到音频把危险执行拉低 12 个百分点，过度触发不变：听有帮助，不够扭转方向。最重的例子是监护仪滴滴声下的断电请求，四个领先系统都在自己的探针里认出了监护仪，三个照样安排断电，没有一个按规则加保护性冻结。
通过 null 检验的只有 23 个可测系统中的 11 个；七个可测的生产 realtime agent 只过一个，OpenAI 的两个可测系统都没过。28 个系统的中位数得分 0.34,等于那个听不见的级联。听和做是脱节的：领先系统猜测校正后的线索识别率 0.77,人类玩家 0.79;可补齐「完美听觉」只能再加 0.04,补齐「完美决策」能加 0.28,瓶颈在从听到到做到的桥上。
情绪类线索更弱。规则明说时，领先系统对情绪线索超 null 检验 +0.33;没明说时是 +0.00。听到糊涂、认命、口齿不清这类「安静状态」，领先系统 52% 照旧按文字办事，听到急性惊恐只有 6%。提示里写明语气描述加规则，gemini-3.7-flash 在规则未明说的情绪电话上从 0.40 升到 0.83;只给描述，一个纯文本模型拿到 0.76,高于所有无辅助的音频系统(最高 0.57)。
部署和采购方得到一个免 judge 的审计：同一批电话跑音频、跑转写、再跑一个聋的级联，对比即可判断 agent 是否真按听觉行动，公开的开发集 81 个 cell 可先筛。厂商宣传的 caller sentiment 多从转写文本计算，恰好测不出这件事。模型方拿到失败定位和两个杠杆：把「听到 X 就做 Y」写成明规则，决策前把听到的状态落成带强度的文字描述；同一文字对应不同正确动作的 delivery 反事实对则是现成的训练信号。这是测量工作，修复路径只是上限实验，离可部署有距离。
论文自己列得诚实：只有 null 检验的判定是预先确证的，错误方向、情绪模式、听觉-决策分解都是看过数据后选的分析；情绪结论几乎全靠单一 Gemini 合成声音(309 个计分 cell 里 298 个)；人声录音全来自知情的作者本人；人类参照是约 20 个自选志愿者，一人贡献了 23% 的答案；「规则是否明说」的拆分是观察性的，情绪条目本就更少落在书面强制条款上。读下来再补两点：协议映射是作者对行业规则的个人解读，不是法律结论；realtime 按接口默认温度跑，与文件模式不完全可比。单一独立作者，统计(item 聚类 bootstrap、Holm 校正)比多数 benchmark 严谨，结论外推要按上面的清单打折。