鸡尾酒会反向图灵测试:人类词准确率 0.71,最强语音模型 0.54 追不上
cloud_kj · reddit · 2026-10-29
一位开发者做了个「音频 CAPTCHA」式实验:把一句合成语音混入多条错开开始、衰减 4 dB 的背景人声,测试人类与 8 种语音识别配置能否分辨目标说话人。
结果:
- 人类平均词准确率 0.71,指令优化后的 Gemini 3.8 Flash 为 0.54,Qwen3-ASR 0.6B 为 0.55;通过率人类 77% vs Gemini 55%
- 配对同片段差距 +0.13(95% CI +0.03+0.23),AUC 仅 0.62——差距存在但太窄,任何阈值都达不到「人类>80%、机器<20%」的可靠 CAPTCHA 目标
- 仅靠一句提示词就让 Gemini 从 0.34 升到 0.54;回放对人类没有明显帮助;句尾漏听在人和模型上都更常见
局限:样本小(18 场次、多为英语母语者)、单一合成设置、未做源分离、未测更多商用 ASR。代码、数据与音频语料已在 GitHub 开源(crosstalk)。
「研究」频道最新
- Kaggle 举办 Bench Summit:指出现行基准测试三大失效问题 — MeganRisdal · 2026-10-29
- MIT 团队在 Llama-2 激活值中找到字面意义的「世界地图」 — burny_tech · 2026-10-29
- SWE-sweep 发布一个月即进入 Google DeepMind 前沿模型模型卡 — OfirPress · 2026-10-29
- 斯坦福计算医学讲座:AI 时代医学要洞见而非数据过载 — jonc101x · 2026-10-29
- 两个神经元加 0.75 就能「黑化」Qwen:Steering 向量实验引热议 — builderjaydub · 2026-10-29
- AdamW 批大小缩放法则被 ICLR 论文实证：LR 与 WD 同按 √k 缩放 — orvieto_antonio · 2026-10-29