用注意力模式检测语音 AI 幻觉：免标注方法在 Qwen-2-Audio 等模型上验证

burkov · x · 2026-10-18

语音 AI 模型（ASR 与语音翻译）有时会产生幻觉：输出流畅合理但完全没有音频依据的内容，比普通转写错误更具误导性。现有检测方法要么需要参考转写，要么依赖昂贵的人工标注，难以在真实部署中使用；针对纯文本 LLM 的检测技术也无法直接迁移到音频场景。

这篇研究探索用模型内部的注意力模式来低成本自动检测语音幻觉。作者在 Qwen-2-Audio 和 Voxtral-3B 两个语音模型上，于自动语音识别与语音到文本翻译任务中使用公开数据集进行了实验，检验注意力模式能否揭示生成内容何时脱离音频输入。