Do Audio LLMs Listen Before They Act? Diagnosing Acoustic-Context Gating in Voice Agents
Yanjie Zhang, Nanchen Hu, Yushi Sun
cs.SD, cs.AI, cs.CL, cs.MM, eess.AS
2026-09-26
VGBench 用 1,018 条数据测语音 agent 该不该动手：六款 Audio LLM 对旁观者命令静音率最高 14%,LoRA 微调后升到 91.3% 且正控全对。
语音 agent 能听懂指令、会调工具，但动手之前少了一个判断：这句话是不是冲着助手来的。旁边的人聊天提到「发条消息」、用户自言自语念命令、说话人从佩戴者换成旁观者，这些情况都该闭嘴。传统管线把这件事交给关键词唤醒、设备定向检测、声纹验证等前置模块；端到端 Audio LLM 把沉默、回答、调工具合并成一个策略，判断被藏进了模型内部。现有评测大多是给一条格式良好的请求、看工具选得对不对，工具准确率高不代表声学上下文在控制执行。这篇把它收窄成一个动作级问题：字面相同的命令，换一个声源和场景说出来，模型执行还是沉默。工作来自 HKUST 与腾讯 Lightspeed。
VGBench 有 1,018 条数据，三个场景族共用一个动作空间:Mute、一次工具调用、自然语言回答。
评分刻意成对：switch 静音率必须和同说话人、纯文本两个正控的工具选择率一起读，堵死「永远沉默」的退化解。side-talk 和 self-talk 真人录制，switch 用八个 TTS 声音合成，响度归一到 -20 dBFS。
VoxGate 后训练在 Qwen3-Omni-30B-A3B 上挂 LoRA(rank 32,音频编码器冻结)，混合 VGBench 训练分区和 WearVox 的回答、弃答、工具、翻译数据，8 张 H200 训三个 epoch。之后的反事实对 GRPO 把同一对命令的正反条件放进同一个 rollout 组做优势归一化，梯度信号取决于能否区分这对反事实，与题目难度无关。
全量语料的关键数字：
| 系统 | switch 静音率 | 同说话人工具选择 | 纯文本工具选择 |
| Qwen3-Omni | 1% | 77% | 81% |
| Kimi-Audio-7B | 14% | 53% | 44% |
| Step-Audio-R1.1 | 1% | 96% | 97% |
| Audio Flamingo 3 | 0% | 0%(格式不兼容) | 0% |
Step-Audio-R1.1 最典型：正控工具选择 96% 和 97%,换人后静音率 1%。命令认得出，谁在说不管。Kimi 静音率最高但正控掉到 53% 和 44%。免训练适配里最好的 TwS 也只到 6%,还靠滥用沉默把 side-talk 从 39.0% 拉垮到 23.0%。
后训练，固定 20% 留出分区：
| 设置 | switch 静音 | 同说话人选择 | 纯文本选择 | self-talk 静音 | side-talk |
| base Qwen | 0% | 81.3% | 87.5% | 50.0% | 53.2% |
| VoxGate SFT | 91.3% | 100% | 100% | 52.0% | 68.4% |
| SFT + GRPO | 92.5% | 100% | 100% | 60.0% | 70.9% |
SFT 静音 73/80 条切换命令，所有近场和纯文本正控全对；WearVox 下游 384 例总分从 45.57% 升到 72.14%,高于只用任务数据训练的 63.28%,GRPO 再到 76.30%。因子化对照里，固定近场渲染和 600ms 间隔、只换触发源，静音率从 1.25% 升到 50.0%;只把同说话人触发改远场，升到 60.0%;单独加 600ms 间隔只动 1.25 个百分点。91.3% 是源与距离两个线索的叠加。
对做语音 agent 的人，三个直接可用的结论：
反事实配对加正控的基准设计，比分数本身更有借鉴价值。进展实在，场景覆盖还窄：八个 TTS 声音、一个固定房间渲染，离开放场景的结论有距离。
论文自己列了大部分：单 split、每设置一次运行、无多种子；GRPO 没有不配对对照，小幅提升不能归因于配对分组；side-talk 的 LLM judge 没有人类一致性估计；工具准确率只查名字不查参数；cue 研究换了佩戴者声音，没换房间、模板、自然旁观者语音和开集说话人。
读下来再补三点。cue-balanced SFT 在场景一致的新音频上，同说话人远场静音只剩 3.75% 和 5.00%,距离拒绝依赖训练音频的渲染方式，且这一步原始 switch 从 73/80 掉到 70/80、WearVox 工具调用从 90.18% 掉到 83.04%,代价真实。switch 条件把源、远场、600ms 边界三个变量捆在一起，基准总分分不出「谁在说话」的独立贡献。91.3% 这个头牌数字也只建立在 80 条留出命令上，样本不大。