NVIDIA 新论文:语音 agent 工具调用外包给文本 LLM,召回率超 92%
omarsar0 · x · 2026-09-20
NVIDIA 最新研究给全双工语音模型加上了工具调用能力，指出语音 agent 的短板主要在语音管线而非智能本身：
- 商业双工语音模型在干净环境下仅能完成 31-51% 的真实客服任务，而 GPT-5 等文本 agent 在同类任务文本模式下可达 85%。
- 修复思路：把决策从语音模型中外包——双工前端学习发出「委派 token」，将流式转写转发给文本后端 LLM 执行工具调用，再通过轻量的 prefill-and-repeat 机制将结果送回流式 TTS 播报。
- 效果：工具调用召回率达 92.0-97.2%，对无关调用的拒绝准确率 81.2%，同时轮次切换率、流式 ASR 词错率和口语智能均保持在原有水平。
所属事件:NVIDIA 发布开源全双工语音模型 VoiceChat 支持工具调用(2 条相关)→
「研究」频道最新
- ECIR 2027 设 SAFE-SEARCH 研讨会，聚焦对话式搜索安全，1 月 15 日截稿 — HamedZamani · 2026-11-12
- 仅用正例自举后训练：235B 模型写出与人类难以区分的科学文本 — AllThingsApx · 2026-11-12
- UC Berkeley 开源 RoboSimStudio：AI Agent 无需训练数据编程工业机器人 — berkeley_ai · 2026-11-12
- LAION 发布 14 亿样本音频语料库，CLAP2-L 登顶 MAEB-30 达 53.6% — serrjoa · 2026-11-12
- Allen-Zhu新论文：Canon层随机卷积权重也能提升模型推理 — teortaxesTex · 2026-11-12
- Scale AI 论文：374 次攻击中 36% 成功，模型可在自训练迭代中暗中搞破坏 — Miles_Brundage · 2026-11-12