全双工语音模型听错仍调用对:转录错成Bai coffee照样买咖啡

ivan_digital · reddit · 2026-08-20

作者把自己维护的 Swift/MLX 运行时接上 NVIDIA VoiceChat 11B 全双工语音模型与本地 Apple Reminders MCP 服务,全程在 M5 Pro 上本地运行(约 7.5 GB 内存,整条管线 0.92 RTF)。

关键发现:模型通过单一连续网络同时听与说,并输出独立的函数通道转为 MCP 调用。实测中用户转录显示错误的 “Bai coffee”,但函数通道仍正确产出 Buy coffee,成功调用 createreminder 写入提醒,MCP 往返仅 68 ms——函数通道比文本转录更可靠。

安全设计上作者只暴露三个工具(list/create/update),刻意不给 delete。他向社区提问:对语音触发的破坏性工具,是该从 schema 里完全剔除,还是加一层显式确认调用?

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →