全双工语音模型听错仍调用对:转录错成Bai coffee照样买咖啡
ivan_digital · reddit · 2026-08-20
作者把自己维护的 Swift/MLX 运行时接上 NVIDIA VoiceChat 11B 全双工语音模型与本地 Apple Reminders MCP 服务,全程在 M5 Pro 上本地运行(约 7.5 GB 内存,整条管线 0.92 RTF)。
关键发现:模型通过单一连续网络同时听与说,并输出独立的函数通道转为 MCP 调用。实测中用户转录显示错误的 “Bai coffee”,但函数通道仍正确产出 Buy coffee,成功调用 createreminder 写入提醒,MCP 往返仅 68 ms——函数通道比文本转录更可靠。
安全设计上作者只暴露三个工具(list/create/update),刻意不给 delete。他向社区提问:对语音触发的破坏性工具,是该从 schema 里完全剔除,还是加一层显式确认调用?
「编程与Agent」频道最新
- Agent 自动追踪安大略湖并反向工程房产商信息 — yacineMTB · 2026-08-20
- Grok Bot 演示:一键充当数字参谋并接管 X 与 GitHub — elonmusk · 2026-08-20
- 1 人 6 月重写平台:Vibe Coding 原型与生产级代码的实战鸿沟 — alex_verem · 2026-08-20
- 马斯克:Grok Bot 拥有独立云电脑,关机也能运行 — elonmusk · 2026-08-20
- 开发者利用 Grok Bot 重构游戏开发工作流 — eyishazyer · 2026-08-20
- Grok Bot 成功搞定“我不是机器人”验证测试 — eyishazyer · 2026-08-20