把语音 Agent 拆成talker+后台工人,作者复盘五个踩坑点

Fit_Accountant524 · reddit · 2026-09-30

一位开发者分享了自己构建语音助手的架构经验:实时语音模型只负责对话,耗时的任务交给带 shell 和真实浏览器的后台 agent。他总结了五个意外的坑:

• 能力清单不能省:把 worker 能做的事从语音 prompt 中删掉后,"咱们挂电话吧"这类指令触达后端的比例从 7 次中 5 次掉到 21 次中仅 1 次。
• "嘴上说做了":20 分钟会话中语音 4 次声称会处理事务却没有实际移交。解法是在 prompt 中明确"依赖后台工作的答案必须先移交",并统计每轮移交次数。
• 结果要回流:worker 的结果或问题中继回实时通话,只有发起询问的 worker 等待,其余继续跑。
• 任务要比通话活得久:用户常中途挂断,工作继续运行,结果下次可用或完成后通知。
• 静默烧钱:语音按分钟计费含静默,空闲通话自动挂断,静默超时从 40 秒调到 25 秒,最后 10 秒屏幕倒计时。

作者还开源了 repo 和演示视频,并询问社区如何解决实时语音模型"说了不做"的问题。

原文链接 →

「编程与Agent」频道最新

• xiaohu 晒 AI Agent 分配的电脑:装好浏览器还能打电话 — xiaohu · 2026-09-30
• Bittensor SN107 推出第二激励机制:AI 智能体跑基因研究任务 — markjeffrey · 2026-09-30
• 保留失败的 agent 任务:每次新模型发布重跑,抓住质变时刻 — victor_explore · 2026-09-30
• Agent 演示都很惊艳,一遇到例外就露馅 — yi111 · 2026-09-30
• 程序员自述:AI 辅助开发中每轮重构都会让旧问题迁移到新代码 — ssh4net · 2026-09-30
• 用户实测 Opus 5.5：速度快但常无视技术规格自行改写代码 — ssh4net · 2026-09-30

更多「编程与Agent」频道 AI 资讯 →