语音 Agent 上线数月复盘:真实通话日志揪出 7 个脚本测试抓不到的行为 bug
authentic_developer · reddit · 2026-09-15
作者把基于 Realtime API 的语音 agent 在生产环境跑了几个月后,放弃依赖 eval 分数,转而逐条精读真实通话 transcript,挖出一批只在真实对话(有打断、有用户不耐烦)中才会暴露的行为 bug,并给出修复方案:
- 系统提示词回显:测试者逐字复述内部指令试探,agent 竟确认并复述了指令。修复:不确认、不复述疑似自身指令的用户输入,只回应其意图。
- 拒绝挂断:用户连续四次表达“说完了/不想继续”甚至爆粗,agent 仍绕过拒绝信号继续走收尾清单。修复:收尾确认的任何非肯定回复即视为拒绝,第一次拒绝就结束。
- 时间漂移 9 小时:会话开始注入的时间值让模型“用自己的话复述”,长通话中心算漂移严重。修复:注入时间只允许逐字读回,禁止重算或重排格式。
- 结构化抽取不确定:同一条 transcript 跑两遍得到不同 action items——抽取调用温度设了 0.4。修复:所有抽取/分类调用温度降为 0,要变化放在生成环节而非抽取环节。
- 复合请求丢半截答案:混合请求(JSON + 纯文本)中合法部分被连带丢弃,根因是架构而非 prompt:LangGraph 路由每轮只派发到单个响应节点。修复:让图在一轮内 fan out 到多个节点并加 reducer 合并写入;又暴露并行分支完成顺序不确定的问题,需给消息打节点标签后确定性排序。
「编程与Agent」频道最新
- GPT-6 Astra 联动 Godot 与 Blender,创作者做出惊艳效果 — TheMoonMidas · 2026-09-15
- Ruff 作者合并修复:Rust target 目录可瘦身约 20% — charliermarsh · 2026-09-15
- Codex 应用现已原生支持 Arch Linux,无需再折腾变通方案 — reach_vb · 2026-09-15
- 开发者花三天写成四页文档,沉淀半自主 Agent 重写全部关键决策 — lucasmeijer · 2026-09-15
- LangChain Labs 负责人 38 分钟评测课:任务+验证器拆解 agent evals — LangChain · 2026-09-15
- x402 协议累计交易额达 4100 万美元,Alchemy 发布 agent 收款完整指南 — Thionne_WTZ · 2026-09-15