企业语音 Agent 评测难题：模拟 Caller 不同可致 5% 准确率偏差
rdesh26 · x · 2026-10-31
构建企业语音 Agent（EVA）时如何评测是个棘手问题。人工评测最理想但无法覆盖所有模型 checkpoint，行业标准做法（由 Tau-Voice 开创，后被 EVA、MIVAS、Vamos 采用）分三步：
- 建域（Domain）：定义 policy、数据库与工具 schema，如一家银行配 21 个可执行工具。
- 定义任务：设定 caller 档案、目标，以及基于该目标的数据库初始/最终状态（对 agent 隐藏）。
- 全双工对话：用模型模拟 caller 跑完整对话，代码校验通过即算成功。
核心陷阱在于：真实录音是静态的，而对话路径千变万化，必须用另一个模型（级联或端到端）模拟 caller——这使评测结果变成模拟 caller 构建方式的函数。Tau-Voice 有 standard 和 custom 两个 leaderboard，GPT-Live 在两者上的成绩差了 5%。
作者的判断是：这不只是 harness 差异——如果一个模型在不同 caller 模拟下任务完成率差异巨大，它在真实部署中（caller 不可控）也很可能行为不稳定；但反过来，也不应把 caller 自身的错误（如 TTS 没念对电话号码）算到模型头上。
「编程与Agent」频道最新
- AI Engineer Code Summit 2026 开放申请:云集千名顶级 AI 工程师 — threepointone · 2026-10-31
- Todoist 搭建自愈系统：Agent 监控 Sentry 自动修 bug，五分之一免人工 — zeeg · 2026-10-31
- 独立开发晒 Multica 1.0 开发账单:4.3 亿 token 花 183 美元 — jiayuan_jy · 2026-10-31
- 游戏工作室让多台机器自动跑游戏回传 QA 报告 — draginol · 2026-10-31
- 开发者一年打造 Limma MCP:结构化全量数据,宣称检索零遗漏 — FlimsyIngenuity7248 · 2026-10-31
- Agent 审计新思路：不看总结，让用户说出改了哪些文件跑过哪些测试 — ronbodkin · 2026-10-31