Upstart语音AI实战:LLM裁判与人工审核一致率从33%提到92%
AI Engineer · youtube · 2026-10-31
AI Engineer 播客访谈 Upstart 语音 AI 负责人 Shiv Indap 与 Coval 创始人(前 Waymo 评测基础设施负责人)Brooke Hopkins,讲 Upstart 如何自动化每天数千通贷款核实电话——问错一句话就可能变成合规问题。
- 合规陷阱:某些问题在电话中不能问,话术设计本身就是监管风险
- 人工审核从 Google Sheet 起步,规模扩大后被迫升级
- 核心:通过迭代指标与 prompt,把 LLM 裁判与人工审核员的一致率从 33% 提升到 92%
- 完整改进闭环:线上通话监控 → 人工审核队列 → 上线前重放模拟修复 → 自愈 agent,但每处变更仍需人工签核
对做语音/电话类 agent 评测工程的人是很好的实践参考。
「编程与Agent」频道最新
- tinyfool 做 ASO 核心词排名升超 200 位,并开源 Agent 模版追踪 SEO/GEO — tinyfool · 2026-10-31
- 微软研究院开源 Agensh:1024 个 AI 智能体无中央编排协作编程 — JafarNajafov · 2026-10-31
- antirez:用 agent 写 Redis 代码,安全拦截已成真实负担 — antirez · 2026-10-31
- Google 弃用自研 Pytype,改用 Meta 开源 Rust 类型检查器 Pyrefly — bigaiguy · 2026-10-31
- Google 开源 Elephant-Goldfish 插件：先出设计文档才许写代码 — thisguyknowsai · 2026-10-31
- 质疑 Claude 不内置记忆库：Anthropic 靠卖 token 不想让你省它 — arieljalali · 2026-10-31