不给音频只给结构：Jev 零样本预测 2029 通电话，AUC 达 0.78
alexcovo_eth · x · 2026-09-30
muratcan 团队做了一个有趣的实验：把自家 AI 前台的 2029 通真实电话去掉语音和文字，只保留纯结构数据（轮次、工具调用、流程阶段、时间戳）喂给模型 Jev。
- Jev 在通话过程中做出 38,012 次轮次级预测，中位延迟 118ms
- 用 5 个类型化问题复盘每通电话，26 秒内产出 10,145 个答案（256 并发）
- 完全 zero-shot，无微调、无示例
- 到中段即可有效区分会成单与不会成单的电话（AUC 0.78），后期排序准确率 94%
- 全部成本仅 $3
局限是 Jev 过度关注那些 agent 通常能自行克服的可见错误。结论：仅凭结构化遥测就能快速、廉价地审计和预测 agent 通话质量。
「编程与Agent」频道最新
- OpenAI dots 实测：本地工具+云端 Codex 线程，聊天记录全端同步 — BenBajarin · 2026-09-30
- Simon Willison 连续第四年现场直播 OpenAI DevDay 主题演讲 — HamelHusain · 2026-09-30
- OpenAI 宣布 Agents API 原生登陆 AWS — BorisMPower · 2026-09-30
- OpenAI 升级 Codex Security Cloud:默认接入网络攻击能力模型 — OpenAI · 2026-09-30
- OpenAI Codex harness 宣布开源,编码 Agent 底层框架可自行查看 — BorisMPower · 2026-09-30
- 自研 Docs Agent 与 MCP 服务器替换现成文档平台 — pritisinghhhh · 2026-09-30