ττ-Bench：最强编码 Agent 搭建客服智能体仅通过 23.9% 考核
rohanpaul_ai · x · 2026-09-21
arXiv 论文《$τ^τ$-Bench: An Environment for End-To-End, Realistic Agent Construction》（Quan Shi、Keshav Dhandhania、Karthik Narasimhan、Victor Barres）提出把「搭建 Agent」本身作为基准任务的测试环境。
- 任务设置：开发 Agent 拿到真实企业会保存的记录、持有需求的客户、运营必须走的生产 API、一份待继承的代码库，以及服务成本与可用模型限制——还原真实客户交付场景。
- 评测方式：产出的客服 Agent 被部署到留出的模拟用户上进行打分，共 53 个任务、覆盖四个领域。
- 结果：最强组合 Claude Opus 5 + Claude Code 仅通过 23.9% 的评测模拟，而专家手写的参照上限为 82.2%。
- 失败模式：模型对记录只做浅层查询而非深入理解需求、几乎不与客户沟通、对 Agent 架构和服务成本实验不足，直接上线第一个能跑的设计。
结论：当前编码 Agent 在真实 Agent 交付上失败的主因是对需求理解不够深，仅改进代码生成无法解决问题。
所属事件:新基准 ττ-bench 曝光：最强编码 Agent 仅过 23.9%(2 条相关)→
「编程与Agent」频道最新
- Monid 推出 Agent Hunt 榜单:按真实调用量排 agent 工具人气 — socialwithaayan · 2026-11-12
- 四步设置避免 Fable 5.2 快速烧光每周额度 — dr_cintas · 2026-11-12
- Cloudflare 推出 agent 运行时：智能体需要的是计算机而非容器 — irvinebroque · 2026-11-12
- ComfyUI 技巧:用分层 PNG 画 inpaint 蒙版反复复用 — Deftroyy · 2026-11-12
- 开发者 vibe coding 浏览器版 PUBG:100 人吃鸡跑通核心玩法 — TAbrodi · 2026-11-12
- Hudson Golino 开设 3 天直播课：用 R 构建 LLM 研究 Agent — GolinoHudson · 2026-11-12