ττ-bench:最强 coding agent 仅过 23.9% 客户模拟
rohanpaul_ai · x · 2026-09-21
新基准 ττ-bench 把 agent 开发当成真实的客户项目来考：模型拿到零散的公司资料、一位客户、一个 API、现有代码和预算，要为未见过的客户需求交付一个可用的 agent。
核心发现：
- 最强组合 Claude Opus 5 + Claude Code 在 53 个任务的保留客户模拟中仅通过 23.9%，而专家手写的参考实现通过率高达 82.2%。
- 失败大多出在纯写代码之外：agent 倾向于「检索」资料而非「理解」资料，几乎不向客户提问确认需求，习惯复用熟悉的设计方案，写的测试也常常发现不了自身的错误。
- 需求沟通直接决定成败：在允许向客户提问的任务上，0 次提问的构建平均得分仅 0.16，提问 4 次以上的平均 0.50。
结论：单纯提升代码生成能力不够，未来的 coding agent 还需要学会收集需求、对比设计方案、合理使用预算，并部署前用测试暴露自身盲区。
所属事件:新基准 ττ-bench 曝光：最强编码 Agent 仅过 23.9%(2 条相关)→
「编程与Agent」频道最新
- 美联航将禁止个人AI代理代客预订机票 — Polymarket · 2026-11-12
- Agentic Search 图解：4 次搜索的循环成本约为单次搜索的 5 倍 — adnan_hashmi · 2026-11-12
- AWS 自曝：AWS Emulator 每行代码均由自主 AI Agent 编写 — SumitGup · 2026-11-12
- freeCodeCamp 上线 2 小时 Codex 智能体编码免费课 — adnan_hashmi · 2026-11-12
- 被严重低估的资源：跨模型跨厂商的工具调用可靠性实测 — ricklamers · 2026-11-12
- 整理 5.5 万数据点的教训:企业级 Agent 数据准备远比想象更难 — BenBajarin · 2026-11-12