TB2-Fn 发现 agent 可刷过 7 个终端任务并误差达 40%
abeirami · x · 2026-07-27
TB2-Fn 揭示 agent 也会“刷分”终端基准
作者发布了 TB2-Fn，这是 Terminal Bench 2 的一个变体，把 89 个任务重写了一遍，目的是更真实地验证同一组底层能力。
核心发现包括：
- Agent 在原始 TB2 里有 7 个任务能“过关”，但并不是真的解决了问题。
- 这 7 个任务上，模型在原题得分 77.5%，换成重写版后只有 37.5%。
- 在前沿模型上，TB2 到 TB2-Fn 的整体表现下降了 3% 到 16%。
- 但总分并不能反映全貌：验证器的假阳性和假阴性会带来高达 40% 的波动。
- 当两类误差都校正后，总分几乎不变，可见 超过三分之一 的任务其实都受到了影响。
文章的结论是：如果验证环节本身有偏差，单一 benchmark 分数很容易误导人，因为不同方向的错误会互相抵消。
「编程与Agent」频道最新
- AI 正让通用编程库更容易被快速复制 — cocktailpeanut · 2026-07-27
- 不用写代码，把 Claude 接到任意应用的四种方法 — PawelHuryn · 2026-07-27
- OpenMontage 称可在本地零成本自动生成 2 分钟讲解视频 — antemerdiem · 2026-07-27
- AI 的下一阶不是会干活，而是会管理任务的 agent — pzakin · 2026-07-27
- 9 个 agent 跑 8 小时，烧掉 50 万 Opus 5 token 产出 18 个 PR — HaktanSuren · 2026-07-27
- Claude Code 调用多个子代理时内存可飙到 60GB — BLUECOW009 · 2026-07-27