Terminal-Bench 4.0 发布：校准资源、移除饱和任务，转连续式基准
cwolferesearch · x · 2026-08-30
Terminal-Bench 发布 4.0 版本（距 3.0 仅约一个月），并宣布转向连续式（continuous-style）基准更新模式。本次更新的核心是校准任务资源、修复任务、移除已饱和任务：
- 资源校准：按《Quantifying infrastructure noise in agentic coding evals》的方法，先在大量资源冗余下跑任务再选定合理配置；所有任务统一为 8 小时超时，前沿模型基本不再超时。4.0 的 agent 超时与错误显著减少，剩余错误主要是模型拒答和输出 token 超限。
- Sonnet 5 的问题：观察到 Sonnet 5 有时超时并撞输出 token 上限——它用量巨大（leaderboard 单次运行 21.6B tokens，对比 Opus 5 的 6.5B），且执行时间方差很大；开启 128k 最大输出设置可能有帮助。
- 任务清理：移除 8 个任务（饱和 2、拒答 2、公开解答 2、质量问题 2）；「饱和」定义为最新一代模型所有家族全部 5/5 解决。修复 19 个任务的指令、环境与校验器。
所属事件:Terminal-Bench 4.0 发布：Opus 5 领跑、GLM 5.3 成最佳开源(14 条相关)→
「编程与Agent」频道最新
- 多模型同题设计 UI:用 Paseo 编排四套界面方案竞技 — vista8 · 2026-10-16
- 独立研究者发布 Cortex:用重放实测自动进化与修剪编码 Agent 的 skills 和 rules — Samuele Giampieri · 2026-10-16
- 工具调用才是 AI 编程速度瓶颈，Crabbox 五招给 Agent 提速 — steipete · 2026-10-16
- WorldBox 沙盒让 GPT-6 Astra 的 MazeBench 得分从 23 翻倍到 61 — ZhitingHu · 2026-10-16
- 两条 prompt 让 Gemini 4 Argon 把单机游戏改成完整多人对战 — chongdashu · 2026-10-16
- Anthropic 联合 Gray Swan 办 30 万美元 prompt injection 攻防大赛 — bcherny · 2026-10-16