Terminal-Bench 4.0 发布:Opus 5 领跑、GLM 5.3 成最佳开源
Terminal-Bench 4.0 于 08-29 正式发布,评测涵盖科学、软件、机器学习、运维、安全、硬件和媒体等领域的 66 项任务。因测试难度提升,模型得分普遍下降、不再集中于高分段:Claude Opus 5 以 51.8% 的准确率位居第一(旧版近 90%),表现优于 Fable 5;GLM 5.3 与 Fable 5 性能持平(误差范围内)并超越 GPT-5.6,被评为当前最佳开源模型,@heypearlai 认为其作为免费开源模型效率可与 Opus 5 比肩。该基准被 @DimitrisPapail 称为 Agent 领域的 ImageNet。
已确认
- Terminal-Bench 4.0 正式发布,任务覆盖科学、软件、ML、运维、安全、硬件、媒体等领域,共 66 项任务
- @eyishazyer 依据新榜单指出,测试难度提升后模型得分普遍下降:Claude Opus 5 以 51.8% 的准确率位居第一,仅略超一半任务
- Opus 5 表现优于 Fable 5;GLM 5.3 与 Fable 5 持平(误差范围内)、超越 GPT-5.6,被评为当前最佳开源模型;@heypearlai 进一步指出其作为免费开源模型效率比肩 Opus 5
- 更新内容包括:校准任务所需计算资源(时间、CPU、内存),统一 8 小时超时;修复 19 个损坏或不可靠的任务;移除 8 个已饱和或有问题的任务,移除原因包括 100% 准确率导致的饱和、高拒答率、存在公开解决方案及其他兼容性问题
- 新版显著减少了代理超时和错误,降低了测量噪声
- 官方博文的全部分析基于存储在 Harbor Hub 上的 Terminal-Bench 4.0 数据
- @cwolferesearch 与 @zainhas 介绍,TB4 距上一版仅约一个月即发布,并宣布转向连续式(continuous-style)基准更新模式;TB4 还推出了新的「华夫饼图」可视化界面,展示模型多次尝试下完成不同任务的表现,帮助用户直观识别哪些任务已被现有模型解决(饱和)、哪些仍处于前沿能力边缘
尚未确认
- @teortaxesTex 指出 TB3 两个月前才落地,但任务收集了 4.5 个月以上;TB4 中没有新任务,只是移除或修改了部分任务,部分任务已有 5 个月以上历史,且随解答/评分器一同在 GitHub 上公开。这一观察暗示任务可能因充分公开而影响评测有效性,但尚属用户质疑,未见官方回应或污染实证
为什么重要
- 基准通过快速迭代对抗模型评测饱和,使评测迭代速度与模型发展速度保持同步,从而更准确地评估最新模型能力,@yacineMTB 也强调了这一更新方向
- @SorosAhaverom 赞赏这一策略,并探讨个人开发者或小团队如何寻找低成本、低算力的替代评测方案
- 华夫饼图等可视化手段为模型选型与评测提供了直观参考
- GLM 5.3 的开源最佳定位为关注开源生态的用户提供了参考
2026-08-29 ~ 2026-08-30 · 14 条相关
一手来源
- Terminal-Bench 4.0 发布:Opus 5 领跑,GLM 5.3 最佳开源 — himanshustwts ·
- Terminal-Bench 4.0 发榜:GLM-5.3 超越 GPT-5.6 — eyishazyer ·
- Terminal-Bench 4.0 发布:校准资源、移除饱和任务,转连续式基准 — cwolferesearch ·
- Terminal-Bench 4.0 发布,基准迭代紧跟模型发展 — yacineMTB · 2026-08-29
- 【源头】Terminal-Bench 4.0 发布:Opus 5 领跑,GLM 5.3 最佳开源 — himanshustwts · 2026-08-29
- Terminal-Bench 4.0:校准资源、修复任务并移除饱和项 — himanshustwts · 2026-08-29
- Terminal-Bench 4.0 发布:校准算力资源并移除饱和任务 — giansegato · 2026-08-29
- Terminal Bench 4.0 发布:GLM-5.3 持平 Fable 5 — SorosAhaverom · 2026-08-29
- Terminal-Bench 4.0 发布,疑使用公开任务 — teortaxesTex · 2026-08-29
- 【源头】Terminal-Bench 4.0 发榜:GLM-5.3 超越 GPT-5.6 — eyishazyer · 2026-08-29
- Agent 评测基准 Terminal-Bench 4 发布:修复 bug 与校准 — DimitrisPapail · 2026-08-30
- Terminal-Bench 4 推出华夫饼图:直观呈现模型任务饱和度 — zainhas · 2026-08-30
- Terminal Bench 4 发布:移除 8 个饱和或拒答任务 — cwolferesearch · 2026-08-30
- 【源头】Terminal-Bench 4.0 发布:校准资源、移除饱和任务,转连续式基准 — cwolferesearch · 2026-08-30
另有 3 条近重复转述:heypearlai · heypearlai · sanmikoyejo