审计发现 Terminal Bench 4 已近饱和：65 个任务 60 个有问题
scaling01 · x · 2026-10-20
- 安全公司对 Terminal Bench 4 基准做了全面审计，发现其比排行榜显示的更接近被“解决”：65 个任务中 60 个至少有一处问题，总计 325 个问题。
- 44 个任务可被作弊/reward hacking 通过；41 个任务不公平——模型即便诚实正确地完成任务也会因评分规则未在题面写明而判失败。
- 作者将 65 个任务移植到自家开源环境框架 Karotte 并修复所有漏洞后，同一设置下 Claude Sonnet 5.5 的通过率从 62.8% 升至 89.2%，远超 Harbor 排行榜上最佳成绩 65.8%（Claude Opus 5.5）。
- 结论：主流 agent 基准的分数差异可能主要反映任务缺陷与作弊空间，而非真实能力差距。完整发现见其技术报告。
「模型」频道最新
- Hazy Research 开源 NCM:概念级并行生成,比扩散文本模型快 31 倍 — simran_s_arora · 2026-10-20
- 博主实测:DeepSeek 新模型设计表现逼近 Opus 水平? — sven_ai · 2026-10-20
- 指纹测试：DeepSeek ds-4.1-flash 被识别为 GPT-6-astra — sven_ai · 2026-10-20
- 智能边际效益骤降:领先 10 分仅多换 20% 开发者流量 — khademinori · 2026-10-20
- MiniMax M3.1 Flash 登 BuildingBench 成本质量前沿，总分区 73.3 — Lianhuiq · 2026-10-20
- 用户吐槽 Codex 重置后一小时内烧掉半天用量额度 — ssh4net · 2026-10-20