Hamel Husain质疑主流基准质量：Terminal-Bench等四大基准均被判Flawed
HamelHusain · x · 2026-10-26
AI 工程师 Hamel Husain 发帖称，行业对公开基准的依赖程度与其质量严重不匹配。他推荐了 Epoch AI 的独立基准审查站点，并列举了几个常用基准的审查结论：
- Terminal-Bench 4.0.0：66 个任务中 30 个（45.5%）存在有记录的评分缺陷，10 个缺陷任务的待修复方案也未能解决结果可靠性。
- DeepSWE v1.1：113 个任务中至少 23 个（20.3%）存在假阴性问题，其中 78% 的情况下编辑或添加测试就会破坏评分器，而 agent 并未被告知避免此类编辑。
- OSWorld 2.1：抽审的 50 个任务中 36 个（72%）有错，含 24 个假阴性、12 个假阳性、4 个不可能完成的任务/检查点，缺陷最多可能影响 50.4% 的满分。
- HealthBench Professional：抽查的 50 个任务中 25 个（50%）有明显错误，17 个假阴性、8 个假阳性、4 个不可解、6 个未测量所宣称的能力。
他建议在使用任何基准前实际运行并仔细检查评分器判错的样例，并表示会继续收集数据后写一篇完整分析。
「模型」频道最新
- 伊朗用户称 Qwen 聊天服务被制裁， Alibaba 疑因合规限制访问 — dotey · 2026-10-26
- Hugging Face 开源 Carbon-X：14.8B 模型聊天读 DNA，测变异成本仅 frontier 3% — _lewtun · 2026-10-26
- ChatGPT 爱用「Kevin, ...」开头说教,用户吐槽像被上课 — kevinkern · 2026-10-26
- 4B 模型 OCRia-1 登顶文档解析：ParseBench 均分 0.87，解码快 2-4 倍 — NielsRogge · 2026-10-26
- 40B 以下最强模型仅有一个上榜：Nanbeige4.3-33B 得 23.8% — NielsRogge · 2026-10-26
- 开发者观点:五分钟怪笑话比 40 个跑分更能看懂前沿模型 — korymath · 2026-10-26