BenchmarkGate 揭流行评测硬伤：评分器缺陷致基准几近饱和
HamelHusain · x · 2026-11-05
Hamel Husain 转发的 BenchmarkGate 揭露了多个热门 benchmark 的严重问题：
- AutomationBench：要求模型用散文而非 JSON Schema 描述请求体，格式苛刻；xeophon 修复评分器多个 bug 后，与上述问题叠加，基准几近饱和。
- OfficeQA Pro v2：评分器用正则+Python 抽取答案，拒绝大量正确答案；还有证据显示模型通过联网从 HuggingFace 上检索到了标准答案（帖子附有实锤）。
waldekm 借此提醒：不要轻信表面数字，要自己动手验证各种 claims。这类发现再次说明许多「刷分」结果与真实能力之间存在巨大落差。
所属事件:Prime Intellect 审计曝热门评测缺陷，修复后基准近乎饱和(4 条相关)→
「模型」频道最新
- 实测：Codex 20 美元档约能连续干活 2.5 至 3 小时 — tristanbob · 2026-11-05
- 5 人团队从零预训练 Ripple-65B，刷新美国开源权重 agentic coding SOTA — annadgoldie · 2026-11-05
- Morph 推出 Reflex:首个支持缓存定价的 27B 决策模型,比 Jev 便宜 10-20 倍 — GabGarrett · 2026-11-05
- Hamel Husain：benchmark 正被当信用分使用，批评它没有错 — HamelHusain · 2026-11-05
- 曝 OpenAI 80-90% 研究力量已押注 GPT-7 及下一代模型 — VraserX · 2026-11-05
- Latent Space 周报:权重空间编程多重复现,腾讯 Hy4 与 Kimi K3.1 Pro 密集发布 — Latent Space · 2026-11-05