Hamel Husain 揭公开 AI 基准评测五大通病：靠背答案才能涨分
HamelHusain · x · 2026-11-02
评测咨询公司 Eccentric 的 Hamel Husain 发文警告：任何发布 benchmark 并据此卖咨询/损失分析/databook 的公司都值得警惕。他称只要跑公开 benchmark 并查看失败 trace,几乎第一眼就能撞上这些问题：
- 测试过窄：grader 判错,模型其实做对了
- 测试过宽：评分标准含糊,模型因开放解读被扣分
- Harness 质量差：评测脚手架本身拉胯
- Ground truth 由另一个模型生成,引入偏差
- 只考答案格式而非内容正确性(题目并未要求特定格式)
他的结论是：在这种低质量评测下,「唯一合理的爬坡方式就是背答案」——即榜单分数被应试化。他还暗示这只是冰山一角,许多厂商都在拿这些劣质 benchmark 做宣传。
所属事件:Hamel Husain 炮轰公开 AI 基准：与评级机构同属一门生意(4 条相关)→
「模型」频道最新
- 爆料称 astra 脑力胜 Opus 但对齐训练被 benchmarks 挤占 — haider1 · 2026-11-02
- JetBrains 开源 Mellum2.1 Thinking MTP 头，解码提速 1.4-1.8 倍 — pmttyji · 2026-11-02
- 用户反对 Grok Bot 推免费层，建议用付费赠送拉新 — RachelVT42 · 2026-11-02
- Grok 周额度提前耗尽、OpenAI 反手翻倍 Pro 限额,团队容量规划何去何从 — Entire_Struggle_2236 · 2026-11-02
- PyTorch 面试题:model.eval() 与 torch.no_grad() 的区别 — cneuralnetwork · 2026-11-02
- Reflection 宣布 11 月 3 日在 r/LocalLLaMA 开放 AMA，聊首款开放权重模型 Beam — Aggressive-Sign-8167 · 2026-11-02