Hamel Husain：抽查多款 AI 基准后发现平均质量惊人地差
HamelHusain · x · 2026-10-26
知名 ML 工程师 Hamel Husain 表示，他逐一核查过的 AI 基准测试中，平均质量出乎意料地糟糕，因此他对所有基准普遍持怀疑态度。
他主张的验证方法：
- 亲自跑一遍 benchmark，而不是直接引用成绩
- 查看判分器（grader）判错样本的 trace
他这样做的经验发现是：模型在这些基准上的表现，高度关联于 ill-specified 的问题、糟糕的判分器、错误的断言、不现实的场景或糟糕的 harness 设计——模型要拿分往往只能靠「记住那个东西」，而非真实的智能信号，而且这种情况比他过去认为的多得多。
他补充说，凡是亲手做过这类数据核查的人都有同样的感受。
所属事件:Hamel Husain抽查主流AI基准：质量普遍糟糕(3 条相关)→
「模型」频道最新
- 开发者晒 GPT-6 Astra Ultra 连跑 41 小时,自主开发 Dreamcast 游戏 — AIandDesign · 2026-10-26
- Hamel Husain 转评：别盲信公开榜单，最大的受害者是没空自己玩模型的人 — HamelHusain · 2026-10-26
- ChatGPT降级后Dot仍发消息且无法删除，用户报bug — charliermarsh · 2026-10-26
- MiniMax H3 本地实测：RTX 5070 12GB 即可流畅运行 — BuyVarious176 · 2026-10-26
- OpenAI Daybreak Blue 个人也能申请,门槛是给账号加硬件密钥 2FA — pvncher · 2026-10-26
- 用户建议关闭 Claude idle compaction:压缩后易误触安全拦截 — andersonbcdefg · 2026-10-26