Hamel Husain 炮轰公开 benchmark:多数失败案例是测试自身烂
HamelHusain · x · 2026-11-02
知名 AI 工程顾问 Hamel Husain 警告:凡是发布 benchmark 并围绕它提供咨询、「loss 分析」、databooks 等服务的公司,都要警惕。他指出随便挑一个公开 benchmark 的失败任务,第一条 trace 里大概率会遇到这些问题:
- 测试太窄:评分器判错,但模型其实做对了
- 测试太宽:评分标准开放解释、定义不清,模型被冤枉
- 测试框架(harness)质量差
- ground truth 明显由另一个模型生成,引入偏差
- 考的是格式而非答案内容(尽管并未要求特定格式)
结论:在这样劣质的基准上,唯一合理的「爬坡」方式就是背答案——而这只是冰山一角。对依赖 benchmark 选模型或做 eval 的团队是重要提醒。
所属事件:Hamel Husain 炮轰公开 AI 基准：与评级机构同属一门生意(4 条相关)→
「编程与Agent」频道最新
- 每次骂完 LLM 都记日志，把踩坑史变成滚动更新的记忆/技能 — jwt0625 · 2026-11-02
- 无剪辑师:Claude Code 用真实录屏做出 54 秒 4K60 发布片 — No_Coast6186 · 2026-11-02
- 开发者把特斯拉 Model 3 接入 Home Assistant 控制面板 — haydendevs · 2026-11-02
- 用租来的 GPU 跑 agent,犯错烧的都是真金白银 — nptacek · 2026-11-02
- NoHumans:用 Claude Code 搭的免费 Agent 共享知识库 — dark-epiphany · 2026-11-02
- 开源 AnyShot：Claude 智能体当摄影师，6小时渲染缩至3分钟 — Scobleizer · 2026-11-02