Hamel Husain：benchmark 正被当信用分使用，批评它没有错

HamelHusain · x · 2026-11-05

Hamel Husain 认为「开源软件 vs benchmark」的类比是伪等价：开源软件的产出不会被直接用于决策，而 benchmark 成绩正像 Yelp 评分或信用分一样被「按面值消费」。

他指出 benchmark 不带免责声明，多数人也没有分析 traces 的数据能力，看不出其脆弱性；即使具备能力的人也往往不加质疑，看到 traces 后会感到震惊。当前最大的问题是 benchmark 的营销宣传与它真正测量的东西之间存在巨大鸿沟，因此与其回避批评，更应该修复围绕 benchmark 的沟通方式。