Pedro Domingos:我们需要防 Goodhart 的衡量指标
pmddomingos · x · 2026-09-03
知名计算机科学家、《终极算法》作者 Pedro Domingos 发推短评:「我们需要防 Goodhart 的衡量指标(Goodhart-proof measures)」。
这句话指向 AI 评测领域的核心痛点:当某个指标成为优化目标(如 benchmark 刷榜),它就会因被过度优化而失去衡量意义——即 Goodhart 定律「当指标变成目标,就不再是好指标」。在模型厂商以 benchmark 成绩作为主要发布卖点的当下,这是对评测体系可信度的直接质疑。
「漫话AGI」频道最新
- 剑桥教授 David Krueger 炮轰 Dean 道歉:欺骗不是道个歉就行 — DavidSKrueger · 2026-09-03
- Anders Sandberg 将在 EAGx Oxford 谈 AI 时代的人类自主性 — anderssandberg · 2026-09-03
- 用 OpenEvidence 找到救父临床试验,回应 AI 无价值质疑 — saranormous · 2026-09-03
- Gary Marcus 讽刺 Altman 警告 AI 泡沫:制造泡沫的人自己喊泡沫 — GaryMarcus · 2026-09-03
- CoT 可监控性未被放弃,但新技术或致监控军备竞赛 — DavidSKrueger · 2026-09-03
- Sam Altman 在 G20 警告:网络安全若不紧急行动将出大事 — RebeccaBellan · 2026-09-03