计算机科学家 Moritz Hardt:AI 基准测试已根本性失灵

asusarla · x · 2026-10-18

Quanta Magazine 访谈计算机科学家 Moritz Hardt（新基准测试专著作者），核心观点：AI 基准测试既成就了机器学习，也支配乃至扭曲了整个领域。

他称基准是「造就机器学习的错误」：作为标尺，它们以极简逻辑运作——想知道模型能力就设计标准化测试；但基准同时支配着整个领域的研究行为。
历史例证：1987 年 DARPA 首个语音转文字基准显示当时 AI 不如「笨」统计方法，直接催生了 AI 寒冬，研究停滞 25 年；2012 年 ImageNet 上八层神经网络碾压对手，开启深度学习革命。
他认为 OpenAI、Anthropic 等公司关于基准（用于测试模型能力）的宣称具有误导性——如今的基准以钟表般规律被创造又被刷穿，号称度量从领域专长到「通用智能」的一切，却缺乏科学严谨性。
Hardt 的立场是基准测试并非不可救药：他主张把它从「黑巫术」变成一门科学，否则无从知道模型究竟有多好。

「模型」频道最新