SimpleBench 出现趋势偏离:最新模型常识推理超预期

ChrisGPT · x · 2026-11-11

ChrisGPT(Chris But)提出「模型能力仍是锯齿形」的判断:我们可能处于模型拥有超人研发能力、却在常识上仍然欠缺的情境。他观察自己最喜欢的 SimpleBench 基准:此前该基准的进步一直是线性渐进,而最新一批模型的表现明显偏离了原本高度一致的趋势线(配图显示最新模型接近 83.7% 的人类基线),且看起来是在不同能力基底上运行。他指出常识、直觉、词语逻辑的提升远慢于数学和编程等领域,因此可能出现模型能深度参与自身研发、甚至接近完全 RSI(递归自我改进),却在人类轻松的常识任务上翻车的局面。