「Model 4 全基准超 50%」,研究者:难基准其实不难造,我们的题 Opus 仅 3%

Jsevillamol · x · 2026-11-08

GregHBurnham 表示对「Model 4 在所有基准上 >50%」感到意外——更难的数学基准并非那么难造。他给出的 FrontierMath Erdős 准确率图表显示，2026 年 5 月至 9 月间 OpenAI、Anthropic、Google、xAI 各家新模型在该基准上几乎全部接近 0%，仅 9 月后个别模型爬升到约 3-5%。

他同时质疑 (A)ECI 这类基准到底在测什么：即使分数涨到无穷远，也可能离「比人类更好地对现实世界施加任意状态」还很远，「科学」包含什么、机器人算不算「多模态」都难以界定。