MathArena 新增 BrokenArXiv:强模型逐月回退,GPT-6.1 Sol 仍居首

teortaxesTex · x · 2026-11-09

MathArena 上线了 BrokenArXiv 与 ArXivMath 的 10 月新样本。排名方面,GPT-6.1 Sol 在两个基准上均居首位,Gemini 4 Argon 在 ArXivMath 表现不错,但在 BrokenArXiv 上很差。

teortaxesTex 观察到一个现象:即使最强的模型,在新样本上的成绩也在逐月下滑——BrokenArXiv 1017 上 GPT-6.1 Sol 从 61 降到 56、50;9 月样本从 86 降到 83、80,虽更稳健但仍呈下滑趋势。他特别指出 Claude Opus 5.5 是例外,成绩非常稳固,认为 Anthropic 没有针对基准做过拟合(benchmaxx)。