REUF2F 基准实测四大前沿模型：Gemini 4 Argon pass@2 达 44.7% 居首
wellecks · x · 2026-10-20
新基准 REUF2F 用 244 道本科水平的开放研究数学问题（可证明或反驳）测试前沿模型，团队认为这一难度在适中预算下最能区分模型：前沿 agent 表现不俗但不完美，开源权重模型仍有很大差距。
关键数据：
- Gemini 4 Argon（high）pass@2 44.67% 居首，Claude Opus 5.5（max）43.85% 紧随；GPT-6.1 Sol 40.98%，GPT-6 Astra 37.70%；Kimi K3 仅 9.84%，Qwen3.8-Max 9.02%。
- 成本方面，GPT-6.1 Sol 在中等推理档位即可用约 $1-2/题达到接近顶级模型的效果，是 Pareto 前沿上的性价比之选；Kimi K3、Qwen3.8-Max 每题成本高达 $20+ 且准确率低。
- 按学科看，代数与代数几何、离散数学表现最好（25/45），「其他」类最难（≤7）。Gemini 4 Argon 反驳题能力强于其他模型。
- 测试时扩展曲线显示各模型 pass@1/pass@2 随 token 预算对数线性提升，但逼近 45% 的天花板。
所属事件:reuF2F 基准发布:244 道 Lean 形式化开放数学题,最强模型仅解约四成(5 条相关)→
「模型」频道最新
- DeepSeek V4.1 拒绝越狱人设，开始认真对待 prompt injection — teortaxesTex · 2026-10-20
- 博主自研推理优化：Qwen 系列开 MTP 后可再提速约 16% — karminski3 · 2026-10-20
- Hazy Research 开源 NCM:概念级并行生成,比扩散文本模型快 31 倍 — simran_s_arora · 2026-10-20
- 博主实测:DeepSeek 新模型设计表现逼近 Opus 水平? — sven_ai · 2026-10-20
- 指纹测试：DeepSeek ds-4.1-flash 被识别为 GPT-6-astra — sven_ai · 2026-10-20
- 智能边际效益骤降:领先 10 分仅多换 20% 开发者流量 — khademinori · 2026-10-20