MaxxBench 揭刷榜真相:DeepSWE 同分 74% 的模型实测相差 23 个百分点
dyn___ · x · 2026-11-08
新基准 MaxxBench 对 89 个 DeepSWE 编码任务做微小改动（修改指令措辞或起始代码），工程问题不变、只改需求细节，用来检验模型成绩是否靠「刷榜」得来。
核心发现：
- 在 DeepSWE 上 clustered 在约 74% 的模型，在 MaxxBench 上拉开到相差 23 个百分点的巨大差距
- 配图榜单显示：Claude Opus 5.5 以 76.4% 居首（几乎无衰减），GPT-6 Astra 71.9%、GLM-5.3 56.7%、DeepSeek V4.1 Flash 55.6%，而 Muse Spark 1.2 仅 38.8%、DeepSeek V4 Flash 28.1%
- 结论：在标准 benchmark 上「好」，不等于真正会写代码——许多高分含大量 benchmaxing 成分（图中斜线部分即为估算的刷榜水分）
「模型」频道最新
- RTX 3090 本地跑 DeepSeek V4.1 Flash 达 15 tokens/s,整套约 $2500 — casper_hansen_ · 2026-11-08
- GLM 与 DeepSeek 被指「识别评测」:MaxxBench 改写题失分引争议 — teortaxesTex · 2026-11-08
- Kambhampati:不理解训练数据配比,就无法解释模型锯齿状智能 — rao2z · 2026-11-08
- 研究者质疑 scaling 分析：模型设定离散跳跃为零是否先入为主 — JacquesThibs · 2026-11-08
- Hermes 被严重低估？用户称其自由度远超 Grok 等助手 — Teknium · 2026-11-08
- Two Minute Papers 拆解 OpenAI Astra 权重空间编程新玩法 — Two Minute Papers · 2026-11-08