nrehiew_ 长文：所谓 Benchmaxxing 多是训练侧重不同，而非作弊
nrehiew_ · x · 2026-10-29
研究者 nrehiew 就「 FrontierCode 2.0 上只有 Claude Opus 5.5（45.5%）和 GPT-6 Astra（42.8%）表现突出，是否说明其他模型都在 benchmaxxing」发表长线程反驳：
核心论点
- 今天没人会仅凭榜单高低选模型：模型已足够好，偏好高度主观，无法给出全序。每个 benchmark 只测非常窄的具体能力——DeepSWE 测「按 spec 实现功能」，FrontierCode 测「自己提出方案 spec 并实现」，FrontierSWE 测长程任务。
- 榜单热门意味着该领域被重视。实验室为赚钱当然会在人们关心的能力上做后训练；如果 A、B 在旧榜持平但 A 在新榜大幅领先，更可能是 B 没针对新能力做后训练，而非作弊。
- 「在测试集上训练」如今对严肃玩家代价极高：发一个 card 好看但实际拉胯的模型，声誉损失远大于收益。这类行为更多发生在过去为发论文刷榜的时代。
- Opus 5 的例子：实现功能极强但沟通表达很差——当时只有功能实现榜、没有沟通榜，这是后训练优先级不同，不是 benchmaxxing。
- 作者仍认为 benchmark 保留私有测试集是好事。
TL;DR：严肃玩家中几乎没人 train on test；榜单成绩只是反映模型是否针对该能力做过 post-training。
「模型」频道最新
- 爆料称 Google 手中仍握有未放出的 SOTA 级模型 — iruletheworldmo · 2026-10-29
- Artificial Analysis 榜单：Grok 包揽直答与先答后解释双榜前列 — XFreeze · 2026-10-29
- GPT-6 Sol 不耗额度其他模型耗,统一后计费更显混乱 — Angaisb_ · 2026-10-29
- GPT-6.1 Terra 得分 28.1% 追平 Fable 5.1，token 效率更高更便宜 — scaling01 · 2026-10-29
- Opus 5.5 写自定义内核据称明显强于 GPT-6 Astra — DimitrisPapail · 2026-10-29
- ChatGPT 开始统一 Chat 与 Work 入口，用户质疑用量额度怎么算 — Angaisb_ · 2026-10-29