「基准黑客」疑云:实验室自报 SWE-bench 分数平均高于独立复现 4-5 分
RexDouglass · x · 2026-11-18
SolomonMg 提出「benchmark hacking」(类似 p-hacking)的概念:实验室用略微不同的设置测试多个模型版本,只发布最好的分数,把噪声包装成信号。验证方法是:在最受关注的基准上,实验室自报分数应系统性高于第三方独立运行——SWE-bench Verified 上正是如此,实验室自报分数比 Epoch AI 和 SWE-bench 团队的独立复现平均高 4-5 点。配图逐模型列出差距,如 Claude Opus 4.7(Epoch +4.1)、GPT-5.2(Epoch +6.2,mini +7.2)、Kimi K2.6(Epoch +3.5)、Gemini 3 Pro(Epoch +3.3,mini +6.6)、GLM-5(Epoch +5.7)等,个别差距极大(Qwen3.6-Plus 为 Epoch +20.9)。作者也指出,各家用独立的 harness 和设置可能解释了大部分差距,未必全是刻意操控。
「模型」频道最新
- 用户吐槽:为 9.8 亿免费用户降本,付费者却在「吃剩菜」 — Yamapama · 2026-11-18
- 用户吐槽 GPT 语音模式:随机插话、口音乱跳还改不回来 — Yamapama · 2026-11-18
- Oru'el 称 Kanook 登顶 RoboRewardBench,比 NVIDIA Flora 误差低 30% — AashaySachdeva · 2026-11-18
- Flash 模型体积对比图火了: Qwen3.8-Flash-Next 仅 176B 全场最小 — BerryBlush_Rogers691 · 2026-11-18
- 实测翻车:小米 agent 特调 MiMo 在真实循环 0/10,不敌原版 Qwen — GapNew4766 · 2026-11-18
- 腾讯发布 Hy4 flash:对标 Claude Haiku 5.5,任务成本降 18 倍 — ahuja_priyank · 2026-11-18