Cognition 新榜图遭质疑:DeepSeek 成绩在不同榜单间落差悬殊
teortaxesTex · x · 2026-10-29
网友找不到 Cognition 发布的 Terminal-Bench 4.0 vs FrontierCode 2.0 对比图的出处,质疑其涉嫌「择优呈现」(slop)。
- 图中 DeepSeek V4.1 Flash 在旧榜 DeepSWE v1.1 得 77.0%,但在 FrontierCode 2.0 上仅 19.3%,落差巨大
- 该模型在 TB 4.0(自报)与 FC 1.1(AA 验证)上得分异常接近,而 77 vs 74 的呈现方式被指误导
- 作者感叹「it's all so tiresome」——厂商自选基准对比的又一争议案例
「模型」频道最新
- theo 炮轰新模型跑分:不如 Composer 2,运行成本还高 4 倍 — zacharynado · 2026-10-29
- 网传 Gemini 新命名分层：Carbon/Argon/Flash 对标 Opus 与 Haiku — koltregaskes · 2026-10-29
- Kaggle 举办 Bench Summit:指出现行基准测试三大失效问题 — MeganRisdal · 2026-10-29
- SWE-sweep 发布一个月即进入 Google DeepMind 前沿模型模型卡 — OfirPress · 2026-10-29
- 开发者吐槽:Google 模型跑分漂亮,实际用的人却不多 — zacharynado · 2026-10-29
- 网友复盘：Gemini 3 被指刷榜严重，两周后即被 Opus 4.5 反超 — zacharynado · 2026-10-29