同一权重换 harness 成绩翻 3 倍,Gemini 4 Neon 评测遭质疑
Google DeepMind 发布 Gemini 4 Neon,这是两个月内继 Hydrogen、Argon、Carbon 之后的第四款模型。其宣称在 SWE-sweep 上取得最高 39% 的成绩,远超此前所有结果,引发论文作者 KLieret 等人质疑:同一权重仅更换评测 harness,成绩就从 12.8% 升至 39%,说明分数强烈依赖评测 harness 而非模型本身能力,模型评测成绩究竟有多少来自 harness 引发对评测层的广泛质疑。
2026-11-19 ~ 2026-11-19 · 2 条相关
- 第 1 集:Gemini 4 Neon 现身 Cloud 计费目录,定价 $3/$15 引曝光(2026-11-18,7 条)
- 第 2 集:Google 官宣 Gemini 4 Neon:快速推理新档位,登顶 AA 编码 Agent 榜(2026-11-18,95 条)
- 第 3 集:Gemini 4 Neon 灰度推送曝光,界面现三模型分层(2026-11-19,4 条)
- 第 4 集:Gemini 4 Neon 低价登顶编码榜,登多榜前三(2026-11-19,22 条)
- 第 5 集:同一权重换 harness 成绩翻 3 倍,Gemini 4 Neon 评测遭质疑(2026-11-19,2 条)
- 第 6 集:Gemini 4 Neon 上线 Cursor 并登顶 CursorBench 榜首(2026-11-19,2 条)
- 第 7 集:Gemini 4 Neon 口碑刷屏:开发者盛赞强且便宜(2026-11-19,9 条)
- 第 8 集:谷歌 Gemini 4 Neon 登顶自动售货机模拟基准(2026-11-19,2 条)
- 第 9 集:网传 Gemini 4 Neon 评测图曝光,多基准领先 Opus 5.5 与 GPT-6.2(2026-11-19,2 条)
- Gemini 4 Neon SWE-sweep 39% 引质疑:成绩强依赖评测 harness — OfirPress · 2026-11-19
- 同一权重换 harness 成绩翻 3 倍:Gemini 4 Neon SWE-sweep 12.8%→39% 引发评测层质疑 — Delicious_Character6 · 2026-11-19