同一权重换 harness 成绩翻 3 倍,Gemini 4 Neon 评测遭质疑

Google DeepMind 发布 Gemini 4 Neon,这是两个月内继 Hydrogen、Argon、Carbon 之后的第四款模型。其宣称在 SWE-sweep 上取得最高 39% 的成绩,远超此前所有结果,引发论文作者 KLieret 等人质疑:同一权重仅更换评测 harness,成绩就从 12.8% 升至 39%,说明分数强烈依赖评测 harness 而非模型本身能力,模型评测成绩究竟有多少来自 harness 引发对评测层的广泛质疑。

2026-11-19 ~ 2026-11-19 · 2 条相关

事件全程(共 9 集)→