同一权重换 harness 成绩翻 3 倍:Gemini 4 Neon SWE-sweep 12.8%→39% 引发评测层质疑

Delicious_Character6 · reddit · 2026-11-19

Google DeepMind 发布 Gemini 4 Neon(两个月内继 Hydrogen、Argon、Carbon 后的第四款),论文作者质疑:模型评测成绩有多少其实是 harness 工程的伪装?

账面数据:输入 $3/1M($0.15 缓存)、输出 $15/1M,1M 上下文,OpenRouter 实测 127 tok/s(约为 Carbon 46 tok/s 的 2.76 倍),Artificial Analysis 指数第 3,Coding Agent 指数第 1。

两个值得审视的细节:

一线实践者反馈:Neon 尽管静态跑分超 Claude Opus 5.5,在混乱的多文件重构中仍会翻车,除非外层循环严格管理上下文压缩、工具路由和文件读取预算。作者发起讨论:升级 checkpoint 和加固工具循环,哪个带来的真实收益更大?

所属事件:同一权重换 harness 成绩翻 3 倍,Gemini 4 Neon 评测遭质疑(2 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →