同一权重换 harness 成绩翻 3 倍:Gemini 4 Neon SWE-sweep 12.8%→39% 引发评测层质疑
Delicious_Character6 · reddit · 2026-11-19
Google DeepMind 发布 Gemini 4 Neon(两个月内继 Hydrogen、Argon、Carbon 后的第四款),论文作者质疑:模型评测成绩有多少其实是 harness 工程的伪装?
账面数据:输入 $3/1M($0.15 缓存)、输出 $15/1M,1M 上下文,OpenRouter 实测 127 tok/s(约为 Carbon 46 tok/s 的 2.76 倍),Artificial Analysis 指数第 3,Coding Agent 指数第 1。
两个值得审视的细节:
- 定价倒挂:因 Google 将 Carbon/Argon 的促销价 $2/$10 延长至 11 月底,中端 Neon 每 token 反而比更大的兄弟机型贵,尽管其在默认 high thinking 下每任务总成本降 32%(对比竞品前沿模型降 50%-80%)。
- harness 决定成绩:mini-SWE 极简 harness 下 Neon 仅 12.8%,换到 Google Antigravity 里同一 checkpoint 跳到 39.0%——3 倍差距完全来自 harness。
一线实践者反馈:Neon 尽管静态跑分超 Claude Opus 5.5,在混乱的多文件重构中仍会翻车,除非外层循环严格管理上下文压缩、工具路由和文件读取预算。作者发起讨论:升级 checkpoint 和加固工具循环,哪个带来的真实收益更大?
所属事件:同一权重换 harness 成绩翻 3 倍,Gemini 4 Neon 评测遭质疑(2 条相关)→
「编程与Agent」频道最新
- CoHDL 把 PCB 原理图变成源代码:类型系统编译出网表与 BOM,专为 AI 设计 — juntao · 2026-11-19
- AI agent 直接打电话实测:全程实录、转接人工与实时转写演示 — mattyp · 2026-11-19
- 同一编程挑战实测:腾讯混元 Hy4 Flash 比 DeepSeek 快十余倍 — HeyToha · 2026-11-19
- Harrison Chase 播客《Max Agency》第二季回归,首访 Clay AI 负责人 — LangChain · 2026-11-19
- YC 掌门人 Garry Tan 自述「个人 AGI」:22 万页 Markdown 文件让他产出提升 400 倍 — jasonkneen · 2026-11-19
- ESP-Skainet:在 ESP32 上跑全离线语音 AI 的开源框架 — alexcovo_eth · 2026-11-19