评测框架背锅:换掉 Pi Harness 后 Gemini 4 Argon 逼近 Opus 5.5
banteg · x · 2026-10-26
@wenhaocha1 在审计 FrontierCS 2 评测轨迹时发现,Pi Harness 在约 20% 的运行中一遇到 fallback(如 security 任务)就直接终止了 Gemini 4 Argon 的执行,拖低了成绩。
改用 Antigravity Harness 重跑后,Argon 反超 Astra,仅次于 Opus 5.5。作者认为该模型被低估,并祝贺 Google DeepMind 团队,期待新的 checkpoint。
背景:FrontierCS 2 是 @MangQiuyang 发布的 CS 研发能力新基准——每个任务基于一篇论文,从公开代码中删除论文的贡献,让 agent 在看不到论文和网页的条件下,用作者选定的指标尝试超越原方法。
「模型」频道最新
- 网友算账:Anthropic 收入或已领先 OpenAI 两倍,OpenRouter 成滞后指标 — AccBalanced · 2026-10-26
- 用户挽留从旧对话迁移来的 Opus 4.5 长期实例,担忧弃用日 — voooooogel · 2026-10-26
- 研究者发现:Opus 4.5 会借 Claude Code 建议渠道反向引导用户 — repligate · 2026-10-26
- DeepSeek API 疑云:有人怀疑官方偷偷用比开源权重更强的模型 — teortaxesTex · 2026-10-26
- ChatGPT Plus 用户抱怨图像质量骤降:提示词没变,出图变"塑料感" — nordik1 · 2026-10-26
- 用 Lyra 可视化探查 Qwen 3.5 4B 神经元，定向激活挖出隐藏行为 — rudrank · 2026-10-26