换 harness 重测:Gemini 4 Argon 提升约 15%,仅次于 Opus 5.5
vitaliychiley · x · 2026-10-27
@wenhaocha1 审计 FrontierCS 2 竞赛轨迹时发现,Pi Harness 在约 20% 的运行中一遇到 fallback(如安全类任务)就直接结束运行,严重低估了模型表现。改用 Antigravity harness 重跑 Gemini 4 Argon 后,成绩从 40 分升至 54 分(约 +15%),超过 Astra、紧随 Opus 5.5 之后。转发者补充称 Argon 配 agy harness 表现截然不同,此前从未用其他 harness 测过。这提示 benchmark 成绩可能受 harness 实现缺陷而非模型能力影响。
所属事件:评测框架缺陷致 Gemini 4 Argon 成绩被低估,换框架后逼近 Opus 5.5(6 条相关)→
「模型」频道最新
- JEPA 预训练接 GRPO 强化学习:两个开源 checkpoint 公开完整配方 — burny_tech · 2026-10-27
- Anthropic 静默更新 Claude Fable 页面,Fable 5.5 发布或已临近 — imjustnewatai · 2026-10-27
- Reddit 热帖:Qwen-3.8-FN 将横扫 2026 ARC-AGI-3 大赛,时机耐人寻味 — bumblebeer · 2026-10-27
- ChatGPT Pro 用户投诉:每周额度重置后 2 小时耗尽 100% — JBusu · 2026-10-27
- Kimi K3.1 Pro 亮点不在跑分,而在 agent 场景的速度成本平衡 — usamanoman · 2026-10-27
- 开放权重模型投毒与睡眠代理风险引发关注 — ianand · 2026-10-27