OpenAI Astra 同一基准两套 harness 得分差 37 分,ARC 官方拒称 AGI
mixtapedmonk · reddit · 2026-09-14
作者深挖 ARC Prize 公布的原始结果表，发现 OpenAI 的 GPT-6 Astra 在同一 ARC-AGI-3 基准上因使用两套不同 harness 得出 62.7% 和 99.9% 两个相差 37 分的成绩；而设计该测试的 ARC 团队本身拒绝称其为 AGI。作者还指出 Fortune 发现 OpenAI 上线页面上有 5 个数字在发布后被悄然修改。文章对比了 Llama 4 跑分争议的先例，结论是：可能是 harness 差异导致的真实噪声，也可能另有隐情，目前难以断言，但「看截图标题数字」的评测传播方式明显有问题。
「模型」频道最新
- 爆料称 Google 在 carbon 之后还藏有另一款「超重」模型 — iruletheworldmo · 2026-10-30
- 用户抱怨 GPT 质量全面下滑：写剧本变水、agent 指令遵循崩了 — Kyrannio · 2026-10-30
- 爆料称 Google Gemini Argon 将于 11 月 2 日起开放 Pro 试用 — Emotional-Company847 · 2026-10-30
- OpenAI 将分批下架大量旧模型，GPT-5 全系 12 月停用 — ThePeterMick · 2026-10-30
- DeepMind CEO 回应马斯克：正在向可信伙伴测试，很快推出 — demishassabis · 2026-10-30
- Adobe 坚持不用用户数据训练模型:改用图库与授权内容 — omooretweets · 2026-10-30