Astra ARC-AGI-3 跑分 98.6% 被指误导：换公平条件仅 54.8%
PsychologicalSoup251 · reddit · 2026-09-04
Reddit 网友详细拆解 OpenAI 公布的 Astra 在 ARC-AGI-3 上 98.6% 的成绩，指出这是「技术上真实但刻意误导」的跑分口径：
- 口径不对等：Astra 用的是专为该基准定制的 agentic harness，且思考级别开到 MAX；而 GPT 5.6 Sol（7.8%）和 Claude Opus 5（30.2%）用的是标准 harness，Opus 5 思考级别仅为 HIGH。
- 旧模型早已打满：按 OpenAI 自己允许定制 harness 的规则，GPT 5.6 Sol 配定制 harness 已达 99.0%—99.9%，另一个 harness 下 Sol 和 Opus 5 都拿过 100.0%。
- 公平对比：同样用标准 harness + HIGH 思考，Astra 54.8% vs Opus 5 30.2%，仍有优势但远没那么夸张。
作者结论：ARC-AGI-3 对前沿模型已经饱和，且分数高度依赖 harness，只适合衡量「LLM+harness」组合而非模型本身能力，呼吁别把跑分当福音。
所属事件:OpenAI 发布 GPT-6 Astra 并宣称 AGI 时代到来(388 条相关)→
「模型」频道最新
- Space Bunny Alpha 实为 MiniMax M3.1 Flash：1M 上下文、主打性价比 — ZabihullahAtal · 2026-10-21
- Rork 界面现「Opus 5.5 Medium」选项,Anthropic 新模型或曝光 — rudrank · 2026-10-21
- RSI-Bench 首批任务通过验证管线,含 reward-hacking 检测与补丁 — SRSchmidgall · 2026-10-21
- 开发者吐槽 Anthropic 生物安全护栏：读篇论文就触发拦截 — robleclerc · 2026-10-21
- Reddit 用户称本地运行的未审查版 DeepSeek 对病毒提问毫无犹豫直接作答 — Only_Light_9817 · 2026-10-21
- Interconnects 第 25 期：盘点 28 个新模型，覆盖 DeepSeek V4.1 Flash 与中美新监管 — natolambert · 2026-10-21