GPT-6 Astra 的 99.9% ARC-AGI-3 分数被质疑注水

mixtapedmonk · reddit · 2026-09-18

作者深挖 ARC Prize 官方成绩表后发现,GPT-6 Astra 宣称的 99.9% ARC-AGI-3 分数存在严重口径问题:

• 同一模型、两套测试框架,分数相差 37 个百分点——头条数字与实际 harness 跑分严重脱节
• 连出题方 ARC Prize 自己都不愿称之为 AGI
• Fortune 报道发现 OpenAI 上线后又悄悄修改了发布页上的五个数字
• 作者对照了 Llama 4 此前的类似先例,认为可能是评测噪音,也可能另有隐情

文章附完整 harness 拆解与所有官方来源。这是对「刷分式发布」的典型实锤式质疑,值得所有看评测排行的人引以为戒。

原文链接 →

「模型」频道最新

• 别再按月租智能了:Anthropic 服务端新规再掀开模型之争 — alex_verem · 2026-11-02
• Epoch AI 实验：GLM 5.3 连续攻破 6 个 Firefox 版本，单次成本约 1000 美元 — rohanpaul_ai · 2026-11-02
• SemiAnalysis：安全分类器压分，Opus 5.5 与 GPT-6 Astra 排名被低估 — morqon · 2026-11-02
• 1.7B 本地模型 LFM3 在 MacBook 上首次答对曼城赛程查询 — NielsRogge · 2026-11-02
• Similarweb：Claude 升级页流量 9 月回升至 1760 万，逼近 5 月峰值 — firstadopter · 2026-11-02
• 开源 GLiNER-PII 单卡 550ms 抓出病历 13 项身份标识,仍漏医院名 — MaziyarPanahi · 2026-11-02

更多「模型」频道 AI 资讯 →