ARC-AGI-3 计分方式被指非标准,GPT-6 满分或系高估
peterwildeford · x · 2026-09-14
- ARC 前研究员 Peter Wildeford 感叹 ARC-AGI-3 的计分方式「比我想象的还要离谱」。
- Sterling Croxton 指出：ARC-AGI-3 采用一种完全非标准的分数计算方式，像 GPT-6 一类模型「跃升至约 100%」的高分很可能主要是这种计分方法造成的，而非能力真实飞跃。
- 评论者认为 ARC 方面本不应采用这种算法，如今结果引发争议，「搬起石头砸了自己的脚」。
- 该讨论提示：解读 ARC-AGI-3 上模型的成绩时需谨慎，分数口径可能与以往 benchmark 不可比。
「模型」频道最新
- ARC Prize 2026 截止倒计时3天,Yi-Chia Chen 以 75.56% 登顶 ARC-AGI-3 — GregKamradt · 2026-10-31
- Claude 画鹈鹕骑自行车惊艳众人:Fable 5.5 Max SVG 能力演示 — ChrisGPT · 2026-10-31
- 曝 OpenAI 将用用户 Daybreak 会话训练且无法退出 — dyn___ · 2026-10-31
- NVIDIA Nemotron 3.5 用 LLM 自验证:agentic 基准提升 9-10 个点 — sarahcat21 · 2026-10-31
- 开源模型 Mistral Large 4 刷 1273 道医学题:94% 正确率 — MaziyarPanahi · 2026-10-31
- 研究者在模型权重空间找到 5 种人格结构,可类比人类大五人格 — luke_drago_ · 2026-10-31