ARC-AGI 评测争议：Claude Opus 被指因 API 实现问题获高分
steipete · x · 2026-07-30
开发者 @steipete 指出，近期 Claude Opus 在 ARC-AGI 评测中的高分可能存在水分。其原因是该模型的 Chat Completion API 实现存在缺陷，错误地保留了推理 token，而官方并不支持该 API。不过，也有网友认为，如果 Opus 和 GPT-5 都使用了相同的通用测试框架，这种横向对比依然有效，说明 Opus 的泛化能力更好。
所属事件:Claude Opus的ARC-AGI高分被指受API实现影响(2 条相关)→
「模型」频道最新
- 同题讨论:AI 平台期之争——数据耗尽后进步能否靠 harness 延续 — Otherwise-Report1848 · 2026-10-16
- Mistral 自夸 STEM 成绩,榜单里其实仅排第六 — MistralAI · 2026-10-16
- 本地部署实测:Gemma 4、Llama 3 与 Mistral 工具调用能力横评 — leslysandra · 2026-10-16
- 闲鱼5元Gemini 18个月Pro泛滥，用户自嘲成碳基“鉴AI师” — huangyun_122 · 2026-10-16
- 博主实测称 Opus 5.5 与 Astra 风格迥异：Astra 下限高、推理独一档 — haider1 · 2026-10-16
- Artificial Analysis 推出 Decision Index,评测决策模型新品类 — ArtificialAnlys · 2026-10-16