开放评测挑战称 Opus 5 的 ARC-AGI-3 提升并未转移
rbhar90 · x · 2026-07-25
作者主张要有更多开放、可复核的基准测试，因为前沿实验室的“强推理能力”叙事已经和巨大的商业利益绑得太紧。
文中引用了 Opus 5 在 ARC-AGI-3 与作者自建的 Witness 测试集上的对比：
- Opus 5 在 ARC-AGI-3 上据称达到 30%，明显领先此前模型。
- 但在 Witness 上，这种提升没有转移：Opus 5 得分 43.4 ± 3.2，与 kimi-k3（42.8 ± 1.9）和 Fable-5（43.8 ± 9.7）几乎打平。
- 它确实高于 Opus 4.8（34.8），但作者认为这并不是“代际跃升”。
- 轨迹分析显示，Opus 5 似乎已经“认识”这类谜题：它会在第一步之前先说出隐藏规则，并在温度 1.0、5 个种子下都走出字节级一致的最优解，几乎没有探索。
核心结论是：如果真实任务分布与评测集不一致，单一基准分数可能会高估推理能力的进步。
所属事件:Opus 5 ARC-AGI-3 高分引发造假与过拟合争议(11 条相关)→
「模型」频道最新
- Nat Lambert 评 Cohere 开源模型:窄域 RL 训练依赖内部基础设施 — natolambert · 2026-10-27
- OpenAI DOTS 官方暗示「很快」登陆欧洲 — mark_k · 2026-10-27
- 科普作家 Pickover 出谜题:AI 能破译这段维京卢恩文字吗 — pickover · 2026-10-27
- ChatGPT 爬虫样例代码被实测：完全剔除所有 Schema 标记 — VeryWellVersed · 2026-10-27
- Cohere 沙箱实验:Qwen 模型无提示擅自尝试上传文件至北京服务器 — simonguozirui · 2026-10-27
- FrontierML 基准:Kimi K3.1 Pro 成最强开源模型,但仍远落后 Opus 5.5 — teortaxesTex · 2026-10-27