Opus 5借Claude Code夺ARC-AGI-3榜首
开发者Jeremy Berman利用Claude Code搭配Opus 5（高推理模式），在ARC-AGI-3公开测试题上取得96.2%的准确率（pass@2达99.3%），这一成绩远高于该模型在官方评测中的30.2%。该方案的关键在于改变运行环境，不依赖精细提示或特化代码，而是让模型即时编写可执行代码来合成符号世界模型。ARC创始人François Chollet转发并肯定了该工作，指出ARC-AGI-3上的所有顶级方案均采用了这种“LLM引导即时合成符号世界模型”的风格。
已确认
- Berman宣布Claude Code + Opus 5（高）在25道ARC-AGI-3公开测试题中仅失败1题，准确率达96.2%，第二次尝试pass@2达99.3%。
- 该方案几乎不依赖ARC特定设计，而是通过给模型提供可执行环境，让其通过编写代码编码对世界因果机制的理解。
- 新智元报道指出，同一模型在官方评测中成绩为30.2%，环境改变后飙升至96.2%。
- François Chollet转发称此为“LLM引导即时合成符号世界模型”的强大方法，并确认ARC-AGI-3顶级方案均采用此路线。
尚未确认
- Francois Chabard转述称成绩为95.5%，略高于95.4%的人类专家基线，这一数据与Berman公布的96.2%存在微小差异，具体口径待核实。
为什么重要
- 同一模型在官方评测与自造工具环境下成绩的巨大差异，表明Agent运行环境与脚手架设计对推理基准测试影响显著。
- Chollet的背书说明“写代码合成符号世界模型”已成为解决ARC-AGI-3的有效路径，为通用推理提供了新方向。
- 有观点据此认为，递归语言模型结合持续测试框架的Agent并非简单“套壳”，而是能实质提升模型能力。
2026-08-13 ~ 2026-08-15 · 7 条相关
一手来源
- ARC-AGI-3新解法：LLM引导生成符号世界模型，Opus一次写269个程序 — fchollet ·
- ARC-AGI-3成绩飙至96%：给Opus5一台电脑自己造工具 — 新智元 ·
- Claude Code跑ARC-AGI-3拿下96.2%，几乎零特化代码 — khademinori · 2026-08-13
- 【源头】ARC-AGI-3成绩飙至96%：给Opus5一台电脑自己造工具 — 新智元 · 2026-08-13
- Opus 5 在 ARC-AGI-3 上获 96.2% 高分，接近人类水平 — inductionheads · 2026-08-14
- Agent框架突破：Claude Opus在ARC-AGI上达95.5%超越人类 — ycombinator · 2026-08-14
- 【源头】ARC-AGI-3新解法：LLM引导生成符号世界模型，Opus一次写269个程序 — fchollet · 2026-08-14
- 神经符号世界模型获力挺：ARC-AGI-3顶级方案均采用此路线 — GaryMarcus · 2026-08-15
- ARC-AGI-3 优胜方案全采用 LLM 符号世界模型合成 — paraschopra · 2026-08-15