编码Agent宣称ARC-AGI-3满分遭Chollet驳斥

某通用编码Agent宣称在ARC-AGI-3交互推理基准上拿到100%分数，基准作者François Chollet公开驳斥这一宣传口径：模型若从未在（私有）基准上正式评测过，就不应声称满分。争议双方就公开评估集与私有测试集的区分、以及今年Kaggle算力受限导致前沿模型API缺乏半私有评分渠道的问题展开讨论。

已确认

• Chollet引用3月发布的ARC-AGI-3论文指出，公开评估集本就设计为「易于人类和AI、更注重清晰度和趣味性」的演示环境，不代表正式的私有测试集，因此仅跑通公开集不能等同于在基准上获得满分。
• Chollet介绍了评测流程：ARC 3竞赛在Kaggle上运行，使用私有数据集评测；另一套流程专门针对前沿模型API，由合作伙伴提出请求时运行。
• 针对Kaggle算力有限的抱怨，Chollet反驳称去年曾有团队在Kaggle上跑出了相应成绩，并指出Kaggle竞赛仅运行私有集测试。
• JFPuget回应质疑时强调，他们仅在公开评估游戏上测试；同时指出缺乏支持半私有数据评估的工具，是无法提交社区排行榜的原因。
• JFPuget还说明，Kaggle今年因算力限制，未像去年（ARC-AGI 2）那样为前沿模型API提供半私有评分运行，导致前沿模型无法通过该渠道公平参与。

为什么重要

• 该争议触及基准测试公信力的核心问题：公开演示集与私有评测集的成绩不可混同，宣称未正式评测的满分会误导社区对模型能力的判断。
• Kaggle算力限制导致前沿模型API半私有评分缺失，意味着今年前沿模型与社区排行榜之间缺乏统一的可比渠道，评测生态的可比性打了折扣。

2026-08-31 ~ 2026-09-01 · 6 条相关

• 【源头】François Chollet 介绍 ARC 3 评测流程 — fchollet · 2026-08-31
• Kaggle资源受限致ARC-AGI 3取消模型API评测引争议 — JFPuget · 2026-08-31
• François Chollet 回应 ARC-AGI 评测争议:勿宣称未跑分成绩 — fchollet · 2026-08-31
• 【源头】争议：未在私有基准测试不应宣称满分 — JFPuget · 2026-08-31
• 【源头】Chollet 驳斥满分 Agent：仅跑通公开简单测试集 — fchollet · 2026-09-01
• ARC-AGI-3 得满分遭质疑，公开题集被指刻意放水 — JFPuget · 2026-09-01