Chollet 回应 ARC-AGI 评测争议：未跑分勿称满分

ARC-AGI 基准测试近日陷入争议。François Chollet 回应称，模型若从未在某基准上评估过，就不应宣称取得满分；他并介绍了 ARC 3 的评测流程：竞赛在 Kaggle 上运行并使用私有数据集，前沿模型 API 的评测则由合作伙伴请求时运行。JF Puget 也回应质疑，强调其模型仅在公开评估游戏上测试，且 Kaggle 今年因算力限制未提供半私有评分运行，导致无法公平参与社区排行榜。

2026-08-31 ~ 2026-08-31 · 4 条相关

• François Chollet 介绍 ARC 3 评测流程 — fchollet · 2026-08-31
• Kaggle资源受限致ARC-AGI 3取消模型API评测引争议 — JFPuget · 2026-08-31
• François Chollet 回应 ARC-AGI 评测争议:勿宣称未跑分成绩 — fchollet · 2026-08-31
• 争议：未在私有基准测试不应宣称满分 — JFPuget · 2026-08-31