Chollet:ARC 3 公开集非评测集,榜首得分仅 2.7%
fchollet · x · 2026-08-14
François Chollet(ARC Prize 创始人)再次澄清:ARC 3 的公开游戏集应称为「演示集」(demonstration set),既不是训练集也不是评测集——不应作为训练数据,也不应拿来评测;公开演示集上的分数不能代表真实基准成绩,其用途只是展示题目格式、吸引人类参与。
真正的私有评测集在难度与新颖度上都显著更高。他透露,今天 Kaggle 排行榜最高分为 2.70%,且这还只是半私有集——比赛结束时,提交会在完全私有集上重新评分。
「研究」频道最新
- 12章7500行逐行注释教程，从零手写现代 GPT — tom_doerr · 2026-10-16
- 约翰·纳什 1998 年「层级内省逻辑」手稿再引 AI 圈热议 — fkasummer · 2026-10-16
- OpenAI 前可解释性负责人：绝大多数神经元已可读，可解释性是最重要科学问题 — CatAstro_Piyush · 2026-10-16
- AI 安全研究者自嘲：技术安全话题几乎都能在几十年前统计学里找到影子 — _onionesque · 2026-10-16
- JevAgentHarness 论文：4B 小模型替 LLM 做 Agent 决策，更省更准 — youjiaxuan · 2026-10-16
- Google 团队用序列拍卖构建去中心化 LLM 多智能体工作流 — _onionesque · 2026-10-16