François Chollet 回应 ARC-AGI 评测争议:勿宣称未跑分成绩
fchollet · x · 2026-08-31
François Chollet 针对 ARC-AGI 基准测试的争议作出回应。他指出，如果模型从未在基准上评估过，就不应该声称在该基准上得了 100%。对于 Kaggle 算力有限的问题，他反驳称去年曾有团队在 Kaggle 上跑出了 72.9% 的成绩，并强调若想使用非公开基准评测，除了 ARC-3 外还有很多其他选择。
所属事件:编码Agent宣称ARC-AGI-3满分遭Chollet驳斥(6 条相关)→
「研究」频道最新
- Qdrant 实测 Perplexity 视觉文档嵌入:1-bit 压缩后体积仅 1/21 — jrxna · 2026-10-16
- 免细分位移表面几何查询新方法,焦散渲染方差降超10倍 — ssh4net · 2026-10-16
- Buehler 回顾：ChatGPT 发布前三周提出「AI 是科学新语言」 — ProfBuehlerMIT · 2026-10-16
- 研究发现:AI 建议一可用,人类「我不知道」率从 43% 骤降至 3% — ValerioCapraro · 2026-10-16
- POSTECH 论文:选择题评测偏差可拆解为翻转率与位置偏斜两因子 — Hyunjong Ok · 2026-10-16
- KV 缓存远程读取竟比重算还慢:GLM-5.3 生产系统案例复盘 — MultiverseComputingCAI · 2026-10-16