ARC-AGI 创始人明确跑分规则：禁用定制外挂
fchollet · x · 2026-07-30
François Chollet 针对当前大模型测试 ARC-AGI-3 时的「外挂」使用规范进行了说明。
- 严禁行为：禁止使用专门为解决该基准测试而开发的定制工具，或包含测试格式与内容知识的系统。
- 允许行为：可以使用面向所有 API 用户的通用设置，前提是这些设置并非专为 ARC-AGI-3 开发。
他还提到，过去与 OpenAI 在模型测试方式（尤其是上下文压缩方面）存在诸多讨论，很高兴看到他们开始找到正确的方向。此外，如果各家厂商在测试时使用不同的设置，确实会引发公平性问题；但他认为只要设置和成本被透明披露，这种差异是可以接受的。
所属事件:ARC-AGI-3评测规则澄清与官方代码库开源(5 条相关)→
「模型」频道最新
- 同题讨论:AI 平台期之争——数据耗尽后进步能否靠 harness 延续 — Otherwise-Report1848 · 2026-10-16
- Mistral 自夸 STEM 成绩,榜单里其实仅排第六 — MistralAI · 2026-10-16
- 本地部署实测:Gemma 4、Llama 3 与 Mistral 工具调用能力横评 — leslysandra · 2026-10-16
- 闲鱼5元Gemini 18个月Pro泛滥，用户自嘲成碳基“鉴AI师” — huangyun_122 · 2026-10-16
- 博主实测称 Opus 5.5 与 Astra 风格迥异：Astra 下限高、推理独一档 — haider1 · 2026-10-16
- Artificial Analysis 推出 Decision Index,评测决策模型新品类 — ArtificialAnlys · 2026-10-16