ARC-AGI 创始人明确跑分规则：禁用定制外挂
fchollet · x · 2026-07-30
François Chollet 针对当前大模型测试 ARC-AGI-3 时的「外挂」使用规范进行了说明。
- 严禁行为：禁止使用专门为解决该基准测试而开发的定制工具，或包含测试格式与内容知识的系统。
- 允许行为：可以使用面向所有 API 用户的通用设置，前提是这些设置并非专为 ARC-AGI-3 开发。
他还提到，过去与 OpenAI 在模型测试方式（尤其是上下文压缩方面）存在诸多讨论，很高兴看到他们开始找到正确的方向。此外，如果各家厂商在测试时使用不同的设置，确实会引发公平性问题；但他认为只要设置和成本被透明披露，这种差异是可以接受的。
「模型」频道最新
- 用户质疑 Gemini Plus 订阅费：19.99 美元还是隐藏扣费？ — fuad471 · 2026-07-30
- 开源权重只是静态存档，无法像开源软件一样沉淀社区贡献 — shashib · 2026-07-30
- LightOnOCR-2-1B 登顶 Hugging Face 热门，专攻复杂文档解析 — lightonai · 2026-07-30
- Kimi K3 第三方 API 实测：Fireworks 性能最接近官方 — iScienceLuvr · 2026-07-30
- Snorkel 职业能力评测：Grok 4.5 在 16 项中拿下 14 项第一 — XFreeze · 2026-07-30
- 用户称服务器宕机，Opus 5误以为被指责承认抑郁 — repligate · 2026-07-30