ARC-AGI-3评测规则澄清与官方代码库开源

近期大模型在ARC-AGI-3基准测试中的评测方式引发争议。为此，ARC-AGI创始人François Chollet与官方成员Greg Kamradt集中澄清了评测规则与API用法，并开源了官方测试代码库，以确保不同模型间评估的公平性与透明度。

已确认

禁用定制外挂：François Chollet明确规定，禁止在测试中使用专门为解决该基准测试而开发的定制工具，或包含测试格式与内容知识的系统。
公平测试机制：针对Claude Opus涉嫌违规的争议，Greg Kamradt澄清，官方在测试Anthropic和OpenAI的模型时，使用了完全相同的“滑动窗口”约定。
开源评测工具：Greg Kamradt分享了ARC Prize官方的开源代码库arc-agi-3-benchmarking。该工具提供完整的环境配置与运行指南，支持配置各类API Key以评估大模型在复杂抽象推理任务上的表现。
API字段释义：Greg Kamradt纠正了对API中可选reasoning字段的误区，强调该字段并非用于获取模型内部的思维链（CoT），而是仅用于记录和关联模型的外部输出。

统一且开源的评测标准有助于消除各大模型提供商在跑分过程中的“作弊”嫌疑。明确禁用定制工具并公开测试代码，为开发者提供了可复现的评估环境，进一步巩固了ARC-AGI作为前沿大模型智能评估标杆的权威性。

2026-07-30 ~ 2026-07-30 · 5 条相关

第 1 集:Opus 5 ARC-AGI-3 高分引发造假与过拟合争议(2026-07-25,11 条)
第 2 集:深扒 Opus 5 隐藏推理机制与 ARC-AGI 成绩(2026-07-25,2 条)
第 3 集:Anthropic 基准测试表现引发社区信任危机(2026-07-25,2 条)
第 4 集:Gary Marcus 批评 ARC-AGI 命名易误导大众(2026-07-27,2 条)
第 5 集:前沿AI评测缺失人类基准，人机协同评估成新焦点(2026-07-29,4 条)
第 6 集:优化记忆管理设置，GPT-5.6 在 ARC-AGI-3 跑分翻三倍(2026-07-30,27 条)
第 7 集:ARC-AGI 3评测机制遭开发者集体质疑(2026-07-30,9 条)
第 8 集:Claude Opus的ARC-AGI高分被指受API实现影响(2026-07-30,2 条)
第 9 集:ARC-AGI-3评测规则澄清与官方代码库开源(2026-07-30,5 条)