ARC-AGI 3评测机制遭开发者集体质疑

近期多位开发者对 ARC-AGI 3 基准测试的公平性与评测机制提出强烈质疑，认为当前的测试框架设计、评分规则甚至测试动机都存在严重失真，无法真实衡量通用人工智能的能力。

已确认

• 框架限制记忆：开发者 @Glittering-Neck-2505 与 @teortaxesTex 指出，当前的统一测试框架故意阻止推理智能体跨操作维护上下文，迫使模型不断“遗忘”。这种为了跨提供商标准化（使用相同的补全风格端点且不传回推理日志）而限制 Agent 长期记忆的做法，无法有效衡量模型的真实效率。
• 评测框架严重影响得分：开发者 @ImaginaryDinner2710 与 @ilanbigio（经 @dkundel 转述）指出，模型跑分严重依赖测试框架。以 ARC-AGI 为例，OpenAI 模型仅因调用方式不当得分仅有 13%，修正后飙升至 38%。此外，仅对 Harness 的设置进行两处调整，就使 Claude 3.5 Sonnet 的成绩获得了大幅提升。合理追踪推理过程并使用上下文压缩机制，对于跑出真实高分至关重要。
• 评分机制遭批：开发者 @mgostIH 发现，当前的测试框架已让 ARC-AGI-3 趋于饱和，只需对模型进行少量强化学习（RL）就能大幅提升分数。此外，他强烈批评该基准采用解题百分比的二次方计算，认为这毫无理由且纯属“造神”。
• 被指恶意调参：开发者 @iruletheworldmo 提出严厉批评，认为 ARC-AGI 测试被用作吸引公众注意力的催化剂。他指出，测试方疑似出于恶意调低了模型的得分，从而制造出该基准测试极难达到饱和的假象。
• 基础模型测试不公：ML Street Talk（经 @burnytech 转发）指出，现代 AI 本质上是混合神经符号系统，单次上下文的推理窗口不足以完成适应，因此直接用基础模型测试 ARC-AGI3 并不公平。

尚未确认

• 测试方是否存在主观“恶意”调参以制造测试极难的假象（目前仅为 @iruletheworldmo 的严厉指控）。
• 某些模型在内部 preview 测试中是否使用了与公开评测不同的 harness（目前为 @LiangSong850509 提出的质疑）。
• 业界是否能就建立并采用统一的 Agent 框架来测试不同模型达成共识（目前仅为 ML Street Talk 提出的建议）。

为什么重要

• 影响基准公信力：如果测试机制容易被少量 RL 攻破并趋于饱和，评分公式存在争议，甚至存在人为压低分数的可能，那么该基准的权威性将大打折扣。
• 评测需贴合实际：开发者强调，在真实开发场景中模型总是结合特定智能体框架运行。在设计跨平台标准化测试时，不应以牺牲 Agent 核心能力（如长期记忆）为代价，行业亟需抛弃“裸跑”基准。

2026-07-30 ~ 2026-08-01 · 9 条相关

事件全程(共 9 集)→

• 第 1 集:Opus 5 ARC-AGI-3 高分引发造假与过拟合争议(2026-07-25,11 条)
• 第 2 集:深扒 Opus 5 隐藏推理机制与 ARC-AGI 成绩(2026-07-25,2 条)
• 第 3 集:Anthropic 基准测试表现引发社区信任危机(2026-07-25,2 条)
• 第 4 集:Gary Marcus 批评 ARC-AGI 命名易误导大众(2026-07-27,2 条)
• 第 5 集:前沿AI评测缺失人类基准，人机协同评估成新焦点(2026-07-29,4 条)
• 第 6 集:优化记忆管理设置，GPT-5.6 在 ARC-AGI-3 跑分翻三倍(2026-07-30,27 条)
• 第 7 集:ARC-AGI 3评测机制遭开发者集体质疑(2026-07-30,9 条)
• 第 8 集:Claude Opus的ARC-AGI高分被指受API实现影响(2026-07-30,2 条)
• 第 9 集:ARC-AGI-3评测规则澄清与官方代码库开源(2026-07-30,5 条)

• 【源头】实测 ARC-AGI-3：测试框架设计显著影响模型得分 — dkundel · 2026-07-30
• 【源头】Reddit热议:ARC-AGI 3测试机制被指严重失真 — Glittering-Neck-2505 · 2026-07-30
• Agent评测框架被指存在缺陷：禁用长期记忆难反映真实效率 — teortaxesTex · 2026-07-30
• 开发者吐槽 ARC-AGI-3 评分机制：已被刷爆，二次方计分纯属造神 — mgostIH · 2026-07-30
• ML Street Talk：应在ARC-AGI3中使用统一的Agent框架测试 — burny_tech · 2026-07-30
• 评测框架失误致分数差 25%，行业亟需抛弃裸跑基准 — Imaginary_Dinner2710 · 2026-07-31
• 【源头】遭质疑:ARC-AGI 基准测试被指恶意调参博眼球 — iruletheworldmo · 2026-07-31
• 探讨:Agent 评测成绩受模型与执行框架双重影响 — LiangSong850509 · 2026-07-31
• 评测框架设置微调即可大幅改变 ARC-AGI 成绩 — teortaxesTex · 2026-08-01