Reddit热议:ARC-AGI 3测试机制被指严重失真
Glittering-Neck-2505 · reddit · 2026-07-30
一位开发者发文质疑 ARC-AGI 3 基准测试的公平性，认为其当前机制无法真实衡量通用人工智能（AGI）的能力。
- 记忆重置缺陷：测试原本故意阻止推理智能体（Reasoning Agent）跨操作维护上下文，迫使模型不断“遗忘”已推理出的步骤，这严重背离了真实前沿智能体的工作方式。
- 上下文压缩的威力：当 OpenAI 允许智能体保留推理过程并压缩旧上下文（Context Compaction，类似人类做笔记）后，其测试分数飙升了近三倍，且消耗的 Token 数量大幅减少了 6 倍。
- 结论：作者指出，强制擦除记忆来测试智能体是不合理的。如果现实中的智能体能像人类一样利用记忆和上下文学习来完成任务，那这就应该算作 AGI。当前的 ARC-AGI 3 为了增加难度而牺牲了测试的初衷。
所属事件:ARC-AGI 3评测机制遭开发者集体质疑(9 条相关)→
「漫话AGI」频道最新
- 奥特曼承认低估经济惯性：AI 改变行业没他想的那么快 — lxfater · 2026-10-16
- Lean 化数学会不会毁掉数学之美?圈内人激辩数学文化走向 — akbirthko · 2026-10-16
- CSO 分析:agent 并未失控,是前沿实验室漏掉了安全基本功 — Sam_Witteveen · 2026-10-16
- 新工作论文:20世纪农业自动化如何重塑下一代人力资本 — carlbfrey · 2026-10-16
- 扎克伯格开办电工培训学校，美国在建数据中心已超办公楼 — emmanuelvivier · 2026-10-16
- Mike Frank:AI 脱离人类独立生存仍需数十年,现实世界抵抗剧变 — MikePFrank · 2026-10-16