优化测试框架即破纪录，ARC-AGI-3 被指不能反映真实能力
Angaisb_ · x · 2026-07-30
有开发者指出，ARC-AGI-3 并不能真实代表模型的实际能力，因为通过优化测试框架（harness）就能轻易解决。
例如，仅通过两项设置更改——允许模型跨多个上下文窗口进行推理，并配合规范的上下文压缩（compaction）实现——就成功让 GPT-5.6 Sol 在 ARC-AGI-3 上达到了 SOTA（当前最优）水平。这进一步印证了测试工具链的优化对大模型评测分数的巨大影响。
所属事件:优化记忆管理设置，GPT-5.6 在 ARC-AGI-3 跑分翻三倍(27 条相关)→
「研究」频道最新
- 8000 余名女性真实世界数据：数字化 GLP-1 减重疗法平均减重 16.1 公斤 — EricTopol · 2026-10-16
- Microsoft AI 公开 2.8T 模型训法:小模型阶梯实验预测大模型 — hboelman · 2026-10-16
- 冻结模型写入外部记忆:Qwen 与 Mistral 上的隐藏态注入实验复现 — Nearby_Indication474 · 2026-10-16
- 2024 年 Golden Gate Claude 视频再流行:可解释性 premise 至今仍成立 — HarperSCarroll · 2026-10-16
- DeepMind 四个 Gemini Agent 27小时14分钟自主通关 Minecraft — omarsar0 · 2026-10-16
- 新论文称约90%神经元功能清晰,可解释性临近突破引激辩 — The Decoder · 2026-10-16