ARC-AGI-3 得满分遭质疑,公开题集被指刻意放水
JFPuget · x · 2026-09-01
François Chollet 质疑某通用编码 agent 在 ARC-AGI-3 交互推理基准上拿到 100% 的宣传口径:他引用 3 月发布的 ARC 3 论文指出,公开题集本就设计得对人类和 AI 都更容易,仅用于演示环境格式,而厂商的官宣推文并未说明这一点。
JFPuget 回应称,并未在结果中宣称任何向 AGI 的进展,并指出 Chollet 的论文原文也没有写明「仅限公开评测题集」。
所属事件:编码Agent宣称ARC-AGI-3满分遭Chollet驳斥(6 条相关)→
「模型」频道最新
- Meta 开源 Muse Spark 权重,扎克伯格只能在 X 上感谢苹果 — AIFlow_ML · 2026-10-16
- 用户投诉 Gemini 记忆删不掉,关掉重开依然全记得 — ThrowRA_Purpose2025 · 2026-10-16
- 曝 OpenAI 暗测内部神秘模型 Aeon:已现身 Codex 桌面版用量面板 — cedric_chee · 2026-10-16
- 博主实测:argon 日常全面能打,但重度编码仍略逊 Claude — iruletheworldmo · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版,主打本地部署 — nvidia · 2026-10-16
- RoboVista 机器人理解基准发布:Gemini-4 Argon 81.9% 登顶 — berkeley_ai · 2026-10-16