新基准 DecoyCount：顶级模型数数仅 43% 正确，部分是对齐问题
AndrewDai · x · 2026-11-10
Elorian 团队与 Mercor 合作发布 DecoyCount 计数基准，并配套 ScienceVision 视觉理解基准。
- 规模：1,586 张真实场景图片，含 2,108 个预注册「诱饵」错误计数，覆盖 7 种干扰机制
- 最强模型 GPT 6 Astra 无辅助精确匹配仅 43.1%——能解千禧年难题的模型数不可靠
- 核心发现：计数部分是对齐问题而非单纯感知问题。诱饵设计让错误答案能揭示模型选了哪种解读，如印着 12 的箱子装了超过 12 瓶，模型答 12 说明它信文字标签胜过画面本身
- 强推理 ≠ 选择正确的推理过程；作者认为这解释了为什么模型在 3D 蛋白视图、户型图等场景仍会翻车
所属事件:DecoyCount 新基准：顶级模型数数仅 43% 正确(2 条相关)→
「模型」频道最新
- 用户吐槽 Fable 5.2：45 分钟压缩会话三次、极慢且抗拒干活 — ersatzben · 2026-11-10
- Claude 两个黑洞物理成果成预印本:弱耦合 Hawking-Page 相变算清 — claudeai · 2026-11-10
- Claude Fable 5.2 解出搁置 23 年的黑洞物理计算 — claudeai · 2026-11-10
- Claude Fable 5.2 求出 modular bootstrapping 技术的精确极限 — claudeai · 2026-11-10
- Claude 攻克 MIPLIB：203 个开放问题中击败 72 个、证明 45 个最优 — claudeai · 2026-11-10
- Claude 攻克 23 年未解的黑洞理论物理难题,结果成预印本 — claudeai · 2026-11-10