DecoyCount 新基准:顶级模型数数仅 43% 正确
Elorian 团队与 Mercor 合作发布两个新基准:DecoyCount 计数基准与配套的 ScienceVision 视觉理解基准,旨在区分「视觉还是推理」的短板。DecoyCount 基于 1,586 张真实场景数据,实测显示顶级模型的计数正确率仅约 43%,且部分错误被归因于对齐问题而非纯粹的感知能力不足。
2026-11-09 ~ 2026-11-10 · 2 条相关
- DecoyCount 与 ScienceVision:两个戳穿「视觉还是推理」短板的 3D benchmark — liangchen5518 · 2026-11-09
- 新基准 DecoyCount:顶级模型数数仅 43% 正确,部分是对齐问题 — AndrewDai · 2026-11-10