模型看得见还是推不动？DecoyCount 等 two benchmark 拆解视觉推理错位
AndrewDai · x · 2026-11-07
研究者 Andrew Dai 团队联合 Mercor 与 UniPatAI 发布两个新 benchmark：DecoyCount 与 ScienceVision，回答一个核心问题：视觉模型出错时，到底是「没看见」还是「看见了但推理不对」？
- 动机：现有基准常宣称「我们已达 AGI」，但模型仍看不懂 3D 蛋白质视图或建筑平面图，说明视觉理解仍有系统性短板。
- DecoyCount（v6）：包含 1,586 个计数任务，每个任务带预注册的干扰项，并设三种 prompt 条件——中性、对齐提示（alignment-cued）和多跳（multi-hop）。通过「有提示减中性」的准确率差值，量化模型的视觉-推理错位（visual-reasoning misalignment）。
- ScienceVision：面向科学场景的视觉理解评测。
数据集与评测代码已在 GitHub 开源（MIT 许可），论文见 arXiv:2610.34855。
「研究」频道最新
- 仅操控一个 KV 组即可让模型自称「我是用户」，40 次生成全中 — Sauers_ · 2026-11-07
- 新研究探讨 AI for Science 的经济学:哪些领域提速、哪些遇瓶颈 — Afinetheorem · 2026-11-07
- 106K+ 3D 物体浏览器上线:拆零件、动机构、看源码一站搞定 — victormustar · 2026-11-07
- AI for bio 已落地：Benchling 内智能体用量半年暴涨 — AllThingsApx · 2026-11-07
- 伯克利 CDSS 首设 ML 研究奖，9 位教师各获 5 万美元资助 — berkeley_ai · 2026-11-07
- RFD4-Proteina 设计 188 个结合剂中 158 个成功结合 TrkA — AllThingsApx · 2026-11-07