arXiv 论文:专家重评揭示物理基准已饱和且评测体系崩坏
rohanpaul_ai · x · 2026-09-17
论文《How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks》(arXiv:2609.13009),由 Ali Ansari 等 50 余位作者(Yale 及多个顶级实验室)完成。核心发现:主流物理基准(含 Artificial Analysis Intelligence Index 2026 所用)报告的低分给人「模型不擅长物理」的错觉,但经领域专家审计后,多数被拒答案实际是题目、参考答案或判分器的问题;前沿模型在封闭式物理基准上接近饱和,基准质量本身成为衡量前沿能力的新瓶颈。
所属事件:耶鲁物理学家重评:前沿模型物理基准已近饱和(6 条相关)→
「研究」频道最新
- 小米 MiMo 提出 CodeSpecWeave:用相互依赖规格合成任务训练编程智能体 — XiaomiMiMo · 2026-11-02
- 谁把「用 AI 治愈癌症」讲得最具体？2025 年路线图正在成形 — iskander · 2026-11-02
- arXiv 论文证明 SGD 最优步长调度:单调递减的线性衰减是唯一极小极大最优解 — konstmish · 2026-11-02
- Karpathy 的 nanochat:100 美元从零训练出类 ChatGPT,星标近 6 万 — karpathy · 2026-11-02
- 读完 46 份资料后写出 Agent Evals 指南：自评 95 分的评测为何不可信 — blaizedsouza · 2026-11-02
- Meta 与 MIT 论文:循环复用 Transformer 层可胜过加深参数 — rohanpaul_ai · 2026-11-02