耶鲁物理学家重评:前沿模型物理基准已近饱和
耶鲁物理学家等机构50余位作者（含多位物理学教授）发布论文《How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks》，对前沿模型在物理基准上的表现进行专家重评，结论是现有评测体系存在系统性问题，前沿模型的物理能力被严重低估。
已确认
- 研究方法是对6个流行物理基准上被判定为「失败/被拒」的答案进行物理学家人工复核。
- 在4个被审计基准子集的250个被拒案例中，仅12个是模型真正答错，其余大多源于基准题目本身错误或评分器问题。
- 修正坏题与评分后，前沿模型在多个基准上接近饱和；如GPT-5.6 Sol在HLE-Physics上的表现被严重低估。
- 审计覆盖了Artificial Analysis Intelligence Index 2026所收录的主流物理基准。
为什么重要
- 社区对LLM评测可信度和grader噪声的质疑由来已久，博主zainhas在事件前后多次指出多份基准测试中多数「模型错误」其实来自评测本身——「错误来自评测房子内部」；该论文为这一判断提供了系统性证据。
- 若基准普遍失真，外界对模型物理推理能力的低分认知可能被大幅修正，基准构建与评分流程亟需同行评议式的质检。
2026-09-15 ~ 2026-09-17 · 6 条相关
一手来源
- 耶鲁论文:物理基准分严重低估模型,250 个「失败」仅 12 个真错 — rohanpaul_ai ·
- 50 余位专家重批物理基准:多数错误来自题目与评分,前沿模型接近饱和 — zainhas ·
- 耶鲁物理学家手工重评基准:前沿模型成绩被严重低估 — MikePFrank ·
- 耶鲁物理学家重评前沿模型：多数物理基准被评错，几乎全部饱和 — inductionheads · 2026-09-15
- 博主指出:多份基准测试的多数错误源自评测本身而非模型 — zainhas · 2026-09-16
- 【源头】50 余位专家重批物理基准:多数错误来自题目与评分,前沿模型接近饱和 — zainhas · 2026-09-16
另有 3 条近重复转述:MikePFrank · rohanpaul_ai · rohanpaul_ai