耶鲁论文:物理基准分严重低估模型,250 个「失败」仅 12 个真错

rohanpaul_ai · x · 2026-09-17

Yale 等顶级实验室的新论文发现,前沿模型已接近打满现有封闭式物理基准,而大量表面「失败」其实是基准质量问题。物理学家人工复核 6 个流行物理基准中被拒的答案:在 4 个被审计基准子集的 250 个被拒案例中,只有 12 个是模型真错,其余 238 个来自题目有误、参考答案错误或判分器误杀正确答案。专家重评后,GPT-5.6-Sol 的 HLE-Physics 得分从 47.3% 升至 78.7%——低分可能严重低估模型真实能力。但作者也强调:其 agent 在尝试的开放理论物理难题上仍无一完全解开,基准分不能再当 ground truth,基准质量成了测量的新瓶颈。