耶鲁物理学家手工重评基准:前沿模型成绩被严重低估
MikePFrank · x · 2026-09-16
耶鲁物理学家在一篇新论文中手工重评了多个主流物理基准上前沿模型被判为“失败”的题目,发现大量问题出在基准题目与评分本身,而非模型能力。修正坏题与评分后,前沿模型在多个基准上接近饱和:GPT-5.6 Sol 在 HLE-Physics mean@4 上从 47.3% 跳升至 78.7%,在修正后的 CritPt 上 pass@4 达 94.4%。作者认为这是对基准指数(indx)的严厉控诉,也印证了多位实验室员工长期以来的质疑(如 Artificial Analysis 将 GPT-6 Astra 排在许多模型之后引发的不解)。
所属事件:耶鲁物理学家重评:前沿模型物理基准已近饱和(6 条相关)→
「模型」频道最新
- LightOnOCR-3 实测：免训练读懂 16 世纪手稿与古希腊文 — IgorCarron · 2026-11-02
- 同一个任务两种「质感」：RL 过拟合模型与通用智能的手感差异 — theteknosaur · 2026-11-02
- LightOnOCR-3 发布：单一模型搞定转录、版面与图表解析 — IgorCarron · 2026-11-02
- NVIDIA Kumo 家族拆解：四款表格基础模型各管一类结构化数据 — pandeyparul · 2026-11-02
- SemiAnalysis：选模型别忽视安全分类器，Meta 网络安全模型居首 — ThomasScialom · 2026-11-02
- Reddit 用户盛赞 DeepSeek V4.1 Flash 1017：快、稳、便宜到可弃闭源模型 — _bachrc · 2026-11-02