50 余位专家重批物理基准:多数错误来自题目与评分,前沿模型接近饱和
zainhas · x · 2026-09-16
一篇 arXiv 论文(50+ 位作者,含多位物理学教授)复核了前沿 LLM 的物理能力评估:
- 主流物理基准(含 Artificial Analysis Intelligence Index 2026 收录的)低分让外界以为模型物理推理差,但与领域专家的实际体验不符
- 团队评估了六个广泛使用的物理基准,并请专家重新批改
- 结论:大量「模型错误」实际是基准题目错误或评分(grader)错误,而非模型本身不会
- 多个基准已接近饱和,当前的评测体系无法可靠区分前沿模型
作者戏称「错误来自评测内部」——先修好尺子,再谈模型强弱。
所属事件:耶鲁物理学家重评:前沿模型物理基准已近饱和(6 条相关)→
「模型」频道最新
- AWS 开源 Strands Harness 宣称比 Claude Code 便宜 45%，搅动 harness 之争 — blaizedsouza · 2026-11-02
- Yacine 赞誉 Terra High:一条推文引爆的新模型口碑 — yacineMTB · 2026-11-02
- 单卡 H200 跑 DeepSeek V4.1,时租仅 5.3 美元 — daluoseo · 2026-11-02
- 曝 Fable 5.5 最新 checkpoint 视频流出，纯代码生成 — kimmonismus · 2026-11-02
- 用户实测 Claude Opus 5.5 行为异常，引出持续学习难题 — JeremyNguyenPhD · 2026-11-02
- Reddit 热帖追问:为何主流 AI 模型集体忽略冰岛女性罢工 — Mathemodel · 2026-11-02