FrontierPhysics 基准:42 位物理学家出题,Claude Opus 5.5 以 27.4% 居首
xeophon · x · 2026-11-06
FrontierPhysics 是一个评测 agent 端到端物理研究能力的新基准,由 Berkeley、Caltech、Harvard 物理实验室的核心团队组织,招募了来自 26 个机构的 42 位物理学家出题(其中 28 人在 Nature、Nature Physics、PRX、PRA 上发过论文)。
基准构成:共 56 个任务,覆盖 9 个领域——凝聚态物理(12 题)、流体(6 题)、天体物理(6 题)、统计物理(6 题)、量子(5 题)、光子学(5 题)、AMO(7 题)、高能物理(5 题)、化学物理(4 题)。每个模型跑 168 次,分数分 Verifier 与 Overall 两项。
主要结果(Overall 通过率):
- Claude Opus 5.5:27.4 ± 6.7,断层第一
- GPT-6 Astra:23.2 ± 6.4
- GPT-6.1 Sol:19.6;GPT-6.1 Terra / GPT-6 Sol:各 14.3
- Claude Fable 5.1:11.3;Claude Opus 5:9.5
- Gemini 4 Argon:8.3,但 Verifier 分 31.5 偏高
- Kimi K3.1 Pro:6.5;Grok 4.7:4.2;GLM-5.3:4.2
- DeepSeek V4 Pro 仅 0.6;Gemini 3.8 Flash 与 Mistral Large 4 整体为 0
观察:即使最强模型,端到端物理研究的通过率也不到三成;各家族 Verifier 分普遍高于 Overall,说明瓶颈更多在最终产出质量而非中间验证。
所属事件:FrontierPhysics 发布:42 位物理学家出题,Claude Opus 5.5 居首(5 条相关)→
「模型」频道最新
- 网友实测:前沿 LLM 或在蛋白质数据上做过训练,变体排序接近 ESM2 — alex_peys · 2026-11-15
- 文心 Ernie 5.5 Flash 预览版现身 RuneBench,号称接近 GLM 5.2 水平 — mariofilhoml · 2026-11-15
- 双 DGX 工作站跑 GLM-5.3:并发 16 达 607.8 tok/s,32 并发延迟飙至 453 秒 — petrusenko_max · 2026-11-15
- 网传 Gemini 4 Hydrogen 定位 Agent 快执行,真伪存疑 — feblet · 2026-11-15
- Gemini 4 Carbon 登顶 MathArena,但价格是 GPT-6.1 Sol 的 15 倍 — The Decoder · 2026-11-15
- Anthropic:老式提示词习惯拖慢 Opus 5.5,弃用「think hard」改从 Medium 档起步 — The Decoder · 2026-11-15