FrontierPhysics 基准：42 位物理学家出题，Claude Opus 5.5 以 27.4% 居首
xeophon · x · 2026-11-06
FrontierPhysics 是一个评测 agent 端到端物理研究能力的新基准，由 Berkeley、Caltech、Harvard 物理实验室的核心团队组织，招募了来自 26 个机构的 42 位物理学家出题（其中 28 人在 Nature、Nature Physics、PRX、PRA 上发过论文）。
基准构成：共 56 个任务，覆盖 9 个领域——凝聚态物理（12 题）、流体（6 题）、天体物理（6 题）、统计物理（6 题）、量子（5 题）、光子学（5 题）、AMO（7 题）、高能物理（5 题）、化学物理（4 题）。每个模型跑 168 次，分数分 Verifier 与 Overall 两项。
主要结果（Overall 通过率）：
- Claude Opus 5.5：27.4 ± 6.7，断层第一
- GPT-6 Astra：23.2 ± 6.4
- GPT-6.1 Sol：19.6；GPT-6.1 Terra / GPT-6 Sol：各 14.3
- Claude Fable 5.1：11.3；Claude Opus 5：9.5
- Gemini 4 Argon：8.3，但 Verifier 分 31.5 偏高
- Kimi K3.1 Pro：6.5；Grok 4.7：4.2；GLM-5.3：4.2
- DeepSeek V4 Pro 仅 0.6；Gemini 3.8 Flash 与 Mistral Large 4 整体为 0
观察：即使最强模型，端到端物理研究的通过率也不到三成；各家族 Verifier 分普遍高于 Overall，说明瓶颈更多在最终产出质量而非中间验证。
所属事件:FrontierPhysics 基准发布：42 位物理学家出题评测 AI 科研智能体(2 条相关)→
「模型」频道最新
- Humans& 多智能体 Ampersand 达到前沿编码模型水平，成本低七成 — gharik · 2026-11-06
- 蚂蚁 Ling-3.2-flash 发布：560B 参数多模态模型称胜 Claude Opus 5 — realmrfakename · 2026-11-06
- Qwen 微调版 OrcaCyber-Nano-1.0 被赞接近前沿模型体验 — JackMasterN1 · 2026-11-06
- 智谱首席科学家唐杰披露 GLM-5.5 训练管线,将推 32B/122B/256B 三档 — wapswaps · 2026-11-06
- Grok 出现莫名 Cursor 扣费,官方道歉引「AI 管账」质疑 — alexcovo_eth · 2026-11-06
- 39 个 LLM 裸考解魔方：仅 2 个能稳定解开 20 步打乱 — JeremyCMorgan · 2026-11-06