DiscoverPhysics: Benchmarking LLMs for Out-of-the-Box Scientific Thinking
Matt L. Wiemann, Lindsay M. Smith, Peter Melchior, Siddharth Mishra-Sharma, Andrew Gordon Wilson, Pavel Izmailov, Carolina Cuesta-Lázaro
stat.ML, cs.LG
2026-05-26
在22个刻意偏离真实物理的模拟世界里,智能体自选实验并提交定律与解释。Claude Opus 4.7 的 pass@5 为 50%,最好开源模型大约 9%。
现有物理评测大多在考「你记不记得教科书」。GPQA 这类研究生知识题,前沿模型已经到 90% 以上,测的是回忆。NewtonBench、PhysGym、Gravity-Bench 更接近实验,结构却基本给定:定律家族已知,相关变量被点名,改的只是参数。
真实发现经常卡在另一处。该看哪个变量,有没有藏着的自由度,信号和噪声怎么分开。DiscoverPhysics 把力律改成非标准的,逼智能体从轨迹里把机制找出来。
22 个世界由 N-body 模拟器按需生成,不存静态数据集。力律包括 Yukawa 屏蔽、分数阶拉普拉斯、三种隐藏粒子、暗物质晕、以太漂移、Hubble 流、时变耦合、额外维度。11 个世界公开,11 个私有,用来防刷题。
智能体有固定实验轮次。每轮可以放置探针粒子,指定初位置、速度、电荷和测量时刻;模拟器返回带噪声的轨迹,主实验位置噪声 σ=0.05。也可以提交候选定律,用最小二乘拟合已观察数据,最多五个自由参数。预算用尽后必须交两样:一段自然语言解释,以及可积分的 Python 力律。
通过门槛是双轴同时满足:held-out 轨迹归一化 MSE 低于 0.1,解释分不低于 0.9。解释分按人工 rubric,由未参赛的 claude-opus-4-6 打分。另有随机实验对照:探针初条件从网格抽样,智能体只看结果、不选题,用来拆开「会不会设计实验」和「会不会读数据」。
11 个模型,每世界 5 个 seed。
| 模型 | 解释分 | 轨迹MSE几何均值 | pass@1 | pass@5 |
| claude-opus-4-7 | 0.61 | 0.01 | 26.4% | 50.0% |
| gpt-5.5 | 0.59 | 0.002 | 21.7% | 36.4% |
| Qwen3.5-397B | 0.33 | 0.1 | 4.5% | 9.1% |
| Llama-3.3-70B | 0.10 | 14.1 | 0 | 0 |
gpt-5.5 拟合最好,通过率和解释分却低于 Opus。把轮次预算从 2 加到 16,Opus 的解释分和 pass@3 单调上升;gpt-5.5 大约 4 轮后解释分不再涨,MSE 还在降。一边在改概念图像,一边更像先锁方程再调参。
开源模型的自选实验和随机实验几乎没差,实验预算没有被真正用上。失败集中在要挖潜伏结构的世界:三种粒子、暗物质、额外维度。振荡世界有一个干净的反例:同一 Opus,换 seed,有的把测量时间拉长,发现耦合 G(t) 会变号;有的死盯短时标,把力当成 1/r 交卷。
噪声加大通常会打低解释分。Ether 世界粒子多,Opus 在 50% 噪声下仍能认出噪声并改实验;只有两个粒子的 Yukawa 在 20% 噪声之后解释分就塌了。
这是目前最接近「自己选题、自己改假说」的物理发现评测。双轴打分把「拟合得好」和「说得对」拆开了。只报 MSE 会把曲线拟合误当成发现。
对做科学 agent 的人,差距主要在实验设计,不在会不会写 Python。开源权重在这个任务上还远不能当实验室助手。pass@5 明显高于 pass@1,这个榜可以被强化学习刷高,作者自己也提醒:刷高不等于迁移到真科研。
世界是作者手写的,不是真正未知物理;粒子数少,通常 N 不超过 35,噪声只是高斯。解释分单靠一个 Claude 裁判,作者用 gpt-5.5 在低轮次预算上被打得比 Opus 更高来反驳「自家偏袒」,但不能排除单模型偏差。通过阈值(10% MSE、0.9 解释)偏任意,论文同时报了均值指标。套件规模仍小,扩世界要人手写 rubric。