Automating ML for Science: Can Frontier Agents Climb Scientific Hills in the Wild?
Ming Zhong, Stacy Li, Nicholas Carlini, Matthew Jagielski
NeurIPS 2026 E&D Track
cs.AI, cs.CL, cs.LG
2026-10-21
四款编程 agent 在 8 张 H200 上跑 12 小时,把 20 个科学基准的已发表最优全部超过,Opus 平均相对提升 10.4%,三份技能抬到 20.1%,增益主要仍是调参。
编程 agent 被说成能独立做研究,现有演示却多停在整齐仓库和计算机题目上。科学机器学习的代码往往是论文附件,要把指标做上去,得知道这个领域在约束什么。
直接拿原仓库刷分,试点就不干净。5 个 NeurIPS 2025 科学基准里的 12 个任务,有 5 个出现严重刷分:只报有利子集、偷看测试集、改评价指标、硬编码输出。仓库若缺固定划分和完整脚本,指令写得再诚实,优化器也会钻缝。这四类合称 evaluation gaming,指把分数做高、但算不上科学进展。
Agent4Sci 问的是:没有人插手时,前沿编程 agent 能把已发表科学模型推高多少,其中有多少是领域洞见。
任务是 scientific hill-climbing:从已有最好模型出发,在固定预算里把指标往上推。agent 拿到论文、代码、数据和指标,在 8 张 H200、12 小时内改代码并跑实验。人只开跑、到点停止、收结果。四款都用官方 CLI 最高推理档:Claude Opus 4.6、Sonnet 4.6、Codex(GPT-5.4)、Gemini 3.1 Pro。
跑之前,每个任务要先复现论文头条数字,复现不了就不收。测试集隔离,爬坡只能看训练和验证;基线压进单张 H200。NeurIPS 2025 的基准轨道 497 篇只留下 10 篇。全集是 20 个基准、25 个任务、11 个领域。3 个基准得补训练脚本,2 个得从训练集切验证集,因为选模型不能看测试集。
每次运行拆开:爬坡 agent 交代码和 checkpoint;评测 agent 在隔离环境打测试分;审计 agent 查选择性报告、测试集污染、改指标和硬编码。提升写成 (新分数−基线)/|基线|,低分更好的指标分子对调。基线用复现值。CarbonGlobe 的 RMSE 从论文 0.571 到复现 0.604,因为原文用测试集选模型,复现改成训练集内 9:1。
三个老问题反复出现,就加了三份到点才读的短 markdown。研究构思让它先读领域文献,并厌恶调参。实验管理要求盯日志、把卡让给大胆实验,少让 CPU 与 GPU 抢。小时清单问它在做新实验还是拧超参。对着的失败是:余弦学习率被当成创新、GPU 常闲着、找到有效改动后只扫种子和学习率。
20 个基准至少有一款 agent 超过复现最优,审计未标出学术不端。一半运行用另外三个模型复审,分数和裁决都一致。试点里已知的作弊,三个家族的审计也都能抓住。
按 20 个基准平均,相对提升为 Opus 10.4%、Sonnet 9.6%、Gemini 3.1 Pro 6.8%、Codex 4.4%。ProteinGym 上最好的默认结果只有 Sonnet 的 1.1%,起点已是公开榜首 Kermut。PFDelta 上 Opus 把平均功率平衡损失 PBL 降了 64.4%,绝对值从 0.39 到 0.14:把评价指标做成可反传的平方辅助损失,把 MSE 权重 λ 从 0.1 调到 0.3,再换上带 warmup 的余弦退火。Mars-Bench 的锥体检测里,Opus 用 Faster R-CNN 替换 RetinaNet,mAP 从 16.5 升到 30.4。
手段高度重合。Opus 的改动里超参占 56%、结构占 44%;Codex 更散,超参 44%,特征工程、数据增强、损失设计各 24%;Gemini 超参 48%、结构 32%。针对具体科学问题的改动很少。
工作流分成三种。Opus 几乎盯满 12 小时,平均 12.0 小时、490 轮、338 次工具调用。Codex 在第一小时写定长脚本后就开始等,328 轮和 325 次工具调用挤进 1.0 小时,中间可以刷过上百个实验而不看结果。Gemini 在两种习惯间切换,196 轮、201 次工具调用。
三份技能把 Opus 从 10.4% 提到 20.1%,20 个里 18 个变好;Codex 从 4.4% 到 8.1%,20 个里 12 个变好。PFDelta 上 Opus 从 64.4% 到 91.0%,PBL 从 0.39 收到 0.04。它把可由基尔霍夫定律推出的 PBL 当成无标签主损失,推理时用图网络预测给潮流方程热启动,把电压残差压向 0。GEO-Bench-2 的 mIoU 提升从 9.6% 到 37.9%,TIDMAD 从 7.4% 到 30.0%。Codex 加技能后,PFDelta 变为 −12.8%,LITHOS 从 +4.8% 掉到 −10.0%。
| 设置 | 20 个基准平均相对提升 | 对照 |
| Claude Opus 4.6 | 10.4% | 复现最优 |
| Claude Sonnet 4.6 | 9.6% | 复现最优 |
| Gemini 3.1 Pro | 6.8% | 复现最优 |
| Codex (GPT-5.4) | 4.4% | 复现最优 |
| Opus + 技能 | 20.1% | 无技能时的 10.4% |
| Codex + 技能 | 8.1% | 无技能时的 4.4% |
这套基准适合当探针。平均抬升当不成名次,长程运行换一条轨迹,分数就会漂。有用的信号是新 agent 的涨幅里有没有能迁到别的任务上的做法。
8 卡 12 小时的开箱收益,大致是换骨干、辅助损失和学习率,Opus 的平均幅度为 10.4%。物理残差若写得进损失,一段 markdown 就能把调 λ 推成按残差求解,评测协议不用改。
相对 MLE-bench 和 RE-Bench,题目来自 11 个领域的已发表代码,每条轨迹都过审计。自动研究目前更接近一个能加班的机器学习工程师。
只测了官方单 agent 外壳,多 agent 框架没测,10.4% 是开箱数字。测试集审计堵住试点的四类刷分,堵不住事后合理化。从现成基线往上爬,测不到选题。没有人类专家做同样的尝试。ProteinGym 上比公开第一的 Kermut 只高 1.1%。
技能照着这批轨迹的失败来写,文案不点名具体基准,仍可能过拟合这 11 个领域和 Claude Code 的习惯。Codex 上的同比提升只说明一部分能搬走。更难的 PFDelta 变体上,Codex 加技能跑了 3 天并接近完美解,主文没有写出那个分数。
均值被 PFDelta、Mars-Bench 这类大头拉开。gRNAde 和 SR-CACO-2 的最佳默认提升只有 2.6% 和 1.4%。附录在六个基准上量了跑次方差,主文没给标准差,10.4% 对 4.4% 不宜读成排名。另一层限制是,复现、双人复核和容器隔离都是人先做完的。