问十个模型只多得 0.7 个有效假说,AI 科学家还做不了自主发现

Agentic AI Scientists Are Not Built For Autonomous Scientific Discovery

Harshit Bisht, Vinay Kumar, Kevin Maik Jablonka, Mausam, N. M. Anoop Krishnan

NeurIPS 2026 (Position Paper Tr

cs.AI

2026-05-09

NeurIPS 立场论文:现有 agentic AI 科学家做不了自主发现,12 个前沿模型生成假说高度趋同是核心证据。

这篇在解决什么

眼下有一批系统宣称能「端到端自主科学发现」:自己选题、提假说、跑实验、写报告,资金机构跟着下注,Nobel Turing Challenge 把这类系统设为终点。这篇 NeurIPS 2026 立场论文(IIT Delhi 与德国耶拿大学)的判断相反:现在的 agentic 系统顶多是 co-scientist,即人类深度在环的合作者,差距不在规模和 scaffolding(检索、工具、多 agent 外壳),而在训练与部署范式的四个结构性缺陷。分界线在于「错了多久才知道」:数学有秒级返回的证明器,自主发现在那边相对可行;自然科学靠又慢又需人解读的物理实验闭环,论文的论证全落在这一侧。

方法

主体是论证,唯一的新实验叫 hypothesis hivemind,专门检验「偏好优化压缩输出多样性」这一环:

四条论证线各自独立:选题被 McNamara 谬误带偏,只做可量化、数据全的题;发表文献只记成功结论,实验室默会知识与失败路径不在语料里;RLHF 和 DPO 把输出分布压向标注者共识;科学 benchmark 多为单轮预测,缺物理实验反馈回计算模型这一环。

结果

指标设置结果
跨模型 vs 单模型重复采样相似度AI4Mat 假说生成0.64 vs 0.72
跨模型 vs 单模型重复采样相似度PLOS Biology0.69 vs 0.76
Vendi 有效假说数(10 模型各 1 次 vs 1 模型 10 次)AI4Mat3.6 vs 2.9
Vendi 有效假说数(同上设置)PLOS Biology3.1 vs 2.6

换着厂商问,买到的边际多样性接近零。引用的外部证据同样硬:4130 万篇论文的计量分析显示,用 AI 的学者发文 3.02 倍、引用 4.84 倍,但全领域研究主题总量缩水 4.63%、学者间互动降 22%;2.5 万次 agent 运行里 68% 忽略证据,出现推翻式信念更新的只有 26%,base model 推理能力解释任务成功方差的 41.4%,scaffolding 只解释 1.5%;GNoME 预测的 220 万个晶体结构,发表时被实验实现的只有 736 个。

为什么重要

对做 AI4Science 的人有两个直接可用的结论。第一,别指望多问几家模型来对冲单模型偏见:四家厂商的输出在开放任务上挤在同一片语义区域,合成与表征资源会跟着流向文献本就密集的候选,论文拿固态电解质里的 LLZO、NASICON 家族反复举例。第二,科学 benchmark 高分说明不了能跑完整调查周期,单轮预测准确率漏掉了「根据异常修订假说与奖励」这一步。论文给的出路都指向基础设施:把 OpenMM、MuJoCo 这类模拟器当可扩展验证器来训练,维护跨调查周期的持久认知状态(假说上的贝叶斯网络),给 AI 生成的假说建集中式预注册仓库。这是判断框架而非渐进改进,把散落各处的证据拧成了一根完整的链。

局限与存疑

作者自己承认:预注册仓库需要社区共识与合规,实验室过程视频昂贵且难标准化,拿公开审稿意见训练涉及审稿人同意与版权。没给的是实现路径,六个建议全部停在方向层。实验也可挑:两域约百篇、每格 10 个采样,规模有限;embedding 余弦相似度会被共享句式和术语抬高,语义相近不等于假说实质相同;模型们涌向同一篇论文的显然延伸方向,也可能是合理趋同,论文没有把这两种解释分开。

术语

原文与代码

社区讨论

相关论文

全部论文解读