Agentic AI Scientists Are Not Built For Autonomous Scientific Discovery
Harshit Bisht, Vinay Kumar, Kevin Maik Jablonka, Mausam, N. M. Anoop Krishnan
NeurIPS 2026 (Position Paper Tr
cs.AI
2026-05-09
NeurIPS 立场论文:现有 agentic AI 科学家做不了自主发现,12 个前沿模型生成假说高度趋同是核心证据。
眼下有一批系统宣称能「端到端自主科学发现」:自己选题、提假说、跑实验、写报告,资金机构跟着下注,Nobel Turing Challenge 把这类系统设为终点。这篇 NeurIPS 2026 立场论文(IIT Delhi 与德国耶拿大学)的判断相反:现在的 agentic 系统顶多是 co-scientist,即人类深度在环的合作者,差距不在规模和 scaffolding(检索、工具、多 agent 外壳),而在训练与部署范式的四个结构性缺陷。分界线在于「错了多久才知道」:数学有秒级返回的证明器,自主发现在那边相对可行;自然科学靠又慢又需人解读的物理实验闭环,论文的论证全落在这一侧。
主体是论证,唯一的新实验叫 hypothesis hivemind,专门检验「偏好优化压缩输出多样性」这一环:
四条论证线各自独立:选题被 McNamara 谬误带偏,只做可量化、数据全的题;发表文献只记成功结论,实验室默会知识与失败路径不在语料里;RLHF 和 DPO 把输出分布压向标注者共识;科学 benchmark 多为单轮预测,缺物理实验反馈回计算模型这一环。
| 指标 | 设置 | 结果 |
| 跨模型 vs 单模型重复采样相似度 | AI4Mat 假说生成 | 0.64 vs 0.72 |
| 跨模型 vs 单模型重复采样相似度 | PLOS Biology | 0.69 vs 0.76 |
| Vendi 有效假说数(10 模型各 1 次 vs 1 模型 10 次) | AI4Mat | 3.6 vs 2.9 |
| Vendi 有效假说数(同上设置) | PLOS Biology | 3.1 vs 2.6 |
换着厂商问,买到的边际多样性接近零。引用的外部证据同样硬:4130 万篇论文的计量分析显示,用 AI 的学者发文 3.02 倍、引用 4.84 倍,但全领域研究主题总量缩水 4.63%、学者间互动降 22%;2.5 万次 agent 运行里 68% 忽略证据,出现推翻式信念更新的只有 26%,base model 推理能力解释任务成功方差的 41.4%,scaffolding 只解释 1.5%;GNoME 预测的 220 万个晶体结构,发表时被实验实现的只有 736 个。
对做 AI4Science 的人有两个直接可用的结论。第一,别指望多问几家模型来对冲单模型偏见:四家厂商的输出在开放任务上挤在同一片语义区域,合成与表征资源会跟着流向文献本就密集的候选,论文拿固态电解质里的 LLZO、NASICON 家族反复举例。第二,科学 benchmark 高分说明不了能跑完整调查周期,单轮预测准确率漏掉了「根据异常修订假说与奖励」这一步。论文给的出路都指向基础设施:把 OpenMM、MuJoCo 这类模拟器当可扩展验证器来训练,维护跨调查周期的持久认知状态(假说上的贝叶斯网络),给 AI 生成的假说建集中式预注册仓库。这是判断框架而非渐进改进,把散落各处的证据拧成了一根完整的链。
作者自己承认:预注册仓库需要社区共识与合规,实验室过程视频昂贵且难标准化,拿公开审稿意见训练涉及审稿人同意与版权。没给的是实现路径,六个建议全部停在方向层。实验也可挑:两域约百篇、每格 10 个采样,规模有限;embedding 余弦相似度会被共享句式和术语抬高,语义相近不等于假说实质相同;模型们涌向同一篇论文的显然延伸方向,也可能是合理趋同,论文没有把这两种解释分开。