斯坦福教授 Kundaje 炮轰 AI×Bio 乱象与 NeurIPS 评审
10 月 3 日,斯坦福计算生物学/深度学习教授 Anshul Kundaje 连发多条帖子,对 AI×Bio 交叉领域的研究规范与顶会评审质量提出系统性批评,点名 BioReason 论文及其 benchmark 的严重问题,并给 AI 背景转行生物学的新人给出具体建议,在社区引发关注。
已确认
- Kundaje 点名 BioReason 论文存在严重问题:配套的 BioReason benchmark 在任务定义上有严重缺陷,且 prompt 中存在信息泄露,他明确建议不要再用这些任务;该论文能排进当年 NeurIPS top 20,在他看来彻底反映了 ML 顶会对生物方向工作的评审水平,完全是个笑话。
- 他澄清批评对象是 BioReason 论文本身而非 BioReason-Pro;其课上学生检查后认为 BioReason-Pro 很可能还存在其他问题,但有待进一步验证。
- 他指出所谓「多模态生物学推理模型」名不副实、缺基础对照;早期半成品研究在无对照组实验的情况下做出夸张宣传性结论,是 AI for Science 领域当前需要警惕的趋势。
- 在与建模团队讨论时他表示,最大的担忧是很多 AI 从业者完全不考虑实验对照(controls),甚至抱有「batch effects 会被模型涌现式地自动修正」这类魔法思维;他还批评指望「在数十亿个细胞上训练 transformer 就能神奇学到因果性」的想法,认为这反映出基本的第一性原理思考完全缺失。
- 他补充指出,经典训练生物学家熟悉的「对照组」针对的是传统实验;当模型介入流程(model-in-the-loop)或数据是为特定学习任务专门生成时,对照设计规则与传统实验不同,需要区别对待。
- 对 AI 背景转入生物学的新人,他建议与湿实验室人员共事,系统学习实验设计、混杂因素与对照等课程,不要只停留在了解 assay 与实验流程的层面。
- 他呼吁整个领域引入更严格的科学规范,称严谨性需提升 5 倍、炒作需减少 100 倍。
尚未确认
- BioReason-Pro 是否存在其他问题尚待进一步验证,目前仅有其学生初步检查的判断。
为什么重要
- 这是一位横跨计算生物学与深度学习的知名学者对 AI4Science 方法的直接点名批评,触及 benchmark 构建质量、对照组实验缺失与顶会评审专业性三个痛点;其「模型在环实验需要不同对照设计规则」的观点,对 AI×Bio 从业者的研究设计与投稿审稿都有直接参考价值。
2026-10-03 ~ 2026-10-03 · 11 条相关
一手来源
- 学者炮轰 NeurIPS 评审:BioReason 入选 top 20 纯属笑话 — anshulkundaje ·
- 斯坦福学者警告:BioReason benchmark 存在信息泄露,别再用了 — anshulkundaje ·
- 斯坦福教授批评 AI 圈做生物学忽视实验对照与因果 — anshulkundaje ·
- 【源头】学者炮轰 NeurIPS 评审:BioReason 入选 top 20 纯属笑话 — anshulkundaje · 2026-10-03
- 【源头】斯坦福学者警告:BioReason benchmark 存在信息泄露,别再用了 — anshulkundaje · 2026-10-03
- 斯坦福教授点名 BioReason 论文缺基础对照,质疑其结论 — anshulkundaje · 2026-10-03
- 斯坦福教授批评 AI4Science 乱象:半成品研究不做对照就大肆宣传 — anshulkundaje · 2026-10-03
- 斯坦福教授批 AI×生物研究:缺乏对照组、炒作过度 — anshulkundaje · 2026-10-03
- 斯坦福教授喊话 AI 转行者:进湿实验室先学懂「对照」 — anshulkundaje · 2026-10-03
- 斯坦福教授提醒 AI×Bio 新人:先补实验设计与对照的概念 — anshulkundaje · 2026-10-03
- 斯坦福教授批 AI×Bio 研究:实验设计功底严重不足 — anshulkundaje · 2026-10-03
- 斯坦福教授:模型在环的生物学实验,对照设计规则与传统实验不同 — anshulkundaje · 2026-10-03
- 【源头】斯坦福教授批评 AI 圈做生物学忽视实验对照与因果 — anshulkundaje · 2026-10-03
- 斯坦福教授:别指望喂数十亿细胞就能涌现出因果 — anshulkundaje · 2026-10-03