NeurIPS元审稿人披露审稿AI泛滥,学界激辩LLM评审边界
一位完成 NeurIPS workshop 元审稿的斯坦福研究者 suragnair 披露审稿现场:8 篇论文中约 1 篇大量为 LLM 生成的「slop」,超过一半的审稿意见疑似由 LLM 生成。帖子引发学界激烈争论,正反双方与第三方实证派均下场交锋,暴露出同行评审在 LLM 时代的深层分歧。
已确认
- suragnair 的元审稿观察:8 篇论文中 1 篇基本为 LLM 生成的水文,过半审稿意见疑似 LLM 生成;他呼吁时间紧张的审稿人哪怕只写两行真实直觉判断,也比 LLM 生成的审稿意见有用。
- 计算基因组学学者 Anshul Kundaje 公开持相反立场:应允许在人类监督下使用 LLM 审稿,最新模型生成的审稿意见比他多年在学术会议上见过的低质量人工审稿更好。
- Kundaje 还观察到:在前沿模型缺乏可验证闭环的开放领域(如生物学),与 LLM 头脑风暴时其「假装理解」的破绽会暴露无遗;Andrew Rosen 补充,让 LLM 评审论文或申请书,它永远会说「不错但……」式的泛泛批评。
- Seth Lazar 整理 7 篇关于 LLM 辅助同行评审的研究(如《Stop Automating Peer Review…》等),主张这是可实证检验的问题且已有大量研究。
尚未确认
- 「过半审稿意见疑似 LLM 生成」为元审稿人的主观判断,未见系统化检测方法披露。
为什么重要
- 这场论战的核心分歧在于:LLM 审稿是提升效率的工具,还是侵蚀同行评审可信度的隐患。反方(sethlazar)的核心论点是,同行评审改革不能用一个自己都承认太新、未经验证的系统;已有研究表明文本类方法能较好判断论文正确性,但很不擅长评估重要性(significance)。随着投稿与审稿双方都在大量使用 LLM,学术界亟需就使用边界与监督机制形成共识。
2026-09-27 ~ 2026-09-28 · 6 条相关
- 第 1 集:学术 rebuttal 被曝大量 AI 代写,学者吐槽评审机制失灵(2026-09-25,3 条)
- 第 2 集:NeurIPS元审稿人披露审稿AI泛滥,学界激辩LLM评审边界(2026-09-27,6 条)
一手来源
- NeurIPS 元审稿人:8 篇论文 1 篇 LLM 水文,过半评审由 AI 生成 — suragnair ·
- 斯坦福学者 Kundaje:最新 LLM 审稿远胜多年来的垃圾人审 — anshulkundaje ·
- AI 评审同行论文引争议,研究者集齐 7 篇关键论文回击 — sethlazar ·
- 研究员舌战:用未经验证的 LLM 替代论文同行评审为时尚早 — sethlazar · 2026-09-27
- 【源头】AI 评审同行论文引争议,研究者集齐 7 篇关键论文回击 — sethlazar · 2026-09-27
- 斯坦福教授吐槽:LLM 评审永远能挑出一堆毛病,装懂本色尽显 — IanArawjo · 2026-09-27
- 【源头】NeurIPS 元审稿人:8 篇论文 1 篇 LLM 水文,过半评审由 AI 生成 — suragnair · 2026-09-28
- NeurIPS 研讨会审稿过半是 LLM 生成,学者吐槽后引来反吐槽 — anshulkundaje · 2026-09-28
- 【源头】斯坦福学者 Kundaje:最新 LLM 审稿远胜多年来的垃圾人审 — anshulkundaje · 2026-09-28