专题 · FULL STORY
AI代写审稿泛滥:学术评审遭遇信任危机
学术会议rebuttal被曝大量由AI代写,学者纷纷吐槽动辄数十小时的评审机制已然失灵。随后斯坦福研究者披露NeurIPS审稿现场约八分之一充斥LLM生成内容,吐槽派与辩护派正面交锋,论战持续发酵。
2026-09-25 ~ 2026-09-28 · 2 集 · 9 条
第 1 集 · 学术 rebuttal 被曝大量 AI 代写,学者吐槽评审机制失灵(2026-09-25,3 条)
AI 学术会议的评审机制再遭质疑:研究者 Seth Lazar 引用 Margaret Mitchell 对 rebuttal 耗时动辄 30 小时的感慨,指出 ICML position track 的 rebuttal 中「极大比例」由纯 AI 撰写。Mitchell 半开玩笑提议给明显下了大功夫的 rebuttal 加 1 分,Lazar 则吐槽作者可能花数天只回应一位未必会看的审稿人,既无收益又浪费时间,凸显评审机制亟需全轨校准与改革。
- ICML position track 曝 rebuttal 大量纯 AI 撰写,审稿需全轨校准 — sethlazar · 2026-09-25
- position paper 赛道 rebuttal 大量由 AI 生成,学者吐槽评审机制失灵 — mmitchell_ai · 2026-09-25
- 学者吐槽 NeurIPS rebuttal:为说服一个审稿人耗数天可能白费 — sethlazar · 2026-09-26
第 2 集 · NeurIPS元审稿人披露审稿AI泛滥,学界激辩LLM评审边界(2026-09-27,6 条)
一位完成 NeurIPS workshop 元审稿的斯坦福研究者 suragnair 披露审稿现场:8 篇论文中约 1 篇大量为 LLM 生成的「slop」,超过一半的审稿意见疑似由 LLM 生成。帖子引发学界激烈争论,正反双方与第三方实证派均下场交锋,暴露出同行评审在 LLM 时代的深层分歧。
已确认
- suragnair 的元审稿观察:8 篇论文中 1 篇基本为 LLM 生成的水文,过半审稿意见疑似 LLM 生成;他呼吁时间紧张的审稿人哪怕只写两行真实直觉判断,也比 LLM 生成的审稿意见有用。
- 计算基因组学学者 Anshul Kundaje 公开持相反立场:应允许在人类监督下使用 LLM 审稿,最新模型生成的审稿意见比他多年在学术会议上见过的低质量人工审稿更好。
- Kundaje 还观察到:在前沿模型缺乏可验证闭环的开放领域(如生物学),与 LLM 头脑风暴时其「假装理解」的破绽会暴露无遗;Andrew Rosen 补充,让 LLM 评审论文或申请书,它永远会说「不错但……」式的泛泛批评。
- Seth Lazar 整理 7 篇关于 LLM 辅助同行评审的研究(如《Stop Automating Peer Review…》等),主张这是可实证检验的问题且已有大量研究。
尚未确认
- 「过半审稿意见疑似 LLM 生成」为元审稿人的主观判断,未见系统化检测方法披露。
为什么重要
- 这场论战的核心分歧在于:LLM 审稿是提升效率的工具,还是侵蚀同行评审可信度的隐患。反方(sethlazar)的核心论点是,同行评审改革不能用一个自己都承认太新、未经验证的系统;已有研究表明文本类方法能较好判断论文正确性,但很不擅长评估重要性(significance)。随着投稿与审稿双方都在大量使用 LLM,学术界亟需就使用边界与监督机制形成共识。
- 研究员舌战:用未经验证的 LLM 替代论文同行评审为时尚早 — sethlazar · 2026-09-27
- AI 评审同行论文引争议,研究者集齐 7 篇关键论文回击 — sethlazar · 2026-09-27
- 斯坦福教授吐槽:LLM 评审永远能挑出一堆毛病,装懂本色尽显 — IanArawjo · 2026-09-27
- NeurIPS 元审稿人:8 篇论文 1 篇 LLM 水文,过半评审由 AI 生成 — suragnair · 2026-09-28
- NeurIPS 研讨会审稿过半是 LLM 生成,学者吐槽后引来反吐槽 — anshulkundaje · 2026-09-28
- 斯坦福学者 Kundaje:最新 LLM 审稿远胜多年来的垃圾人审 — anshulkundaje · 2026-09-28