51万条评审实证:LLM 让同行评审趋同,ICLR 重合度一年涨至 21.3%

xuanalogue · x · 2026-11-21

研究者 Ilya Gusev 分析了约 51 万条会议与期刊评审,发现审稿意见的「批评重合度」在 ChatGPT 之后显著上升:ICLR 同阶段评审的重合率从 2026 年的 12.0% 升至 2027 年的 21.3%,NeurIPS、ICML 及 F1000、PLOS 等期刊也逐年上升。

作者用 LLM 生成文本检测器 MELD 对全部评审打标:同一篇论文中,被 MELD 标记的两份评审比未被标记的重合度更高——ICLR 2024–2025 高 3.0 个百分点,2026–2027 高 4.5 个百分点,五个期刊来源合计高 5.4 个百分点。此外,2027 年 ICLR 的第三份评审平均只给前两份之外新增 5.46 个问题,低于 2026 年的 6.12。

结论:LLM 参与撰写的评审彼此更相似,单篇论文评审间的问题多样性正在下降,削弱了多人独立评审「发现不同问题」的设计初衷。

所属事件:51万条评审数据显示 ChatGPT 令同行评审趋同(2 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →