51万条评审实证:LLM 让同行评审趋同,ICLR 重合度一年涨至 21.3%
xuanalogue · x · 2026-11-21
研究者 Ilya Gusev 分析了约 51 万条会议与期刊评审,发现审稿意见的「批评重合度」在 ChatGPT 之后显著上升:ICLR 同阶段评审的重合率从 2026 年的 12.0% 升至 2027 年的 21.3%,NeurIPS、ICML 及 F1000、PLOS 等期刊也逐年上升。
作者用 LLM 生成文本检测器 MELD 对全部评审打标:同一篇论文中,被 MELD 标记的两份评审比未被标记的重合度更高——ICLR 2024–2025 高 3.0 个百分点,2026–2027 高 4.5 个百分点,五个期刊来源合计高 5.4 个百分点。此外,2027 年 ICLR 的第三份评审平均只给前两份之外新增 5.46 个问题,低于 2026 年的 6.12。
结论:LLM 参与撰写的评审彼此更相似,单篇论文评审间的问题多样性正在下降,削弱了多人独立评审「发现不同问题」的设计初衷。
所属事件:51万条评审数据显示 ChatGPT 令同行评审趋同(2 条相关)→
「研究」频道最新
- 黎曼猜想证明通过多个独立 Lean 内核验证,170 万行 PR 无人能读 — churchkey · 2026-11-22
- PredActor:扩散策略仅占前向 5%,实现低延迟人形机器人控制 — chris_j_paxton · 2026-11-22
- Claude系统卡曝已训练蛋白质序列,生物基础模型或被通用模型取代 — chaitjo · 2026-11-22
- Axiom 招募药企合作:出钱跑药物实验,资产 100% 归你 — cjmaddison · 2026-11-22
- 神经网络进化骑手浏览器竞速,能看着 AI 学会跟车与冲刺 — AjdDavison · 2026-11-22
- AlphaProof Nexus 用 Lean 形式化证明解决量子光学悬而未决问题 — dair_ai · 2026-11-22