实测：15 个 LLM 检出论文错误全面超越人类审稿人
一项 10 月 29 日受到广泛关注的 medRxiv 预印本（Brian, Pereira Hernández, Yin, Koury & Rust，2026，USC、ResearchHub Foundation 等机构参与）用实验回答了「期刊该不该禁止 AI 参与同行评审」的争论：15 个大语言模型在检测临床试验报告植入错误的能力上全面超过训练有素的人类审稿人。结果为 AI 辅助审稿提供了直接实测依据，但该成果目前仍是预印本，尚未经过正式同行评审。
已确认
- 实验设计沿用此前 BMJ 实验框架：在 3 篇测试论文与 58 项临床试验报告中人为插入 14 处重大/次要错误，让 15 个 LLM（含 4 个开源权重模型，无工具、无联网）与人类评审执行同一任务。
- 此前实验中，未受训练的人类评审对 3 篇被植入错误的随机对照试验报告的重大错误平均检出率仅约 27%，且培训几乎没有帮助。
- 为排除模型记忆旧论文的可能，研究将同样的错误插入 2026 年发表的 58 项试验（含 7–10 月所有符合条件的开放获取 III 期临床试验），AI 检出率为 58%–99%，约为无训练人类审稿人的两倍。
- 团队介绍的关键补充数据：840 份 AI 评审中有 838 份优于人类均值。
- 据多位转发者转述，论文作者之一是审阅过主流期刊、评估过 1000 份人类审稿意见的资深编辑，并表示今后不再做没有 AI 辅助的评审，认为临床试验领域纯人工评审甚至危险。
为什么重要
- 该结果直接冲击当前多家期刊限制或禁止 AI 参与同行评审的政策，为「AI 辅助审稿」提供了实测依据。
- 选用 2026 年新发表论文排除了数据记忆化的解释，使结论更可信；@anshulkundaje、@RexDouglass、@RobbWiller、@rohanpaulai 等多位作者转发讨论，显示学界关注度高。
2026-10-29 ~ 2026-10-29 · 7 条相关
一手来源
- 研究:LLM 找论文错误的准确率显著超过训练有素的人类审稿人 — Eliv_nurotic ·
- 研究:15 个 LLM 抓出人类同行评审漏掉的临床试验方法学错误 — rohanpaul_ai ·
- AI 审出临床试验错误，840 份评审中 838 份优于人类均值 — RexDouglass ·
- 预印本实测:人类审稿仅发现 27% 重大错误,15 个 AI 全部超越 — anshulkundaje · 2026-10-29
- 【源头】研究:LLM 找论文错误的准确率显著超过训练有素的人类审稿人 — Eliv_nurotic · 2026-10-29
- 【源头】AI 审出临床试验错误，840 份评审中 838 份优于人类均值 — RexDouglass · 2026-10-29
- 研究者实测：AI 辅助同行评审远超纯人工，临床评审无 AI 反而危险 — anshulkundaje · 2026-10-29
- LLM 审稿找出 53–96% 重大错误,约为无训练人类审稿人的两倍 — RobbWiller · 2026-10-29
另有 2 条近重复转述:RexDouglass · rohanpaul_ai