LLM 审稿找出 53–96% 重大错误,约为无训练人类审稿人的两倍
RobbWiller · x · 2026-10-29
一篇新预print实测了「AI 该不该进同行评审」这场争论。作者是一位审阅过主流期刊、评估过 1000 份人类审稿意见的资深编辑。
- 未受训练的人类审稿人只发现 27% 的重大错误,培训几乎没帮助
- 同一批论文交给 15 个 LLM,检出率达 53–96%
- 即使是最小的模型,发现重大错误的数量也约为人类审稿人的两倍
作者的结论很直接:今后不做没有 AI 参与的同行评审;对临床试验类论文,他认为「纯人类评审」甚至是危险的。但作者同时强调需要人类 和 LLM 共同评审,而非取代。
所属事件:实测：15 个 LLM 检出论文错误全面超越人类审稿人(7 条相关)→
「漫话AGI」频道最新
- Vicarious 联创 Dileep George 播客：当今 AI 是飞艇，scaling 不够 — kaixhin · 2026-10-29
- DHH:最强程序员用 AI 与最弱不用者差距可达 1000 倍 — tristanbob · 2026-10-29
- 马斯克:超级智能丰裕时代来临,为遥远未来存钱已无意义 — XFreeze · 2026-10-29
- Theo 谈 AI 竞争策略：跑得够快就不用管领先多远 — 0xAllen_ · 2026-10-29
- Anthropic 年化营收 18 个月涨 65 倍，估值倍数从 62 倍降到 21 倍 — PEEEPOOpeeepoo · 2026-10-29
- 从 Engelbart 到 Agent:软件作者反思'增强人类智能'正在失传 — ryolu_ · 2026-10-29