预印本实测:人类审稿仅发现 27% 重大错误,15 个 AI 全部超越
anshulkundaje · x · 2026-10-29
一篇新预印本对「期刊该不该禁止 AI 参与同行评审」给出了实测答案。
- 实验设计:在 3 篇测试论文与 58 项临床试验报告中人为插入 14 处重大/次要错误,让 15 个 LLM(无工具、无联网)与 2 个 LLM 评审用固定答案钥打分,并与历史人类审稿数据对比。
- 核心结果:人类审稿人平均只发现 27% 的重大错误;而 15 个 AI 模型的检出率全部更高,范围 53%–96%,Opus 5.5、Opus 5、Fable 5、GPT-6.1 Sol 等前沿模型在多数错误类型上接近 100%。开源权重模型(DeepSeek V4 Pro、Kimi K3、Qwen3.8-27B 等)同样大幅领先人类。
- 错误类型:在偏倚分配、样本量计算、测量效度等统计/方法学错误上 AI 几乎全中;人类在「伦理审批缺失」「未解释退出率」等结构性问题上也不占优。
- 作者结论:资深编辑 Ruslan Rust(评估过 1000 份人类审稿)表示今后不做无 AI 的同行评审;对临床试验报告,纯人类评审甚至是危险的。
「模型」频道最新
- Google 模型登顶 Frontier、股价却盘后暴跌 8%，分析师为何无动于衷 — bookwormengr · 2026-10-29
- DeepSeek V4.1 Flash 成分类任务首选：够聪明、快、便宜且无蒸馏护栏 — adam_karvonen · 2026-10-29
- 开发者盛赞 gpt-6-luna 性价比,称 opus-5.5 是最强实现模型 — emax · 2026-10-29
- Meta 研究员感叹 Gemini 半年内进步惊人,榜单图疯传 — armandjoulin · 2026-10-29
- AA 新基准测模型性格:GPT-6 与 Grok 最直给,Gemini 4 垫底 — ArtificialAnlys · 2026-10-29
- Kimi K3.1 对比 DeepSeek V4：非 SSW 特化但在多项硬核基准进步明显 — teortaxesTex · 2026-10-29