研究:LLM 找论文错误的准确率显著超过训练有素的人类审稿人
Eliv_nurotic · reddit · 2026-10-29
一项发表于 medRxiv 的研究(Brian, Pereira Hernández, Yin, Koury & Rust, 2026)对 58 篇临床试试验论文人为植入错误,对比 LLM 与原 BMJ 实验中人类同行评审的检出率。
热力图显示:
- 人类审稿人:主要错误检出率仅 22–48%,次要错误 7–45%
- 多数主流模型对「样本量计算缺失、意向治疗效度、结论不当」等主要错误检出达 95–100%
- 次要错误上,顶级模型(GPT-6.1 Sol、Opus 5、Fable 5、Opus 5.5)普遍达 68–100%,远超人类
- 部分模型(标注†)仅在 3 篇子集上测试;人类在「伦理批准缺失」上检出 25%,多数模型 93–100%
结论:LLM 在系统性发现论文方法学与报告错误方面已显著优于训练有素的人类审稿人。
所属事件:实测：15 个 LLM 检出论文错误全面超越人类审稿人(7 条相关)→
「模型」频道最新
- Anthropic：Claude 的网络攻击能力并非专项训练而是自然涌现 — repligate · 2026-10-29
- LiquidAI LFM3-1.7B GGUF 版冲上 Hugging Face 热榜 — LiquidAI · 2026-10-29
- Reflection 将 Beam 501B 量化到 MXFP4,双 MI300X 跑满 1M 上下文 — ben_burtenshaw · 2026-10-29
- Gemini 4 Carbon 登顶独立榜单,网络安全成绩亮眼但先限防御者使用 — Latent Space · 2026-10-29
- 零重训把英伟达30B语音LLM从67.5GB剪到10GB，WER仅5.16% — Illustrious_Row_9971 · 2026-10-29
- 博主实测 Claude/GPT/Gemini/GLM/Kimi 报价：转售商价差高达3倍 — Life-Situation-1533 · 2026-10-29