研究:15 个 LLM 抓出人类同行评审漏掉的临床试验方法学错误
rohanpaul_ai · x · 2026-10-29
medRxiv 预印本:此前实验中,未受训的人类评审在 3 篇被植入错误的随机临床试验报告中,重大错误检出率平均仅 27%。本研究改用 15 个大语言模型(含 4 个开源权重模型)执行同一任务,为防记忆化,又在 2026 年新发表的 58 篇随机对照试验(含全部符合条件的 3 期试验)上重复测试,共产出 1796 份评审,由两个盲评 LLM 裁判打分。结果显示模型能发现人类同行评审遗漏的方法学错误(原始报告上的具体检出分数在截断部分)。
所属事件:实测：15 个 LLM 检出论文错误全面超越人类审稿人(7 条相关)→
「研究」频道最新
- JHU 提出 Hexels:六边形原语省 5.5 倍显存,PSNR 反超 3DGS — ssh4net · 2026-10-29
- 人机互补监督研究：3957 项安全任务显示结合人类判断尚无良方 — sethlazar · 2026-10-29
- 「表达鸿沟」预印本发布：度量人类与 AI 中不可言说的默会知识 — sanmikoyejo · 2026-10-29
- 研究实测：同行评审最不可言传，越写清偏好越失真 — sanmikoyejo · 2026-10-29
- 新方法超 GEPA 约 14%：结构化搜索 + prompt 性能上限估计 — sanmikoyejo · 2026-10-29
- 借生态学“捕获-再捕获”估计 rubric 还有多少未发现指标 — sanmikoyejo · 2026-10-29