15 个 LLM 测 58 项临床试验：发现人类同行评审漏掉的方法学错误
RexDouglass · x · 2026-10-29
medRxiv 预印本论文（USC、ResearchHub Foundation 等机构）测试大语言模型能否检测人类同行评审漏掉的临床试验方法学错误。
- 背景：此前实验中，向 3 份随机对照试验报告插入错误后，未受训练的人类评审员对重大错误的平均检出率仅 27%。
- 方法：测试 15 个 LLM（含 4 个开源权重模型）；为降低记忆化风险，在 58 项 2026 年发表的随机对照试验（含全部符合条件的 III 期试验）上重复测试。
- 规模：共产出 1,796 份评审，由两个盲评 LLM 评审员打分。
- 结论方向：模型在原始报告上的重大错误检出得分显著高于人类评审的 27% 基线（摘要截断处），提示 LLM 可作为同行评审之外的质量控制补充。
所属事件:实测：15 个 LLM 检出论文错误全面超越人类审稿人(7 条相关)→
「漫话AGI」频道最新
- Vicarious 联创 Dileep George 播客：当今 AI 是飞艇，scaling 不够 — kaixhin · 2026-10-29
- DHH:最强程序员用 AI 与最弱不用者差距可达 1000 倍 — tristanbob · 2026-10-29
- 马斯克:超级智能丰裕时代来临,为遥远未来存钱已无意义 — XFreeze · 2026-10-29
- Theo 谈 AI 竞争策略：跑得够快就不用管领先多远 — 0xAllen_ · 2026-10-29
- Anthropic 年化营收 18 个月涨 65 倍，估值倍数从 62 倍降到 21 倍 — PEEEPOOpeeepoo · 2026-10-29
- 从 Engelbart 到 Agent:软件作者反思'增强人类智能'正在失传 — ryolu_ · 2026-10-29