SciConBench:61%-90% AI 综述结论与 Cochrane 证据相矛盾
manoelribeiro · x · 2026-10-07
研究团队发布 SciConBench,评估 AI 综合科学结论的能力,发现:
- 61.1%–90% 的 AI 合成结论至少含一条与专家撰写的 Cochrane 综述相矛盾的事实
- Claude Opus 5.5 在矛盾数排行榜上居首
作者强调对这类高风险任务(结论常用于健康、科学、政策决策)做纵向长期评估的必要性:模型能力会随版本漂移,一次性评测不足以反映真实可靠性。
所属事件:SciConBench 入选 NeurIPS：最强 AI 医学结论合成 F1 仅 0.337(10 条相关)→
「研究」频道最新
- Scott Alexander 公开信回应 Pinker:通用智能因子真实存在,AI 能力将持续攀升 — Astral Codex Ten · 2026-10-07
- 论文:扩散 Transformer 生成早期即可读出大量图像信息 — kwangmoo_yi · 2026-10-07
- 合成细胞为何五代即衰:答案是它无法分解自身「垃圾」 — NikoMcCarty · 2026-10-07
- LLM 数值线性代数综述：从 QR 算法到支撑大模型的矩阵方法 — Abdelkader Baggag · 2026-10-07
- 哈佛发布智能体血液生物标志物发现工具：隐私不出域，AUC 中位提升 4.18 点 — Harvard · 2026-10-07
- 斯坦福研究：多用户各派一个 agent，团队效果反而不如单个 agent — rohanpaul_ai · 2026-10-07