AI 复现 ICML 168 篇口头论文，仅 7 篇完全经得起检验
profjamesevans · x · 2026-07-23
芝加哥大学 SAI Labs 团队利用 AI 智能体对顶会 ICML 的 168 篇口头论文进行了全面审查与复现，发现仅有 7 篇论文能够完全经得起验证。
研究团队指出，此举并非单纯为了证明同行评审在 AI 时代变难了，而是揭示了现有的同行评审机制从来都不是一个足够强大的“验证器”，无法支撑科学的累积性组装。自上而下的验证暴露了分布式科学的根本挑战。
研究主要探讨了三个核心问题：
- 复现成本：估算复现一篇顶级 ML 论文的中位数开销。
- 验证盲区：对比纯文本叙事评审，代码复现能揭示哪些被遗漏的问题。
- 评审对齐：评估 AI 审稿系统与现有纯人工评审的一致性。
目前该项目已开源全部验证代码与结果。
所属事件:AI智能体复现ICML论文，168篇仅7篇经得起验证(5 条相关)→
「研究」频道最新
- AI 智能体协作优化 secp256k1 量子电路,挑战打破 ECDSA — StefanoGogioso · 2026-09-11
- Alex Townsend 汇编 200 个数值线性代数开放问题，供人类与 AI 攻关 — IgorCarron · 2026-09-11
- 本周热议的数学猜想到底关我什么事?一张普通人视角清单 — koltregaskes · 2026-09-11
- 用果蝇大脑连接组造了个 LLM,作者放出在线 demo — ngxson · 2026-09-11
- 社会学家 Harry Collins：LLM 无法发明新语言，做不了前沿科学 — whoamisri · 2026-09-11
- 「Waymo 效应」：AI 正在悄悄让科研协作变少 — JohnHammersley · 2026-09-11