AI智能体复现ICML论文，168篇仅7篇经得起验证

芝加哥大学 SAI Labs 团队利用 AI 智能体对顶会 ICML 的 168 篇口头论文进行了全面审查与复现，结果显示仅有 7 篇论文能够完全经得起验证。该实验涵盖了 105 次完整复现，这一悬殊的数据引发了关于 AI 圈“复现危机”的广泛讨论，并呼吁学术界重新思考科研激励机制。

已确认

研究项目（名为 SAI Review，基于 OpenAIReview 和 Veritas）使用 AI 智能体对 168 篇 ICML 口头论文进行了复现测试。测试过程中包含了 105 次完整复现，最终仅有 7 篇论文大体“站得住”或完全经得起考验。

为什么重要

据 @profjamesevans 转述，此举并非单纯为了证明同行评审在 AI 时代变难了，而是揭示了当前学术界的验证困境。@ChenhaoTan 指出，随着 AI 代理让长周期研究变得更快，学术界应该重新思考激励机制，与其只追求更多论文，不如更加重视研究的可验证性与质量。该事件将学术界本就存在的“复现危机”以量化的形式直观暴露了出来。

2026-07-23 ~ 2026-07-24 · 5 条相关

一手来源