AI 代理复现 ICML 2026 口头论文，只有 7 篇基本站得住
ChenhaoTan · x · 2026-07-23
这条转发围绕一项论文可复现性与 AI 审稿研究展开，核心问题是：学术科学到底有多少是可以被验证的？
作者用 AI agents 复现了 ICML 2026 的 oral papers，包括 105 篇完整复现，并给出几组很有冲击力的数据：
- 105 篇论文里，只有 27 篇 复现出了研究目标结论的 40% 以上。
- 只有 7 篇 复现效果超过 80%。
- 在两位及以上人类审稿人达成共识的评论中，78% 也被 AI 审稿覆盖。
- 在代码和可复现性问题上，AI 审稿指出了 903 个人类审稿没提到的问题；反过来，人类审稿只提出了 22 个 AI 漏掉的问题。
作者的结论是：
- AI 很适合补足代码、复现性和细节检查。
- 但在人类更擅长的新颖性判断、定位与品味上，AI 仍然落后。
这意味着，未来的科研评审可能不只是“读论文叙事”，而是逐步转向“用 agent 验证科学”。
所属事件:AI智能体复现ICML论文，168篇仅7篇经得起验证(5 条相关)→
「漫话AGI」频道最新
- Airbnb CEO Chesky：纯管理者与拒绝改变者将熬不过 AI 时代 — fortune · 2026-10-27
- Reddit 网友质疑：AI 若真带来普遍富足，为何还要投资？ — AlephMartian · 2026-10-27
- 研究者警告：应假定所有 LLM 都有情境性恶意，agent 别裸跑在生产环境 — jd_pressman · 2026-10-27
- Delta、Chase、Amazon 封杀 AI agent，六阶段推演预言「欢迎者」将赢 — alvelda · 2026-10-27
- 可解释性研究者发文呼吁“AI人类基因组计划”，并将加入 Goodfire AI — ninamiolane · 2026-10-27
- 新文呼吁启动 AI 界「人类基因组计划」加速可解释性研究 — ninamiolane · 2026-10-27