AI 复现 ICML 论文：超六成失败，99% 论文有错
量子位 · wechat · 2026-08-09
近期多项研究显示，AI Agent 正被用于大规模审查和复现顶会论文，结果暴露了严重的学术可复现性危机。
- 复现极难：审计公司对 ICML 2026 的 168 篇论文进行测试，其中 92 篇有可验证声明，但仅 34 篇能被 AI 成功复现超 40% 的结论，能复现 80% 以上的仅 8 篇。失败原因多为代码缺失、依赖断裂甚至模型下线。
- 错误频发：基于 GPT-5 的检查系统发现，99.2% 的顶会论文至少存在一个客观错误（如数学公式错误），且近年来论文的篇均错误数呈显著上升趋势。
- AI 重审科学史：AI 不仅能挑错，还能发现百年前被奉为权威的化学数据错误。这表明人类首次具备大规模重审过往文献的能力，未来论文发表或将进入“AI 验证”循环。
所属事件:ICML顶会论文复现审查暴露严重学术危机(2 条相关)→
「研究」频道最新
- 研究发现:想象疼痛无法重现真实疼痛的体位选择性神经模式 — AnnaCiaunica · 2026-10-16
- Simplex Diffusion Models 论文作者周一开讲 — LucaAmb · 2026-10-16
- 开源工具用 pass/fail 自动复算论文指标，7 项指标实测 4 过 1 挂 — jwt0625 · 2026-10-16
- 藤洋之介公开演讲:从 AI 智能体迈向 Agentic Robotics — HirokatuKataoka · 2026-10-16
- 数学只是语言吗：一场关于 LLM 为何擅长数学的争论 — LucaAmb · 2026-10-16
- 阿里开源 OpenGCUA:全栈开放通用电脑操作 Agent,OSWorld-v2 均分提升 19.6 — Tongyi-MAI · 2026-10-16