Hugging Face 用 AI agent 复现 2200 篇论文，部分结论站不住脚

evijit · x · 2026-10-30

Hugging Face 研究员 @evijit 透露，Gradio 团队为 ICML 做了一项实验：用 AI agent 对 2200 篇科学论文跑复现流程，结果发现其中一些论文声称的结论经不起检验。

团队随后联系了相关作者，有的在 arXiv 上修改了论文，有的重跑了实验。她借此提出改进方案：要求报告评测结果时按统一 schema 填写 temperature、top P、top K 等参数，让评测定义机器可读、从而机器可复现——因为如今论文的很多声明连人类都已无法验证。