手工核查 105 篇论文：复现失败多因代码缺失和结果不一致
ChenhaoTan · x · 2026-07-23
手工核查 105 篇论文后，研究者发现不可复现多半不是“模型不够强”
作者表示，他们的分析显示，论文复现失败的主因往往不是模型能力本身，而是更现实的工程与发布问题。
文中给了一个具体例子：某论文声称方法只训练了基座模型 0.77% 的参数，这是它的主要卖点之一；但实际放出的 checkpoint 训练了 6.31%，大约是前者的 8 倍。那个 0.77% 只有在假设所用 adapter 只有已发布版本 1/8 大小时才说得通。
配图总结了他们在 105 篇论文里看到的常见不可复现原因：
- 代码按原样运行不了：58
- 数字与论文不一致：48
- 数据不可用：42
- 没有发布可运行代码：38
- 没有发布训练好的模型：18
- 代码与论文不匹配：15
- 依赖旧模型或不可用模型：4
结论是：105 篇里有 101 篇至少存在上述一项问题。作者想强调的不是模型能力，而是缺失工件、代码/论文不一致、报告口径混乱这些更基础的复现障碍。
所属事件:AI助力学术复现：研究称论文不可复现多因工程缺失(4 条相关)→
「研究」频道最新
- Steve Hsu 评 OpenAI Navier-Stokes 论文:技术水准或超人类所能构想 — LucaAmb · 2026-10-27
- Skyfall AI 推出工程世界模型 SKY-001:文本转 CAD 构建,3.9 秒 vs GPT-6 的 199 秒 — rohanpaul_ai · 2026-10-27
- 物理学家让 AI 自选课题：两小时产出可登顶刊的论文 — burny_tech · 2026-10-27
- 研究者谈评测集透明度:组合性评测仍存数据污染隐患 — najoungkim · 2026-10-27
- 可解释性研究该分清形式与估计器：均值差转向不如直接梯度下降 — johnhewtt · 2026-10-27
- EMNLP 论文：让 LLM 换个问法，「42」变「3」但蝴蝶仍是帝王蝶 — radamihalcea · 2026-10-27