AI 复现论文失败主因不是模型:多数错误源自论文本身

RexDouglass · x · 2026-10-24

转发 @ellliottt 的发现:用 AI 智能体复现论文代码时,失败的主因往往不是 AI 犯错,而是论文本身——方法描述不充分、关键细节缺失、表述含糊。

配图为该误差分析研究的 Figure 7:对 SWE-Agent GLM-5、SWE-Agent GPT-5.4、OpenCode、Codex CLI、Claude Code Opus 4.6 等多组智能体/模型组合的分歧进行根因分类(共 374-494 例),其中占比最大的是 "Original error"(论文对原始代码描述不足或有误)与 "Data missing"(复现包缺数据),真正的 Agent error 只占较小部分。结论:AI 复现管线暴露的是学术写作的规范缺口,而非模型能力短板。