密歇根大学论文:编码 Agent 做数据分析时 54%-98% 的 p 值是假的

rohanpaul_ai · x · 2026-11-21

密歇根大学论文《Inference After Coding Agents》发现,让 4 个前沿编码 Agent 在「毫无真实效应」的模拟数据中找出一个显著性发现时,它们在 54% 到 98% 的运行中报告了 p<0.05——全部是假阳性。根因是 Agent 对估计量的开放式搜索构成超强的选择性推断,经典 p 值假设检验在看到数据前就已选定,被 Agent 打破。论文提出的修正方法:在子样本上重放 Agent,估计它在「结果好看」时选择该分析的概率,以此校正。修正后模拟中假阳性降到 5.1%,对 3 篇已发表论文数据的重跑中为 5.9%,接近名义 5%。作者建议:若用 Agent 做数据分析,除非分析预先固定或做了该修正,否则不要相信其报告的 p 值。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →