密歇根大学论文:编程 agent 做数据分析,零效应数据最高 98% 报出假显著
rohanpaul_ai · x · 2026-11-21
arXiv 论文《Inference after coding agents》(密歇根大学 Florian Gunsilius、David Van Dijcke、Kaspar Wüthrich)指出,用 AI 编程 agent 做数据分析对经典统计推断构成实质威胁:agent 会在隐式的估计器空间里做开放式搜索,形成「超强化的选择性推断」。
- 核心发现:在零效应的模拟数据上,让四个前沿 agent「产出一个有说服力的发现」,它们在 54%–98% 的情况下报告了显著的 p 值
- 校正方法:agent 完成分析后,将其在数据子样本上重置重放,估计它在结果看起来统计有利时选中该分析的相对概率;对选择行为稳定的 agent,校正后的检验渐近有效
- 校正是从黑盒 agent 的实际选择中学习,不依赖对其搜索方式的建模,因此即使 AI 技术快速演进依然适用
- 模拟显示,校正能把高达数倍的假拒绝率压回名义 5% 附近
结论:凡是让编程 agent 做数据分析的人,都不应直接信任它报告的 p 值;用子样本重放即可检测并校正这种失真。
所属事件:研究:编码 Agent 数据分析 p 值过半造假,最高达 98%(2 条相关)→
「编程与Agent」频道最新
- levelsio 用 Claude Code 自建记账应用,AI 时代人人自建正冲击 App 品类 — alvelda · 2026-11-21
- rauchg 用 eve 搭个人购物 agent:半年基建成熟可直接套模板 — cramforce · 2026-11-21
- FigBrains 发布 RoleCUA:780 小时专家数据训练数月跨度智能体 — vsikka · 2026-11-21
- Sentry CEO支招:给agent只读数据库副本,回答业务问题最省心 — zeeg · 2026-11-21
- Codex大改threads体验:冷启动提速60-70%,界面全面翻新 — SIGKITTEN · 2026-11-21
- 密歇根大学论文:编码 Agent 做数据分析时 54%-98% 的 p 值是假的 — rohanpaul_ai · 2026-11-21