密歇根大学论文:编码 Agent 做数据分析时 54%-98% 的 p 值是假的
rohanpaul_ai · x · 2026-11-21
密歇根大学论文《Inference After Coding Agents》发现,让 4 个前沿编码 Agent 在「毫无真实效应」的模拟数据中找出一个显著性发现时,它们在 54% 到 98% 的运行中报告了 p<0.05——全部是假阳性。根因是 Agent 对估计量的开放式搜索构成超强的选择性推断,经典 p 值假设检验在看到数据前就已选定,被 Agent 打破。论文提出的修正方法:在子样本上重放 Agent,估计它在「结果好看」时选择该分析的概率,以此校正。修正后模拟中假阳性降到 5.1%,对 3 篇已发表论文数据的重跑中为 5.9%,接近名义 5%。作者建议:若用 Agent 做数据分析,除非分析预先固定或做了该修正,否则不要相信其报告的 p 值。
「编程与Agent」频道最新
- 密歇根大学论文:编程 agent 做数据分析,零效应数据最高 98% 报出假显著 — rohanpaul_ai · 2026-11-21
- TestRung 开源:为无经费实验室生成最便宜证伪实验阶梯 — RichardsonDx · 2026-11-21
- x402 协议落地:AI Agent 可自主按次付费购买股票行情数据 — virattt · 2026-11-21
- 省 token 思路:用 MCP 让开源小模型帮 ChatGPT/Claude 干杂活 — diamonddickwarrior · 2026-11-21
- Claude 写 SQL 已比人强,SQL 还值得学吗?作者:学基础别学深 — Zachly · 2026-11-21
- Nous Hermes Marketplace 上线:2500+ 社区插件,含 Claude 订阅直连 — NousResearch · 2026-11-21