复跑40次后70%论文显著性缩水，Google Trends 样本重抽动摇73篇顶刊成果

RexDouglass · x · 2026-09-04

经济学复现播客《Allegedly Does Not Replicate》邀请匹兹堡大学教授 Lester Lusher 讨论其新研究"When Samples Shape Significance"。团队筛查了顶级综合经济学期刊中使用 Google Trends 的 73 篇论文，对其中 24 篇有可用复现包的论文，用相同关键词、地区、时间窗口和代码将查询各重跑 40 次。结果 t 统计量在 70% 的情况下缩小（平均缩 31%），部分论文几乎每次重抽都失去统计显著性——而 Google 每天会静默重抽样本。脆弱性的最强预测因素是研究者自由度：变换指数、只用部分序列、跑大量查询等日常决策，无需 p-hacking 也会导致问题。Lusher 还发现自己的论文也在样本里。讨论涉及审稿人要求"同一查询重抽样"、预注册是否有效，以及对普查样本、失业统计等一切随机抽样数据的启示。