LLM 预测经济学实验效应:最优模型误差仅 0.054 SD,优于传统基准
RobbWiller · x · 2026-11-03
经济学家 Eva Vivalt 的 arXiv 论文(2610.38883)测试了 LLM 能否预测经济学随机对照试验(RCT)的处理效应。
研究设计
- 素材来自 AEA RCT Registry 和 Open Science Framework 上预注册的研究,选取 2026 年及以后首次公布结果的论文
- 只用知识截止日期早于论文发布的模型,保证是真预测而非「背答案」
- LLM 先从预注册文件中自动提取预测问题,再给出效应预测
规模与结果
- 对 39 篇论文中的 889 个处理效应进行了预测(筛选后为 33 篇、673 个)
- 最优模型的中位绝对误差仅 0.054 SD,平均绝对误差 0.093 SD,MSE 0.0218
- 显著优于「预测零效应」和「预测同期其他论文均值」两个基准
结论
LLM 对实验结果的预测已有相当实用价值,可用于辅助政策制定和研究设计决策。
「漫话AGI」频道最新
- Agent 通宵造零件：Scoble 现场晒按需 CNC 加工实况 — Scobleizer · 2026-11-03
- 哲学家：AI 时代人类独特之处在于渴望定义自己 — AnnaCiaunica · 2026-11-03
- Yoav Goldberg：能用 Python 写出来的任务，不值得用 RL 去做 — yoavgo · 2026-11-03
- 对齐讨论:把AI当盟友就该放慢脚步、别用欺骗换训练数据 — davidmanheim · 2026-11-03
- Gary Marcus 重提半年前断言:Anthropic 的 AGI 时间表预测太离谱 — GaryMarcus · 2026-11-03
- 「AI 只是矩阵乘法」:一句话戳破新时代的还原论老梗 — karmicoder · 2026-11-03