Nature 研究:GPT-4 模拟调查实验可预测真实处理效应

johnjhorton · x · 2026-10-25

经济学家 John Horton 分享他最喜爱的 LLM×社会科学论文:Ashokkumar 等人发表于《Nature》的研究。团队构建了 70 项美国全国代表性预注册调查实验档案(469 个实验效应、119,330 名参与者),让 GPT-4 模拟受访者对实验刺激的反应并推断处理效应。结果显示预测与真实效应强相关,准确度接近人类群体预测汇总,且在训练截止日期之后发布的研究上依然成立,排除单纯记忆的可能;不过预测系统性高估效应量。在 15 项 megastudy(606 个效应)上相关性较低但与专家预测者相当。Horton 表示数据与代码公开,他用更新的模型做了后续研究。

配图为该 Nature 论文摘要截图。