NBER 论文:LLM 工作流在 4452 篇论文中标记 3460 篇结果存在偏差
RexDouglass · x · 2026-09-29
NBER 工作论文(w35782,Matthew Schwartz、Isaiah Andrews、Jesse M. Shapiro)介绍了一个开源 LLM 工作流,可利用经济学论文公开的复现包复现、改进并扩展已发表研究。
- 复现:工作流尝试重跑原始计算、核对与发表结果的差异并做自动敏感性分析。在 5 本经济学期刊的 4452 个公开复现包中,标记出 3460 篇文章或附录存在偏差。
- 改进:用不同实现或算法优化原计算,在 496 篇文章中将某项计算的耗时在同等或更高精度下降低 10 倍以上。
- 扩展:在 923 篇文章中发展出原文没有、但符合原文目标与假设的分析扩展。
论文披露分析写作本身使用了 LLM;Schwartz 曾以承包商身份为 Anthropic 工作,但结果不代表 Anthropic 立场。
所属事件:NBER论文:LLM工作流核查4452篇经济学研究,3460篇有问题(3 条相关)→
「研究」频道最新
- NLP 学者 Nakov:LLM 生成的论文读起来像意大利语空话「supercazzola」 — preslav_nakov · 2026-11-16
- ICLR 审稿人未被打动仍提分:因相信论文对社区有价值 — MarkSchmidtUBC · 2026-11-16
- 手改0.2%权重加CPU训练100分钟,英语TTS模型变身18MB梵语语音 — kastnerkyle · 2026-11-16
- 为什么 AI 做化学必须懂手性:对映异构体在生物体内并不等价 — madeofAjala · 2026-11-16
- RSS 2027 投稿开启:两阶段评审 FAQ 澄清负面结果标准 — GeorgiaChal · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16