NBER 论文：LLM 工作流在 4452 篇论文中标记 3460 篇结果存在偏差
RexDouglass · x · 2026-09-29
NBER 工作论文（w35782，Matthew Schwartz、Isaiah Andrews、Jesse M. Shapiro）介绍了一个开源 LLM 工作流，可利用经济学论文公开的复现包复现、改进并扩展已发表研究。
- 复现：工作流尝试重跑原始计算、核对与发表结果的差异并做自动敏感性分析。在 5 本经济学期刊的 4452 个公开复现包中，标记出 3460 篇文章或附录存在偏差。
- 改进：用不同实现或算法优化原计算，在 496 篇文章中将某项计算的耗时在同等或更高精度下降低 10 倍以上。
- 扩展：在 923 篇文章中发展出原文没有、但符合原文目标与假设的分析扩展。
论文披露分析写作本身使用了 LLM；Schwartz 曾以承包商身份为 Anthropic 工作，但结果不代表 Anthropic 立场。
所属事件:NBER论文：LLM工作流核查4452篇经济学研究，3460篇有问题(3 条相关)→
「研究」频道最新
- Living Science 项目启动:用 AI 智能体持续更新过时论文 — ChenhaoTan · 2026-09-30
- 工程师出身后奥米特警告：RLVR 扩大千倍在对齐上是真危险 — joshua_saxe · 2026-09-30
- 从第一性原理讲透虚拟内存：页表、TLB 与 Linux 内核机制 — abhi9u · 2026-09-30
- Isomorphic Labs 五年复盘:AI 药物设计正触及多种疾病类别 — jeffclune · 2026-09-30
- 经济学家训小网络再给参数起名，就能指导政府？ — alex_peys · 2026-09-30
- 多年攻关终拿下 Craftax：先验结构胜过更快仿真 — GlenBerseth · 2026-09-30