双 AI 交叉审计 Saez 与 Zucman 138 项研究：53 处硬伤，72% 数字可复现
RexDouglass · x · 2026-10-31
针对经济学家 Emmanuel Saez 与 Gabriel Zucman（不平等研究核心人物）全部研究语料的自动化审计报告发布，评审者 Rex Douglass 认为结果比舆论预想的「体面得多」，是一份合理的第一轮筛查。
审计方法
- 覆盖 2011–2026 年间 138 项研究，独立两轮审计：Claude Opus 5.5（最大推理强度）与 GPT-6 Astra（Codex harness）各跑一遍，各自从作者自己的复现文件和原始数据源重算核心数字
- 第三个 agent 对所有发现的问题做再验证，不成立的剔除；并预先喂入 131 篇学界已有批评，避免重复发现
- 严格区分「缺陷」（defect，任何标准下都算错：算术/数据处理错误、误引、内部矛盾、数字与作者文件不符）与「争议性选择」（contest，可辩护但可辩的建模决策）
主要结果
- 147 项重大发现：53 项为缺陷，94 项为争议性选择；43 项研究至少含一处重大缺陷
- 5110 次复现检验中 72% 与已发表数字吻合，另有 490 项无法检验
- 52 项发现涉及论文自身已声明的假设或局限，16 项作者已在后续工作中承认或修正
- 没有任何一项发现严重到推翻该研究的核心结论
作者同时点出更严肃的问题是「有动机的定向审计」——尽管大家对此前针对 Arday 的审计并无异议。
所属事件:AI 自动审稿兴起：研究模糊性与可复现性问题集中暴露(2 条相关)→
「漫话AGI」频道最新
- 机器人会被 LLM 实时写代码控制吗？X 圈热议这条技术路线 — lukas_m_ziegler · 2026-10-31
- 经济学人提醒:让 AI 主导研究项目,会得到平庸研究生水平的论文 — soumitrashukla9 · 2026-10-31
- 观点:AI 已让多数胜任的开发者成为「百倍工程师」 — CtrlAltDwayne · 2026-10-31
- 养老金都发不起,Ubi 拿什么发?Reddit 热议全民基本收入现实性 — Cpt_Pukan · 2026-10-31
- VraserX:想听 AI 发明人类从未想过的乐器与音乐流派 — VraserX · 2026-10-31
- AI 自动审稿时代来临：90% 研究太模糊以至于无法证伪 — RexDouglass · 2026-10-31