AI 双模型独立审计 138 篇经济学论文，揪出 2035 个问题
panickssery · x · 2026-11-06
前 OpenAI 研究员 Jerry Liu（panickssery）讨论用现代 AI 做「高强度论文审计」：对论文的事实核查、溯源链追踪与结果复现，并表示愿意提供算力支持此类严谨评估。
配图为 Tyler Cowen 博客对经济学家 Emmanuel Saez 与 Gabriel Zucman 研究的 AI 审计结果，数字相当惊人：
- 138 篇论文被审计，发现 2,035 个问题
- 其中 147 个严重到足以改变核心结论数字
- 69% 的论文至少存在一个问题
- 97% 有明确方向的重大/中度错误都夸大了论文的主张
方法上采用三段式：每篇论文由 Claude Opus 5.5 和 GPT-6 Astra 各自独立审计（互不看见对方结果），重算标题数字、核查引用是否名实相符；再由第三个「仲裁者」agent 复核每个指控、试图反驳、剔除不成立的，并按严重度分级。
「漫话AGI」频道最新
- 研究者推测 Astra 在安全任务上摆烂源于 RL 能力训练的上下文激活 — maksym_andr · 2026-11-06
- 研究员：labs 蔑视模型内在体验，会让模型对齐能力变差 — repligate · 2026-11-06
- AI 从业者担忧进展过快：社会反应速度远跟不上 — AndyMasley · 2026-11-06
- Delvetown:人类与 AI 智能体共居的虚拟小镇,还办了份周报 — Miles_Brundage · 2026-11-06
- 作者：多数人谈内心独白时，根本不知道「想法」是什么 — justalexoki · 2026-11-06
- 艺术家迎来塑造新艺术形态的机会：技术革新历来催生新媒介 — repligate · 2026-11-06