经济学家 Novosad 论 AI 审稿:偷懒易、判断弱,主张人机分工新流程
11 月 9 日,发展经济学家 Paul Novosad 在一条线程中系统讨论了 AI 参与学术同行评审的风险与可行流程,核心判断是:匿名评审是 AI 偷懒成本最低的环节,而 AI 的判断力虽弱,通读材料的能力却超过人类专家,因此合理的人机分工比全面禁止或放任都更现实。
已确认
- Novosad 指出评审意见匿名,写砸了最坏情况只是失去编辑的一点信任,而编辑面对海量报告根本无力监督,因此名誉代价极低。他担忧一批懒惰或不诚实的学者会直接提交 AI 生成的评审,并声称「我用自己脑子认真想过」——这类抄袭式 AI 评审难以正式证实,但往往一眼就能看出。
- 在能力层面,他认为 AI 审稿目前最弱的是「判断力」,原因尚不清楚;但在「读完全部材料」上远超人类专家,而人类评审不读附录和预分析计划恰恰是现行体系的问题之一,AI 可以补上这一短板。
- 针对时间有限的情况,他提出四步审稿流程:专家先只读引言形成初步判断;让强 AI 模型给出前三条批评意见;与 AI 讨论并对照论文原文交叉核实;最后由专家判断哪些批评有实质价值并定稿。
- 在线程结尾他提出建设性方向:设计一个能可靠识别「无人类增量」的 AI 系统,即筛出相比 AI 直接生成报告没有任何明显人类附加价值的敷衍评审,用 AI 反制 AI 偷懒。
为什么重要
- 同行评审决定学术成果的去留,Novosad 的分析点出了匿名机制与编辑监督能力之间的结构性漏洞:AI 大幅降低了敷衍评审的成本,而现行体系缺乏甄别手段。
- 他的四步法给出了一个务实的中间路线——不让 AI 替人做判断,而是利用其全量阅读和找茬能力,把最终裁量权留在专家手里,这为期刊与会议设计 AI 审稿政策提供了参考框架。
- 「用 AI 识别无人类增量的评审」这一提议若可实现,将直接回应 AI 代写评审难以证实的取证难题。
2026-11-09 ~ 2026-11-09 · 7 条相关
一手来源
- 经济学家提AI审稿新流程:让模型先读附录再交叉质询 — paulnovosad ·
- 经济学家论 AI 审稿短板:判断力弱但通读全文能力超专家 — paulnovosad ·
- 经济学家:匿名同行评审藏着AI偷懒最低成本 — paulnovosad ·
- 经济学家提出 AI 辅助论文评审四步法:专家定夺、AI 找茬 — paulnovosad · 2026-11-09
- 【源头】经济学家提AI审稿新流程:让模型先读附录再交叉质询 — paulnovosad · 2026-11-09
- 【源头】经济学家论 AI 审稿短板:判断力弱但通读全文能力超专家 — paulnovosad · 2026-11-09
- 学者担忧:抄袭AI评审难以证实但一眼假 — paulnovosad · 2026-11-09
- 【源头】经济学家:匿名同行评审藏着AI偷懒最低成本 — paulnovosad · 2026-11-09
- 学者提议:设计系统识别「无人类增量」的敷衍AI评审 — paulnovosad · 2026-11-09
另有 1 条近重复转述:paulnovosad