西北大学团队用LLM学习审稿清单，对抗同行评审抽签方差
西北大学教授 Jessica Hullman 团队发布新论文，主张不做全自动 AI 审稿，而是让 AI 瞄准人类同行评审的已知弱点——「抽签方差」：不同的审稿人组合会显著改变论文录用结果。回顾 NeurIPS 2021 实验，23% 的论文在重新评审中被翻盘；claim 级分析进一步显示，委员会成员之间只有约 1/3 的评审意见会重复出现，说明审稿覆盖高度碎片化。
已确认
- 方法为四步流水线：从历史审稿中抽取原子化评审意见（atomic claims），筛选出可仅凭论文本身核实的部分；去除具体方法名后做 embedding 并合并，再通过优化一个代理目标确定清单粒度：寻找原子意见空间的一种粗化，使「相关一致性」最大化，即同一论文的审稿人比不同论文的审稿人意见一致程度高出多少。
- 在 NeurIPS 2021 与 ICLR 2022 留出论文的 LLM 模拟评审中，学习出的清单（k=100）将误差降低 21–58%，在每个规模上都优于 NeurIPS 2021 官方清单。
- 在人类审稿人对 NeurIPS 论文排序的实验中，该清单使排序错误约减半。
- 论文获得 AI-Native Academia 奖。
为什么重要
- 该研究给出共享清单何时有益的理论条件：清单需以高准确率应用到论文上才能提升评审一致性，但共享视角会关联错误——审稿人可能固守清单内容而忽视自己的私有信息；因此清单奏效的前提是它减少的方差必须超过它引入的偏差。
- 清单粒度是关键难题：太细则审稿人之间难以产生意见重叠，太粗则不同论文也会高度重叠，最大化相关一致性提供了选择最优切分的准则。
2026-10-30 ~ 2026-10-30 · 8 条相关
一手来源
- 西北大学教授新论文：用 LLM 审稿清单对抗同行评审「抽签方差」 — JessicaHullman ·
- 学习出的审稿清单让 LLM 模拟评审误差降低 21-58%，超越 NeurIPS 官方清单 — JessicaHullman ·
- LLM 审稿清单使 NeurIPS 排序错误减半，获 AI-Native Academia 奖 — JessicaHullman ·
- 【源头】西北大学教授新论文：用 LLM 审稿清单对抗同行评审「抽签方差」 — JessicaHullman · 2026-10-30
- 审稿有多随机？NeurIPS 实验：23% 论文换批审稿人结论翻转 — JessicaHullman · 2026-10-30
- 共享清单为何可能有害：减少的方差必须超过引入的偏差 — JessicaHullman · 2026-10-30
- 审稿清单粒度难题：用最大化相关一致性来选最优切分 — JessicaHullman · 2026-10-30
- 为什么审稿像抽签？NeurIPS 2021 曾有 23% 论文被翻盘 — JessicaHullman · 2026-10-30
- 用历史评审数据自动学习审稿清单：四步流水线从原子意见到清单树 — JessicaHullman · 2026-10-30
- 【源头】学习出的审稿清单让 LLM 模拟评审误差降低 21-58%，超越 NeurIPS 官方清单 — JessicaHullman · 2026-10-30
- 【源头】LLM 审稿清单使 NeurIPS 排序错误减半，获 AI-Native Academia 奖 — JessicaHullman · 2026-10-30