四模型审稿均值62%弱点挂钩附录,人类审稿仅8.4%

AI Reviews Are Biased Towards the Appendix

Saptarshi Ghosh, Mohammad Saim, Tianyu Jiang

cs.CL

2026-11-13

辛辛那提大学用 GPT-6 与 Claude 四个模型,审了附录不少于 15 页的 800 篇顶会论文,弱点平均 62% 挂钩附录,ICLR 2021-2024 人类审稿只有 8.4%,2026 年升到 27.60%。

这篇在解决什么

LLM 已经在顶会审稿里列弱点。ICLR 2026 大约五分之一的审稿被标成完全由 AI 写成,审稿人把这些弱点搬进自己的意见很常见。已有工作主要比较模型与人类在接收倾向上是否接近,很少量过弱点落在论文哪一页。

附录不占正文页数。证明、额外实验、超参和边界表格都放在参考文献后面,文字更长,打磨更少。模型若被要求写得具体,这里最容易被挖到一串意见。这份清单一旦被当成论文强弱的证据,核心想法分到的注意力就变少。

方法

样本分两截。主实验从 ACL 2026、EMNLP 2026、COLM 2026、ICLR 2027 各抽 200 篇,附录至少 15 页,共 800 篇。ICLR 2027 是双盲投稿,另三家用接收后的终稿,抹掉作者、单位、邮箱和仓库链接,关掉网页检索,模型只读给定 PDF。人类审稿覆盖 ICLR 2021 至 2027 每年 200 篇,2027 年与主实验重叠,全文合计约 2000 篇。

审稿用 GPT-6-Astra、GPT-6.1-Sol、Claude-Opus-5.5、Claude-Sonnet-5.5,并以 GPT-5 作上一代对照。提示只有一句,说明正在为该会议审稿,并要求一份会议风格的审稿。短提示用来避开格式指令本身改写挑错偏好。生成后,同一个模型再把每条弱点对回最多两个章节,对不上则标为未指明。

口径偏宽。证据只要有任何一部分在附录,不论单出附录还是正文与附录同时出现,都计入附录相关。完全不碰正文的才叫仅附录。后文过半、62% 都指宽口径。

ICLR 2021-2024 的人类样本把附录门槛降到 10 页,每篇随机留一条审稿,归因交给 GPT-6.1-Sol。旧稿公开多年,可能已在训练集中,因此不重审,只和 ICLR 2027 的模型审稿比较。

另有 100 篇 ICLR 2027 只用 GPT-6-Astra,分别走 Codex、API 传 PDF、API 传纯文本、网页对话。Codex 靠命令读 PDF,单次工具输出默认约 1 万 token,超长就留头尾、丢中间。

结果

四个新模型在四个会上,都把大约一半或更多弱点算到附录上。ICLR 2027 的四模型均值是 62.00%±7.70,仅附录 14.19%±3.32。在这四个会上,GPT 的仅附录比例是 17.33%,Claude 是 10.16%。

来源附录相关仅附录
四模型均值,ICLR 202762.00% ± 7.7014.19% ± 3.32
人类,ICLR 2021-20248.40% ± 1.444.36% ± 1.03

GPT-5 在四个会上为 17.9%-29.6%,均低于 30%。GPT-6-Astra 与 GPT-6.1-Sol 约 60%-70%,最高 72.4%。

100 篇上四种读法都超过 50%。Codex 下附录相关 72.4%,正文 27.6%。一次送入全文的 API 同样偏附录,工具截断解释不了。

人类 ICLR 2021-2024 共 800 篇,只有 159 条审稿出现过任何附录相关弱点。ICLR 2027 的 200 条模型审稿全部至少一条。人类比例在 2020-2024 审稿年停在约 6%-10%,2025 年升至 11.27%,2026 年跳到 27.60%。后两次抬升紧跟 GPT-5(2025 年 8 月),以及 GPT-6-Astra(2026 年 7 月)和 Claude-Opus-5.5(2026 年 9 月)。

审稿年会议附录相关
2020ICLR 202110.47%
2021ICLR 20228.37%
2022ICLR 20238.39%
2023ICLR 20246.37%
2024ICLR 20256.06%
2025ICLR 202611.27%
2026ICLR 202727.60%

人类弱点集中在前 5 页,也就是问题、动机和方法。模型很少碰这几页,更多打在第 6、7 页的结果,附录超过 30 页仍在挑。

类别上,人类附录意见有 32.2% 是 Presentation,指的是正文把关键解释推进附录、离开附录就读不完整。模型只有 2.1%。模型侧 Methodology 54.0%、Analysis 25.2%、Results 13.6%,人类对应 35.7%、13.5%、6.5%。模型习惯拿正文公式去对附录里的实现细节,并要求补种子、显著性检验和置信区间。这类意见经常成立,但很少碰到贡献本身。

为什么重要

这篇交付的是测量。审稿人若按模型清单理解论文差在哪,附录里缺一个置信区间,就会和核心论证占到接近的篇幅。作者用同类模型做投稿前检查,也会先去补边角实验。

用法很窄:用模型核对细节,别让它裁定哪条才是主要问题。附录里的错误仍然要改,争议在权重。GPT-5 低于 30%,下一代超过 60%,API、编程代理和网页三条路一致,偏向在模型里。论文同时写明,不建议作者为此删附录,可复现性仍靠这些补充材料。

局限与存疑

归因步骤仍由 LLM 完成。偏好附录的模型同时负责判断弱点指向哪一节,含糊或跨节的条目会标错。人工抽查过一部分,没有报告一致率或错误率。

62% 与 8.4% 来自不同年份、不同论文。人类附录门槛是 10 页,模型样本从 15 页起。长附录里可供挑剔的句子更多,比例会被抬高。短附录的普通投稿没有测。

宽口径把同时提到正文和附录的弱点整条算进附录。仅附录是 14.19% 对 4.36%,差距仍在,但比 62% 对 8.4% 平很多。两套数要一起看。

27.60% 与新模型发布时间重合,因果没有建立。ICLR 2026 约五分之一审稿被标为完全由 AI 写成,这些稿仍留在人类序列里。后两年的上升,有一部分可能是 AI 审稿混进公开意见。把它读成审稿人自己开始深挖附录,证据不够。

弱点对不对、有没有用、会不会拉动评分,全文都没测。附录意见里真错误占多少,现在是空的。因此推不出审稿应该忽略附录。

术语

原文与代码

相关论文

全部论文解读