4B 审稿模型靠 F1 奖励 RL 反超 Claude Opus 5

PaperCritic: Training AI Reviewers to Assess the Soundness of Papers

Hyun Ryu, Ji Yong Cho, Eunho Yang, Moontae Lee, June Yong Yang, Sean Welleck, Carolyn Rose

cs.CL

2026-11-13

把审稿拆成逐条审查点、以 F1 为 RL 奖励训练的 4B 模型,审 ICLR 论文 F1 达 45.1、超过 Claude Opus 5,并迁移到代码与合同评审。

这篇在解决什么

AI 会议投稿暴涨,合格审稿人不够用,LLM 审稿成了现实选项。但此前的 AI 审稿器都在解「模仿人类」这个问题:生成一篇完整 review 加总分,拿与人类 review 的相似度或偏好当奖励。模仿的靶子本身不干净。审稿同时承担多个目的(TMLR 的三分法:soundness、interestingness、clarity),后两条高度主观;人类意见的质量也参差。这篇自建的 PaperSound-23K 给了量化证据:23K 条人类与 LLM 审查点里 45% 前提站不住,不 sound 的点里 81.1% 出自人类审稿人之手。对着这样的信号学,学到的是噪声。

于是任务收窄到最客观的一条:只评 soundness,即论文的 claim 是否有准确、有说服力的证据支撑。

方法

先用人类研究定标准。7 位 AI 研究者(人均 3 年以上研究经验)逐条给审查点打分并说明理由,访谈后归纳出两条普适标准:一条审查点算高质量,当且仅当 sound(前提按论文或领域知识是对的)且 substantive(指出足以动摇主 claim 或其核心证据的中等以上问题)。

形式化上,review 是审查点的列表,同时最大化两个量:

PaperSound-23K 覆盖 989 篇 ICLR 2020-2023 投稿、23,215 条审查点(62.4% 人类写、37.6% LLM 生成),质量标签由 GPT-5.2/5.4 流水线自动打,人机一致性 0.624,与人人一致性 0.597 相当。全量里只有 27.1% 的点同时过两条线。

训练两步走。SFT 只喂高质量参考点,并按目标 claim 交错排序,鼓励先覆盖不同 claim;随后 GRPO 在线 RL,奖励是整篇 review 的 F1。precision 由两个 reward model 估计(soundness RM 是蒸馏自 GPT-5.4 的 4B,substantiveness RM 和 matcher 用 Qwen3.6-35B-A3B),recall 由 matcher 对照参考集算覆盖。一个反直觉消融:逐点递归生成、逐点给奖励只有 37.1 F1,一次性生成整篇、给 review 级 F1 反而 45.1。

结果

PaperSound-23K 测试集(100 篇,GPT-5.4 当 grader):

模型PrecisionRecallF1
Qwen3-4B 基座11.329.611.2
SFT23.025.616.6
+RL(ROUGE 相似度奖励)24.934.223.7
+DPO24.835.223.7
PaperCritic-4B47.451.445.1
Claude Opus 529.373.839.1
DeepSeek-V4-Flash36.055.239.3

三个读数:比最好的传统训练 4B 基线高 21.4pp;比 Qwen3-235B(thinking)高 25.9pp;比两个最强前沿模型高 5.8 和 6.0pp。前沿模型的失败模式整齐:recall 高、precision 低,参考集里的问题覆盖得住,但夹带大量自己编的、站不住的点。7 人偏好实验中 PaperCritic 赢 5/7,双方合并的 35 个 top-5 点里占 19 个。

迁移更意外。只学过审 ICLR 投稿,在 Nature 系论文的 PeerReview Bench 上 F1 从基座 22.7 涨到 58.7(约 2.6 倍);代码评审 SWE-PRBench 7.2 到 10.5;合同评审 CLAUSE-Legal 13.8 到 20.1;故事反馈 StoryFeedback 的 recall 78.0 到 90.0。SFT 在这四个任务上都是负贡献,RL 把坑填回来。

为什么重要

这篇最大的贡献是目标函数,不是那个 checkpoint。逐点评估加 F1 奖励,把审稿从模糊模仿变成定义清楚、可以优化的题,这套框架对一切「输出是问题清单」的任务都成立,四个 OOD 任务的结果就是证据。从业者有两件事可以直接拿走:投稿前用它自查 soundness 漏洞,比找同行便宜得多;以及一个警告,直接拿前沿大模型当审稿员会翻车,Opus 5 的 precision 只有 29.3,它列的问题大半经不起推敲,作者照着改会被带偏。

局限与存疑

作者自述三条:只覆盖 soundness,不评 novelty 与 clarity、不给接收建议,定位是审稿助手而非替代;评估是闭卷的,排除了需要对照外部文献的批评,而真实审稿常常要做文献比对;recall 依赖参考集,没匹配上不等于错,只能读作「已知高质量问题的覆盖率」。

读数据还能再挑两条。对最强前沿模型 DeepSeek 的 5.8pp 优势,配对 bootstrap 置信区间 [-0.75, +12.62] 含零,没到统计显著;对 Opus、Gemini、Sonnet 的差距才排除了零。训练标签和主评测都出自 GPT-5 系,换 Gemini 3.8 Flash 当 grader 方向一致(44.4 对 33.3/33.1),但「什么算 sound」的定义仍系于单一模型家族,人机一致性 0.624 也只是与人人一致性相当,谈不上高。另外 8B 版掉到 34.9,作者归因于基座差异和调参不足;RL 还诱发固定句式(「can you」「it is unclear that」开头),论文承认原因未查。

术语

原文与代码

相关论文

全部论文解读