用历史评审数据自动学习审稿清单：四步流水线从原子意见到清单树
JessicaHullman · x · 2026-10-30
Jessica Hullman 团队提出的审稿清单（checklist）学习流水线：
- 从历史审稿中抽取原子化的评审意见（atomic claims），筛选出可以仅凭论文本身核实的那部分；
- 去除具体方法名后做 embedding，合并语义相同的意见；
- 构建不同粒度（k 从 100 到 6000 条）的清单树，再选择使「相关一致性」（correlated agreement，同论文审稿人比不同论文审稿人一致度高多少）最大化的切分点。
- 动机：历史评审数据无法告诉我们审稿人在不同清单下会怎么打分，所以需要优化这个代理目标；理论上在 certain 条件下可逼近 MSE 最优清单。
所属事件:西北大学团队用LLM学习审稿清单，对抗同行评审抽签方差(8 条相关)→
「研究」频道最新
- AI for Science 评测市场:单次评估或耗数月数百万美元,成最持久生态位 — kenbwork · 2026-10-30
- pstack /statechart skill 转正：内嵌迷你 TLC 编译器帮 agent 找分布式系统 bug — DavidKPiano · 2026-10-30
- 「神经双胞胎」：专为彼此训练、用神经语交流的模型对 — repligate · 2026-10-30
- 把纠错存成 LoRA：Self-Direction 让 Agent GAIA 成功率 38.8%→55.8% — rohanpaul_ai · 2026-10-30
- UCSF 论文：AlphaGenome 系统性低估因果变异效应，细定位表现不及线性基线 — anshulkundaje · 2026-10-30
- NeurIPS 2026 论文数排行：一人挂名 22 篇引作者署名之争 — qberthet · 2026-10-30