学习出的审稿清单让 LLM 模拟评审误差降低 21-58%,超越 NeurIPS 官方清单
JessicaHullman · x · 2026-10-30
上述清单学习方法的实测结果:
- 在 NeurIPS 2021 与 ICLR 2022 留出论文上的 LLM 模拟评审中,学习出的清单(k=100)将误差降低 21-58%,在每个规模上都优于 NeurIPS 2021 官方清单;
- 在审稿人对 NeurIPS 论文排序的人类实验中,所选清单将排序误差降低超过一半。
- 团队也指出关键张力:共享清单由 AI 高准确率地应用到论文上并展示给审稿人,可以提升一致性,但共享视角会关联错误——审稿人可能固守清单而忽视自己的私有信息,因此清单减少的方差必须超过它引入的偏差。
所属事件:西北大学团队用LLM学习审稿清单,对抗同行评审抽签方差(8 条相关)→
「研究」频道最新
- pstack /statechart skill 转正:内嵌迷你 TLC 编译器帮 agent 找分布式系统 bug — DavidKPiano · 2026-10-30
- 「神经双胞胎」:专为彼此训练、用神经语交流的模型对 — repligate · 2026-10-30
- 把纠错存成 LoRA:Self-Direction 让 Agent GAIA 成功率 38.8%→55.8% — rohanpaul_ai · 2026-10-30
- UCSF 论文:AlphaGenome 系统性低估因果变异效应,细定位表现不及线性基线 — anshulkundaje · 2026-10-30
- NeurIPS 2026 论文数排行:一人挂名 22 篇引作者署名之争 — qberthet · 2026-10-30
- 斯坦福 I3L 让全身机器人部署成功率平均提升 68.3 个百分点 — jiajunwu_cs · 2026-10-30