审稿有多随机?NeurIPS 实验:23% 论文换批审稿人结论翻转
JessicaHullman · x · 2026-10-30
Hullman 团队论文披露「抽签方差」的严重程度:回顾 NeurIPS 2021 实验,23% 的论文在不同审稿人组合下得到相反的录用结论;更深层的 claim 级分析发现,只有约 1/3 的审稿意见在不同委员会间重复出现。审稿本身也常出错——在可直接核查的批评意见中,约 18% 被论文原文反驳。
所属事件:西北大学团队用LLM学习审稿清单,对抗同行评审抽签方差(8 条相关)→
「研究」频道最新
- pstack /statechart skill 转正:内嵌迷你 TLC 编译器帮 agent 找分布式系统 bug — DavidKPiano · 2026-10-30
- 「神经双胞胎」:专为彼此训练、用神经语交流的模型对 — repligate · 2026-10-30
- 把纠错存成 LoRA:Self-Direction 让 Agent GAIA 成功率 38.8%→55.8% — rohanpaul_ai · 2026-10-30
- UCSF 论文:AlphaGenome 系统性低估因果变异效应,细定位表现不及线性基线 — anshulkundaje · 2026-10-30
- NeurIPS 2026 论文数排行:一人挂名 22 篇引作者署名之争 — qberthet · 2026-10-30
- 斯坦福 I3L 让全身机器人部署成功率平均提升 68.3 个百分点 — jiajunwu_cs · 2026-10-30