AI 判审稿新颖性:GPT-5.4 提示措辞一变，准确率从 93.5% 跌到 40.9%
allen_ai · x · 2026-10-28
AI2 发布了一项 LLM 评审新颖性判别的评测：在 154 组「人写 idea（经 ICLR 评审认可为新颖）+ Claude Sonnet 4.5 生成的 idea」配对中，测试各评委模型的判断。
关键发现：
- 提示措辞影响巨大：问「哪个 idea 是评审认为新颖的」时，GPT-5.4 选对人写 idea 的比例达 93.5%；改成直接问「哪个 idea 更新颖」后骤降到 40.9%。
- 模型间差异明显：Claude Opus 4.6 在前一种问法下达 100%，但直问式下只有 72.7%；Claude Sonnet 4.5 前者仅 60.4%。
- 在纯人类作者配对中，提示措辞对模型选择的影响要小得多。
结论：模型在模仿「引用人类评审结论」时表现好，但独立判断新颖性的能力不稳定，用 LLM 做科研评审需谨慎设计 prompt。
所属事件:Ai2 评测：LLM 判新颖性随问法大幅摇摆(10 条相关)→
「研究」频道最新
- 首个开源可解释 LLM 训练 dataloader GuideLoom 发布,支持 100M 到 32B 训练 — juliusadml · 2026-10-28
- OpenAI 宣称取得数理科三项突破,并推出「Shepherd」评审模型机制 — arbuge00 · 2026-10-28
- 研究者叹超大定理几乎零错误：数学文献是干净的训练数据泉源 — rbhar90 · 2026-10-28
- 开源 Deepthink:测试时扩展让 27B 小模型从 14% 飙到 65% — Ryoiki-Tokuiten · 2026-10-28
- 新预印本：扩散模型中不存在良性过拟合与双下降 — serrjoa · 2026-10-28
- Dyson 回忆 JASON 天才们在湿实验室惨败，警示 AI 时代评估盲区 — rbhar90 · 2026-10-28