Ai2 评测：LLM 判科研新颖性随问法摇摆
Allen Institute for AI（Ai2）于 10 月 28 日发布「Old Ideas, Novel Problems」基准与配套受控研究（arXiv 2610.02022），系统检验 LLM 作为「新颖性评委」的可靠性。随着 AI 越来越多地被用于评审研究点子是否新颖，这一能力是否可靠成为关键问题。
已确认
- 基准构建：从 ICLR 2026 审稿意见中挖掘对原创性的明确评价，保留审稿人一致认为「有」或「无」原创性、且得分在其领域内异常高或低的论文，最终得到 154 篇有更强新颖性证据的论文与 145 篇较弱新颖性证据的论文。
- 评测设置：评委模型在两套数据上测试——人类-人类配对（新颖性强 vs 弱）与人类-AI 配对（带新颖性证据的人类点子 vs 假定新颖性较低的 LLM 基础点子）；任务为二选一或对单点标注。
- 核心发现：提示措辞影响巨大。在人类-人类配对中，GPT-5.4 被问「哪个点子被评审认为更新颖」时 93.5% 选对人类点子，但直接问「哪个更新颖」时比例跌至 40.9%。在 154 组「人写点子（经 ICLR 评审认可为新颖）+ Claude Sonnet 4.5 生成点子」配对中同样观察到类似敏感性。
- 提示词改动可能在帮助某个评委的同时损害另一个；增加推理或提供相关论文等措施的效果并不稳定。专用评审系统反不如提示版 Claude Opus 4.6。
- Ai2 公开了数据、论文与博客，其流水线可复用，能随 AI 生成研究的进展快速构建新评测集。
为什么重要
Ai2 解释了研究动机：该机构正在构建 AutoDiscovery（从数据中发现意外模式）与 Theorizer（从论文中提出候选科学定律）等 AI 科研工具，亟需可靠方法判断这些工具产出的想法是否真正新颖。该研究表明，在 AI 评审被大规模用于科研评估之前，其结论对问法的脆弱性必须被正视。
2026-10-28 ~ 2026-10-28 · 9 条相关
一手来源
- Ai2 新评测：LLM 判断研究点子是否新颖，问法一变结论就翻转 — allen_ai ·
- Ai2 评测细节：GPT-5.4 判人类点子更新的比例随问法从 93.5% 跌至 40.9% — allen_ai ·
- Ai2 从 ICLR 2026 审稿挖掘基准：154 篇强新颖性论文对 145 篇弱新颖性论文 — allen_ai ·
- 【源头】Ai2 新评测：LLM 判断研究点子是否新颖，问法一变结论就翻转 — allen_ai · 2026-10-28
- AI 判审稿新颖性:GPT-5.4 提示措辞一变，准确率从 93.5% 跌到 40.9% — allen_ai · 2026-10-28
- Ai2 解释研究动机：AutoDiscovery 与 Theorizer 亟需可靠的新颖性判定 — allen_ai · 2026-10-28
- 【源头】Ai2 从 ICLR 2026 审稿挖掘基准：154 篇强新颖性论文对 145 篇弱新颖性论文 — allen_ai · 2026-10-28
- Ai2 新颖性评测设计：人类配对与人类-AI 配对两套测试集 — allen_ai · 2026-10-28
- 【源头】Ai2 评测细节：GPT-5.4 判人类点子更新的比例随问法从 93.5% 跌至 40.9% — allen_ai · 2026-10-28
- AI2 发布论文新颖性评审基准：专用系统反不如提示版 Claude Opus 4.6 — allen_ai · 2026-10-28